Aplicação Da Iso 9126 e 14598

*8,$3$5$87,/,=$d2'$61250$662%5(
$9$/,$d2'(48$/,'$'('(352'872'(
62)7:$5(,62,(&(,62,(&
Andr Koscianski1, Andr Villas-Boas2, Claudete Maria Rgo 3
Cleusa Asanome 4 , Danilo Scalet 5,
Danton Romero6 , Jeanine M. Cieslak 7 , Marco Paludo8,
Ronaldo S. Frossard 9, Tnia Mara Vostoupal 5
ABNT Associao Brasileira de Normas Tcnicas
SC10 - Subcomit de Software
Rua Mateus Leme, 1142 CEP 80610-903
Curitiba PR Brasil
abnt_sw@pr.gov.br
5(6802
Este guia tem como objetivo facilitar a compreenso das diversas Normas
elaboradas ou em elaborao pela ISO/IEC( 9126 e 14598) que tratam do
assunto modelo de qualidade e avaliao de qualidade de produto de
software. Isto feito atravs de comentrios ou explicaes sobre os textos
dessas Normas.
Este trabalho est sendo desenvolvido no mbito da CE de Qualidade de
Software da ABNT.
Maio de 1999
1 Os autores esto vinculados s seguintes instituies: 1 CEFET-PR, 2 FUNDAO CPqD, 3 CTI, 4

UEL, 5 CELEPAR, 6 EMBRATEL, 7 SEGURADORA GRALHA AZUL, 8 BANESTADO, 9 CITS
Comisso de Estudos de Qualidade de Software (CE21:101.01)
SUMRIO
1.
INTRODUO .................................................................................................................4
1.1
1.2
ORGANIZAO DO GUIA...............................................................................................5
CONVENES ...............................................................................................................6
2.
VISO GERAL SOBRE A ELABORAO DE NORMAS........................................7
3.
PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE ..............................9
4.
MODELO DE QUALIDADE DA 9126-1......................................................................24

4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADE INTERNAS E
EXTERNAS .............................................................................................................................25
4.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS E INTERNAS ...........26
4.3 QUALIDADE EM USO ...................................................................................................26
5.
ESCOLHENDO MTRICAS ........................................................................................28
6.
PROCESSO PARA ADQUIRENTES...........................................................................30

6.1
PROCESSO DE AQUISIO...........................................................................................30
7.
PROCESSO PARA O AVALIADOR ...........................................................................32
8.
PLANEJAMENTO E GESTO ....................................................................................36

8.1
8.2
9.
A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO ........................36

A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO ..................................37
DOCUMENTAO DE MDULOS DE AVALIAO ...........................................38

9.1
9.2
9.3
9.4
9.5
9.6
10.
1.1
1.1
PREFCIO E INTRODUO ..........................................................................................38

ESCOPO ......................................................................................................................39
REFERNCIAS .............................................................................................................39
TERMOS E DEFINIES ...............................................................................................39
ENTRADA PARA A AVALIAO...................................................................................39
INTERPRETAO DE RESULTADOS .............................................................................40
TABELAS RESUMO DAS NORMAS ISO/IEC 14598 E 9126...............................42
TABELA 1 - VISO GERAL DAS NORMAS 14598........................................................42
TABELA 2 - VISO GERAL DAS NORMAS 9126 ..........................................................45
11.
GLOSSRIO ...............................................................................................................46
12.
REFERNCIAS BIBLIOGRFICAS ......................................................................65
Guia para utilizao das normas sobre avaliao de qualidade de software-ISO/IEC 9126 E ISO/IEC14598
LISTA DE FIGURAS
FIGURA G1.1 - PROCESSO DE AVALIAO ..................................................................5

FIGURA G2.7 NVEIS DE PONTUAO PARA AS MTRICAS..............................17
FIGURA G3.3 QUALIDADE INTERNA E EXTERNA .................................................24
FIGURA G4.4 QUALIDADE EM USO ............................................................................26
FIGURA G5. 1: O PROCESSO DE AVALIAO ............................................................34
GUIA PARA UTILIZAO DAS NORMAS SOBRE QUALIDADE

DE PRODUTO DE SOFTWARE ISO/IEC 9126 E 14598
1. INTRODUO
A avaliao de produto de software tem sido uma das formas empregadas por
organizaes que produzem ou adquirem software para obteno de maior
qualidade nestes produtos, sejam eles produtos completos ou partes a serem
integradas num sistema computacional mais amplo. Para que a avaliao seja mais
efetiva importante que se utilize de um modelo de qualidade que permita
estabelecer e avaliar requisitos de qualidade e tambm que o processo de avaliao
seja bem definido e estruturado. As famlias de normas ISO/IEC JTC1/SC7 9126 e
14598 descrevem um modelo de qualidade, um processo de avaliao e alguns
exemplos de mtricas que podem ser utilizadas por organizaes que pretendam
fazer avaliao de produto de software.
Este Guia foi elaborado pela Comisso de Estudos de Qualidade de Software da
ABNT, baseado na experincia de seus membros atuando h cerca de 5 anos no
trabalho de normatizao nacional e internacional.
As normas internacionais de avaliao de produto de software so recentes,
algumas ainda em elaborao, e a compreenso completa do processo de avaliao
exige a anlise das duas famlias de normas, ISO/IEC 9126(partes 1 a 4) e ISO/IEC
14598(partes de 1 a 6). A famlia ISO/IEC14598 est organizada por diferentes
objetivos de avaliao (ponto de vista do desenvolvedor, adquirente e avaliador
independente). Assim sendo, a aplicao do modelo e processo definido nestas
normas pode tornar-se complexa, principalmente para interessados que ainda no
tiveram maior contato com o tema.
O objetivo deste guia facilitar a compreenso dessas diversas normas, dando uma
viso completa de todo o processo de avaliao de produto de software, utilizando
trechos dos textos originais das respectivas normas, organizados de modo a se ter
uma viso de conjunto e complementados por comentrios ou explicaes.
Este guia foi elaborado considerando o seguinte pblico:
Desenvolvedores de software que pretendam utilizar avaliao de produtos
intermedirios ou finais como forma de aprimorar seu processo de
desenvolvimento e consequentemente melhorar a qualidade do produto de
software resultante;
Pessoas ou organizaes que adquirem software e que pretendem utilizar a
avaliao de qualidade como um processo de seleo desses produtos;
Organizaes que executem avaliao independente de produto de software e

que pretendam utilizar normas internacionais como referncia para o processo de
avaliao;
Professores e estudantes universitrios com interesse em qualidade de software
1.1 ORGANIZAO DO GUIA

A organizao deste guia est orientada pelo processo de avaliao de produto de
software, descrito na Norma 14598-1 e representado na Figura 1(da Norma).
O item 2 d uma viso geral sobre a finalidade e o processo de elaborao de
normas nacionais e internacionais. No item 3 esto apresentadas as etapas do
processo de avaliao de produto de software. Os itens 4 e 5 apresentam
informaes complementares e necessrias ao entendimento do processo de
avaliao. O item 6 fornece algumas informaes complementares especficas para
o processo de aquisio de software. O item 7 complementa o processo de
avaliao quando se trata de avaliao por organizaes independentes. O item 8
apresenta as funes de suporte ao processo de avaliao obtidas da Norma 145982 Planejamento e Gesto. O item 9 apresenta uma sistemtica para documentao
de mdulos de avaliao, obtida da Norma 14598-6 Documentao de Mdulos de
Avaliao. O item 10 apresenta tabelas com uma viso integrada da srie de
Normas 9126 e 14598, com seus objetivo, pblico alvo, contedo e uso. O item 11
apresenta um glossrio de termos que so utilizados no processo de avaliao.
Estabelecer o propsito da avaliao (7.1)

Estabelecer
Requisitos de
Avaliao
Identificar tipos de produto(s) a serem avaliados (7.2)

Especificar modelo de qualidade (7.3)
Selecionar mtricas (8.1)

Especificar a
Avaliao
Estabelecer nveis de pontuao para as mtricas (8.2)
9126-1 Caractersticas
de qualidade
9126-2 Mtricas externas
9126-3 Mtricas internas
14598-6 Mdulos de
avaliao
Estabelecer critrios para julgamento (8.3)

Projetar a
Avaliao
Produzir o plano de avaliao (9.1)
Obter as medidas (10.1)

Executar a
Avaliao
Comparar com critrios (10.2)

Julgar os resultados (10.3)
Figura G1.11 - Processo de Avaliao
1 Os nmeros entre parnteses da figura correspondem aos itens da norma 14598-1 que tratam do assunto.
1.2 CONVENES
Norma 14598-1
Como as normas utilizadas neste trabalho sero

todas da ISO/IEC, sero referenciadas apenas pelo
seu nmero
NBR 12119
Caso haja verso brasileira de alguma norma, ser

utilizado o prefixo NBR.
Titulo
Quando o texto do guia for obtido do original de

alguma norma, estar contido num quadro, tendo
como ttulo a identificao principal da norma.
Texto extrado de norma
Este smbolo indica que o texto a seguir
complementar ao texto principal e destina-se a

envolvidos no processo de avaliao de software em
desenvolvimento.
DES

envolvidos no processo de avaliao com vistas a
aquisio de software.
AQ

envolvidos em processo de avaliao de software
por terceira-parte.
TER

explicativo, elaborado pelos autores deste guia
visando facilitar a compreenso.
G1.1
Figura
Avaliao
Processo
Definies do glossrio
de Nmero da figura em relao ao guia (G1) e nmero

da figura(1) em relao a Norma a qual ela pertence
As normas 9126 e 14598 utilizam uma terminologia
prpria, expresses destacadas no texto encontramse explicadas em um glossrio ao final do guia
importante lembrar que estamos utilizando o nome NORMA para todos os

documentos, mas nem todos se encontram na mesma fase de elaborao (ver as
Referncias Bibliogrficas e item 2 Viso Geral sobre Elaborao de Normas).
2. VISO GERAL SOBRE A ELABORAO DE NORMAS

Normalizao o processo de aplicar regras estabelecidas e executar uma
atividade de maneira ordenada. Objetiva-se com a utilizao de normas no
desenvolvimento e teste de software propiciar benefcios quantitativos como
reduo de custo, tempo e erros e qualitativos como adequao, facilidade de uso e
uma melhor percepo pelo usurio, atravs de uma linguagem comum
estabelecida entre fornecedores e consumidores. importante destacar tambm
que o uso de normas auxilia na obedincia ao Cdigo do Consumidor e a maior
competitividade internacional.
As normas podem ser internacionais, regionais, nacionais e organizacionais em
funo da sua rea de aplicao. Normas nacionais so editadas por uma
organizao nacional de normas. No Brasil, esta organizao a Associao
Brasileira de Normas Tcnicas - ABNT. Ela reconhecida como Foro Nacional de
Normalizao. Foi fundada em 1940 e uma entidade privada, sem fins lucrativos, e
representa o Brasil nas entidades de normalizao internacional como a ISO e a
IEC. Ela composta de Comits Brasileiros-CB e Organismos de Normalizao
Setorial-ONS que fazem o planejamento, a coordenao e controle das Comisses
de Estudo-CE que elaboram e mantm atualizadas as Normas Brasileiras.
A partir da percepo de necessidade de uma norma o CB ou ONS avalia e decide
pela incluso em seu Programa de Normalizao Setorial-PNS. , ento, criada uma
CE, integrada voluntariamente por produtores, consumidores e neutros
(universidades, centros de pesquisa, etc.) que elabora um Projeto de Norma,
baseada no consenso de seus participantes. O Projeto de Norma votado pelos
associados da ABNT e outros interessados e as sugestes recebidas so analisadas
pela CE e na seqncia aprovada como Norma Brasileira. O passo seguinte a
impresso e distribuio atravs dos postos de venda da ABNT.
Os organismos internacionais mais importante para o setor de software so a ISO e
a IEC.
A International Organization for Standardization - ISO uma organizao nogovernamental estabelecida em 1947. Sua misso promover o desenvolvimento
da normatizao e atividades relacionadas a nvel mundial. O seu trabalho resulta
em acordos entre pases e que so publicados como Normas Internacionais.
Todos os pases tem o direito de participar dos trabalhos da ISO em Comits
Tcnicos ou Subcomits. A participao pode ser to tipo P, quando h atuao ativa
nos trabalhos e com a obrigao de votar, ou do tipo O, quando participa como
observador recebendo cpias dos documentos, participando das reunies e
apresentando comentrios, mas sem votar.
A International Electrotechnical Commission - IEC, fundada em 1906 a

organizao mundial que publica as normas internacionais relacionadas com
eletricidade, eletrnica e reas relacionadas. Conta com a participao de mais de
50 pases.
Na rea de tecnologia de informao, a ISO e IEC, estabeleceram um comit
conjunto- Joint Technical Committees - JTC para a elaaborao de normas na rea.
Os trabalhos so organizados de acordo com as reas de especializao e ento
so criados os Working Groups, numerados sequencialmente na ordem em que
foram estabelecidos. Os trabalhos dos grupos so chamados de projetos e
classificados conforme a etapa de desenvolvimento em que se encontram.
A Tabela 1 mostra a seqncia de etapas de projetos atravs dos quais o trabalho

desenvolvido e fornece o nome do documento associado a cada etapa.
Tabela 1 - Etapas de Projeto e documentos associados
Documentos associados
Etapas de Projeto
Nome
Abreviao
0 - Preliminary stage
Preliminary work item
PWI
1 - Proposal stage
New work item proposal
NP
2 - Preparatory stage
Working draft(s)
WD
3 - Committee stage
Committee draft(s)
CD
4-Enquiry stage
Draft International Standard
DIS
5 - Approval stage
Final
Draft
Standard
FDIS
6 - Publication stage
International Standard
International
ISO/IEC
Na ABNT as normas relacionados com software esto subordinadas ao Comit CB

21 - Computadores e Processamento de Dados. Este Comit um participante tipo
P da ISO/IEC/JTC 1, ISO/TC 154 e ISO/TC 184, ligado a ele est o Subcomit de
Software SC10, composto por diversas Comisses de Estudos, entre elas a CE21:101.01 que trata das normas relativas a Qualidade de Software.
Esta Comisso participa da elaborao das sries de Normas 9126, 14598, alm
das Normas 12119 e 14756. Elaborou as normas brasileiras NBR 13596
(correspondente a ISO/IEC 9126:1991) e NBR 12119. A norma NBR 14598-1 j
passou pelo processo de aprovao nacional e aguarda sua publicao.
3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE
NORMA 14598-1
Estabelecer o propsito da avaliao (7.1)

Estabelecer
Requisitos de
Avaliao
Identificar tipos de produto(s) a serem avaliados (7.2)

Especificar modelo de qualidade (7.3)
9126-1 Caractersticas
de qualidade
7. Estabelecer requisitos de avaliao

7.1 Estabelecer o propsito da avaliao
7.1.1 Geral
O propsito da avaliao de qualidade de software apoiar diretamente o
desenvolvimento e a aquisio de software que atenda as necessidades do usurio
e do cliente. O objetivo final assegurar que o produto fornea a qualidade
requerida - que ele atenda as necessidades explcitas e implcitas dos usurios
(incluindo operadores, destinatrios dos resultados do software, ou mantenedores
de software.
7.1.2 Aquisio
Na aquisio de um produto de software sob encomenda, convm que o
adquirente estabelea requisitos de qualidade externa, especifique os requisitos
para o fornecedor, e avalie compras potenciais em relao a estes requisitos antes
da aquisio. Quando um produto est sendo desenvolvido, o objetivo da
especificao dos requisitos de qualidade assegurar que o produto atenda as
necessidades explcitas e implcitas do usurio (ver ISO/IEC 14598-3).
Na compra de um produto de software, a avaliao pode ser utilizada para comparar
produtos alternativos e para assegurar que o produto selecionado atende os
processo para
requisitos de qualidade (ver ISO/IEC 14598-4 no caso de
adquirentes e ISO/IEC 14598-5 no caso de processo para avaliadores, incluindo
requisitos para avaliao de terceira-parte).
AQ
Informaes adicionais sobre aquisio de produtos de software podem ser

obtidas nos itens Processo para Adquirentes e Processo de Aquisio.
NORMA 14598-1
7.1.3 Fornecimento
O fornecedor pode utilizar os resultados da avaliao de produto de software para
assegurar que os produtos atendem os critrios de qualidade requeridos, que
podem ter sido definidos pelo adquirente, ou por comparao com outros produtos.
7.1.4 Desenvolvimento
Convm que a avaliao de software seja utilizada para prever e verificar a
qualidade durante o desenvolvimento, especificando requisitos de qualidade
interna para os produtos intermedirios no processo de desenvolvimento. A
qualidade externa do produto completo para o uso pretendido pode

subseqentemente ser avaliada em relao aos requisitos iniciais (ver ISO/IEC
14598-3 no caso do processo de avaliao para desenvolvedores).
Os resultados da avaliao de qualidade de software podem ser utilizados para
obter feedback sobre o quanto os diferentes processos de desenvolvimento,
mtodos de projeto ou ferramentas CASE podem ser utilizados para atender os
requisitos de qualidade.
7.1.5 Operao
A organizao que opera um sistema de software pode utilizar a avaliao de
qualidade de software para validar que os requisitos de qualidade so atendidos
sob diferentes condies de operao, e para fornecer feedback aos responsveis
pela manuteno sobre a necessidade de qualquer alterao.
7.1.6 Manuteno
A organizao que mantm o sistema de software pode utilizar a avaliao de
software para validar se os requisitos de qualidade ainda so atendidos, e se os
requisitos para manutenibilidade e portabilidade so atingidos.
O texto abaixo, obtido da 14598-1 distingue propsitos de avaliao para

produtos intermedirios e finais.
Norma 14598-1
O propsito da avaliao de qualidade de produto intermedirio pode ser :
decidir quanto aceitao de um produto intermedirio de um subcontratado;
decidir quanto ao encerramento de um processo e quando enviar produtos para
o prximo processo;
prever ou estimar a qualidade do produto final;
recolher informaes sobre produtos intermedirios para controlar e gerenciar o
processo.
propsito da avaliao de qualidade de produto final pode ser:
decidir quanto aceitao do produto;
decidir quando liberar o produto;
comparar o produto com produtos competidores;
selecionar um produto entre produtos alternativos;
analisar os efeitos positivos e negativos da utilizao de um produto;
decidir quando aprimorar ou substituir o produto.
TER
O estabelecimento do propsito da avaliao, em qualquer das situaes

apresentadas anteriormente deve envolver um avaliador. Informaes
adicionais sobre o processo para avaliadores podem ser obtidas no item
Processo para o avaliador.
10
NORMA 14598-1
7.2 Identificar os tipos de produto(s) a serem avaliados
O tipo de produto de software, quer seja um dos produtos intermedirios ou final, a
ser avaliado depender do estgio no ciclo-de-vida e do propsito da avaliao (ver
Figura 4).
O objetivo que quando o produto seja realmente utilizado pelo usurio ele atenda
as necessidades explcitas e implcitas. A qualidade externa pode ser julgada
apenas para um sistema completo de hardware/software do qual o produto de
software seja uma parte. As mtricas externas so aplicadas durante a execuo do
software. Os valores das medidas externas necessariamente dependem de mais
fatores alm do software, assim o software tem que ser avaliado como parte de um
sistema em operao.
Mais informaes sobre a influncia do estgio do ciclo-de-vida para a

escolha dos produtos a serem avaliados podem ser obtidos no item
Qualidade e o ciclo-de-vida do software .
TER
Dependendo do tipo de avaliao a ser realizada, isto , avaliao de

produtos intermedirios ou finais, modelo de qualidade utilizado e tipo de
requisitante da avaliao, o avaliador deve participar da identificao dos
produtos a serem avaliados. Mais informaes sobre o processo para
avaliadores podem ser obtidas no item Processo para Avaliadores.
Nesta fase do processo de avaliao a identificao do produto a ser
avaliado ainda preliminar. No decorrer das outras fases do processo mais
informaes so obtidas, o que contribui para uma melhor identificao dos
produtos a serem avaliados.
Dvidas que podero ocorrer dependendo da fase em que se encontra a avaliao:
quando se trata de produto final, de acordo com o escopo da avaliao,

poder ser selecionado todo o produto de software, ou eventualmente
apenas alguns de seus componentes. Esta definio ocorrer quando no
mnimo os requisitos bsicos de qualidade estiverem definidos. Ser
ento necessrio voltar a esta fase de definio de produtos para a sua
complementao.
Um fator que pode ser determinante na seleo dos componentes a
serem avaliados a disponibilidade de mtodos de avaliao na
organizao que ir realizar a avaliao. Por exemplo, suponha-se que
um propsito de avaliao seja a escolha entre alguns produtos de
mercado e que um dos requisitos de qualidade para esta escolha seja
segurana de acesso a dados. Suponha-se tambm que a organizao
no disponha de mtodos de avaliao deste requisito de qualidade.
Esta no disponibilidade poder determinar que os componentes do
produto que tratam especificamente de segurana de acesso sejam
11
desconsiderados para efeito de avaliao ou que este requisito, caso seja

muito importante, tenha que ser avaliado por outra organizao;
j para o produto intermedirio, a definio de qual produto intermedirio

ser avaliado mais complexa, pois depende em primeiro lugar do ciclode-vida de desenvolvimento adotado pela organizao e do estgio em
que se encontram seus respectivos produtos. Alm disso, deve-se
considerar que as mtricas internas devem ser escolhidas de modo a
refletir a futura qualidade externa do produto e, assim sendo,
necessrio conhecer-se os requisitos externos, para ento definir-se que
mtricas internas so aplicveis aos produtos intermedirios de modo a
se obter uma avaliao efetiva.
As primeiras vezes que estas definies de produtos intermedirios para
avaliao so feitas, no se constituem em um trabalho simples, porm,
em termos prticos, a partir da existncia de um histrico de mtricas
aplicadas na organizao, provvel que exista uma referncia
emprica a ser considerada, tanto para a seleo de mtricas como para
identificao dos produtos a serem avaliados. E como j dito, a escolha
inicial tende a ser refinada nas demais fases de avaliao.
NORMA 14598-1
7.3
Especificar o modelo de qualidade
A primeira etapa na avaliao de software selecionar as caractersticas de

qualidade relevantes, utilizando um modelo de qualidade que desdobre a
qualidade de software em diferentes caractersticas. Os modelos de qualidade para
avaliao de software geralmente representam a totalidade dos atributos de
qualidade de software classificados em uma estrutura de rvore hierrquica de
caractersticas e subcaractersticas. O nvel mais alto desta estrutura composto
pelas caractersticas de qualidade e o nvel mais baixo composto pelos atributos
de qualidade do software. A ISO/IEC 9126 -1 fornece um modelo de propsito geral
o qual define seis amplas categorias de caractersticas de qualidade de software:
funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e
portabilidade. Estas podem ser subdivididas em subcaractersticas que possuem
atributos mensurveis. O efeito combinado das caractersticas de qualidade em
uma situao particular de uso definido como qualidade em uso.
Os requisitos de produto de software expressam as necessidades do usurio para o
produto de software considerado e so definidos antes do desenvolvimento. Se um
produto de software dividido em componentes principais, os requisitos derivados
do produto global podem variar para os diferentes componentes, bem como requerer
critrios de avaliao diferentes. Antes da avaliao de qualidade, convm que os
requisitos de qualidade sejam especificados em termos de caractersticas e
subcaractersticas de qualidade (ver ISO/IEC 9126-1).
No estgio inicial da avaliao, convm que esses requisitos de qualidade sejam
estudados e identificados, para o planejamento e implementao da avaliao.
Convm que o desenvolvedor estabelea requisitos de qualidade externa para
cada caracterstica de qualidade que seja relevante. Convm que a completitude e
correo da especificao dos requisitos de qualidade seja avaliada para assegurar
que todos os requisitos necessrios tenham sido especificados e que requisitos
12
desnecessrios tenham sido excludos. O desenvolvedor necessita avaliar o produto

em relao a estes requisitos antes da entrega.
As necessidades explcitas e implcitas precisam ser atendidas para que se alcance
qualidade. Assim, importante verificar se as necessidades implcitas esto
especificadas com detalhes suficientes para cada caracterstica de qualidade
relevante. Se possvel, convm que os requisitos sejam avaliados quanto ao
atendimento de necessidades implcitas por intermedirios de compras ( procurers),
compradores e
usurios finais. A experincia do usurio com prottipos
freqentemente conduz a uma definio mais precisa quanto aos requisitos de
qualidade em uso.
Convm que o desenvolvedor identifique os requisitos de qualidade interna.
Quando so utilizados requisitos de qualidade interna, convm que o
desenvolvedor identifique-os usando um modelo de qualidade que os relacione
com os requisitos de qualidade externa, e utilize os requisitos internos para verificar
a qualidade dos produtos intermedirios durante o desenvolvimento.
Uma explicao mais detalhada do modelo de qualidade da 9126-1 pode

ser obtida no item Modelo de qualidade da 9126-1.
Apesar da 14598-1 possibilitar o uso de qualquer modelo de qualidade, a aplicao
deste processo de avaliao torna-se muito mais simples se for utilizado o modelo
da 9126-1, pois todas as normas da famlia 14598 esto fortemente relacionadas
quele modelo.
A norma 14598-1 no muito clara quanto forma e momento adequado de se
definir os requisitos esperados para o produto de software e que devem ser
avaliados. Nesta fase de especificao do modelo de qualidade dado um certo
destaque para a definio dos requisitos de qualidade para cada uma das
caractersticas de qualidade relevantes. Porm, neste ponto ainda no foram
definidas mtricas externas a serem utilizadas, dificultando o processo de
quantificao dos requisitos. Assim sendo, pode-se definir, por exemplo, que tempo
de resposta relevante para uma determinada transao, mas a quantificao deste
requisito ainda depende da mtrica a ser aplicada. Esta constatao nos leva a
perceber que o processo de identificao de requisitos de qualidade necessita ser
refinado em estgios posteriores da avaliao.
Podem ser aplicadas diversas tcnicas de identificao de requisitos, mas sua
efetividade pode ser aumentada a partir da construo de listas de verificao
obtidas a partir do prprio modelo de qualidade da 9126-1. Caso no seja adotada
esta sistemtica, ao final do processo de obteno de requisitos, de qualquer
maneira, ser necessrio fazer seu mapeamento com relao ao modelo de
qualidade escolhido, como por exemplo no modelo mostrado a seguir.
13
Caracterstica de Qualidade: Usabilidade

Subcaracterstica: Operacionalidade
Id.
U01
Descrio do Requisito
Prioridade
O produto de software dever possibilitar a

customizao
das funes pelo prprio
usurio
Essencial
Alocado (S/N)
Sim
Observao: somente podero ser customizadas as funes s quais o usurio tem

acesso autorizado.
A prioridade de atendimento ao requisito Essencial devido ao nmero elevado de
usurios que executam somente algumas funes do sistema.
Subcaracterstica: Apreensibilidade
Id.
U02
Prioridade
O produto de software dever apresentar help

de contexto para campos.
Essencial
Alocado (S/N)
Sim
Observao:
Caracterstica de Qualidade: Funcionalidade
Subcaracterstica: Adequao
Id.
Prioridade Alocado (S/N)

Essencial
F01
Dever ser disponibilizada uma funo

genrica para customizao do software pelo
prprio usurio.
Sim
Observao: requisito identificado a partir de um outro requisito ligado usabilidade:

O software dever possibilitar a customizao das funes pelo prprio usurio .
F02
Dever ser disponibilizada uma funo para

cadastro de usurios, senhas e funes s
quais o usurio possui acesso.
Essencial
Sim
Observao: No existiro restries em relao aos dados de cada funo, ou seja,

se o usurio possuir autorizao para acessar determinada funo poder atualizar
todos os dados desta funo.
Subcaracterstica: Segurana de acesso
Id.
F03
Prioridade Alocado (S/N)
O acesso ao produto dever ser permitido

somente a usurios autorizados, com
solicitao de senha de acesso.
Essencial
Sim
Essencial
Sim
Observao:
F04
O acesso s funes do produto dever ser

permitida somente a usurios autorizados.
Observao:
14
Na avaliao de produtos intermedirios (tais como diagramas, cdigo de

programas, documentao etc.), s possvel avaliar o cumprimento de requisitos
de qualidade interna. Neste caso tais requisitos devero ser estabelecidos a partir
dos requisitos de qualidade externa. Por exemplo, caso eficincia seja um requisito
esperado para o produto em produo, provavelmente a definio da ordem de
complexidade dos algortmos (O(n), O(Log(n)) ser um dos requisitos internos a
serem avaliados como forma de prever esta eficincia desejada.
Na prpria definio de requisitos externos podero surgir alguns requisitos de
qualidade interna. Isto pode acontecer seja pela experincia dos agentes
envolvidos, ou por padres adotados na prpria organizao, pois possvel que
organizaes que j mantm histricos de mtricas adotadas os utilizem
habitualmente nos seus processos de avaliao.
Este primeiro nvel de definio de requisitos j permitir uma reviso dos produtos a
serem avaliados e que foram definidos na fase de identificao de produtos.
NORMA 14598-1
Selecionar mtricas (8.1)
Especificar a
Avaliao
Estabelecer nveis de pontuao para as mtricas (8.2)
9126-2 Mtricas externas

9126-3 Mtricas internas
14598-6 Mdulos de
avaliao
Estabelecer critrios para julgamento (8.3)
8. Especificar a Avaliao
8.1. Selecionar mtricas
importante que as medies de um produto de software possam ser feitas fcil e
economicamente e que as medidas resultantes sejam fceis de usar.
A forma pela qual as caractersticas de qualidade tm sido definidas no permite
sua medio direta. necessrio estabelecer mtricas que se correlacionem s
caractersticas do produto de software.
Todo atributo interno quantificvel do
software e todo atributo externo quantificvel do software interagindo com seu
ambiente e que se correlacione com uma caracterstica, pode ser definido como uma
mtrica.
Mtricas podem ser diferenciadas, dependendo do ambiente e das fases do
processo de desenvolvimento em que so utilizadas. Convm que as mtricas
utilizadas no processo de desenvolvimento estejam correlacionadas com as mtricas
sob a perspectiva do usurio, pois essas so decisivas.
Convm que as mtricas internas tenham validade para efeito de previso, isto ,
convm que estejam correlacionadas com algum critrio externo desejado. Por
exemplo, convm que uma medida interna de um atributo particular de um software
esteja correlacionada com algum aspecto de qualidade mensurvel quando o
software utilizado. importante que as medies resultem em valores que
coincidam com as expectativas; por exemplo , se a medio sugere que o produto
de alta qualidade ento convm que esta constatao seja consistente com a
satisfao que o produto proporciona s necessidades especficas de um usurio.
15
Maiores informaes sobre critrios para seleo de mtricas podero ser

obtidas no item Escolhendo mtricas.
Um critrio adicional para seleo de mtricas pode ser baseado na definio dos
requisitos de qualidade considerados fundamentais (ou de maior importncia). Em
outras palavras, o primeiro nvel de seleo de mtricas pode ser para prover
medies para os requisitos de qualidade obrigatrios. Ao mesmo tempo, requisitos
considerados acessrios podero sugerir o descarte prvio de qualquer proposta de
mtrica para os mesmos. Isto evita o uso de mtricas desnecessrias que terminam
por simplesmente onerar o processo de avaliao.
A partir do momento que os requisitos foram estabelecidos, os mesmos podero ser
melhor definidos a partir da escolha de uma mtrica que, ao mesmo tempo permita
a especificao deste requisito e tambm a sua avaliao.
Nesta fase da avaliao poder ser completada a lista de requisitos, mantendo-se
sem identificao apenas aqueles requisitos que no foram percebidos pelos
agentes envolvidos, ou tambm aqueles considerados implcitos, ou seja, pode ser
entendido como um requisito pelo requisitante da avaliao, mas no ser repassado
ao avaliador.
AQ
No caso de aquisio de produtos de software de prateleira, as mtricas

selecionadas devem identificar a qualidade em uso do produto e o nvel de
cobertura aos requisitos de avaliao, permitindo assim a classificao dos
resultados, e portanto possibilitando a seleo de um determinado produto
entre produtos similares.
Para produtos sob encomenda ou para modificaes em software existente,
deve-se considerar mtricas internas para avaliao dos produtos
intermedirios, que permitam predizer a qualidade do produto final.
NORMA 14598-3
O desenvolvedor deve definir as condies sob as quais as medies devem ser
executadas. Isto significa que se deve identificar outros atributos cujos valores
influem nas medies e definir os valores desses mesmos atributos.
O texto acima se aplica no apenas a desenvolvedores, mas claramente a
avaliadores de forma geral.
Na definio de atributos de qualidade a serem avaliados, deve-se observar
possveis influncias de outros atributos no resultado da avaliao
inicialmente determinada. Por exemplo, caso
o atributo tempo de
aprendizado seja utilizado para avaliao de usabilidade, provavelmente
ser necessria a avaliao de um outro atributo capacitao dos
envolvidos, pois esta capacitao com certeza influencia na aprendizagem.
importante ressaltar que existem diversas fontes de rudo e impreciso
agindo sobre as mtricas de software. Mais detalhes podem ser encontrados
no item Escolhendo Mtricas.
16
NORMA 14598-1
8.2 Estabelecer nveis de pontuao para as mtricas
As particularidades (features) quantificveis podem ser medidas quantitativamente
usando-se mtricas de qualidade. O resultado, isto , o valor medido, mapeado
numa escala. Este valor, por si s, no mostra o nvel de satisfao. Para isso, a
escala precisa ser dividida em faixas correspondentes aos diversos graus de
satisfao dos requisitos. So exemplos:
dividir a escala em duas categorias : satisfatria e insatisfatria;

dividir a escala em quatro categorias delimitadas por: o pior caso, o nvel
atual para um produto existente ou alternativo, e o nvel planejado. O nvel atual
estabelecido para controlar se o novo sistema no se deteriora em relao a
situao atual. O nvel planejado o que considerado alcanvel com os
recursos disponveis. O pior caso o limite para a aceitao pelo usurio, no caso
em que o produto no alcance o nvel planejado (Figura 7).
Ultrapassa os requisitos
Nvel planejado
satisfatrio
Valor
medido
Intervalo alvo
Nvel atual
Mnimo aceitvel
Pior caso
Inaceitvel
Escala de medio
insatisfatrio
Nveis de pontuao
Figura G2.7 Nveis de pontuao para as mtricas

Ao elaborar uma escala como a apresentada na figura 7 da ISO/IEC 14598-1,
um avaliador deve observar dois pontos importantes:
cada mtrica ser relacionada a uma escala especfica. Um grande nmero

de mtricas implicar num trabalho cuidadoso para estabelecer e
documentar todas as escalas. Alm disso, preciso que exista um mtodo
para sintetizar os resultados de avaliao, principalmente para subsidiar
decises como adquirir ou no adquirir o produto. Maiores explicaes
sobre como e o que documentar no processo de avaliao podem ser obtidas
no item Documentao de Mdulos de Avaliao.
17
os nveis de pontuao (ou faixas de corte mnimo aceitvel, intervalo

alvo, inaceitvel) podem no ser conhecidos de antemo. Esses nveis
sero particulares de cada caso e de cada organizao. Nas primeiras
avaliaes esses valores podem ser difceis serem estabelecidos, mas
depois de alguma experincia haver dados disponveis para que a
organizao comece a estabelecer com segurana os seus critrios de
qualidade. Esses critrios podero ser ento descritos com preciso, como
por exemplo:a mtrica X possui como valor mnimo aceitvel 5.3
kbytes/seg.
NORMA 14598-1
8.3 Estabelecer critrios para julgamento
Para julgar a qualidade do produto, o resultado da avaliao de cada caracterstica
precisa ser sintetizado. Convm que o avaliador prepare um procedimento para
isto, com critrios diferentes para caractersticas de qualidade diferentes, onde cada
caracterstica poder estar representada em termos de suas subcaractersticas ou
de uma combinao ponderada de subcaractersticas. O procedimento normalmente
incluir outros aspectos como tempo e custo, os quais contribuem para o
julgamento da qualidade de um produto de software num ambiente particular.
Julgar a qualidade significa em essncia interpretar os resultados das

medies. O primeiro passo nesse sentido j foi realizado no item 8.2 da
14598-1, quando se estabeleceram nveis de pontuao para as mtricas. O
que seria desejvel a seguir obter concluses sobre qualidade, a partir do
conjunto de valores obtidos da aplicao de mtricas.
A seguir apresentamos a sugesto(dos autores deste guia) de um mtodo para obter
resultados sintticos de avaliao, descrito em algumas etapas.
Etapa 1): mapear todas os resultados de mtricas para uma escala [0, 1], em que 0
significa o pior resultado possvel, enquanto 1 representa o melhor. A maioria das
mtricas sugeridas na 9126-2 e 9126-3 j segue esse padro.
Etapa 2): estabelecer pesos para as caractersticas e subcaractersticas de
qualidade de software. Os pesos devem representar a importncia relativa de cada
item no julgamento global de qualidade do produto. Os valores devem ser obtidos
principalmente a partir do requisitante da avaliao quem, em ltima instncia,
deve dizer o que importante e o que no importante na sua viso sobre a
qualidade do produto. O avaliador poder contribuir auxiliando o requisitante,
impondo restries ou negociando, como por exemplo: a medio de
confiabilidade implica testes muito caros (ex.: causar muitos crashes e deixar o
sistema fora do ar), ento devemos verificar cuidadosamente o quo importante
esta caracterstica e considerar a possibilidade de verificar s at uma determinada
profundidade.
Etapa 3): calcular mdias ponderadas usando os valores das mtricas e os pesos
das respectivas caractersticas ou subcaractersticas. No se recomenda atribuir
pesos aos atributos, uma vez que: i) os atributos no esto rigorosamente definidos
na 9126; ii) um mesmo atributo pode ser utilizado para avaliar vrias
subcaractersticas.
18
possvel assim calcular mdias agrupando as mtricas de cada caracterstica de

qualidade. Por exemplo, calcular uma mdia ou nota ponderada para usabilidade,
dadas as mtricas relacionadas com as subcaractersticas de usabilidade e os
pesos atribudos a cada subcaracterstica. O mesmo pode ser feito com cada
caracterstica, separadamente. O processo pode ser repetido no nvel de
caractersticas de qualidade, permitindo que se compute um ndice (ou nota) nico,
representando a qualidade do software.
Este procedimento permite:
1) confrontar diretamente produtos, no caso de avaliaes comparativas (por
exemplo, visando seleo para posterior aquisio);
2) examinar os resultados da avaliao em diferentes nveis de detalhe: desde o
resultado nico e sinttico, at os resultados colhidos individualmente pelas
mtricas, passando por mdias ponderadas para cada caracterstica.
A comparao s possvel quando a avaliao utilizada sobre os produtos for
idntica, ou seja: utilizar as mesmas mtricas e mesmos pesos, alm de mesmo
ambiente de avaliao, hardware, usurios etc.
Mais detalhes sobre reproducibilidade de avaliao se encontram no item
Escolhendo mtricas e Processo para o avaliador.
NORMA 14598-1
Projetar a
Avaliao
Produzir o plano de avaliao (9.1)
9. Projetar a avaliao
9.1 Produzir o plano de avaliao
O Plano de Avaliao descreve os mtodos de avaliao e o cronograma das aes
do avaliador (ver a srie ISO/IEC 14598 partes 3, 4 e 5 ). Convm que ele esteja
consistente com o Plano de Medies (ISO/IEC 14598-2).
DES
NORMA 14598-3
O desenvolvedor de software deve especificar aes (procedimentos) para
coleta dos dados a serem executadas para obter valores reais para cada
mtrica externa ou interna. Isto inclui a especificao de cronogramas,
responsabilidades, e o uso de ferramentas de coleta de dados e de anlise.
Se for necessrio treinamento especial para o pessoal, isto tambm deve
ser planejado.
O desenvolvedor deve tambm definir o grau de preciso da medio. Todo
modelo estatstico aplicado deve ser especificado, incluindo requisitos de
entrada de dados, estratgias de amostragem etc.
19
O desenvolvedor deve definir aes em caso de eventualidades, como

avaliaes extras, caso os resultados das medies sejam no conclusivos
ou alarmantes.
Esta explicao do texto da norma 14598-3 vale para qualquer enfoque de
avaliao.
No processo de aquisio, a elaborao do plano de avaliao pode
considerar questes como:
AQ
Se o fornecedor est disposto e apto a prover acesso documentao,

ferramentas, software, cursos ou treinamentos requeridos;
A confidencialidade e propriedade de informaes;
Custos associados com a disponibilidade de ambiente de testes;
Os pontos limite entre atividades de avaliao e ;
As ferramentas de avaliao.
Para produtos sob encomenda ou modificaes em produtos existentes, o

fornecedor deve, durante o processo de desenvolvimento, definir as seguintes
atividades: verificao, reviso conjunta e auditoria, teste e validao.
TER
Para o avaliador este plano bastante detalhado. Informaes adicionais

sobre o processo para avaliadores podem ser obtidas item Processo para o
avaliador.
NORMA 14598-1
Obter as medidas (10.1)
Executar a
Avaliao
Comparar com critrios (10.2)

Julgar os resultados (10.3)
10. Executar a avaliao
TER
Ver informaes sobre o processo para avaliadores

Avaliadores.
no item Processo para
NORMA 14598-1
10.1 Tomar as medidas
Para medio, as mtricas selecionadas so aplicadas ao produto de software.
Como resultado obtm-se os valores nas escalas das mtricas.
20
NORMA 14598-3
DES
O desenvolvedor de software deve coletar os valores reais das medidas

para os atributos internos definidos de acordo com as aes para coleta de
dados definidas. Se os requisitos de qualidade forem modificados, o
desenvolvedor deve reconsiderar as especificaes da avaliao e o projeto
da avaliao.
O desenvolvedor deve tomar as medidas necessrias para assegurar a
qualidade dos dados coletados. As aes devem incluir, quando apropriado,
validao de ferramentas automticas para coleta de dados e utilizao de
pessoas para conferncia dos dados.
Esta explicao do texto da norma 14598-3 vale para qualquer enfoque de
avaliao.
NORMA 14598-1
10.2 Comparar com critrios
Na etapa de pontuao, o valor medido comparado com critrios predeterminados
(por exemplo como mostrado na Figura 7).
AQ
No processo de aquisio devem ser consideradas as deficincias

encontradas no produto e se as mesmas podem ser aceitas, ainda que o
nvel de pontuao para uma determinada mtrica seja considerado
inaceitvel. No caso de aceitar-se uma deficincia relacionada a um requisito
obrigatrio, deve-se justificar tal atitude. Tambm devem ser consideradas
avaliaes adicionais, caso sejam aceitos produtos com deficincias
detectadas, ou ainda sejam percebidas deficincias no prprio processo de
avaliao.
NORMA 14598-1
10.3 Julgar os resultados
O julgamento a etapa final do processo de avaliao do software, onde um
conjunto de nveis pontuados so resumidos. O resultado uma declarao de
quanto o produto de software atende os requisitos de qualidade. Ento a qualidade
resumida comparada com outros aspectos como tempo e custo. Finalmente uma
deciso gerencial ser tomada baseada nos critrios gerenciais. O resultado uma
deciso gerencial quanto aceitao ou rejeio, ou quanto liberao ou no do
produto de software.
Os resultados da avaliao so importantes para decises sobre os prximos
passos no ciclo-de- vida de desenvolvimento do software. Por exemplo, os requisitos
devem ser alterados ou so necessrios mais recursos para o processo de
desenvolvimento?
21
NORMA 14598-3
DES
Convm que o desenvolvedor de software utilize os valores obtidos para os

indicadores definidos para estimar a qualidade do produto final, levando-se
em conta, para tanto, a experincia da organizao do desenvolvedor em
projetos anteriores com requisitos de qualidade similares.
Tambm convm que o desenvolvedor utilize os valores obtidos para
monitorar tendncias de forma a identificar riscos de desenvolvimento,
tomando aes de contingncia quando necessrio.
O desenvolvedor deve fazer um julgamento dos resultados da avaliao e
para tanto convm que os valores obtidos sejam resumidos e comparados
com outros valores, como tempo e custo, de maneira a sustentar uma
deciso sobre o resultado do desenvolvimento (por exemplo melhorando o
produto, revendo os requisitos etc.).
Por fim, o desenvolvedor deve rever os resultados da avaliao e a validade
do processo de avaliao, dos indicadores e das mtricas aplicadas.
Convm que a retroalimentao sobre esta reviso seja utilizada de maneira
a melhorar o processo de avaliao e os mdulos de avaliao. Quando for
necessrio melhorar os mdulos de avaliao, convm que seja includa a
coleta de dados sobre indicadores extras, de maneira a valid-los para uso
posterior .
Quando a avaliao feita para produtos de software em desenvolvimento, esta

etapa de julgar os resultados pode ser feita mais de uma vez ao longo do ciclo de
desenvolvimento do produto, sendo utilizada para a previso da qualidade final do
produto em operao.
Mantendo-se um histrico de resultados de avaliaes ao longo do ciclo de vida do
produto, isto , um registro dos valores obtidos pelas mtricas, deve ser possvel
acompanhar a evoluo do software durante seu desenvolvimento. A partir da,
torna-se possvel identificar as tendncias mencionadas acima no texto da 14598-3,
como por exemplo, curvas de queda de eficincia, de usabilidade etc.
Na verdade, manter registros de avaliao um recurso valioso seno essencial,
tanto para acompanhar o desenvolvimento de produtos, como para melhorar a
preciso do prprio processo de avaliao. Lembramos que para estabelecer os
nveis de pontuao de mtricas, mencionado no item 8.2 da 14598-1, necessrio
conhecer de antemo o que um resultado bom ou um resultado ruim de uma
medio. Um histrico de experincia prtica enriquecer sobremaneira esse
julgamento.
AQ
No processo de aquisio, quando tratar-se de produtos de software de

prateleira deve-se redigir concluses com respeito aceitabilidade do
produto e a deciso final de comprar ou no comprar. A deciso de compra
do produto pode, tambm, gerar um contrato de aquisio do produto
contendo solicitaes de ajustes das deficincias identificadas.
Nos produtos sob encomenda, o adquirente pode decidir pela realizao de

modificaes para soluo das deficincias encontradas no produto durante a
avaliao e durante o desenvolvimento, isto , antes do produto estar finalizado. No
caso de produtos j acabados, a deteco de deficincias pode levar a uma
negociao para que o fornecedor realize modificaes. Um teste de aceitao do
22
produto que resulte bem sucedido um critrio aconselhvel antes da entrega do

produto ao adquirente.
Na medida em que os requisitos de qualidade sejam mais estritos ou mais
complexos, de se esperar um aumento tanto no nmero de atributos do
software quanto
no nmero de mtricas utilizadas. Isto traz como
conseqncia uma maior dificuldade para emitir um julgamento ou
simplesmente enunciar resultados sobre a qualidade de um produto. Por
exemplo, uma avaliao com o propsito de escolher entre trs produtos
para aquisio, tendo sido utilizadas 50 mtricas no processo. Ao fim do
processo, o requisitante da avaliao poderia sugerir algumas questes,
como:
se usabilidade era mais importante do que a eficincia, como isso foi

computado?
qual a influncia da mtrica nmero 23 na determinao do resultado

final?
como se chegou concluso de que o produto A era melhor que B e C?
O procedimento sugerido aps o item 8.3 da norma 14598, neste Guia, um mtodo
possvel para auxiliar a resposta a tais perguntas. Utilizando-se aquele
procedimento, temos que a influncia de cada mtrica ou cada caracterstica
representada diretamente pelo seu peso aritmtico. Os resultados da avaliao
podem ser analisados levando em conta tais pesos. Eventualmente o requisitante
da avaliao pode sugerir alterar a importncia de uma caracterstica, visando obter
maior clareza sobre os resultados.
Por exemplo: seja uma avaliao comparativa entre produtos A e B. Na avaliao
original usabilidade tinha peso maior que eficincia e o produto A teve maior nota
final. O cliente pode sugerir inverter os pesos, e verificar se tal produto continua
sendo superior ao concorrente. Estabelecer diferentes cenrios pode contribuir para
aumentar a certeza sobre uma deciso de compra.
TER
O avaliador responsvel pela concluso da avaliao(ver item Processo

para Avaliadores), mas ele s far o julgamento final, caso isto esteja
estabelecido na especificao da avaliao. O mais comum que o
avaliador entregue o relatrio da avaliao, que pode ter algum tipo de
concluso, ao requisitante e este faa o julgamento final com base neste
relatrio. Isto ocorre porque o julgamento final pode levar em considerao
decises estratgicas, especficas da organizao, como por exemplo custo,
adaptaes etc.
23
4. MODELO DE QUALIDADE DA 9126-1
NORMA 9126-1
5.4 Utilizando um modelo de qualidade
Convm que a qualidade de produtos de software seja avaliada usando um modelo
de qualidade definido. Convm que este modelo de qualidade seja usado durante o
estabelecimento de metas de qualidade para produtos de software finais e
intermedirios. Convm que a qualidade do produto seja hierarquicamente
decomposta por meio de um modelo de qualidade composto de caractersticas e
subcaractersticas as quais possam ser usadas como uma lista de verificao de
tpicos relacionados com qualidade. Os itens 6 e 7 definem um modelo hierrquico
de qualidade (embora outros meios de categorizar qualidade podem ser mais
apropriados em determinadas circunstncias).
praticamente impossvel medir todas as subcaractersticas (internas e externas)
para todas as partes de um produto de software de grande porte. Da mesma forma,
em geral no prtico medir qualidade em uso para todos os possveis cenrios
de uso. Os Recursos para avaliao precisam ser alocados entre os diferentes tipos
de medies dependendo dos objetivos de negcio e da natureza do produto e do
processo utilizado no projeto.
6. CARACTERSTICAS DE QUALIDADE INTERNAS E EXTERNAS
O modelo de qualidade nesta parte da srie ISO/IEC 9126 categoriza os atributos
de qualidade de software em seis caractersticas (funcionalidade, confiabilidade,
usabilidade, eficincia, manutenibilidade e portabilidade) as quais so, por sua
vez, subdivididas em subcaractersticas (Figura 3). As subcaractersticas podem ser
medidas por meio de mtricas internas e externas.
Qualidade
de produto
de software
Funcionalidade
Confiabilidade
Adequao
Acurcia
Interoperabilidade
Segurana de
acesso
Conformidade
Maturidade
Tolerncia a Falhas
Recuperabilidade
Conformidade
Usabilidade
Inteligibilidade
Apreensibilidade
Operacionalidade
Atratividade
Conformidade
Eficincia
Manutenibilidade
Comportamento em
relao ao tempo
Comportamento em
relao aos recursos
Analisabilidade
Modificabilidade
Estabilidade
Testabilidade
Conformidade
Conformidade
Portabilidade
Adaptabilidade
Capacidade para
ser instalado
Co-existncia
Capacidade para
substituir
Conformidade
Figura G3.3 Qualidade interna e externa

Cada caracterstica e subcaracterstica do software que influenciam a caracterstica
de qualidade possui uma definio. Para cada caracterstica e subcaracterstica, a
capacidade do software determinada por um conjunto de atributos internos que
podem ser medidos. Exemplos de mtricas internas so dadas na norma 9126-3.
As caractersticas e subcaractersticas podem ser medidas externamente pelo grau
24
da capacidade do sistema contendo o software. Exemplos de mtricas externas so

dados na norma 9126-2.
O modelo de qualidade da 9126-1 representado por um desdobramento

hierrquico das caractersticas de qualidade de produto de software, estando
bem definido nos seus dois primeiros nveis (caractersticas e subcaractersticas)
e deixando o terceiro nvel de desdobramento (atributos) a critrio do usurio do
modelo.
As caractersticas pretendem abranger todos os aspectos de qualidade de
software, ou seja, deve ser possvel especificar qualquer requisito de qualidade
utilizando-se das 6 caractersticas.
A subcaracterstica conformidade est presente em todas as caractersticas, tendo
em vista que o produto pode ser aderente a legislao, padres internos e normas
diversas associadas a cada uma das caractersticas.
As definies atribudas pela 9126 a cada caracterstica e subcaracterstica so tais
que no permitem sobreposio. Exemplificando, a definio de usabilidade da
9126 no permite que, na avaliao dessa caracterstica, se considerem fatores que
so prprios de portabilidade. A norma admite, contudo, que um atributo de
qualidade possa influenciar mais de uma subcaracterstica ou caracterstica. Por
exemplo: nmero de linhas de cdigo atributo tanto de analisabilidade quanto de
adaptabilidade.
4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADE
INTERNAS E EXTERNAS
A ISO/IEC 9126-1 nos conduz a um entendimento dos conceitos que definem as
diversas caractersticas e subcaractersticas de qualidade de produto de software,
porm, na prtica, ainda no facilita o suficiente a definio dos requisitos de
qualidade a partir dela. As definies de caractersticas de qualidade nos permitem
perceber um possvel universo de requisitos que se enquadram no conceito
apresentado, mas dificilmente permitiriam elaborar uma declarao de requisitos
mais cuidadosa, quanto s mesmas. No faz sentido, por exemplo, uma declarao
do tipo o produto de software deve ter uma usabilidade de 0,5, pois esse nmero
no teria qualquer significado (pelo menos no estado-da-arte em que se encontra o
tema de medio de qualidade de software).
O primeiro desdobramento em subcaractersticas serve para delimitar melhor o
amplo universo contemplado pela caracterstica. Introduz conceitos mais detalhados
que facilitam a especificao de requisitos, ajudando a pensar na caracterstica de
qualidade a partir de seus componentes. Mas este desdobramento ainda no
suficiente para especificar os requisitos de qualidade. Uma declarao do tipo A
operacionalidade deve ser igual a 0,8, por exemplo, continua sem fazer sentido.
Assim, o usurio da norma que necessite elaborar sua declarao de requisitos
deve, ento, fazer o prximo nvel de desdobramento, os atributos, que no esto
presentes na ISO/IEC 9126-1, identificando aspectos relevantes ao produto de
software, e que se enquadrem nas caractersticas e subcaractersticas citadas.
Desta forma, uma declarao do tipo O tempo de uso do produto de software at
que se tenha domnio operacional do mesmo dever ser inferior a 20 horas, por
25
exemplo, adequada como requisito da subcaracterstica operacionalidade, que faz

parte da caracterstica usabilidade. Observe que foi necessrio descer ao nvel do
atributo tempo para se ter domnio operacional para que o requisito pudesse ser
declarado de forma objetiva e no ambgua.
O documento ISO/IEC 9126-2 define exemplos de mtricas externas que se
associam a atributos de qualidade e que podem ser uma referncia inicial,
facilitando a tarefa de definir atributos.
4.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS E
INTERNAS
O modelo de qualidade da ISO/IEC 9126-1 privilegia a viso do usurio do produto
de software que, em geral, atua a partir da operao do sistema do qual o produto
de software faz parte. Esta a viso de qualidade externa.
Porm, o efeito externo percebido no uso do produto de software decorrente de
seus atributos internos, tpicos de sua arquitetura, tais como o nvel de
modularizao dos programas, a documentao gerada, o tipo de dilogo utilizado
na interao com o usurio etc. Esses atributos internos mantm correlaes com
as caractersticas e subcaractersticas externas do produto de software. Cada
atributo interno pode influenciar uma ou mais caractersticas e subcaractersticas,
sendo que a identificao das correlaes existentes no um trabalho simples,
depende de cada organizao que desenvolve software. Apesar disso, se a
organizao fizer este investimento, cada vez mais ela ter mais condies de
melhor e garantir a qualidade de seus produtos pois ela ser capaz de especificlos e avali-los(atravs das caractersticas, subcaractersticas e atributos externos)
cada vez com mais preciso.
4.3 QUALIDADE EM USO
NORMA 9126-1
7 Caractersticas de qualidade em uso
Os atributos de qualidade em uso so categorizados em quatro caractersticas:
efetividade, produtividade, segurana e satisfao (Figura 4).
Qualidade
em
uso
efetividade
produtividade
segurana
satisfao
Figura G4.4 Qualidade em uso

A qualidade em uso a viso de qualidade do usurio. A obteno de qualidade
em uso dependente da obteno da necessria qualidade externa, a qual por sua
26
vez dependente da obteno da necessria qualidade interna (Figura 2). As

medidas so normalmente necessrias em todos os trs nveis, pois atingir os
critrios para medidas internas no usualmente suficiente para garantir a
obteno dos critrios para medidas externas, e atingir os critrios para medidas
externas de subcaractersticas no usualmente suficiente para garantir a obteno
de critrios para qualidade em uso. Exemplos de mtricas de qualidade em uso so
dadas no relatrio tcnico 9126-4.
7.1 Qualidade em uso
A capacidade do produto de software de permitir a usurios especficos atingir
metas especificadas com efetividade, produtividade, segurana e satisfao em um
contexto de uso especificado.
Nota 1: Qualidade em uso a viso do usurio da qualidade de um ambiente
contendo software, e medida por meio dos resultados do uso do software em
ambientes, e no pelas propriedades do software.
A viso do modelo de qualidade levando em conta os resultados obtidos a partir

do uso do software no ambiente especificado, uma inovao em relao ao
modelo original da 9126(1991) e tambm pode ser usada como referncia para
definio de requisitos de qualidade esperados para o ambiente de uso, assim
como para a avaliao dos resultados obtidos. Quando utilizado o modelo de
qualidade em uso para definio de requisitos, tambm necessrio o
estabelecimento das regras de derivao de atributos de caractersticas
externas para o produto de software a partir das caractersticas de qualidade em
uso.
27
5. ESCOLHENDO MTRICAS
A preciso de uma avaliao de qualidade depende em grande parte das
mtricas escolhidas. Para aumentar a confiabilidade dos resultados so
apresentadas a seguir algumas caractersticas que as mtricas deveriam
apresentar. Tais caractersticas esto de acordo com os requisitos de
avaliao enumerados na 14598-1(itens 3 e 8.1.2), 14598-5(item 4.3) e
9126-1(item 6.4), alm de incluir outros fatores significativos para o resultado
final.
So eles:
1. significncia: os resultados da medio devem agregar informao sobre o
comportamento do software ou suas caractersticas de qualidade. As
mtricas consideradas no relevantes para o propsito da avaliao
poderiam ser (ou seria conveniente que fossem) descartadas.
2. custo e complexidade: a aplicao da mtrica deve ser econmica e
tecnicamente vivel dentro do processo de avaliao. Uma medio pode
no satisfazer este critrio por: i) demandar um investimento acima do
oramento, como laboratrios e usurios-teste; ou ii) exigir condies
tcnicas fora do alcance do avaliador, como emprego de estatstica muito
sofisticada ou paralisao das atividades da organizao para executar um
teste.
3. repetibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesma
especificao de avaliao; iii) com os mesmos avaliadores, usurios-teste
e ambiente: deveria produzir resultados aceitos como idnticos. Sempre que
os resultados puderem sofrer alguma variao, algum tratamento adequado
(por exemplo, estatstico) deve ser aplicado.
Para exemplificar, a medio de tempo de resposta de uma query SQL em
um ambiente de rede com diversas tarefas em andamento, simulando o
ambiente de uso real, poderia ser calculada pela mdia de vrias tentativas.
4. reproducibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesma
especificao de avaliao; iii) com diferentes avaliadores, usurios-teste e
ambiente: deveria produzir resultados aceitos como idnticos. Valem os
mesmos comentrios de 3. acima.
5.
validade: deve ser possvel demonstrar a corretude e preciso ou a margem

de erro dos resultados da medio. importante considerar neste requisito
todos os fatores que podem influir no resultado, como:
(a) caractersticas de hardware -considerando o exemplo do tem 3. acima,
se houverem problemas com o meio fsico como m conexo de cabos
de rede, claro que o resultado da medio ser falseado.
(b) caractersticas de software - configurao de parmetros do sistema
operacional e do prprio software, e combinaes desses fatores. Por
exemplo, em alguns casos a configurao, verso ou mesmo a ordem de
28
carga de daemons ou device drivers3 pode alterar resultados de

desempenho.
(c) avaliadores - deve ser verificado com que peso e de que forma ocorre a
influncia humana no processo. Por exemplo, no julgamento do requisito
ajuda on-line para cada item de interface, os avaliadores podem
discordar sobre a definio de item (janelas e menus inteiros ou botes,
editores etc.).
(d) modelos matemticos - sempre que a manipulao matemtica dos
dados obtidos puder introduzir diferenas, isto deve estar explicitado. Por
exemplo, uso de interpolao para prever o resultado de uma medida
que no est sendo de fato realizada.
6. objetividade: os resultados da medio devem ser objetivos, i.e., no podem
sofrer influncia de opinio e sentimentos do avaliador, usurios de teste etc.
Quando isto no for possvel, a mtrica deve oferecer algum tratamento (p.ex.,
estatstico) de correo.
7. imparcialidade: a medio no deve ser tendenciosa. Este requisito pode ser
descumprido de vrias formas:
publicao parcial de resultados - por exemplo a declarao 80% de

usurios satisfeitos no explica qual o tipo de usurio, satisfeito em relao
ao que e sob quais circunstncias. Isto vale para as observaes 5. a, b, c, e d
acima.
ambiente tendencioso - utilizando novamente o exemplo do tem 3., seria

preciso definir com muita preciso o que significa simular o ambiente real de
uso. Uma definio possvel mas que por si s no garante um processo
imparcial, seria: utilizar como ambiente fsico a prpria organizao, fora de
expediente, empregando usurios de teste.
A aplicao das caractersticas para as mtricas depende do grau de sofisticao da

avaliao. Para exemplificar, a caracterstica 5.b acima pode introduzir uma grande
dificuldade ou mesmo inviabilizar o processo de avaliao, na medida em que,
teoricamente, a parametrizao de todo elemento de hardware ou software
envolvido no processo deveria ser verificada. Essa exigncia poderia ser relaxada
para apenas os elementos mais influentes nos resultados, determinados pelo
avaliador, ou at mesmo nenhum no caso de uma avaliao mais informal.
3 Exemplo no sistema operacional MS-DOS: a ordem em que aparecem device drivers no arquivo de
configurao CONFIG.SYS pode alterar o desempenho do sistema.
29
6. PROCESSO PARA ADQUIRENTES

A Norma 14598-4 est dividida em dois processos distintos: um para
aquisio de produtos de software de prateleira e outro para aquisio de
produtos de software sob encomenda ou modificaes em produtos de
software existentes. O Processo para Adquirentes resultado da
combinao do processo genrico de avaliao e do processo de aquisio
definido pela NBR 12207 Processo do Ciclo de Vida do Sofware.
O propsito da avaliao no processo de aquisio pode ser a comparao de
produtos alternativos ou garantir que um produto desenvolvido ou modificado sob
encomenda atenda os requisitos inicialmente especificados.
Outras normas podem apoiar a avaliao no processo de aquisio como:
12119 - quando deseja-se adquirir pacotes de software
14598-5 - quando forem requeridas avaliaes independentes.
12207 a qual define o processo de aquisio a ser seguido pelo Processo
para Adquirentes.
6.1 PROCESSO DE AQUISIO
O processo de aquisio definido pela NBR 12207 constitudo das seguintes
atividades:
a) Iniciao
O adquirente inicia o processo de aquisio a partir de uma necessidade em
adquirir, desenvolver ou melhorar um sistema, produto ou servio de
software.
Nesta atividade so identificados e analisados os requisitos de sistema, os
quais podem ser: de negcio, organizacionais e de usurio, segurana entre
outros.
Ao final desta atividade so consideradas opes de aquisio, incluindo
anlise de risco, custo e benefcio para cada opo, sendo alguns exemplos:
comprar um produto de prateleira, desenvolver internamente, contratar o
desenvolvimento, melhorar um produto existente ou uma combinao das
opes anteriores.
Caso a opo escolhida seja a aquisio de produto de prateleira, o
adquirente deve assegurar que os requisitos sejam satisfeitos, que a
documentao do produto esteja disponvel, os direitos de propriedade sejam
satisfeitos e que o suporte futuro esteja planejado.
b) Preparao do pedido de proposta
Nesta atividade realizada a documentao dos requisitos de aquisio.
Alm disto so determinados os pontos de controle nos quais o progresso do
fornecimento dever ser revisado e auditado.
c) Preparao e atualizao do controle
Nesta atividade realiza-se a seleo de fornecedores, baseando-se na
avaliao das propostas dos fornecedores, bem como suas capacidades. Um
contrato com o fornecedor deve ser preparado e negociado, incluindo custo
30
e cronograma de execuo. Quando o processo est andando, o adquirente

deve possuir o controle de mudanas no contrato.
d) Monitorao do fornecedor
A monitorao do fornecedor consiste em atividades de avaliao aplicadas
durante a execuo do contrato levando aceitao e entrega do produto
de software.
e) Aceitao e concluso
A aceitao e concluso so atividades executadas durante a aceitao do
produto e entrega do produto de software final, obedecendo os critrios de
aceitao previamente definidos durante a atividade de iniciao.
31
7. PROCESSO PARA O AVALIADOR

A Norma 14598-5 - Processo para o avaliador fornece requisitos e
recomendaes para implementao prtica de avaliao de produto de
software. Ela segue o processo de avaliao como definido na 14598-1(ver
Figura 1 Processo de Avaliao) e detalha as fases deste processo para a
funo de avaliao.
O processo de avaliao proposto na norma pode ser usado para avaliar produtos j
existentes ou produtos em desenvolvimento. Pode ser utilizada por avaliadores de
laboratrio, fornecedores de software, adquirentes de software (ver Norma 145984), usurios e entidades certificadoras, cada um com objetivos especficos.
O processo de avaliao descrito como um procedimento passo-a-passo, de tal
forma que os requisitos de avaliao possam ser expressos em termos de
caractersticas de qualidade, como definido na NBR 13596, e na nova verso da
9126-1. A avaliao leva em considerao vrios documentos que podem ser
considerados como parte do produto de software, por exemplo, documentos de
projeto, relatrios de teste e validao, cdigo fonte e documentao de usurio.
importante ressaltar que o objetivo principal de avaliao de produto de software
fornecer resultados quantitativos sobre a qualidade de produto de software que
sejam compreensveis, aceitveis e confiveis por quaisquer das partes
interessadas. Assim, a norma fornece orientaes para manter o nvel de
objetividade da avaliao o mais alto possvel em todas as circunstncias.
A seguir mostrado quais as possveis partes interessadas nos papis de
requisitante de uma avaliao ou de avaliador.
Norma 14598-5
5.2.2 Partes envolvidas na avaliao
Potenciais requisitantes de avaliaes podem ser:
- desenvolvedores de software;
- fornecedores de software;
- adquirentes de software;
- usurios de software;
- integradores de sistemas atuando como adquirentes de software.
Potenciais avaliadores podem ser:
- laboratrios de testes de terceira-parte ;
- equipes de testes integrantes de organizaes de produo ou distribuio de
software;
- equipes de testes integrantes de organizaes compradoras ou usurias de
software;
- equipes de testes integrantes de organizaes integradoras de sistemas;
- organizaes que fazem comparaes entre produtos.
5.3 Caractersticas do processo de avaliao
O objetivo principal do processo de avaliao descrito nesta parte da ISO/IEC 14598
promover as seguintes caractersticas desejveis em um processo de avaliao:
32
repetibilidade: convm que avaliaes repetidas do mesmo produto, com a

avaliador, produzam
mesma Especificao de Avaliao, pelo mesmo
resultados que possam ser aceitos como sendo idnticos;
reprodutibilidade: convm que avaliaes do mesmo produto, com a mesma

especificao de avaliao, por avaliadores diferentes, produzam resultados
que possam ser aceitos como sendo idnticos;
imparcialidade: convm que a avaliao no seja tendenciosa com relao a

algum resultado particular;
objetividade: convm que os resultados das avaliaes sejam baseados em

fatos, isto , desprovidos de sentimentos ou opinies do avaliador.
NOTA: Avaliaes de um mesmo produto podem ser conduzidas com diferentes especificaes de avaliao. Assim
sendo, no so comparveis e podem levar a resultados diferentes
5.4 Processo de Avaliao

O processo de avaliao consiste de um conjunto de atividades, que so conduzidas
pelo requisitante da avaliao e pelo avaliador cooperativamente. As atividades do
processo usam como base os dados fornecidos pelo requisitante, pelo avaliador, ou
produzidos por outras atividades do conjunto. Elas produzem dados que so os
resultados do processo de avaliao e que tambm podem ser utilizados por outras
atividades do processo.
As principais entradas para o processo de avaliao so a descrio do

produto e seus componentes e mtodos e ferramentas para a avaliao. As
principais sadas so os registros das aes e resultados da avaliao e o
relatrio da avaliao.
A Figura 1 d uma idia geral das entradas e sadas de cada fase do processo de
avaliao para o avaliador.
33
Norma 14598-5
Requisitos
do
Estabelecimento
requisitante
dos
requisitos da
avaliao
Requisitos
de avaliao
Especificao da
avaliao
Especificao de
avaliao
Especificao
de avaliao
pr-definida
Descrio
do produto
Plano de
avaliao
Projeto da
avaliao
Entradas
fornecidas pelo
avaliador
Mtodos de
avaliao
Registros
de avaliao
Registro
de aes de
reviso
Execuo da
avaliao
Componentes
do produto
Ferramentas
de avaliao
Relatrio
de avaliao
preliminar
Sntese dos
resultados
de avaliao
Relatrio
de avaliao
revisado
Concluso da
avaliao
Entradas
fornecidas pelo
requisitante
Figura G5. 1: O processo de avaliao

As atividades do processo de avaliao so as seguintes (ver Figura 1):
-
estabelecimento dos requisitos de avaliao, onde devem ser descritos os

objetivos da avaliao relacionando-os com o uso do produto de software e
os riscos associados. Vrios pontos de vista podem ser considerados:
aqueles dos diferentes usurios do produto tais como compradores,
fornecedores, desenvolvedores, operadores ou mantenedores do produto.
O item Processo de avaliao de produto de software deste Guia trata deste

tpico e os itens 7.1, 7.2, 7.3 da 14598-1 tambm tratam deste assunto
-
especificao da avaliao cujo objetivo definir o escopo da avaliao e as

medies a que o produto ser submetido. baseada nos requisitos de
avaliao e na descrio do produto fornecida pelo requisitante;
tpico e os itens 8.1, 8.2, 8.3 da 14598-1 tambm tratam deste assunto.
projeto da avaliao que resulta num plano baseado na especificao da

avaliao. O plano deve documentar os mtodos de avaliao a serem usados
pelo avaliador, para realizar as medies especificadas na especificao de
avaliao e deve mostrar o cronograma da avaliao de acordo com os recursos
necessrios e disponveis para realizar a avaliao. No plano deve estar
relacionados os mtodos a serem utilizados de acordo com cada parte do
produto onde estes mtodos sero utilizados. Os mtodos podem estar em
forma de mdulos de avaliao(ver item Documentao de Mdulos de
Avaliao)
34

tpico e o item 9.1 da 14598-1 tambm tratam deste assunto.
-
execuo do plano de avaliao consistindo em inspeo, medio e teste dos

produtos e de seus componentes de acordo com o plano de avaliao. Estas
aes podem ser executadas utilizando-se de ferramentas de software
(normalmente do avaliador), tanto para as medies como para a interpretao
dos resultados. As aes executadas pelo avaliador so registradas assim como
todos os dados referentes ao produto sendo avaliado e os resultados obtidos. A
partir disso criada uma verso preliminar do relatrio de avaliao;
tpico e os itens 10.1, 10.2, 10.3 da 14598-1 tambm tratam deste assunto.
concluses da avaliao, que consiste na reviso do relatrio de avaliao e

liberao dos dados de avaliao, assim como a devoluo, pelo avaliador, do
produto avaliado e de seus componentes.
Este tpico no relatado separadamente no Processo de avaliao da
14598-1, ele est englobado nos itens 10.1, 10.2, 10.3 da 14598-1.
35
8. PLANEJAMENTO E GESTO
A Norma 14598-2 tem como objetivos bsicos a organizao das atividades
necessrias ao suporte das avaliaes realizadas dentro dos vrios projetos
de uma organizao. Essas atividades so, entre outras, o fornecimento de
requisitos, recomendaes e orientaes para uma funo de suporte
avaliao de produtos de software.
A funo de suporte avaliao deve motivar e treinar as pessoas envolvidas em
avaliao dentro da organizao e preparar documentos, mtodos e tecnologias
adequadas para avaliao. A gesto de tecnologia para avaliao est relacionada
com o planejamento e gesto de processos, mtricas e ferramentas para avaliao.
O pblico alvo da 14598-2 so as pessoas responsveis pelo(a):
1. gerncia do uso de tecnologias de avaliao,
2. suporte avaliao de produtos de software,
3. gerncia de organizaes de desenvolvimento de software,
4. funo de garantia da qualidade.
A funo de apoio avaliao deve fornecer um suporte abrangente organizao
para projetos de desenvolvimento de software, aquisio de software e avaliao
de software. Ela deve desempenhar papis que incluam:
obteno de padres e de informaes tcnicas,
desenvolvimento de padres e ferramentas domsticas,
desenvolvimento de critrios para benchmark,
avaliao da eficcia e da qualidade de qualquer

desenvolvimento de software,
coleta e anlise de resultados de avaliaes,
disseminao dos resultados de avaliaes,
facilitao da transferncia de tecnologia (baseada na experincia interna de

avaliao), e
suporte a projetos de avaliao e seus respectivos gerentes.
aquisio
ou
Ela pode ser interna, ou externa, organizao que est avaliando o software
Esta funo dever ser pensada em dois nveis, como ser descrito a seguir: no nvel
da organizao e no nvel dos projetos.
8.1 A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO
As organizaes encarregadas de desenvolver, adquirir ou avaliar software devem
ter as responsabilidades de avaliao e de garantia de qualidade claramente
definidas e incorporadas em um plano. Os seguintes requisitos e recomendaes
devem ser seguidos mesmo que as atividades de avaliao sejam terceirizadas:
1. planejamento do uso e da melhoria da tecnologia de avaliao
2. implementao da tecnologia de avaliao
3. transferncia da tecnologia de avaliao
36
4. avaliao da tecnologia de avaliao usada

5. gerenciamento das experincia de avaliao
8.2 A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO
Todo projeto deveria ter associado um projeto de avaliao. O apoio a esse projeto
de avaliao deve ser dado pela funo de suporte de avaliao existente dentro da
organizao. Esse suporte inclui o planejamento da avaliao (atravs da
elaborao de um Plano de Avaliao Quantitativa, que auxilia o gerente de projeto
a definir e monitorar os seus objetivos quantitativos de qualidade) e a promoo
desse plano de avaliao e da tecnologia usada para outros projetos dentro da
organizao. A implementao do plano deve ficar a cargo do gerente do projeto em
questo.
A funo de suporte de avaliao pode obter a confiana dos gerentes de projeto
com relao utilidade de um plano de avaliao atravs de ferramentas de
divulgao (por exemplo, palestras, reunies tcnicas etc.).
Para cada projeto de avaliao deve ser elaborado um Plano de Avaliao
Quantitativa que possua a seguinte estrutura de tpicos:
1. Introduo
2. Objetivos da avaliao
3. Caractersticas de qualidade aplicveis
4. Lista de prioridades
5. Objetivos de qualidade
6. Cronograma
7. Definio de responsabilidades
8. Categorias de medio
9. Uso e anlise de dados
10.Relatrios
11.Outros requisitos
37
9. DOCUMENTAO DE MDULOS DE AVALIAO
A avaliao de um produto de software depende basicamente de um conjunto de

mtricas as quais fornecem informaes sobre propriedades do software, essas
mtricas so objeto de estudo pela ISO e fazem parte dos relatrios tcnicos
9126-2 e 9126-3, no entanto para se utiliz-las de maneira eficiente e de forma
que permita a troca de informaes sobre avaliaes necessrio que seja
padronizada a forma de document-las. Os mdulos de avaliao (M.A.) so a
soluo para essa padronizao. As vantagens dessa documentao so:
Fornecer uma referncia comum na descrio da base terica dos M.A.
Identificar um conjunto
desenvolvimento de M.A.
Fornecer uma ferramenta para coleta e catalogao de um grande nmero de

M.A.
mnimo
de
requisitos
para
documentao
Um mdulo de avaliao um conjunto estruturado de dados e instrues usados

para avaliao. Ele especifica os mtodos de avaliao aplicveis para uma dada
caracterstica (ou subcaracterstica) e identifica as evidncias (por exemplo, amostra
de cdigo) que ele necessita. Tambm define o procedimento elementar de
avaliao e o formato para relatar os resultados obtidos. Mas como a tarefa de
avaliao de produto de sofware muito abrangente, envolvendo aspectos
diferentes de caractersticas e subcaractersticas, as quais podem necessitar de
diferentes tcnicas de avaliao, gerando um grande nmero de dados, faz-se
necessrio controlar esta complexidade. Este controle feito estruturando-se a
avaliao em unidades mais simples, ou seja, deve-se desenvolver os MA de forma
que eles foquem um aspecto especfico de qualidade usando uma tcnica
especfica de avaliao.
O uso de mdulos de avaliao produzidos segundo esta norma garante que a
avaliao pode ser repetvel, reproduzvel e imparcial, conforme explicado na norma
14598-5.
Os mdulos de avaliao fornecem um elo de ligao entre as tcnicas de avaliao
e indicadores e mtricas de qualidade. Quando alguma outra norma da famlia
14598 prescrever a aplicao de uma tcnica de avaliao, o mdulo de avaliao
pertinente dever ser selecionado de uma biblioteca de mdulos de avaliao.
Os objetivos bsicos de se padronizar os mdulos de avaliao so: o fornecimento
das informaes necessrias a uma avaliao e o modo de utiliz-las, a
disponibilizao dessas informaes de um modo homogneo, a facilitao do
reuso dos M.A. e padronizao segundo requisitos padro.
O modelo bsico de um M.A. o seguinte:
9.1 PREFCIO E INTRODUO
No prefcio so dadas informaes sobre: preparao, aprovao, contribuies e
alteraes sofridas pelo MA, bem como o relacionamento com outras normas ou
outros documentos.
Na introduo so introduzidos princpios, conhecimentos prvios e base tcnicas
lgicas em que se baseia o mdulo de avaliao.
38
9.2 ESCOPO
No escopo so identificadas as caractersticas (ou subcaractersticas), o nvel de
avaliao, as tcnicas utilizadas e o escopo de aplicao do MA.
As caractersticas, ou subcaractersticas, que o mdulo de avaliao pode avaliar
so as definidas na norma ISO/IEC 9126 (funcionalidade, confiabilidade,
usabilidade, eficincia, manutenibilidade e portabilidade). Um MA pode contribuir
para uma, ou mais, caractersticas ou subcaractersticas, mas como foi dito h
pouco interessante que cada um se atenha a uma nica (sub)caracterstica por
facilidade de gesto.
Os nveis de avaliao so relacionados com a importncia da caracterstica, ou
subcaracterstica, avaliada. Convm que o nvel seja descrito levando-se em
considerao o uso pretendido do software e o ambiente no qual o produto de
software operar (por exemplo, condies de segurana, restries de segurana de
acesso, riscos econmicos e restries de aplicao). Ele define a profundidade ou
eficcia da avaliao em termos de tcnicas de avaliao a serem aplicadas e
resultados de avaliao a serem obtidos. Diferentes nveis de avaliao fornecem
diferentes nveis de confiabilidade sobre a qualidade do produto de software.
A tcnica da avaliao aplicada pelo mdulo de avaliao inclui a teoria relevante,
modelos ou heursticas que sirvam de base para a avaliao. Se a descrio no
auto-contida, referncias adequadas devem ser includas. As tcnicas tem uma
grande ligao com o nvel de avaliao escolhido. Alguns exemplos de tcnicas de
avaliao so: modelos de crescimento de confiabilidade, teste funcional, anlise
esttica de cdigo e inspeo de cdigo.
A aplicabilidade deve identificar o escopo de aplicao do mdulo de avaliao. Por
exemplo, o mdulo de avaliao pode ser aplicvel a uma linguagem de programa
particular, ou classe de linguagens imperativas.
9.3 REFERNCIAS
Nas referncias so fornecidas todos os documentos normativos e normas tcnicas
relevantes. Tambm se mencionam aqui outros MA, caso este MA dependa do
resultado de outros mdulos de avaliao.
9.4 TERMOS E DEFINIES
So definidos todos os termos tcnicos usados no mdulo de avaliao, ou feita
referncia a fontes nas quais as definies podem ser encontradas.
9.5 ENTRADA PARA A AVALIAO
So identificadas as entradas, os dados e as mtricas e medidas usadas.
A entrada de produto identifica todas informao que so requeridos com entrada
para o mdulo de avaliao. Estes devem ser classificados como componentes de
produto (especificao de requisitos de software, descrio do projeto de software,
descrio de programa, cdigo fonte, cdigo executvel, documentao de usurio),
informao de produto (relatrio de reviso de requisitos de software, relatrio de
reviso de projeto de software, relatrio de reviso de programa, relatrio de teste
de unidade, relatrio de reviso de documentao de usurio) e informaes de
39
suporte (plano de garantia de qualidade, plano de gesto de configurao, plano de

teste de programa e descrio da linguagem de programao e compilador).
Os dados especificam quais elementos de dados sero extrados dos documentos
de entrada e de outras evidncias. Os elementos de dados so o material a partir
dos quais as mtricas de avaliao so computadas, embora em alguns casos os
dados brutos podem eles prprios constiturem mtricas. Como exemplos de
elementos de dados podemos ter: Nmero de linhas de cdigo contendo
comentrios; Freqncia de distribuio de comprimentos de sentenas no manual
de usurio; Nmero de palavras em cada mensagem de ajuda; Nmero de falhas
observadas por hora de operao; Nmero de TOKENS de um tipo especificado
encontrados em cada mdulo por um analisador lxico especificado.
As mtricas e medidas descrevem como elas so calculadas a partir dos elementos
de dados. Caso elas sejam combinadas para se obter mtricas de mais alta ordem,
ento a dependncia deve ser explicitada. Tambm devem ser estabelecidas todas
as suposies e pr-condies a serem satisfeitas antes das medidas.
9.6 INTERPRETAO DE RESULTADOS
Na interpretao de resultados so descritos o mapeamento de medidas e feito o
relato da avaliao.
O mapeamento de medidas especifica o significado das medidas, isto , especifica
como interpretar os resultados das medies. Isto inclui a escala de avaliao sobre
a qual os valores obtidos pelas mtricas definidas so mapeados. Se o mapeamento
no-trivial ento os detalhes dos algoritmos (por exemplo, funes) necessrios
para a execuo do mapeamento devem ser definidos. Se necessrio o item deve
descrever como vrias medidas obtidas para uma nica (sub)caracterstica pode ser
combinada em uma valorao para a (sub)caracterstica. A acurcia da medida
tambm deve ser especificada.
No relato deve-se descrever o contedo do relatrio com o resultado da aplicao do
mdulo de avaliao e a visualizao dos valores obtidos.
Anexo de Procedimento de aplicao
Ele no inclui requisitos normativos para o mdulo de avaliao, porque a
informao fornecida neste item de carter especfico da organizao e portanto
imprprio para padronizao. Quando um mdulo de avaliao includo numa
biblioteca de mdulos de avaliao de uma organizao interessante que este
anexo seja includo na documentao do referido mdulo. Ele descreve novos
termos, os recursos necessrios e as instrues de avaliao.
Caso algum termo tcnico no tenha sido definido no item correspondente
definies, mas seja utilizado pelo MA, ele deveria ser definido ou ento ser feita
referncia a alguma fonte nas quais as definies possam ser encontradas.
Os recursos necessrios especificam as fontes necessrias para a aplicao do
mdulo de avaliao (ferramentas de software necessrias, HW/SW necessrio,
equipamentos de teste, habilidades e qualificaes (por exemplo, certificao)
requisitadas pelo avaliador, ou organizao avaliadora, esforo de mo-de-obra da
aplicao e outros recursos necessrios.
Nas instrues de avaliao so descritas, completamente, detalhes do
procedimento a ser seguido. Isto inclui a seleo de evidncias (por exemplo,
amostras do cdigo), a gerao e registro de dados puros, regras de contagem,
40
algoritmos para computao de mtricas a partir de dados puros, o registro de

resultados e requisitos para a reteno de trabalho e documentao final
Na documentao se esboa a descrio do uso do mdulo de avaliao.
41
10. TABELAS RESUMO DAS NORMAS ISO/IEC 14598 E 9126

Estas tabelas foram montadas com o objetivo de mostrar de forma resumida
toda a srie de Normas ISO/IEC relacionadas com avaliao de produto de
software.
As informaes so apresentadas no seguinte formato.
Identificao da Norma nome como registrado na ISO e ABNT
Objetivo a que se refere a norma
Pblico Alvo para quem essas normas podem ser teis
Contedo o que apresentado na norma
Uso quando ou onde o norma til
TABELA 1 - VISO GERAL DAS NORMAS 14598

IDENTIFICAO DA
NORMA
OBJETIVO
ISO/IEC 14598-1
Information
Techonology Software Product
Evaluation Part 1 - General
Overview
ISO/IEC 14598-2
Information
Evaluation Part 2 - Planning
and Management
ISO/IEC 14598-3
Information
Techonology -
viso geral das

outras partes da
14598, as relaes
entre si e com o
modelo de
qualidade na
9126
apresenta
requisitos,
recomendaes e
orientao para uma
funo suporte que
responsvel pelo
gerenciamento de
avaliao de
produto de
software e as
tecnologias
necessrias para tal.
define o
processo de
avaliao de produto
PBLICO ALVO
CONTEDO
definies
tcnicas
modelo geral
compradores
para processo
avaliadores
de avaliao de
responsveis por
produto de
avaliao de
software
produto de
requisitos para
software
mtodos de
medio e
avaliao de
produto de
software
requisitos e
pessoas responsveis
orientaes para o
por:
gerenciar o uso das
processo de
tecnologias de
avaliao
avaliao
relacionados a
dar suporte a
empresa como um
avaliao de produto todo ou ao
departamento de
de software
gerncia ou suporte
gerenciar o
de avaliao
desenvolvimento de
software
gerenciar
qualidade
requisitos e
gerente de projeto
projetista de software orientaes para
responsvel por
avaliao
desenvolvedores
USO
deve ser usada em

conjunto com a ISO/IEC
9126 ou outro modelo
de qualidade
pode ser usada por
todos aqueles que
necessitam verificar a
qualidade de um
produto de software
apoio ao processo
de avaliao
conforme o
PBLICO ALVO
definio,
acompanhamento e
controle da qualidade do
42
OBJETIVO
IDENTIFICAO DA
NORMA
Software Product
Evaluation Part 3 - Process
for Developers
de software para
ocorrer
concorrentemente
com o seu
desenvolvimento
ISO/IEC 14598-4
Information
EvaluationPart 4 - Process
for Acquirers
ISO/IEC 14598-5
Information
Evaluation Part 5 - Process
for Evaluators
ISO/IEC 14598-6
Information
EvaluationPart 6 - Evaluation
Module
descreve um
processo para
adquirir ou reutilizar
um produto de
software
PBLICO ALVO
CONTEDO
relacionados ao
projeto
o processo
define as atividades
adquirente
necessrias para
anlise dos
requisitos de
avaliao, para
especificar, projetar
e executar as aes
de avaliao e
conclu-la
requisitos e
gerente de projeto
engenheiros de
orientaes para
sistemas
avaliao
desenvolvedores relacionados ao
projeto
ou mantenedores de
define as
software
atividades para a
fornecedores,
aceitao ou seleo
adquirentes e
usurios de software de um produto de
software seja ele
de prateleira,
desenvolvido ou
modificado sob
encomenda ou
reutilizado.
qualidade
mantenedor de
software
requisitos e
orientaes para
avaliao
relacionados ao
projeto
define as
atividades para
analisar os requisitos
de avaliao, para
especificar, projetar,
executar as aes
de avaliao e
concluir a
avaliao
especialistas em
define a
requisitos e
estrutura e o
tecnologia de avaliao orientaes para
contedo da
avaliao
de produto de
documentao a ser software
relacionados ao
utilizada para
departamento de
descrever um
gerncia ou suporte
mdulo de
de avaliao
descreve um
processo para
avaliao de
produtos de
software
avaliadores de
laboratrios
fornecedores,
adquirentes e
usurios de software
entidades
certificadoras
USO
software durante o
desenvolvimento
deve ser usada na

aceitao ou seleo de
um produto de
software
deve ser usada

para a definio e
acompanhamento de
um processo de
avaliao
um mdulo de
avaliao especifica
os mtodos de
avaliao aplicveis a
avaliao de
caractersticas de
qualidade e as
43
OBJETIVO
IDENTIFICAO DA
NORMA
PBLICO ALVO
avaliao
ISO/IEC 12119
Software Packages
- Quality
requirements and
Testing
NBR ISO/IEC 12119
Pacotes de
Software- Teste e
requisitos de
qualidade(Vers
o Brasileira da
ISO/IEC 12119)
estabelece os
requisitos e
instrues a respeito
de como testar um
pacote de
software em
relao aos
requisitos
estabelecidos para o
pacote.
avaliadores de
laboratrios
fornecedores,
adquirentes e
usurios de software
entidades
certificadoras
CONTEDO
condies para uso do

mdulo. Define tambm
os procedimentos e os
formatos para relatar os
resultados da aplicao
do mdulo
trata de todos
especificar
os componentes do requisitos de pacotes de
produto disponveis software
aos usurios(
definir um modelo
para apresentao de
documentao,
manual de instruo produto
estabelecer
e guia para
instalao) na forma esquema de avaliao
como so oferecidos ou certificao
e liberados para uso
44
USO
TABELA 2 - VISO GERAL DAS NORMAS 9126

OBJETIVO
IDENTIFICAO
DA NORMA
ISO/IEC 9126-1
Software
Product Quality
Part 1 : Quality
Model (Verso1999)
descreve um
modelo de
qualidade
para produto de
software
PBLICO ALVO
desenvolvedores
adquirentes
equipe de
qualidade assegurada
avaliadores de
terceira-parte
NBR 13596 Tecnologia de

InformaoAvaliao de
Produto de
Software Caractersticas
de qualidade
e Diretrizes para
o seu uso
(Verso
Brasileira da
9126-1991)
CONTEDO
define 6
caractersticas de
softwarefuncionalidade,
confiabilidade,
usabilidade,
eficincia,
mantenabilidade,
portabilidade
que so subdivididas
em
subcaractersticas
define 4
caractersticas de
qualidade em
uso
USO
validar a completitude da
definio de requisitos
identificar requisitos de
software
identificar os objetivos do
projeto de software
identificar os objetivos do
teste de software
identificar os critrios de
garantia de qualidade
identificar os critrios de
aceitao do produto de
software
um modelo de
qualidade do produto no
processo de compradorfornecedor
apoio para reviso,
verificao e validao,
um modelo para avaliao
de qualidade no
processo de suporte
apoio para
estabelecimento de objetivos
de qualidade no
processo de gerenciamento
apoio ao uso da 9126-1
definio de
mtricas externas
adquirentes
quais
equipe de
caractersticas
qualidade assegurada mensurveis
contribuem para as
avaliadores de
caractersticas de
terceira-parte
qualidade de
software
identifica as
propriedades
desejveis para uma
mtrica
definio de
ITR ISO/IEC 9126- apresentar
desenvolvedores
3
Software mtricas
mtricas externas
Product Quality internas para
adquirentes
quais
-Part 3 : Internal medir os
equipe de
caractersticas
Metrics
atributos das 6 qualidade assegurada mensurveis
contribuem para as
caractersticas de avaliadores de
caractersticas de
qualidade da terceira-parte
qualidade de
9126-1
software
ITR ISO/IEC 91262

Software
Product Quality
-Part 2 :
External Metrics
apresentar
mtricas
externas para
medir os
atributos das 6
caractersticas de
qualidade da
9126-1
desenvolvedores
apoio ao uso da 9126-1
45
11. GLOSSRIO
Significado das colunas do glossrio:
Termo em Portugus: a traduo do termo em ingls.
Termo em Ingls: o termo como aparece nos documentos em ingls (originais).
Documentos referidos: os documentos em portugus ou ingls onde aparecem os termos.
Descries conforme o contexto: contm a definio do termo ou alguma outra informao relevante.
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
DOCUMENTOS REFERIDOS
DEFINIES CONFORME CONTEXTO
A
Acordo
Agreement
ISO/IEC 12207 e NBR 12207
A definio de termos e condies sob a qual o relacionamento de trabalho entre as partes dever ser
conduzido.
Acurcia
Accuracy
Atributos do software que evidenciam a gerao de resultados ou efeitos corretos ou conforme acordados.
Adaptabilidade
Adaptability
Atributos do software que evidenciam sua capacidade de ser adaptado a ambientes diferentes
especificados, sem a necessidade de aplicao de outras aes ou meios alm daqueles fornecidos para
esta finalidade pelo software considerado.
Adequao
Suitability
Atributos do software que evidenciam a presena de um conjunto de funes e sua apropriao para as
tarefas especificadas.
Aderncia
Compliance
ISO/IEC 14598-1
Adquirente
Acquirer
ISO/IEC 14598-1,
Uma organizao que adquire ou intermedia a compra (procures) de um sistema, produto de software ou
servio de software de um fornecedor.
Uma organizao que adquire ou obtm um sistema, produto de software ou servio de software de um
fornecedor.
Nota: O adquirente poderia ser: comprador, cliente, proprietrio ou usurio.
46
TERMO
PORTUGUS
EM
TERMO
INGLS
EM

Atributos do software que evidenciam o esforo necessrio para diagnosticar deficincias ou causas de
falhas, ou para identificar partes a serem modificadas.
Analisabilidade
Analysability
Apoio
Support
ISO/IEC 14598-5
Apreensibilidade
Learnability
Atributos do software que evidenciam o esforo do usurio para aprender sua aplicao (por exemplo:
controle de operao, entradas, sadas).
Aquisio
Acquisition
O processo de obteno de um sistema, produto de software ou servio de software.
Atribudo
Assigned
ISO/IEC 14598-1
Atributo
Attribute
ISO/IEC 14598-1
Uma propriedade mensurvel, fsica ou abstrata, de uma entidade.

Nota: Atributos podem ser internos ou externos.
Auditoria
Audit
Processo conduzido por uma pessoa autorizada com o objetivo de prover um julgamento independente de
produtos e processos de software, a fim de avaliar a conformidade com seus requisitos.
Avaliao
Evaluation
Uma determinao sistemtica do grau de atendimento de uma entidade em relao aos critrios para ela
estabelecidos.
Avaliao de produto
de software
Software product
evaluation
ISO/IEC 14598-5
Operao tcnica que consiste em elaborar um julgamento de uma ou mais caractersticas de um produto de
software de acordo com um procedimento definido.
Notas:
1 Esta definio muito similar definio de teste do ISO/IEC Guide 2. Para evitar confuso com o conceito
de teste, largamente aceito na rea de engenharia de software e que possui um significado mais restrito,
nesta norma foi adotado o termo avaliao.
2 Avaliao de produto de software no necessariamente teste de conformidade (como definido no ISO/IEC
Guide 2 13.3.2) no contexto de um esquema de certificao. Entretanto, teste de conformidade pode fazer
parte de uma avaliao.
Avaliao
qualidade
de
Evaluation
ISO/IEC 14598-1
Exame sistemtico do quanto uma entidade capaz de atender requisitos especificados. [ISO 8402:1994]
Nota: Os requisitos podem ser formalmente especificados, por exemplo quando:
Um produto desenvolvido para um usurio especfico sob um contrato;
Um produto desenvolvido para um usurio no especfico, ou seja especificado por uma organizao
de desenvolvimento.
Os requisitos tambm podem ser mais gerais, como quando um usurio avalia produtos com o objetivo de
comparao e seleo.
47
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
Avaliao de terceiraparte
Third-party
evaluation
ISO/IEC 14598-1
Avaliador
Evaluator
ISO/IEC 14598-5
Organizao que executa uma avaliao.

Nota: Um avaliador pode ser, por exemplo, um laboratrio de teste, o departamento de qualidade de uma
organizao de desenvolvimento de software, um rgo governamental ou um usurio.
B
C
software que
Capacidade para ser

instalado
Installability
Atributos do
especificado.
Capacidade
substituir
Replaceability
Atributos do software que evidenciam sua capacidade e esforo necessrio para substituir um outro
software, no ambiente estabelecido para esse outro software.
Caractersticas
de
qualidade de software
Software
quality
characteristics
Um conjunto de atributos de um produto de software, atravs do qual sua qualidade descrita e avaliada.
Uma caracterstica de qualidade de software pode ser detalhada em mltiplos nveis de subcaractersticas.
Categorias
abrangentes
Broad categories
ISO/IEC 14598-1
Cliente
Customer
ISO/IEC 14598-1
Cobertura de teste
Test coverage
Completitude
Completness
Time behaviour
Atributos do software que evidenciam seu tempo de resposta, tempo de processamento e velocidade na
execuo de suas funes.
Comportamento
em
relao aos recursos
Resource
behaviour
Atributos do software que evidenciam a quantidade de recursos usados e a durao de seu uso na execuo
de suas funes.
Comprador
Purchaser
ISO/IEC 14598-1
Path length
ISO/IEC 14598-1
Check
ISO/IEC 14598-5
Comportamento
relao ao tempo
Comprimento
caminho
Conferir
para
em
do
evidenciam o
esforo
necessrio para sua instalao num ambiente
A extenso em que os casos de teste dos requisitos de um sistema ou produto de software so testados.
Ver Intermedirio de compra.
48
TERMO
PORTUGUS
EM
Confiabilidade
TERMO
INGLS
EM
Reliability
ISO/IEC 9126,
NBR 13596 e 12119

Conjunto de atributos que evidenciam a capacidade do software de manter seu nvel de desempenho sob
condies estabelecidas durante um perodo de tempo estabelecido.
Configurao
Configuration
A maneira na qual o hardware e o software de um sistema de processamento de informao so organizados

e interconectados. (ISO 2382-1:1993)
Conformidade(1)
Compliance
Atributos do software que fazem com que o mesmo esteja de acordo com as normas,
regulamentaes previstas em leis e descries similares, relacionadas aplicao.
Conformidade(2)
Conformance
Atributos do software que o tornam consonante com padres ou convenes relacionados portabilidade.
Contexto de trabalho
Work system
Combinao de pessoa e equipamento, atuando juntos no processo produtivo, para executar uma tarefa, no
espao e no ambiente de trabalho, sob condies determinadas pela tarefa. (ISO 6385:1981).
Contrato
Contract
Um acordo realizado entre duas partes, respaldado pela lei, ou acordo interno similar restrito a uma
organizao, para o fornecimento de servios de software ou para o fornecimento, desenvolvimento,
produo, operao ou manuteno de um produto de software.
Convm que
Should
Correo
Correctness
Critrio de julgamento
de
qualidade
de
software
Software
quality
assessment
criteria
O conjunto de regras e condies definidas e documentadas que so usadas para decidir se a qualidade total
de um produto de software especfico aceitvel ou no. A qualidade representada pelo conjunto de nveis
de pontuao associados ao produto de software.
Dados
Data
Representao reinterpretvel da informao de maneira formalizada, adequada para comunicao,

interpretao ou processamento. (ISO 2382-1:1993)
Dados de teste
Test data
Dados utilizados em um problema de teste. (ISO 2382-8:1986)
Defeito
Fault
ISO/IEC 14598-1
Um passo, processo ou definio de dados incorretos em um programa de computador.
convenes ou
Conforme Diretivas 3 da ABNT
Nota: Esta definio mesma da norma IEEE 610.12-1990.

Descontinuao
Retirement
Cancelamento do suporte ativo pela organizao de operao e manuteno, substituio total ou parcial por
um novo sistema, ou instalao de um sistema atualizado.
49
TERMO
PORTUGUS
EM
Descrio de produto
TERMO
INGLS
EM
Product
description
Um documento expondo as propriedades de um pacote de software, com o principal objetivo de auxiliar os

potenciais compradores na avaliao da adequao do produto antes de sua aquisio.
Nota: Este termo mais especfico que o termo descrio de sistema (system description), na ISO/IEC
2382-20. O objetivo da descrio do produto abrange tambm a "informaes gerais (cover information) da
ISO 9127. A descrio de produto no uma especificao, ela atende a um objetivo diferente.
Descrio de tarefas
Statement of work
Um documento utilizado pelo adquirente como um meio para descrever e especificar as tarefas a serem
executadas conforme o contrato.
Desenvolvedor
Developer
ISO/IEC 14598-1,
Uma organizao que executa atividades de desenvolvimento (incluindo anlise de requisitos, projeto, testes
at a aceitao) durante o processo de ciclo de vida do software.

Desenvolvedor
de
produto de software
Software product
developer
ISO/IEC 14598-5
Destinatrios
Recipient
ISO/IEC 14598-1
Deve
Shall
Pessoa ou organizao que produz um produto de software.
Documentao
pacote
de
Package
documentation
A descrio de produto e a documentao de usurio.
Documentao
usurio
de
User
documentation
O conjunto completo de documentos, disponvel na forma impressa ou no, que fornecido para a utilizao
de um produto, sendo tambm uma parte integrante do produto.
Documento
requisitos
de
Requirements
document
Um documento contendo quaisquer combinaes de recomendaes, requisitos ou regulamentaes a serem

atendidas por um pacote de software.
Nota: Exemplos: normas ergonmicas ou tcnicas, lista de requisitos (ou modelo de especificao de
requisitos) de um grupo (ex.: setor de marketing, associao de usurio ou tcnica), uma lei ou um decreto.
E
Eficincia
Efficiency
ISO/IEC 9126 ,
NBR 13596 e NBR 12119
Encerramento
Completion
ISO/IEC 14598-1
Entrega
Delivery
ISO/IEC 14598-5
Conjunto de atributos que evidenciam o relacionamento entre o nvel de desempenho do software e a

quantidade de recursos usados, sob condies estabelecidas.
50
TERMO
PORTUGUS
EM
Escala
TERMO
INGLS
Scale
EM
ISO/IEC 14598-1

Um conjunto de valores com propriedades definidas.
Nota: Exemplos de escala so: uma escala nominal que corresponde a um conjunto de categorias; uma
escala ordinal que corresponde a um conjunto ordenado de pontos de escala; uma escala de intervalos que
corresponde a uma escala ordenada com pontos de escala eqidistantes; e uma escala de proporo (ratio
scale) que tem pontos de escala eqidistantes e tambm um zero absoluto. Mtricas usando escalas ordinais
ou nominais produzem dados qualitativos e mtricas usando escalas de intervalos ou de proporo (ratio
scales) produzem dados quantitativos.
Escala
Proporcional
(ratio scale)
Ratio Scale
ISO/IEC 14598-1
Estabelecimento
Establishment
ISO/IEC 14598-5
Estabilidade
Stability
Estrutura
Framework
ISO/IEC 14598-1
Etapa
Step
ISO/IEC 14598-1
Quando forem macro-atividades
Explicitada
Stated
ISO/IEC 14598-1
Substituindo estabelecida.
Extensibilidade
Extendability
ISO/IEC 14598-1
Falha
Failure
ISO/IEC 14598-1
Feedback
Feedback
ISO/IEC 14598-1
Evaluation tool
ISO/IEC 14598-5
Atributos do software que evidenciam o risco de efeitos inesperados ocasionados por modificaes
Ferramenta
avaliao
de
O trmino da capacidade de um item de executar uma funo requerida ou a sua incapacidade de execut-la
dentro de limites previamente especificados. (ISO CD 15026:19??)
Um instrumento que pode ser usado durante a avaliao para coletar dados, fazer interpretao de dados ou
automatizar parte da avaliao.
Nota: Analisadores de cdigo fonte para computar mtricas do cdigo, ferramentas CASE(Computer Aided
Software Enginneering) para produzir modelos formais, ambientes para testar programas executveis, listas
de verificao para coletar dados de inspeo ou planilhas para sintetizar medidas so exemplos de tais
ferramentas.
51
TERMO
PORTUGUS
Firmware
EM
TERMO
INGLS
Firmware
EM

Hardware que contm os dados e um programa de computador que no podem ser alterados no ambiente do
usurio.
Os dados e o programa de computador contidos no firmware so classificados como software; os circuitos que
contm os dados e o programa de computador so classificados como hardware.
A combinao de um dispositivo de hardware e instrues ou dados de computador que residem como um
software somente para leitura no dispositivo de hardware. Este software no pode ser diretamente modificado
por um programa.
Fog Index
Fog index
ISO/IEC 14598-1
um mtodo comprovado de anlise de material escrito para verificar

compreenso.
Fornece, Outorga
Gives
ISO/IEC 14598-1
Verificar o contexto utilizando alternativas para d.
Fornecedor
Supplier
ISO/IEC 14598-1,
Uma organizao que firma um contrato com o adquirente para fornecimento de um sistema, produto de
software ou servio de software conforme os termos do contrato.
a sua facilidade de leitura e
Notas:
1 O termo fornecedor sinnimo de contratado, produtor, vendedor ou distribuidor.
2 O adquirente pode designar uma parte de sua organizao como fornecedor.
Funo
Function
A implementao de um algoritmo em um programa com o qual o usurio ou o programa pode realizar toda
uma tarefa ou parte dela.
Notas:
1 Uma funo no precisa ser necessariamente acionvel pelo usurio (por exemplo, backup automtico ou
salvamento automtico de dados).
2 Esta definio de funo menos abrangente que a usada pela ISO 2382-14: 1978 (na definio de falha,
defeito/falta (fault), manuteno e confiabilidade) e mais ampla que as definidas pela ISO 2382-2 e ISO 238215.
Funcionalidade
Functionality
ISO/IEC 9126, NBR 13596,

Conjunto de atributos que evidenciam a existncia de um conjunto de funes e suas propriedades

especificadas. As funes so as que satisfazem as necessidades explcitas ou implcitas.
52
TERMO
PORTUGUS
EM
Garantia da qualidade
TERMO
INGLS
EM
Quality assurance
Conjunto de atividades planejadas e sistemticas, implementadas no sistema da qualidade e demonstradas

como necessrias, para prover confiana adequada de que uma entidade atender os requisitos para a
qualidade.
Notas:
1 A garantia da Qualidade visa, simultaneamente, aos objetivos internos e externos:
a) Garantia da qualidade interna: dentro de uma organizao, a garantia da qualidade prov confiana
Administrao;
b) Garantia da qualidade externa: em situaes contratuais ou outras, a garantia da qualidade prov
confiana aos clientes ou a outros.
2 Algumas aes do controle da qualidade e da garantia da qualidade so inter-relacionadas.
3 Se os requisitos para a qualidade no refletirem inteiramente as necessidades do usurio, a garantia da
qualidade pode no prover a confiana adequada.
[NBR ISO 8402/1994, 3.5]
Gesto
Guia de
case)
teste
(test
Management
ISO/IEC 14598-1
Conforme CB25
Test case
Uma instruo documentada para o responsvel pelo teste, que especifica como deve ou convm que seja
testada uma funo ou uma combinao de funes. Um guia de teste inclui informaes detalhadas sobre as
seguintes questes:
o objetivo do teste;
as funes a serem testadas;
o ambiente de testes e outras condies (detalhes de configurao e trabalho preparatrio);
os dados de testes;
o procedimento;
o comportamento esperado do sistema.
Nota de Traduo: O termo Guia de Teste foi escolhido porque o termo Caso de Teste est sendo usado
de acordo com autores como Pressman, Schach, Hetzel, Myers e entidades como o IEEE, significando
apenas o conjunto de entradas de teste e sadas esperadas.
H
I
53
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
Imparcialidade
Impartiality
ISO/IEC 14598-5
Indicador
Indicator
ISO/IEC 14598-1

Convm que a avaliao no seja tendenciosa com relao a algum resultado particular.
Uma medida que pode ser utilizada para estimar ou prever outra medida.
Notas:
1 A medida prevista pode, ou no, ser da mesma caracterstica de qualidade de software.
2 Indicadores podem ser utilizados tanto para estimar atributos de qualidade de software, quanto para
estimar atributos do processo de produo. Eles so medidas indiretas dos atributos.
Inteligibilidade
Understandability
Atributos do software que evidenciam o esforo do usurio para reconhecer o conceito lgico e sua
aplicabilidade.
Interface
Interface
Limite compartilhado entre duas unidades funcionais, definido por caractersticas funcionais, caractersticas de
interconexo fsica comuns, caractersticas de sinal, e outras caractersticas, quando apropriado. (ISO/IEC
2382-9:1984, sem a Nota)
Interface de usurio
User interface
Uma interface que permite que as informaes sejam passadas entre um usurio
hardware ou de software de um sistema computacional. (ANSI/IEEE Std 610.12-1990)
Procurer
ISO/IEC 14598-1
Interoperabilidade
Interoperability
Atributos do software que evidenciam sua capacidade de interagir com sistemas especificados.
Item de configurao
Configuration item
Uma entidade dentro de uma configurao que satisfaz uma funo de uso final, e que pode ser identificada
de forma nica em um determinado ponto de referncia.
Item que
entregue
Non-deliverable
item
Hardware ou produto de software cuja entrega no exigida em contrato, mas pode ser utilizado no
desenvolvimento do produto de software.
Elements
ISO/IEC 14598-5
Assessment
Ao de aplicar critrios de julgamento especficos e documentados a um produto, pacote ou mdulo de

software especfico, com o propsito de determinar sua aceitao ou liberao para uso.
Release
Uma verso particular de um item de configurao que colocada disposio para um propsito especfico
(por exemplo, liberao para teste).
Intermedario
compra (procurer)
no
de
ser
Itens
e componentes de
J
Julgamento
K
L
Liberao (release)
54
TERMO
PORTUGUS
Linha
(baseline)
EM
bsica
Lista de Verificao
TERMO
INGLS
EM
Baseline
Uma verso formalmente aprovada de um item de configurao, independente de mdia, formalmente

definida e fixada em um determinado momento durante o ciclo de vida do item de configurao.
Checklist
ISO/IEC 14598-1
Maintainer
ISO/IEC 14598-1,
M
Mantenedor
Uma organizao que executa atividades de manuteno.

Manual
manuteno
programa
de
de
Program
maintenance
manual
Documento que fornece toda a informao necessria para a manuteno de um programa. (ISO/IEC 238220:1990)
Maintenance
Parte da manuteno de sistemas que est relacionada modificao do pacote de software.
System
maintenance
Alterao de um sistema para corrigir defeitos, para melhorar o desempenho, ou para adaptar o sistema s
mudanas de ambiente ou de requisitos. (ISO/IEC 2382-20:1990)
Manutenibilidade
Maintainability
ISO/IEC 9126, NBR 13596,

Conjunto de atributos que evidenciam o esforo necessrio para fazer modificaes especificadas no
software.
Maturidade
Maturity
Atributos do software que evidenciam a frequncia de falhas por defeitos no software.
Medio
Measurement
Ao de aplicar uma mtrica de qualidade de software a um produto de software especfico.
ISO/IEC 14598-1
O uso de uma mtrica para atribuir um valor a partir de uma escala (o qual pode ser um nmero ou
categoria) a um atributo de uma entidade.
Manuteno
Manuteno
sistema
de
Nota: Medio pode ser qualitativa quando utilizar-se de categorias. Por exemplo, alguns atributos
importantes de produtos de software, como a linguagem de um programa fonte (ADA, C, COBOL etc.) so
categorias qualitativas.
Medida (substantivo)
Measure (noum)
ISO/IEC 14598-1
Nmero ou categoria atribudo a um atributo de uma entidade atravs de uma medio.
Medida direta
Direct measure
ISO/IEC 14598-1
Uma medida de um atributo que no depende da medida de qualquer outro atributo.
55
TERMO
PORTUGUS
EM
Medida externa
TERMO
INGLS
EM
External measure
ISO/IEC 14598-1

Uma medida indireta de um produto derivada de medidas do comportamento do sistema do qual ele faz parte.
Notas:
1 O sistema inclui qualquer
usurios.
associao de hardware, software (seja personalizado ou de prateleira) e
2 O nmero de falhas encontrados durante o teste uma medida externa do nmero de defeitos no
programa, porque o nmero de falhas contado durante a operao de um sistema computacional
executando o programa.
3 Medidas externas podem ser utilizadas para avaliar atributos de qualidade de maneira mais prxima aos
objetivos do projeto.
Medida indireta
Indirect measure
ISO/IEC 14598-1
Uma medida de um atributo a qual derivada de medidas de um outro ou de vrios outros atributos.
Nota: Uma medida externa de um atributo de um sistema de computao (como o tempo de resposta a uma
entrada de usurio) uma medida indireta de atributos do software, uma vez que a medida ser influenciada
por atributos do ambiente de computao, bem como por atributos do software.
Medida interna
Internal measure
ISO/IEC 14598-1
Uma medida do prprio produto, seja direta ou indireta.

Nota: O nmero de linhas de cdigo, medidas de complexidade, o nmero de defeitos encontrados em um
walkthrough e o Fog Index so todas medidas internas feitas no prprio produto.
Medir
Measure (verb)
ISO/IEC 14598-1
Fazer uma medio.
Meio de dados
Data Medium
ISO/IEC 12119e NBR 12119
Material no qual os dados podem ser armazenados e do qual podem ser recuperados. (ISO 2382-1:1993)
Melhoria
Enhancement
ISO/IEC 14598-1
Mtodo de avaliao
Evaluation method
ISO/IEC 14598-5
Um procedimento descrevendo as aes a serem realizadas pelo avaliador para obter o resultado da medio
ou verificao especificadas, quando aplicadas num produto ou em componentes especificados de um
produto.
Mtodo de teste
Test method
Procedimento tcnico especificado para executar um teste. (ISO/IEC Guide 2:1991)
Mtrica
Metric
ISO/IEC 14598-1
O mtodo e a escala de medio definidos.

Notas:
1 Mtricas podem ser internas ou externas, e diretas ou indiretas.
2 Mtricas incluem mtodos para categorizao de dados qualitativos.
56
TERMO
PORTUGUS
EM
TERMO
INGLS
Mtrica de qualidade
de software
Software
metric
Modelo de ciclo de
vida
EM
quality
Um mtodo e uma escala quantitativa que podem ser usados para determinar o valor que uma particularidade
(feature) recebe em um produto de software especfico.
Life cycle model
Uma estrutura contendo processos, atividades e tarefas envolvidas no desenvolvimento, operao e

manuteno de um produto de software, abrangendo a vida do sistema desde a definio de seus requisitos
at o trmino de seu uso.
Modelo de propsito
geral
General-purpose
model
ISO/IEC 14598-1
Modelo de qualidade
Quality model
ISO/IEC 14598-1
O conjunto de caractersticas e os relacionamentos entre elas, que fornecem a base para a especificao dos
requisitos de qualidade e para a avaliao de qualidade.
Modificabilidade
Changeability
Atributos do software que evidenciam o esforo necessrio para modific-lo,

adapt-lo a mudanas ambientais.
Mdulo de avaliao
Evaluation module
ISO/IEC 14598-1
Um pacote de tecnologia de avaliao para uma caracterstica ou subcaracterstica de qualidade de software

especfica.
Monitorao
Monitoring
Um exame da situao das atividades de um fornecedor e dos seus resultados, efetuado pelo adquirente ou
uma terceira parte.
No determinstica
Non-deterministic
ISO/IEC 14598-5
No deve
May not
Necessidades
implcitas
Implied needs
remover seus defeitos ou

ISO/IEC 14598-1
Necessidades que podem no terem sido explicitadas, mas esto presentes quando a entidade utilizada em
condies particulares.
Nota: Necessidades implcitas so necessidades reais que podem no ter sido documentadas.
Nveis de Pontuao
Rating Level
Nvel de desempenho
Level
performance
ISO/IEC 14598-1
of
O grau em que as necessidades so satisfeitas, representado por um conjunto especfico de valores para as
caractersticas de qualidade.
57
TERMO
PORTUGUS
Nvel de pontuao
EM
TERMO
INGLS
EM
Rating level
Uma faixa de valores numa escala para permitir que o software seja classificado (pontuado) de acordo com as
necessidades explcitas ou implcitas. Nveis de pontuao adequados podem ser atribudos s diferentes
vises de qualidade de usurios, gerentes e equipe de desenvolvimento. Estes nveis so chamados de nveis
de pontuao.
ISO/IEC 14598-1
Um ponto de escala em uma escala ordinal o qual usado para categorizar uma escala de medio.
Notas:
1 O nvel de pontuao permite que o software seja classificado(pontuado) de acordo com as necessidades
explcitas ou implcitas.
2 Nveis de pontuao apropriados podem ser associados a diferentes vises de qualidade, por exemplo:
viso dos usurios, dos gerentes ou dos desenvolvedores.
Normatizar
Standardisation
ISO/IEC 14598-1
O quanto
Extent
ISO/IEC 14598-1
Objetividade
Objectivity
ISO/IEC 14598-5
Convm que os resultados das avaliaes sejam baseados em fatos, isto , desprovidos de sentimentos ou
opinies do avaliador.
Objetivo
Scope
ISO/IEC 14598-5
Conforme o texto pode ser abrangncia
Operacionalidade
Operability
Atributos do software que evidenciam o esforo do usurio para sua operao e controle da sua operao.
Operador
Operator
Uma organizao que opera o sistema.
Orientao
Guidance
ISO/IEC 14598-1
Pacote de software
Software package
Conjunto completo e documentado de programas fornecido a diversos usurios para uma aplicao ou funo
genrica. (ISO/IEC 2382-20:1990, sem a Nota)
Particularidades
Features
So propriedades identificadas de um produto de software que podem ser relacionadas s caractersticas de

qualidade.
Passo
Step
ISO/IEC 14598-1
Quando forem atividades elementares
Pedido de proposta
Request
for
proposal (tender)
Um documento utilizado pelo adquirente como meio para divulgar aos potenciais fornecedores sua inteno
de adquirir um sistema, produto de software ou servio de software especificado.
(features)
58
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
Perspectiva
usurio
do
Users perspective
ISO/IEC 14598-1
Plano de teste ou
plano de avaliao e
teste de sistema
Test plan, system

test and evaluation
Pode
May
Pontuao
Rating
Plano que estabelece requisitos detalhados, critrios, metodologia geral, responsabilidades e planejamento
geral para testes e avaliao de um sistema. (ISO 2382-20:1990)
Conforme Diretivas 3 ABNT
Ao de mapear o valor medido ao nvel de pontuao apropriado. Usado para determinar o nvel de
pontuao obtido pelo software em uma caracterstica de qualidade especfica.
ISO/IEC 14598-1
A ao de mapear o valor medido em comparao ao nvel de pontuao apropriado. Utiliza-se para

determinar o nvel de pontuao do software para uma caracterstica de qualidade especfica.
Conjunto de atributos que evidenciam a capacidade do software de ser transferido de um ambiente para
outro.
Portabilidade
Portability
ISO/IEC 9126, NBR 13596,

Prever
Predict
ISO/IEC 14598-1
Problema de teste
Check program
Problema com uma soluo conhecida usada para determinar se uma unidade funcional est operando
corretamente. (ISO 2382-8:1983)
Processo
Process
Um conjunto de atividades inter-relacionadas, que transforma entradas em sadas.

Nota: O termo atividades engloba a utilizao de recursos. [Veja NBR ISO 8402/1994, 1.2]
Produto de prateleira
Off-the-shelf
product
Produto j desenvolvido e disponvel para utilizao na forma em que se encontra ou com modificao.
Produto de software
Software product
Uma entidade de software disponvel para liberao a um usurio.
ISO/IEC 14598-1,
O conjunto de programas de
associados.(ISO/IEC 12207:1995)
computador,
procedimentos
possvel
documentao
dados
Nota: Produtos incluem produtos intermedirios, e produtos destinados a usurios como desenvolvedores ou
mantenedores.
Produto de software
intermedirio
Intermediate
software product
ISO/IEC 14598-1
Um produto do processo de desenvolvimento de software que utilizado como entrada para um outro
estgio do processo de desenvolvimento de software.
Nota: Em alguns casos um produto intermedirio tambm pode ser um produto final.
59
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
Produto de software
sob encomenda
Custom
made
software product
ISO/IEC 14598-1
Programa
computador)
Program
(computer
program)
Design
ISO/IEC 14598-1
Quality
(de
Projeto
Unidade sinttica que est em conformidade com as regras de uma linguagem de programao particular,
composta de declaraes, comandos ou instrues necessrias para executar uma certa funo ou tarefa, ou
ainda solucionar um problema. (ISO/IEC 2382-1:1993)
Q
Qualidade
ISO/IEC 14598-1
A totalidade das caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades
explcitas e implcitas (NBR ISO 8402/1993)
Totalidade de caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades
explcitas e implcitas (ISO 8402 : 1994).
Notas:
1 Numa situao contratual, ou numa rea regulamentada, tal como na rea de segurana nuclear, as
necessidades so especificadas, enquanto que em outras reas, convm que necessidades implcitas sejam
identificadas e definidas (ISO 8402 : 1994, note 1).
2 Na srie ISO/IEC 14598 a entidade relevante um produto de software.
Qualidade de software
Software quality
A totalidade das caractersticas de um produto de software que lhe confere a capacidade de satisfazer
necessidades explcitas e implcitas.
Qualidade em uso
Quality in use
ISO/IEC 14598-1
O quanto um produto, utilizado por usurios especficos, atende as necessidades desses usurios para que
eles atinjam as metas especificadas com eficcia, produtividade e satisfao, num contexto de uso definido.
Qualidade externa
External quality
ISO/IEC 14598-1
O quanto um produto satisfaz

especificadas.
Qualidade interna
Internal quality
ISO/IEC 14598-1
A totalidade dos atributos de um produto que determinam sua capacidade para satisfazer necessidades
explcitas e implcitas quando utilizado em condies especificadas.
necessidades explcitas e implcitas quando utilizado em condies
Notas:
1 O termo qualidade interna, utilizado na ISO/IEC 14598 em contraste ao termo qualidade externa, possui
essencialmente o mesmo significado de qualidade na NBR/ISO 8402.
2 O termo atributo utilizado com o mesmo significado que o termo caracterstica no item 4.21, sendo
que na NBR 13596 (ISO/IEC 9126) o termo caracterstica utilizado num sentido mais especfico.
60
TERMO
PORTUGUS
EM
Qualificao
TERMO
INGLS
EM
Qualification
O processo de demonstrar se uma entidade capaz de atender os requisitos especificados. [Veja NBR ISO
8402/1994, 2.13]
R
Rastreabilidade
Traceability
ISO/IEC 14598-1
Recuperabilidade
Recoverability
Atributos do software que evidenciam sua capacidade de restabelecer seu nvel de desempenho e
recuperar os dados diretamente afetados, em caso de falha, e o tempo e esforo necessrios para tal.
Registros de avaliao
Evaluation records
ISO/IEC 14598-5
Evidncias objetivas documentadas de todas atividades realizadas e resultados alcanados no processo de

avaliao
Relatrio de avaliao
Evaluation report
ISO/IEC 14598-5
Documento que apresenta os resultados da avaliao e outras informaes relevantes a uma avaliao.
Relatrio de testes
Test report
Documento que apresenta resultados de testes e outras informaes relevantes para um teste. (ISO/ IEC
Guide 2:1991)
Relatrio preliminar de
avaliao
Draft
report
ISO/IEC 14598-5
Repetibilidade
Repeatability
ISO/IEC 14598-5
Repetibilidade
Repeatability
ISO/IEC 14598-5
Reprodutibilidade
Reproducibility
ISO/IEC 14598-5
Reprodutibilidade
Reproducibility
ISO/IEC 14598-5
evaluation
Convm que avaliaes repetidas do mesmo produto, com a mesma especificao de avaliao, pelo mesmo
avaliador, produzam resultados que possam ser aceitos como sendo idnticos
Convm que avaliaes do mesmo produto, com a mesma especificao de avaliao, por avaliadores
diferentes, produzam resultados que possam ser aceitos como sendo idnticos.
Requisitante
avaliao
da
Evaluation request
ISO/IEC 14598-5
Pessoa ou organizao que requisita uma avaliao.
Requisito
qualificao
de
Qualification
requirement
Um conjunto de critrios ou de condies que, quando atendido, qualifica um produto de software quanto
conformidade s suas especificaes e quanto sua utilizao no seu ambiente alvo.
Reutilizar
Reuse
ISO/IEC 14598-1
Revisar
Review
ISO/IEC 14598-5
Rotina
utilitria,
programa utilitrio
Utility
routine,
utility program
Rotina (um programa computacional) que fornece servios gerais, freqentemente necessrios.
Exemplos: uma rotina de entrada, um programa de diagnstico, um programa trace, um programa sort.
(ISO/IEC 2382-7:1989)
61
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
S
Seo
Clause
ISO/IEC 14598-1
Segurana
Security(1)
A proteo de informaes e dados de modo que pessoas ou sistemas no autorizados no possam l-los ou
modific-los e que pessoas ou sistemas autorizados no tenham acesso negado a eles.
Segurana de acesso
Security(2)
Atributos do software que evidenciam sua capacidade de evitar o acesso no autorizado, acidental ou
deliberado a programas e dados.
Srie ISO/IEC 14598
ISO/IEC 14598
ISO/IEC 14598-1
Servio de software
Software service
Execuo de atividades, trabalho ou obrigaes relacionados ao produto de software tais como seu
desenvolvimento, manuteno e operao.
Sintetizados
Summarised
ISO/IEC 14598-1
Substitui resumidos
Sistema
System
ISO/IEC 12207, NBR 12207 e
Um conjunto integrado que consiste de um ou mais processos, hardware, software, recursos e pessoas,
capaz de satisfazer uma necessidade ou objetivo definido.
ISO/IEC 14598-1
Sistema
computacional
Computer system
ISO/IEC 14598-1
Sistema em operao
Working system
ISO/IEC 14598-1
Software
Software
ISO/IEC 9126, NBR 13596,

Programas, procedimentos, regras e qualquer documentao associada, pertinente operao de um

sistema computacional.
ISO/IEC 14598-1
O conjunto completo ou apenas uma parte, dos programas, procedimentos, regras e documentao
associada de um sistema de processamento de informao. (ISO/IEC 2382-1: 1993)
Nota:
1 Software uma criao intelectual que independe do meio no qual armazenado.
Software de sistema
System software
Software de prateleira
Off-the-shelf
software
ISO/IEC 14598-1
Software
para
consumidor final
Consumer
Software
ISO/IEC 14598-1
Subseo
Clause
ISO/IEC 14598-1
Software independente da aplicao que suporta a execuo de um software aplicativo. (ISO/IEC 238220:1990)
62
TERMO
PORTUGUS
EM
TERMO
INGLS
EM
T
Tarefa
Work task
Resultado esperado num contexto de trabalho. (ISO 6385:1981)
Testabilidade
Testability
Atributos do software que evidenciam o esforo necessrio para validar o software modificado.
A extenso em que um teste objetivo e factvel pode ser projetado para determinar se um requisito
atendido
Teste
Test
Operao tcnica que consiste na constatao de uma ou mais caractersticas de um dado produto, processo
ou servio, de acordo com um procedimento especificado. (ISO/IEC Guide 2:1991)
Teste de qualificao
Qualification
testing
Teste, conduzido pelo desenvolvedor e testemunhado pelo adquirente (quando apropriado), para demonstrar
que o produto de software atende as suas especificaes e est pronto para utilizao no seu ambiente alvo.
Tolerncia a falhas
Fault tolerance
Atributos do software que evidenciam sua capacidade em manter um nvel de desempenho especificado nos
casos de falhas no software ou de violao nas interfaces especificadas.
Trs nveis superiores
Top Three levels
ISO/IEC 14598-1
Unidade de software
Software unit
Uma parte de cdigo compilvel separadamente.
Unidade funcional
Functional unit
Entidade de hardware, ou de software ou de ambos, capaz de executar um propsito especifico. (ISO 23821:1993)
Usabilidade
Usability
ISO/IEC 9126,NBR 13596,

Conjunto de atributos que evidenciam o esforo necessrio para se poder utilizar o software, bem como o
julgamento individual desse uso, por um conjunto explcito ou implcito de usurios.
Usurio
User
ISO/IEC 14598-1
Um indivduo que usa o produto de software para executar uma funo especfica.
Nota:Usurios podem ser operadores, pessoas que recebem o resultado do software, ou desenvolvedores e
mantenedores de software.
Um indivduo ou organizao que utiliza um sistema em operao para executar uma funo especfica.
Nota: O usurio pode executar outros papis, tais como adquirente, desenvolvedor ou mantenedor.
Utilizando
Using
ISO/IEC 14598-1
63
TERMO
PORTUGUS
Validao
EM
TERMO
INGLS
Validation
EM
ISO/IEC 14598-1,

Confirmao, por exame e fornecimento de evidncia objetiva, de que os requisitos especficos, para um
determinado uso pretendido, so atendidos.
Notas:
1 Nas atividades de projeto e desenvolvimento, a validao se refere ao processo de examinar um produto
para determinar sua conformidade com as necessidades do usurio.
2 A validao feita normalmente no produto final, sob condies de operao definidas, podendo contudo
tornar-se necessria em fases anteriores.
3 O termo validado usado para designar o estado aps a validao.
4 Validaes mltiplas podem ser realizadas se existirem diferentes usos pretendidos.
[ISO 8402: 1994]
Verificao
Verification
ISO/IEC 14598-1,
Confirmao, por exame e fornecimento de evidncia objetiva, do atendimento aos requisitos especificados.
Notas:
1 Nas atividades de projeto e desenvolvimento, a verificao refere-se ao processo de examinar o resultado
de dada atividade para determinar a sua conformidade com os requisitos estabelecidos para a mesma
atividade.
2 O termo verificado utilizado para designar o estado aps a verificao.
[NBR ISO 8402: 1993]
Verso
Version
Uma instncia identificada de um item.

Nota: Modificaes em uma verso de produto de software, resultando em uma nova verso, requerem uma
ao de gerncia de configurao.
W
X
Y
Z
64
12. REFERNCIAS BIBLIOGRFICAS

[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
NBR 13596, Tecnologia de Informao Avaliao de Produto de Software

Caractersticas de Qualidade e Diretrizes para o seu Uso; ABNT Abril 1996 (verso
brasileira da Norma ISO/IEC 9126, 1991).
ISO/IEC 12119, International Standard. Information Technology Software Packages Quality requirements and testing; 1994 (IS).
ISO/IEC 14598-1, International Standard. Information Technology Software product
evaluation Part 1: General Overview; 1998 (IS).
evaluation Part 2: Planning and Management; May/ 1998 (CD).
evaluation Part 3: Process for developers; Jun / 1996 (CD).
evaluation Part 4: Process for acquirers; Sep / 1997 (FDIS).
ISO/IEC 14598-5, International Standard Information Technology Software product
evaluation Part 5: Process for Evaluators; 1998 (IS).
ISO/IEC 14598-6, International Standard Information Technology Software product
evaluation Part 6: Evaluation Modules; Mar/1998
quality - Part 1: Quality model; Jun / 1998 (CD).
quality - Part 2: External metrics; May / 1998
quality - Part 3: Internal metrics; May / 1998.
NBR 12207, Tecnologia de informao Processos do ciclo de vida do software; ABNT
1998 (verso Brasileira da Norma ISO/IEC 12207,1995 )
65

Aplicação Da Iso 9126 e 14598

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aplicação Da Iso 9126 e 14598

Enviado por

Direitos autorais:

Formatos disponíveis

*8,$3$5$87,/,=$d2'$61250$662%5(

1 Os autores esto vinculados s seguintes instituies: 1 CEFET-PR, 2 FUNDAO CPqD, 3 CTI, 4

Comisso de Estudos de Qualidade de Software (CE21:101.01)

VISO GERAL SOBRE A ELABORAO DE NORMAS........................................7

PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE ..............................9

MODELO DE QUALIDADE DA 9126-1......................................................................24

ESCOLHENDO MTRICAS ........................................................................................28

PROCESSO PARA ADQUIRENTES...........................................................................30

PROCESSO PARA O AVALIADOR ...........................................................................32

PLANEJAMENTO E GESTO ....................................................................................36

A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO ........................36

DOCUMENTAO DE MDULOS DE AVALIAO ...........................................38

PREFCIO E INTRODUO ..........................................................................................38

REFERNCIAS BIBLIOGRFICAS ......................................................................65

Comisso de Estudos de Qualidade de Software (CE21:101.01)

FIGURA G1.1 - PROCESSO DE AVALIAO ..................................................................5

Comisso de Estudos de Qualidade de Software (CE21:101.01)

GUIA PARA UTILIZAO DAS NORMAS SOBRE QUALIDADE

Organizaes que executem avaliao independente de produto de software e

Professores e estudantes universitrios com interesse em qualidade de software

Comisso de Estudos de Qualidade de Software (CE21:101.01)

1.1 ORGANIZAO DO GUIA

Estabelecer o propsito da avaliao (7.1)

Identificar tipos de produto(s) a serem avaliados (7.2)

Selecionar mtricas (8.1)

Estabelecer nveis de pontuao para as mtricas (8.2)

Estabelecer critrios para julgamento (8.3)

Produzir o plano de avaliao (9.1)

Obter as medidas (10.1)

Comparar com critrios (10.2)

Figura G1.11 - Processo de Avaliao

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Como as normas utilizadas neste trabalho sero

Caso haja verso brasileira de alguma norma, ser

Quando o texto do guia for obtido do original de

Texto extrado de norma

Este smbolo indica que o texto a seguir

complementar ao texto principal e destina-se a

Este smbolo indica que o texto a seguir

Este smbolo indica que o texto a seguir

Este smbolo indica que o texto a seguir

de Nmero da figura em relao ao guia (G1) e nmero

importante lembrar que estamos utilizando o nome NORMA para todos os

Comisso de Estudos de Qualidade de Software (CE21:101.01)

2. VISO GERAL SOBRE A ELABORAO DE NORMAS

A International Electrotechnical Commission - IEC, fundada em 1906 a

Comisso de Estudos de Qualidade de Software (CE21:101.01)

A Tabela 1 mostra a seqncia de etapas de projetos atravs dos quais o trabalho

Preliminary work item

New work item proposal

Draft International Standard

Na ABNT as normas relacionados com software esto subordinadas ao Comit CB

Comisso de Estudos de Qualidade de Software (CE21:101.01)

3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE

Estabelecer o propsito da avaliao (7.1)

Identificar tipos de produto(s) a serem avaliados (7.2)

7. Estabelecer requisitos de avaliao

Informaes adicionais sobre aquisio de produtos de software podem ser

Comisso de Estudos de Qualidade de Software (CE21:101.01)

qualidade externa do produto completo para o uso pretendido pode

O texto abaixo, obtido da 14598-1 distingue propsitos de avaliao para

O estabelecimento do propsito da avaliao, em qualquer das situaes

Comisso de Estudos de Qualidade de Software (CE21:101.01)