Abnt - NBR Iso Iec 14598 - Tecnologia de Informacao - Avaliacao de Produto de Software - Parte 5 Processo para Avaliadores

Cópia não autorizada
AGO 2001 NBR ISO/IEC 14598-5

Tecnologia de informação - Avaliação
de produto de software
ABNT – Associação
Brasileira de Parte 5: Processo para avaliadores
Normas Técnicas
Sede:
Rio de Janeiro
Av. Treze de Maio, 13 28º andar
CEP 20003-900 – Caixa Postal 1680
Rio de Janeiro – RJ
Tel.: PABX (021) 210-3122
Fax: (021) 220-1762/220-6436
Endereço eletrônico: Origem: Projeto 21:101.01-007:2000
www.abnt.org.br
ABNT/CB-21 - Comitê Brasileiro de Computadores e Processamento de Dados
CE-21:101.01 - Comissão de Estudo de Qualidade de Software
NBR ISO/IEC 14598-5 - Information technology - Software product evaluation
Part 5: Process for evaluators
Descriptors: Software. Quality. Information technology
Copyright © 2001, Esta Norma é equivalente à ISO/IEC 14598-5:1998
ABNT–Associação Brasileira
de Normas Técnicas
Válida a partir de 30.09.2001
Printed in Brazil/
Impresso no Brasil Palavras-chave: Qualidade. Tecnologia da informação. 27 páginas
Todos os direitos reservados Software
Sumário
Prefácio
0 Introdução
1 Objetivo
2 Conformidade
3 Referências normativas
4 Definições
5 Conceitos de avaliação
6 Requisitos de processo de avaliação
ANEXOS
A Modelo de relatório de avaliação
B Níveis de avaliação
C Componentes de produto de software
D Interações entre requisitante e avaliador
E Contrato de avaliação
F Bibliografia
Prefácio
A ABNT - Associação Brasileira de Normas Técnicas - é o Fórum Nacional de Normalização. As Normas Brasileiras, cujo
conteúdo é de responsabilidade dos Comitês Brasileiros (ABNT/CB) e dos Organismos de Normalização Setorial
(ABNT/ONS), são elaboradas por Comissões de Estudo (CE), formadas por representantes dos setores envolvidos, delas
fazendo parte: produtores, consumidores e neutros (universidades, laboratórios e outros).
Os Projetos de Norma Brasileira, elaborados no âmbito dos ABNT/CB e ABNT/ONS, circulam para Consulta Pública entre
os associados da ABNT e demais interessados.
A NBR ISO/IEC 14598 consiste nas seguintes partes, sob o título geral “Tecnologia de informação - Avaliação de produto
1)
de software” :
Parte 1 - Visão geral;
Parte 2 - Planejamento e gestão;
Parte 3 - Processo para desenvolvedores;
Parte 4 - Processo para adquirentes;

________________
1)
As partes 2, 3, 4 e 6 da NBR ISO/IEC 14598 encontram-se em elaboração.
2 NBR ISO/IEC 14598-5:2001
Parte 5 - Processo para avaliadores;
Parte 6 - Documentação de módulos de avaliação.
Esta Norma contém o anexo A, de caráter normativo, e os anexos B, C, D, E e F, de caráter informativo.
0 Introdução
Os produtos de software têm se tornado cada vez mais importantes em todas as áreas da indústria e de serviços.
Portanto, é necessário que se possa avaliar a qualidade desses produtos de software.
Os produtos de software são extremamente variados. Eles são produzidos para atender requisitos muito diversificados.
Como exemplo, pode-se citar a diversidade de requisitos de funcionalidade. O contexto para seu uso também pode variar
muito, como, por exemplo, no caso de software aplicativo em um sistema de informações gerenciais, de software
embutido em outros produtos, ou de software de jogos.
Os potenciais benefícios de avaliação são:
- o desenvolvedor pode usar os resultados da avaliação de seu produto para identificar ações corretivas, com o objetivo
de melhorá-lo ou de tomar decisões sobre a estratégia de evolução do produto;
- para os fornecedores de um produto, o benefício de uma avaliação pode ser obter confiança no valor do produto; além
disso o relatório de avaliação pode ser usado com finalidades comerciais;
- para adquirentes de produtos de software, resultados de avaliação podem ser usados como dados objetivos para
decisões de aquisição;
- para negócios em geral, a disseminação da avaliação de produto de software pode ajudar no uso da qualidade como
argumento de marketing.
O objetivo principal de avaliação de produto de software é fornecer resultados quantitativos sobre a qualidade de produto
de software que sejam compreensíveis, aceitáveis e confiáveis por quaisquer das partes interessadas.
O processo de avaliação é descrito como um procedimento passo-a-passo, de tal forma que os requisitos de avaliação
possam ser expressos em termos de características de qualidade, como definido na NBR ISO/IEC 9126. A avaliação leva
em consideração vários documentos que podem ser considerados como parte do produto de software, por exemplo,
documentos de projeto, relatórios de teste e validação, código fonte e documentação de usuário. É aconselhável que o
avaliador utilize uma biblioteca de módulos de avaliação que definam métodos de avaliação. Esses módulos de avaliação
poderiam ser padronizados, entretanto esta Norma não se propõe a tratar deste assunto. A avaliação leva à elaboração
de um relatório de avaliação pelo avaliador.
Este processo de avaliação é um processo abstrato e genérico que segue o modelo definido na ISO/IEC 9126. Portanto,
este processo é aplicável a todos os processos fundamentais do ciclo de vida definidos na NBR ISO/IEC 12207. Alguns
processos de apoio de ciclo de vida definidos na NBR ISO/IEC 12207 estão relacionados diretamente ao processo de
avaliação. São eles: garantia da qualidade, verificação, validação, revisão conjunta e auditoria.
O processo de adaptação definido na NBR ISO/IEC 12207 está embutido no processo de avaliação definido nesta Norma,
permitindo ao usuário especificar e projetar as atividades de avaliação.
O processo de avaliação descrito aqui pode ser utilizado para verificar conformidade a normas como a
NBR ISO/IEC 12119.
1 Objetivo
Esta parte da NBR ISO/IEC 14598 fornece requisitos e recomendações para a implementação prática de avaliação de um
produto de software, quando várias partes envolvidas necessitam entender, aceitar e confiar nos resultados da avaliação.
Em especial, ela pode ser usada na aplicação dos conceitos descritos na ISO/IEC 9126.
O processo descrito nesta parte da NBR ISO/IEC 14598 define as atividades necessárias para analisar os requisitos de
avaliação, para especificar, projetar e executar as ações de avaliação, e concluir a avaliação de qualquer tipo de produto
de software.
O processo de avaliação pode ser usado para avaliar produtos já existentes, caso os componentes do produto
necessários estejam disponíveis, ou para avaliar produtos em desenvolvimento.
NOTA - Para avaliação de um produto em desenvolvimento, o processo de avaliação necessita estar sincronizado com o processo de
desenvolvimento de software e os produtos componentes são avaliados à medida que sejam liberados.
NBR ISO/IEC 14598-5:2001 3
Esta parte da NBR ISO/IEC 14598 pode ser utilizada por:
- avaliadores de laboratórios de teste, quando estiverem fornecendo serviços de avaliação de produtos de software,
- fornecedores de software, quando estiverem planejando avaliação de seus produtos de software, incluindo execução
de avaliação por prestadores independentes de serviços de teste,
- adquirentes de software, quando requisitarem informações de avaliações do fornecedor ou de prestadores de

serviços de teste,
- usuários de software, quando estiverem avaliando produtos, ou quando estiverem usando relatórios de avaliação
fornecidos por laboratórios de teste,
- entidades de certificação na definição de novos procedimentos de certificação para produtos de software.
2 Conformidade
Devido à liberdade de escolha permitida ao usuário, pela natureza geral destas recomendações, uma simples declaração
de conformidade em relação a esta parte da NBR ISO/IEC 14598 não é válida. Qualquer organização impondo esta
parte NBR ISO/IEC 14598 como condição de negócio é responsável por especificar e tornar público um conjunto de
requisitos que constituem os termos de conformidade para uma dada aplicação desta parte da NBR ISO/IEC 14598.
Convém que a aplicabilidade de todos os requisitos da seção 6 seja considerada.
3 Referências normativas
As normas relacionadas a seguir contêm disposições que, ao serem citadas neste texto, constituem prescrições para esta
parte NBR ISO/IEC 14598. As edições indicadas estavam em vigor no momento desta publicação. Como toda norma está
sujeita a revisão, recomenda-se àqueles que realizam acordos com base nesta que verifiquem a conveniência de se
usarem as edições mais recentes das normas citadas a seguir. A ABNT possui a informação das normas em vigor em um
dado momento.
NBR ISO/IEC 14598-1:2001, Tecnologia de informação - Avaliação de produto de software - Parte 1: Visão geral
ISO/IEC 9126:1991, Information technology - Software product evaluation - Quality characteristics and guidelines for
their use
ISO/IEC 14598-6, Information technology - Software product evaluation - Part 6: Evaluation modules1)
4 Definições
Para os efeitos desta parte da NBR ISO/IEC 14598, aplicam-se as seguintes definições:
4.1 método de avaliação: Procedimento que descreve as ações a serem realizadas pelo avaliador para obter o resultado
da medição ou verificação especificadas, quando aplicadas num produto ou em componentes especificados de um produto.
4.2 relatório de avaliação: Documento que apresenta os resultados da avaliação e outras informações relevantes a uma
avaliação.
4.3 registros de avaliação: Evidências objetivas documentadas de todas as atividades realizadas e resultados alcançados
no processo de avaliação.
4.4 requisitante da avaliação: Pessoa ou organização que requisita uma avaliação.
4.5 ferramenta de avaliação: Instrumento que pode ser usado durante a avaliação para coletar dados, fazer interpretação
de dados ou automatizar parte da avaliação.
NOTA - Analisadores de código-fonte para computar métricas do código, ferramentas CASE (Computer Aided Software Enginneering) para
produzir modelos formais, ambientes para testar programas executáveis, listas de verificação para coletar dados de inspeção ou planilhas
para sintetizar medidas são exemplos de tais ferramentas.
4.6 avaliador: Organização que executa uma avaliação.
NOTA - Um avaliador pode ser, por exemplo, um laboratório de teste, o departamento de qualidade de uma organização de desenvol-
vimento de software, um órgão governamental ou um usuário.
________________
1)
A Norma Brasileira equivalente (NBR ISO/IEC 14598-6) encontra-se em elaboração.
4 NBR ISO/IEC 14598-5:2001
4.7 desenvolvedor de produto de software: Pessoa ou organização que produz um produto de software.
4.8 avaliação de produto de software: Operação técnica que consiste em elaborar um julgamento de uma ou mais
características de um produto de software de acordo com um procedimento definido.
NOTAS
1 Esta definição é muito similar à definição de teste do ISO/IEC Guide 2. Para evitar confusão com o conceito de teste, largamente aceito
na área de engenharia de software e que possui um significado mais restrito, nesta parte da NBR ISO/IEC 14598 foi adotado o termo
avaliação.
2 Avaliação de produto de software não é necessariamente teste de conformidade (como definido no ABNT ISO/IEC Guia 2 13.3.2) no
contexto de um esquema de certificação. Entretanto, teste de conformidade pode fazer parte de uma avaliação.
5 Conceitos de avaliação
5.1 Aspectos gerais
A qualidade de um produto de software pode ser descrita em termos de características de qualidade como definidas na
ISO/IEC 9126. Entretanto, o estado da arte em medição de software é tal que, em geral, a medição direta dessas ca-
racterísticas não é prática. Uma possibilidade é julgar essas características baseando-se na medição de atributos do
produto obtidos em níveis mais baixos de abstração.
Nesse contexto, o avaliador pode usar sua experiência pessoal em engenharia de software para fazer o julgamento. Isto
pode reduzir a objetividade da avaliação. Outro aspecto a ser considerado é a possibilidade de usar métodos de avaliação
não-determinísticos; apesar de bem definidos, tais métodos podem requerer que o avaliador faça escolhas que podem não
estar predefinidas.
NOTA - Um exemplo de método de avaliação não-determinístico pode ser a tradução de um componente de especificação de produto em
um modelo formal, efetuando a avaliação de desempenho ou confiabilidade deste modelo; a fase de tradução envolve muitas opções a
serem feitas pelo avaliador.
Portanto, esta parte da NBR ISO/IEC 14598 fornece orientações para manter o nível de objetividade da avaliação o mais
alto possível em todas as circunstâncias. Essas orientações se baseiam na organização de revisões dos resultados das
avaliações intermediárias e finais e no armazenamento de registros do processo de avaliação
5.2 Ponto inicial da avaliação
5.2.1 Acordo inicial

A avaliação de um produto de software ocorre quando o requisitante da avaliação solicita a um avaliador a avaliação deste
produto de software.
NOTA - Quando a avaliação é solicitada, o requisitante descreve os requisitos da avaliação, os quais serão analisados pelo avaliador. Em
seguida, o requisitante e o avaliador acordam quanto à especificação de avaliação.
5.2.2 Partes envolvidas na avaliação

Os potenciais requisitantes de avaliações podem ser:
- desenvolvedores de software,
- fornecedores de software,
- adquirentes de software,
- usuários de software,
- integradores de sistemas atuando como adquirentes de software.
Os potenciais avaliadores podem ser:
- laboratórios de testes de terceira parte,
- equipes de testes integrantes de organizações de produção ou distribuição de software,

- equipes de testes integrantes de organizações compradoras ou usuárias de software,
- equipes de testes integrantes de organizações integradoras de sistemas,
- organizações que fazem comparações entre produtos.
Em alguns casos, o desenvolvedor de produto de software está envolvido na avaliação, mesmo que ele não seja o
requisitante da avaliação.
NBR ISO/IEC 14598-5:2001 5
5.3 Características do processo de avaliação

O objetivo principal do processo de avaliação descrito nesta parte da NBR ISO/IEC 14598 é promover as seguintes caracte-
rísticas desejáveis em um processo de avaliação:
- repetibilidade: convém que avaliações repetidas do mesmo produto, com a mesma especificação de avaliação, pelo
mesmo avaliador, produzam resultados que possam ser aceitos como sendo idênticos,
- reprodutibilidade: convém que avaliações do mesmo produto, com a mesma especificação de avaliação, por avaliadores
diferentes, produzam resultados que possam ser aceitos como sendo idênticos,
- imparcialidade: convém que a avaliação não seja tendenciosa com relação a algum resultado particular,
- objetividade: convém que os resultados das avaliações sejam baseados em fatos, isto é, desprovidos de sentimentos ou
opiniões do avaliador.
NOTA - Avaliações de um mesmo produto podem ser conduzidas com diferentes especificações de avaliação. Assim sendo, não são
comparáveis e podem levar a resultados diferentes.
5.4 Processo de avaliação
O processo de avaliação (ver seção 6) consiste em um conjunto de atividades que são conduzidas pelo requisitante e pelo
avaliador cooperativamente. As atividades do processo usam como base os dados fornecidos pelo requisitante, pelo
avaliador, ou produzidos por outras atividades do conjunto. Elas produzem dados que são os resultados do processo de
avaliação e que também podem ser utilizados por outras atividades do processo.
As atividades são projetadas considerando os seguintes pontos:
- os objetivos variam de uma avaliação para outra, pois os produtos são desenvolvidos para cumprir uma variedade de
requisitos e cada requisitante pode contratar requisitos de avaliação específicos (ver 6.2.1),
- os produtos de software são constituídos por componentes cujos formatos e naturezas dependem dos métodos de
desenvolvimento, que podem ser muito diferentes entre si,
- as técnicas de avaliação possíveis são numerosas e a sua seleção precisa levar em consideração os objetivos da
avaliação e a constituição do produto.
Todas estas considerações impõem uma alta flexibilidade ao processo.
5.4.1 Atividades de avaliação
O processo de avaliação (ver seção 6) é composto de cinco atividades, relacionadas a seguir:
- estabelecimento dos requisitos de avaliação (ver 6.2.1),
- especificação da avaliação baseada nos requisitos de avaliação e na descrição do produto fornecida pelo requisitante
(ver 6.2.1);
- projeto da avaliação que resulta num plano baseado na especificação de avaliação. Esta atividade leva em consideração
os componentes do produto de software a serem avaliados e os métodos de avaliação propostos pelo avaliador;
- execução do plano de avaliação consistindo em inspeção, modelagem, medição e teste dos produtos e de seus
componentes de acordo com o plano de avaliação. Estas ações podem ser executadas utilizando-se ferramentas de
software (normalmente fornecidas pelo avaliador). As ações executadas pelo avaliador são registradas e os resultados
obtidos são apresentados numa versão preliminar do relatório de avaliação,
- conclusão da avaliação, que consiste na liberação do relatório de avaliação e na devolução pelo avaliador do produto
avaliado e de seus componentes.
5.4.2 Entradas para o processo de avaliação
O requisitante fornece os seus requisitos, que são uma versão inicial dos requisitos de avaliação.
O requisitante fornece, durante a avaliação, as seguintes entradas ao processo de avaliação:
- a descrição do produto,
- os componentes do produto.
A descrição do produto identifica o produto de software, assim como seus componentes submetidos à avaliação.
NOTAS
1 O produto pode incluir os documentos relacionados ao planejamento, processo ou métodos de desenvolvimento utilizados na sua
produção. O documento de planejamento pode incluir cronograma, estrutura organizacional e estimativa de custos.
2 Se o requisitante é um usuário, convém que ele entre em acordo com o desenvolvedor para dar o apoio necessário ao avaliador e pode
também requerer que o desenvolvedor entregue ao avaliador a descrição do produto de software a ser avaliado e de seus componentes.
O avaliador fornece as seguintes entradas ao processo de avaliação:
- especificações de avaliação predefinidas,
- métodos de avaliação, e
- ferramentas de avaliação.
6 NBR ISO/IEC 14598-5:2001
5.4.3 Saídas do processo de avaliação
Durante o processo de avaliação, o avaliador fornece as seguintes saídas:
- registros de avaliação, incluindo plano de avaliação e registros das ações de avaliação,
- relatório preliminar de avaliação, incluindo requisitos de avaliação, especificação de avaliação e síntese dos resultados da
avaliação,
- relatório de avaliação revisado.
Os requisitos, a especificação e o plano de avaliação são produtos intermediários do processo de avaliação. Os registros
de avaliação e o relatório de avaliação são os produtos finais do processo de avaliação.
Os requisitos da avaliação descrevem os objetivos da avaliação. Particularmente são descritos os requisitos de qualidade
do produto.
A especificação de avaliação define todas as análises e medições a serem realizadas no produto e em seus componentes.
Os componentes do produto que serão analisados e medidos são identificados.
O plano de avaliação descreve os procedimentos operacionais necessários para implementar a especificação da avaliação.
Particularmente todos os métodos e ferramentas a serem utilizados na avaliação são descritos.
Os registros de avaliação consistem no plano de avaliação e no detalhamento das ações realizadas pelo avaliador durante
a execução do plano de avaliação. Estes registros são mantidos pelo avaliador.
NOTA 1 - Os registros da avaliação são mantidos de maneira que permitam a repetição ou reprodução da avaliação.
O relatório de avaliação contém os requisitos de avaliação, a especificação de avaliação, resultados das medições e das
análises realizadas e qualquer outra informação necessária para permitir a repetição ou reprodução da avaliação. O rela-
tório de avaliação é inicialmente emitido como uma versão preliminar para revisão. Quando na sua forma final, é entregue
ao requisitante.
NOTA 2 - A figura 1 apresenta uma visão geral do processo descrito anteriormente. O fluxo de informações entre as atividades está iden-
tificado.
Requisitos do Requisitos de
requisitante Estabelecimento avaliação
dos requisitos da
avaliação
Especificação
de avaliação
Especificação
da avaliação
Descrição Especificação Registros de

do produto de avaliação Plano de avaliação
predefinida avaliação
Projeto da
avaliação
Registro de ações
Entradas de revisão
fornecidas pelo Métodos de
avaliador avaliação
Execução da
avaliação Relatório
de avaliação
Relatório de
Ferramentas de Síntese dos resultados de preliminar avaliação
Componentes avaliação avaliação revisado
do produto
Conclusão da
avaliação
Entradas fornecidas
pelo requisitante
Figura 1 - Processo de avaliação

NBR ISO/IEC 14598-5:2001 7
5.5 Relação entre avaliação e ciclo de vida

A avaliação de um produto de software pode ser realizada em qualquer um dos processos de ciclo de vida como definido
na NBR ISO/IEC 12207. Particularmente, a avaliação pode ocorrer em um desses processos: aquisição, fornecimento,
desenvolvimento, operação ou manutenção.
A decisão de submeter um produto de software para avaliação deve preferencialmente ser tomada o mais cedo possível no
processo de desenvolvimento do produto. Se isto for feito logo no início do processo de desenvolvimento do software, é
possível embutir neste processo as medições e testes a serem realizados para a avaliação. Isto asseguraria uma maior
probabilidade de o produto satisfazer aqueles requisitos considerados no processo de avaliação, assim como minimizaria o
risco de ocorrência de custos extras ou inesperados.
Quando o requisitante é o desenvolvedor do produto, contatos preliminares com o avaliador para discutir a intenção de
submeter o produto à avaliação também poderiam ajudar ao desenvolvedor a antecipar quaisquer necessidades especiais
que os avaliadores possam ter (tais como documentos específicos ou evidências que possam ser necessárias).
É possível que algumas, ou mesmo todas, ações de avaliação tenham que ser feitas no ambiente de operação e não no
laboratório de testes. Neste caso, as ações ainda assim serão controladas pelo avaliador para garantir a imparcialidade dos
resultados.
Para projetos de software muito grandes e complexos, pode ser melhor para o desenvolvedor ter uma cooperação contínua
e próxima ao avaliador durante todo o desenvolvimento do produto, de forma a minimizar a duração e o custo do processo
de avaliação. Convém que esta cooperação seja feita de tal forma que não reduza a imparcialidade do avaliador.
6 Requisitos de processo de avaliação
6.1 Requisitos gerais
6.1.1 Organização e sistema de qualidade
Para satisfazer as características expressas em 5.3, isto é, repetibilidade, reprodutibilidade, imparcialidade e objetividade
dos resultados da avaliação, o avaliador deve atuar num contexto organizacional que forneça toda garantia necessária para
obter qualidade suficiente em suas atividades. Para satisfazer este requisito, a organização da qual faz parte o avaliador
pode buscar conformidade aos requisitos apresentados pelo ABNT ISO/IEC Guia 25.1)
6.1.2 Responsabilidades do requisitante
As responsabilidades do requisitante da avaliação devem ser:
- assegurar os direitos legais necessários sobre o produto de software com o propósito da avaliação,
- fornecer informações necessárias para identificação e descrição do produto,
- estabelecer os requisitos iniciais de avaliação e negociar com o avaliador a fim de acordar os requisitos de avaliação;
convém que estes requisitos estejam de acordo com normas e regulamentos relevantes,
- estabelecer requisitos de confidencialidade relativos às informações submetidas à avaliação,
- agir, sempre que necessário como um intermediário entre o desenvolvedor e o avaliador,
- fornecer ao avaliador, sempre que necessário, acesso adequado aos computadores e outros equipamentos usados para o
desenvolvimento e operação do produto de software,
- fornecer, sempre que necessário, apoio ao avaliador, incluindo treinamento e acesso às pessoas envolvidas no contexto
de avaliação,
- assegurar o fornecimento do produto de software, sua descrição e seus componentes, incluindo documentação e outros
materiais, em tempo hábil e sempre que necessário,
- informar ao avaliador, sempre que necessário, qualquer causa que possa invalidar o resultado da avaliação.
6.1.3 Responsabilidades do avaliador
As responsabilidade do avaliador devem ser:
- verificar se o requisitante tem direitos legais sobre o produto de software para a avaliação a ser executada; para isto o
avaliador pode exigir um atestado do requisitante,
- manter a confidencialidade requerida das informações fornecidas pelo requisitante, incluindo, por exemplo, identificação
do produto sob avaliação, registros da avaliação e respectivos relatórios,
- fornecer pessoal qualificado e treinado para conduzir a avaliação,
- fornecer as ferramentas e tecnologias de avaliação,
- conduzir a avaliação de acordo com os requisitos de avaliação,
- manter o registro de qualquer trabalho realizado durante a avaliação que tenha impacto sobre os resultados da avaliação,
- assegurar a entrega do relatório de avaliação ao requisitante em tempo hábil,
- proporcionar transparência sobre a condução da avaliação conforme o nível solicitado pelo requisitante.
________________
1)
O ABNT ISO/IEC Guia 25 foi cancelado e substituído pela NBR ISO/IEC 17025:2001.
8 NBR ISO/IEC 14598-5:2001
6.2 Estabelecimento dos requisitos de avaliação

6.2.1 Propósito do estabelecimento dos requisitos de avaliação
O propósito do estabelecimento dos requisitos de avaliação é descrever os objetivos da avaliação. Tais objetivos estão
relacionados ao uso pretendido do produto de software e aos riscos associados (para exemplo, ver anexo B). Podem ser
considerados pontos de vista diferentes de vários usuários do produto, tais como: adquirente, fornecedor, desenvolvedor,
operador ou mantenedor do produto.
6.2.2 Elaboração dos requisitos de avaliação
A atividade de análise dos requisitos de avaliação é composta das seguintes subatividades:
- proposta dos requisitos pelo requisitante da avaliação;
- estabelecimento pelo requisitante do nível de cobertura da avaliação;
- apoio ao requisitante, por parte do avaliador, na análise dos motivos para a avaliação e na descrição dos requisitos de
avaliação;
- explicação, pelo avaliador, do nível de confiança e rigor da avaliação;
- acordo sobre os requisitos de avaliação.
O requisitante da avaliação deve fornecer os seus requisitos, os quais constituem uma versão inicial dos requisitos de
avaliação. Convém que o avaliador apoie o requisitante na análise do propósito da avaliação do produto e na descrição
dos requisitos de avaliação.
Convém que seja considerado o domínio de aplicação e os objetivos gerais do produto submetido à avaliação. Questões
críticas, tais como: segurança, segurança de acesso e aspectos econômicos ou ambientais podem ser levadas em conta.
Convém que regulamentos e leis aplicáveis também sejam considerados.
O requisitante deve expressar nos seus requisitos o nível de cobertura da avaliação. Convém que o avaliador, por sua
vez, garanta que a avaliação seja rigorosa o suficiente de modo a fornecer confiança na qualidade do produto de
software. Portanto, o avaliador e o requisitante devem estar de acordo em relação aos requisitos de avaliação como um
pré-requisito para a continuação do processo de avaliação.
NOTA - Para certificação de um produto de software ou de seus componentes, o requisitante da avaliação identifica o documento
normativo contendo os requisitos para o produto.
6.2.3 Conteúdo dos requisitos de avaliação
Convém que os requisitos de avaliação contenham uma descrição geral do domínio de aplicação do produto submetido à
avaliação. Convém também que os objetivos gerais do produto sejam fornecidos.
Os requisitos de avaliação devem também conter uma lista de requisitos de qualidade, fazendo referência, por exemplo,
às características de qualidade conforme definidas na ISO/IEC 9126. Neste contexto, as subcaracterísticas podem
também ser usadas. Quando um requisito se refere a uma característica não definida na ISO/IEC 9126, deve ser feita
uma referência à literatura conceituada que a defina, e convém que o requisitante e o avaliador declarem explicitamente o
entendimento mútuo desta característica.
Convém que a importância relativa de cada característica de qualidade seja estabelecida nos requisitos de avaliação. Isto
se aplica quando partes do produto precisam ser avaliadas com requisitos de avaliação diferentes para a mesma
característica de qualidade. Para expressar a importância relativa, pode ser usada a noção de nível de avaliação sugerida
no anexo B.
Para cada requisito, nos requisitos de avaliação, deve ser fornecida a especificação da informação que o produto de
software e seus componentes a serem avaliados precisam conter. Convém que esta especificação, sempre que possível,
faça referência a uma norma de engenharia de software. Além disso, podem ser especificados o formalismo usado nos
componentes ou os métodos de desenvolvimento de software usados para produzi-los.
NOTA - A extensão e a forma da informação requeridas para a avaliação podem estar relacionadas com o custo de avaliação, por um
lado, ou com a importância de um requisito específico de qualidade do produto, por outro lado.
6.2.4 Aprovação e relato
Os requisitos de avaliação devem ser aprovados como resultado de uma revisão conjunta entre o requisitante e o
avaliador.
Os requisitos de avaliação devem ser incluídos no relatório de avaliação e nos registros de avaliação.
NBR ISO/IEC 14598-5:2001 9
6.3 Especificação da avaliação
6.3.1 Objetivos da especificação da avaliação
O objetivo de especificar a avaliação deve ser o de definir a abrangência da avaliação e das medições a serem realizadas
sobre o produto submetido para avaliação e sobre seus vários componentes. Convém que o nível de detalhes na
especificação de avaliação seja tal que, baseada nela, a repetibilidade e a reprodutibilidade da avaliação sejam ga-rantidas.
NOTA 1 - A avaliação especificada pode ser não-determinística. Neste caso, convém que os resultados obtidos de avaliações repetidas ou
reproduzidas sejam consistentes.
Deste modo, convém que a especificação de avaliação não contenha conhecimento proprietário do avaliador.
NOTA 2- O relatório de avaliação, o qual contém a especificação de avaliação, é entregue ao requisitante que pode divulgá-lo para outras
partes. Portanto, não seria conveniente ao avaliador tentar proteger algumas informações proprietárias.
6.3.2 Elaboração da especificação de avaliação

A atividade de especificar a avaliação é composta de três subatividades:
- analisar a descrição do produto,
- especificar as medições a serem realizadas no produtos e seus componentes,
- verificar a especificação produzida em relação aos requisitos de avaliação.
NOTA - A subatividade de verificação pode ser conduzida em paralelo com as outras, com o objetivo de identificar problemas potenciais o
mais cedo possível.
6.3.2.1 Analisar a descrição do produto

O requisitante deve fornecer uma descrição do produto submetido à avaliação. O objetivo dessa descrição é:
- permitir a definição da abrangência da avaliação, isto é, a identificação dos componentes do produto de software que são
considerados parte do produto e dos que não são, sendo apenas referidos para facilitar o entendimento do produto.
NOTAS
1 Tal identificação pode ser baseada na definição de quais partes dos documentos pertencem ao produto e quais funções são
implementadas ou não pelo produto.
2 Definir a abrangência da avaliação é importante quando o produto de software submetido para avaliação é parte de um sistema
composto de hardware, outros produtos de software, redes de computadores ou organizações, porque a separação entre esses produtos
nem sempre é óbvia.
- fornecer ao avaliador a identificação dos componentes do produto submetido à avaliação, para que ele compreenda suas
estruturas e identifique a informação fornecida, bem como a forma de acesso a esta informação.
Esta descrição deve conter a lista dos componentes do produto realmente submetidos à avaliação, a lógica da estrutura do
produto e uma lista de documentos relacionados com o produto. Os componentes listados podem conter outros com-
ponentes, os quais não precisam ser listados. Para cada item das listas (componente e documento), devem ser fornecidas
as seguintes informações:
- descrição da natureza do item,
- informação sobre formalismos usados no item,
- informação sobre o tamanho do item,
- relacionamento com outros itens,
- informação sobre a disponibilidade do item para o avaliador.
Em qualquer caso, convém que seja feita referência às normas de engenharia de software apropriadas.
O avaliador deve verificar se a descrição do produto está em conformidade com os requisitos mencionados anteriormente.
O avaliador deve analisar a lógica da estrutura do produto, bem como a descrição dos componentes listados, para
identificar o seu relacionamento com os componentes identificados nos requisitos de avaliação.
NOTAS
3 Nos requisitos de avaliação, os componentes podem ser especificados do ponto de vista teórico, com referência às características de
qualidade a serem julgadas. Na descrição do produto estão listados os componentes reais. Pode ocorrer que alguns desses componentes
reais contenham informações que os requisitos de avaliação indiquem como se estivessem presentes em vários componentes.
4 Esta informação é necessária para identificar qual avaliação pode ser realizada. Deverá ser usada em conjunto com os requisitos de
avaliação, para elaborar a especificação de avaliação.
5 A análise da descrição do produto pode ser aprimorada com uma consulta ao desenvolvedor do produto. Isto forneceria uma oportu-
nidade ao avaliador para verificar se a profundidade requerida para uma avaliação será possível, realizando um breve exame.
10 NBR ISO/IEC 14598-5:2001
6.3.2.2 Especificar medições

O avaliador deve alocar os requisitos de avaliação ao próprio produto e aos vários componentes identificados na descrição
do produto. Convém que isto induza a decomposição dos requisitos de avaliação em, por exemplo, subcaracterísticas.
O resultado desta decomposição pode ser diferente para os diversos componentes submetidos à avaliação. Neste estágio,
alguns componentes listados na descrição do produto poderão ser desconsiderados para a continuidade do processo de
avaliação.
O avaliador deve, então, especificar as medições que pretende utilizar para julgar as características, as subcaracterísticas
e atributos do produto e dos componentes selecionados. Convém que estas especificações sejam formuladas como uma
combinação dos seguintes tipos de declarações:
- uma especificação formalizada de uma métrica a ser aplicada no produto ou em um conjunto identificado de com-
ponentes, junto com instruções para apresentar as medidas resultantes no relatório de avaliação,
- uma referência às declarações no componente do produto que especificam os requisitos de software que serão veri-
ficados e a especificação do procedimento a ser utilizado para verificar esses requisitos,
- a especificação de um requisito para o produto de software, que esteja faltando nos documentos de requisitos de software
ou que necessite ser melhor detalhada para a avaliação, e a especificação do procedimento a ser utilizado para verificar
esse requisito,
- uma referência às declarações em normas ou regulamentos identificados, onde requisitos adicionais de software são for-
necidos, e a especificação do procedimento a ser utilizado para verificar esses requisitos.
Para cada uma dessas declarações, convém que seja feita referência à natureza dos componentes a serem medidos ou
verificados e aos formalismos utilizados nestes componentes.
Para esta tarefa, o avaliador pode usar especificações de avaliação predefinidas. Convém que estas especificações
elementares estejam na forma de especificações de módulo de avaliação, conforme recomendado na ISO/IEC 14598-6.
6.3.2.3 Verificar a especificação de avaliação
O avaliador deve realizar uma verificação da especificação de avaliação considerando os requisitos de avaliação.
O avaliador deve verificar se os componentes listados na descrição do produto fornecem todas as informações necessárias
para realizar a avaliação, de acordo com os requisitos de avaliação. O avaliador deve também verificar se as medições e as
verificações especificadas são suficientes para atender aos objetivos da avaliação, expressos nos requisitos de avaliação.
A primeira verificação pode levar à identificação da falta de informações nos componentes listados na descrição do produto.
Isto pode ser resolvido das seguintes maneiras:
- uma referência a um componente do produto que tenha falta de informações deve ser acrescentada na descrição do
produto; isto significa que o requisitante irá providenciar as informações faltantes deste componente, para a realização da
avaliação;
- os objetivos da avaliação devem ser reduzidos, o que significa uma revisão dos requisitos de avaliação.
A segunda verificação objetiva confirmar que as medições e verificações propostas na especificação de avaliação são
consistentes com o estado da arte técnico. Isto pode ser feito das seguintes maneiras:
- identificando as normas de medição que sejam relevantes,
NOTA - Tais normas podem ser módulos de avaliação conforme prescrito na ISO/IEC 14598-6.
- fornecendo uma justificativa de detalhada, referenciando literatura apropriada e com autoridade do tema; esta justificativa
deve ser incluída na especificação avaliação.
6.3.3 Conteúdo da especificação de avaliação
A especificação de avaliação deve compreender:
- objetivo da avaliação, referenciando os componentes do produto, conforme identificados na descrição do produto,
- uma referência cruzada entre os componentes do produto, a informação necessária para realizar a avaliação e outros
documentos pertinentes listados na descrição do produto,
- uma especificação das medições e das verificações a serem realizadas e as referências aos componentes do produto
sobre os quais elas serão realizadas,
- mapeamento entre a especificação das medições e das verificações, e os requisitos de avaliação, juntamente com a refe-
rência a normas ou a justificativa para cada medição ou verificação listada.
A especificação de avaliação deve ser aprovada como resultado de uma revisão conjunta entre o requisitante e o avaliador.
A especificação de avaliação deve ser incluída no relatório de avaliação e nos registros de avaliação. Além disso, qual-
quer modificação dos requisitos de avaliação, conforme especificado em 6.3.2.3, deve ser relatada nos registros de
avaliação.
NBR ISO/IEC 14598-5:2001 11
6.4 Projeto da avaliação

6.4.1 Objetivo de projetar a avaliação
O projeto de avaliação deve documentar os procedimentos a serem usados pelo avaliador para realizar as medições
contidas na especificação de avaliação. O avaliador deve produzir um plano de avaliação que descreva os recursos ne-
cessários para realizar a avaliação especificada, bem como a distribuição destes recursos entre as diversas ações a serem
realizadas.
NOTA 1 - Os recursos considerados aqui podem ser, por exemplo, recursos humanos para executar as ações de avaliação, recursos
computacionais ou espaço físico.
O nível de detalhes do plano de avaliação deve ser tal que assegure que as ações sejam realizadas de forma adequada.
NOTA 2 - O plano de avaliação geralmente contém algum conhecimento de propriedade do avaliador.
6.4.2 Elaboração do plano de avaliação

A atividade para produzir o plano de avaliação é composta de três subatividades:
- documentar os métodos de avaliação e produzir um plano preliminar,
- otimizar o plano de avaliação,
- programar as ações de avaliação, tendo em consideração os recursos disponíveis.
6.4.2.1 Documentar os métodos de avaliação e produzir um plano preliminar
O objetivo desta atividade é combinar as medições ou verificações especificadas com as características dos vários
componentes do produto a serem avaliados, de maneira a documentar os métodos detalhados. A aplicação destes métodos
implementa nos componentes as medições ou verificações especificadas.
O avaliador deve analisar as restrições técnicas relacionadas com as medições ou verificações, especificadas na
especificação de avaliação. Restrições técnicas podem incluir, mas não se limitam a:
- formalismos utilizados nos componentes do produto,
- fato de os componentes do produto estarem em forma eletrônica ou em papel,
- existência de métodos de avaliação predefinidos,
NOTA 1 - Métodos predefinidos de avaliação podem ser documentados na forma de implementações de módulo de avaliação, conforme
recomendado na ISO/IEC 14598-6. Convém que tais implementações de módulo de avaliação sejam relacionadas com as especificações
de módulo de avaliação, utilizadas na especificação de avaliação.
- disponibilidade das ferramentas para suporte das técnicas de avaliação,

- tamanho dos componentes do produto.
Para cada medição ou verificação especificada na especificação de avaliação, o avaliador deve documentar o método
apropriado de avaliação.
Quando o método de avaliação descrito for baseado no uso de uma ferramenta de software, esta ferramenta deve ser
identificada no plano de avaliação. Tal identificação deve consistir em pelo menos o nome da ferramenta, a identificação de
sua versão e sua origem (por exemplo, seu fornecedor).
NOTA 2 - Quando os requisitos de avaliação fazem referência aos níveis de avaliação, o anexo B (informativo), seção B.2, fornece
algumas orientações em relação à técnica de avaliação a ser usada, em função do nível de avaliação e das características de qualidade
consideradas.
A descrição dos métodos de avaliação deve ser completada com a identificação de componentes do produto nos quais o
método vai ser aplicado.
Quando a especificação de avaliação requer análise das medições por um especialista para interpretar os resultados, antes
de eles serem incluídos no relatório de avaliação, o procedimento de interpretação deve ser especificado no plano de
avaliação. Esta especificação deve conter instruções para incluir nos registros de avaliação um relato significativo da
execução do procedimento.
Quando for planejada a execução do programa para o produto em avaliação, o ambiente necessário para a execução deve
estar descrito, bem como a provisão da sua disponibilidade real.
6.4.2.2 Otimizar as medições
Neste estágio, os métodos de avaliação estão relacionados aos elementos citados na especificação de avaliação que, por
sua vez, estão relacionados aos requisitos de avaliação. Cada um dos métodos elementares de avaliação é planejado para
ser aplicado sobre os vários componentes do produto submetidos para avaliação. Pode acontecer que vários métodos de
avaliação elementares sejam aplicados para o mesmo componente do produto, ou que os vários métodos elementares
possuam partes comuns.
O plano preliminar de avaliação deve ser revisado a fim de evitar duplicação de ações do avaliador. Isto é necessário para
diminuir o risco de erros e reduzir o esforço planejado para o avaliador.
12 NBR ISO/IEC 14598-5:2001
6.4.2.3 Programar ações de avaliação

Uma vez que as duplicações das ações de avaliação tenham sido removidas, o avaliador deve programar as ações plane-
jadas.
O avaliador deve levar em conta a disponibilidade de recursos, tais como pessoal, ferramentas de software e compu-
tadores.
O avaliador deve acordar com o requisitante o cronograma de entrega do produto e de seus componentes. Devem ser es-
pecificados o meio e o formato de entregas dos componentes do produto, bem como o número de cópias.
Devem ser identificados os requisitos para reuniões durante o período de avaliação. Quando o requisitante não é o
desenvolvedor do produto de software, as relações entre o avaliador e o desenvolvedor devem ser identificadas.
Em particular, deve ser especificado o apoio necessário do desenvolvedor. Tal apoio pode incluir, por exemplo,
treinamento, discussões informais ou utilização de suas instalações.
Acesso aos ambientes de desenvolvimento e de operação, quando necessário, deve ser especificado juntamente com os
demais recursos necessários.
6.4.3 Conteúdo do plano de avaliação
O plano de avaliação deve ser composto por duas partes, a documentação dos métodos de avaliação e o cronograma das
ações do avaliador.
A documentação de um determinado método de avaliação existente no plano de avaliação pode ser uma referência a
material particular do avaliador. Neste caso, convém que o avaliador seja capaz de justificar a pertinência do método em
relação ao elemento correspondente da especificação de avaliação e a sua própria competência na aplicação do método.
O plano de avaliação deve ser aprovado. A aprovação é o resultado de uma revisão conjunta entre o requisitante e o
avaliador.
O plano de avaliação deve ser incluído nos registros de avaliação. Devem ser incluídas, no relatório de avaliação, a docu-
mentação dos métodos de avaliação ou as referências a eles, bem como a identificação dos componentes do produto sobre
os quais os métodos serão aplicados.
6.5 Execução da avaliação
6.5.1 Objetivo da execução de avaliação
O objetivo da execução de avaliação é obter resultados da execução das ações de medição e verificação do produto de
software de acordo com os requisitos de avaliação, como especificado na especificação de avaliação e planejado no plano
de avaliação.
A execução destas ações leva à finalização do relatório preliminar de avaliação e dos registros de avaliação.
6.5.2 Execução das ações pelo avaliador
Para executar as ações planejadas, o avaliador deve:
- gerenciar os componentes do produto fornecidos pelo requisitante,
- gerenciar os dados produzidos pelas ações de avaliação (incluindo relatório e registros),
- gerenciar as ferramentas a serem usadas para executar as ações de avaliação.
Além disso, se houver condições específicas, o avaliador pode:
- gerenciar ações de avaliação executadas fora das instalações do avaliador,
- gerenciar requisitos decorrentes do uso de técnicas específicas de avaliação.
6.5.2.1 Gerenciar os componentes de produto
Convém que o requisitante entregue ao avaliador os componentes do produto e os documentos relativos ao produto, de
acordo com o cronograma definido no plano de avaliação.
O avaliador deve registrar todos os componentes do produto e os documentos relacionados com o produto. Quando o
tamanho e a complexidade do produto justificarem, convém que se use uma gerência de configuração formal.
O registro de informação deve conter, no mínimo:
- identificador único do componente ou do documento,
- nome do componente ou título do documento,
- condição do documento (incluindo especialmente anomalias ou condições físicas),
- informações de versão, configuração e data, conforme fornecido pelo requisitante,
- data de recebimento.
A confidencialidade de todos os componentes do produto e de todos os documentos relativos ao produto deve ser protegida
pelo avaliador, a menos que haja um outro tipo de entendimento com o requisitante.
NOTA - Os requisitos de confidencialidade afetam diversos aspectos do trabalho de avaliação, incluindo a recepção, o manuseio, o
armazenamento e a liberação de todas as informações relacionadas ao produto.
NBR ISO/IEC 14598-5:2001 13
6.5.2.2 Gerenciar dados de avaliação

A execução das ações de avaliação geralmente consiste na medição do produto e de seus componentes para obter dados
intermediários e interpretar estes dados com o objetivo de produzir os resultados a serem incluídos no relatório de
avaliação. Os dados intermediários podem ser de natureza diversa, tais como, números, figuras, diagramas, trechos de
componentes ou modelos formalizados, produzidos na avaliação.
A confidencialidade dos dados intermediários deve ser protegida da mesma forma que os componentes e documentos
originais. Além disso, o avaliador deve fazer todo o esforço necessário para prevenir qualquer modificação acidental ou
intencional nestes dados. Em particular, quando o volume e a complexidade de dados intermediários forem grandes,
convém que se use gerência de configuração formal, para manter a consistência entre os resultados intermediários de
avaliação e o produto avaliado.
O avaliador deve incluir quaisquer dados intermediários sobre os quais estiver baseada alguma interpretação nos registros
de avaliação. As decisões tomadas durante o processo de interpretação também devem ser incluídas nos registros de
avaliação, conforme especificado no plano de avaliação.
6.5.2.3 Gerenciar a utilização de ferramentas
As ações de avaliação podem necessitar de ferramentas de software para coletar os dados brutos ou para interpretar os
dados intermediários.
NOTA 1 - Exemplos de tais ferramentas são analisadores de código-fonte para calcular métricas de código, ferramentas CASE para
produzir modelos formalizados, ambientes de teste para processar os programas executáveis ou planilhas eletrônicas para produzir
sínteses de medidas.
Quando uma ferramenta é usada para executar uma ação de avaliação, deve-se incluir a referência à ferramenta no
relatório de avaliação. A referência deve consistir na identificação da ferramenta e de seu fornecedor, além de sua versão.
Uma referência mais detalhada à ferramenta usada deve ser incluída nos registros de avaliação. Deve-se incluir a
configuração detalhada da ferramenta e qualquer informação pertinente que seja necessária para permitir a repetição da
ação de avaliação, a fim de se obter o mesmo resultado intermediário.
NOTAS
2 Este requisito de repetibilidade é mais forte do que o expresso em 4.3, pois se refere aos resultados intermediários que não estão
incluídos no relatório de avaliação.
3 Em certos casos, pode ser pertinente incluir uma cópia executável da ferramenta nos registros de avaliação.
Convém que o avaliador faça todo esforço necessário para assegurar que as ferramentas usadas realmente funcionem
conforme o esperado.
Convém que o avaliador mantenha os registros das ações já realizadas para validar as ferramentas usadas no processo de
avaliação.
NOTA 4 - Tais registros podem ser baseados, por exemplo, no número de instalações existentes do software ou no tempo durante o qual a
ferramenta foi usada.
A equipe de avaliação deve ser treinada para usar as ferramentas de modo apropriado.
6.5.2.4 Avaliação fora das instalações do avaliador
Em certos casos ações de avaliação não podem ser executadas nas instalações do avaliador. Elas podem ser executadas,
por exemplo, no ambiente do desenvolvedor ou no ambiente onde o produto esteja em operação.
Quando isto ocorre, o avaliador deve controlar todas as ações de avaliação executadas. Em particular, o avaliador deve
evitar quaisquer circunstâncias que possam invalidar os resultados da avaliação.
O avaliador deve fazer todo o esforço necessário para assegurar que seja mantida a confidencialidade dos resultados
intermediários e finais da avaliação.
6.5.2.5 Requisitos para técnicas específicas de avaliação
Quando o plano de avaliação requer que o programa executável do produto seja testado, a configuração em teste e o
ambiente de teste devem ser registrados com precisão.
Quando uma ação de avaliação requer que um documento seja inspecionado, o uso de listas de verificação é
recomendado.
6.5.3 Revisão e relato
Durante a execução da avaliação, são produzidos resultados intermediários e finais. Para se obter a máxima objetividade,
convém que as ações de avaliação sejam conferidas por uma equipe de avaliadores diferente daquela que executou as
ações.
Todos os resultados de avaliação devem ser revisados. O objetivo da revisão depende da natureza da ação de avaliação
considerada. A revisão deve ter a participação de pelo menos uma pessoa não ligada diretamente à execução da ação de
avaliação em questão. O relatório da revisão deve ser incluído nos registros de avaliação.
Uma vez revisados, os resultados da avaliação devem ser incluídos, conforme a aspecificação de avaliação, no relatório de
avaliação. Além disso, quando especificado no plano de avaliação, alguns resultados intermediários ou decisões de inter-
pretação devem ser incluídos no relatório de avaliação.
14 NBR ISO/IEC 14598-5:2001
6.6 Conclusão da avaliação

6.6.1 Objetivos da conclusão de avaliação
Os objetivos da conclusão de avaliação consistem na revisão do relatório de avaliação e destino dos dados de avaliação.
6.6.2 Revisão conjunta do relatório de avaliação
O relatório preliminar de avaliação deve ser entregue ao requisitante da avaliação. Convém que seja organizada uma
revisão conjunta pelo requisitante e avaliador e que seja dada ao requisitante a oportunidade de fazer comentários sobre o
relatório de avaliação. Se os comentários forem feitos, convém que sejam incluídos em um capítulo específico do relatório
de avaliação. O relatório de avaliação deve ser, então, entregue para o requisitante.
6.6.3 Destino dos dados e documentos de avaliação
Uma vez que o relatório de avaliação tenha sido formalmente entregue ao requisitante, o avaliador deve dar destino aos
dados pertinentes à avaliação. Isto deve ser feito em um dos seguintes modos, dependendo do tipo de dados:
- os documentos submetidos à avaliação devem retornar ao requisitante ou ser arquivados por um tempo determinado ou
ser destruídos de uma maneira segura,
- relatório de avaliação e os registros de avaliação devem ser arquivados por um tempo determinado,
- todos os outros dados devem ser arquivados por um tempo determinado ou destruídos de maneira segura.
Quando expirar o tempo determinado de arquivamento para alguns dados, eles devem ser arquivados novamente por um
tempo determinado ou destruídos de maneira segura.
Se houver uma concordância explícita do requisitante, os resultados intermediários de avaliação podem ser usados pelo
avaliador, para estudar técnicas de avaliação e métricas de software.
________________
/ANEXO A
NBR ISO/IEC 14598-5:2001 15
Anexo A (normativo)
Modelo de relatório de avaliação
Este anexo orienta a estruturação e conteúdo do relatório de avaliação. Ele sintetiza os requisitos para elaboração do
relatório, estabelecidos na seção 6 desta parte da NBR ISO/IEC 14598. Além disso, algumas informações adicionais
necessitam ser incluídas ao relatório.
As subseções seguintes descrevem o conteúdo das seções de um relatório de avaliação.
A.1 Seção 1 - Identificações
Esta seção do relatório de avaliação contém as informações de identificação relativas à avaliação executada.
Identificação do avaliador
Esta subseção deve conter as seguintes informações sobre o avaliador:
- nome da organização avaliadora,
- endereço da organização avaliadora,
- local(ais) onde a avaliação foi realizada (se diferente do endereço acima),
- nome da pessoa responsável pela avaliação.
Identificação do relatório de avaliação
Esta subseção deve conter a identificação do relatório:
- identificação única do relatório (por exemplo, um número de série),
- número de páginas do relatório.
Esta informação deve ser copiada em todas as páginas do relatório. Cada página deve ter identificação única, por exemplo
usando o número da página.
Identificação do requisitante e fornecedor
Esta subseção deve conter as seguintes informações sobre o requisitante da avaliação e sobre o fornecedor do produto de
software avaliado:
- nome da organização requisitante,
- endereço da organização requisitante,
- nome do fornecedor do produto de software (se diferente do nome acima),
- endereço do fornecedor do produto de software (se diferente do endereço acima).
A.2 Seção 2 - Requisitos de avaliação
Esta seção do relatório deve conter os requisitos de avaliação como descrito em 6.2. Em particular, deve conter:
- uma descrição geral do domínio de aplicação do produto,
- uma descrição geral do objetivo do produto,
- a lista dos requisitos de qualidade e as informações do produto avaliado, incluindo, sempre que possível, referência às
características de qualidade e aos níveis de avaliação.
A.3 Seção 3 - Especificação de avaliação
Esta seção do relatório de avaliação deve conter a especificação de avaliação como descrita em 6.3. Em particular, deve
conter:
- a abrangência da avaliação, fazendo referência à descrição do produto; quando a descrição do produto não for um
documento publicamente disponível, ela deverá ser anexada ao relatório,
- a referência cruzada entre as informações solicitadas nos requisitos de avaliação e os componentes do produto,
- a especificação de medições e verificações,
- mapeamento entre a especificação de medições e verificações com os requisitos de avaliação.

16 NBR ISO/IEC 14598-5:2001
A.4 Seção 4 - Métodos de avaliação
Esta seção do relatório de avaliação deve conter a documentação dos métodos de avaliação utilizados para executar a
avaliação como especificado em 6.4. Quando o método de avaliação está documentado em outro local, é permitido que se
faça uma simples referência a esta documentação.
NOTA - A referência ao método de avaliação normalmente será usada quando for um padrão (um módulo de avaliação) ou quando ela for
proprietária (patenteada).
Para cada método de avaliação incluído aqui, deve ser fornecida a identificação dos componentes do produto nos quais o
método foi aplicado.
A.5 Seção 5 - Resultados de avaliação

Esta seção do relatório de avaliação deve conter os resultados de avaliação, como descrito em 6.5. Em particular, deve
conter:
- os resultados de avaliação propriamente ditos,

- resultados intermediários ou decisões de interpretação, sempre que necessário,
- referência às ferramentas usadas durante a avaliação.
________________
/ANEXO B
NBR ISO/IEC 14598-5:2001 17
Anexo B (informativo)
Níveis de avaliação
Como parece difícil obter consenso na especificação genérica das características de qualidade (de acordo com o estado da
arte na época em que este documento foi escrito), incluindo a relação entre as subcaracterísticas e as métricas para o caso
a ser avaliado, os requisitos de avaliação podem estabelecer níveis para as características de qualidade selecionadas.
Os níveis de avaliação serão relacionados com os níveis de integridade de software como definido na ISO/IEC 15026
Information technology - System and software integrity levels. Se um nível de integridade for atribuído a um produto de
software submetido a avaliação, este nível de integridade pode ser usado para selecionar requisitos de avaliação.
Em particular, o grau de rigor associado ao nível de integridade de software pode ser usado como guia para selecionar
técnicas de avaliação.
Os níveis de avaliação são relacionados, por um lado, com a importância dada pelo requisitante a uma característica es-
pecífica. Convém que o nível escolhido seja significativo com relação ao uso pretendido e ao ambiente do produto de
software (por exemplo, condições de segurança, restrições de segurança de acesso, riscos econômicos, restrições de
aplicação).
Por outro lado, um nível de avaliação define a profundidade ou a extensão da avaliação em termos de técnicas de
avaliação a serem aplicadas e de resultados de avaliação a serem alcançados. Como conseqüência, avaliação em
diferentes níveis fornece diferentes níveis de confiança na qualidade do produto de software. O nível pode ser escolhido
independentemente para cada característica.
Este anexo propõe quatro níveis chamados de A, B, C e D. Os níveis constituem uma hierarquia onde A representa o nível
mais alto e D o mais baixo. No nível A, as técnicas de avaliação mais rigorosas (levando em conta uma considerável
quantidade de esforço e tempo) são aplicadas para dar mais confiança. Descendo para o nível D são gradualmente usados
métodos menos rigorosos e conseqüentemente é usual que menos esforço seja dedicado para a avaliação.
O nível de avaliação para cada característica de software pode mudar para componentes diferentes de um produto de
grande dimensão (por exemplo, é provável que componentes críticos com fortes requisitos de confiabilidade sejam man-
tidos separados dos outros componentes de um sistema).
A primeira seção deste anexo propõe orientação para selecionar o nível de avaliação em função do contexto de uso do
produto. A segunda seção orienta na seleção de técnicas de avaliação.
B.1 Seleção de níveis de avaliação
Os níveis de avaliação podem ser selecionados independentemente para cada característica de qualidade relevante.
Quando da seleção dos níveis, convém que vários aspectos sejam considerados. Por exemplo, aspectos importantes são
aqueles relacionados com segurança, economia, segurança de acesso, ambiente e mercado do produto, quando
apropriado.
Para cada característica de qualidade relevante, convém que os riscos e conseqüências envolvidas pela não-conformidade
do produto em relação aos requisitos da característica, assim como os benefícios da alta qualidade, sejam considerados
para todos os aspectos relevantes. Para alguns destes aspectos, as tabelas a seguir fornecem a relação entre riscos e
níveis a serem selecionados. Quando vários aspectos precisam ser considerados, convém que o nível mais rigoroso seja
selecionado.
Para as questões de riscos econômicos e benefícios de mercado o custo da avaliação deve ser considerado.
Aspectos de segurança
Nível de avaliação Conseqüências
Nível D Pequenos danos materiais; sem

riscos de danos pessoais
Nível C Danos materiais; ameaça de

danos pessoais
Nível B Vidas humanas ameaçadas
Nível A Muitas pessoas mortas

18 NBR ISO/IEC 14598-5:2001
Aspectos econômicos
Nível D Perda econômica insignificante
Nível C Perda econômica significativa

(companhia afetada)
Nível B Grande perda econômica

(companhia em perigo)
Nível A Desastre financeiro (companhia

não sobreviverá)
Aspectos de segurança de acesso
Nível D Nenhum risco específico

identificado
Nível C Proteção contra riscos de erro
Nível B Proteção a dados e serviços

críticos
Nível A Proteção a dados e serviços

estratégicos
Aspectos relacionados ao ambiente
Nível D Nenhum risco ambiental
Nível C Poluição local
Nível B Dano ambiental recuperável
Nível A Dano ambiental irrecuperável
B.2.Selecionando técnicas de avaliação a partir de níveis de avaliação
A fim de elaborar uma especificação de avaliação para satisfazer alguns requisitos de avaliação, é necessário especificar
métricas. As métricas são baseadas nas técnicas de avaliação que podem ser escolhidas de acordo com as caracte-
rísticas de qualidade e níveis de avaliação. A seguir é proposta, para cada característica de qualidade na ISO/IEC 9126,
uma lista de técnicas de avaliação, ordenadas em níveis crescentes de exigência.
Funcionalidade:
- teste funcional ou caixa-preta,
- inspeção de documentos de desenvolvimento, orientada por listas de verificação,
- teste de unidade com critério de cobertura.
Confiabilidade:
- verificação do uso de facilidades de uma determinada linguagem de programação,
- análise de construções tolerantes a falhas no projeto e implementação do software,
- modelo de crescimento de confiabilidade.
Usabilidade:
- inspeção de documentação e de interface com o usuário,
- verificação da conformidade aos padrões de interface,
- execução de experimentos de uso com usuários reais.

NBR ISO/IEC 14598-5:2001 19
Eficiência:
- medição de tempo de execução,
- testes comparativos (benchmark),
- análise do projeto para determinar a complexidade algorítmica.
Manutenibilidade:
- inspeção de documentos de desenvolvimento orientada por listas de verificação,
- verificação de métricas de código e regras de programação,
- análise de rastreabilidade entre elementos da documentação de desenvolvimento.
Portabilidade:
- análise dos procedimentos de instalação de software,
- verificação de regras de programação,
- análise de projeto de software.
________________
/ANEXO C
20 NBR ISO/IEC 14598-5:2001
Anexo C (informativo)
Componentes de produto de software
A lista proposta abaixo descreve os diferentes tipos de informações que podem ser utilizados numa avaliação. Este modelo
de categorização de informação não requer uma estrutura particular de documentação de software. O único requisito é que
diferentes tipos de informações possam ser retiradas das entidades em avaliação e mapeadas no modelo.
Especificação de requisitos de software: Documentação dos requisitos essenciais (funções, desempenho, restrições e
atributos de projeto) do software e de suas interfaces externas.
Descrição de projeto de software: Representação do software criada para análise, planejamento, implementação e tomada
de decisão. A descrição do projeto de software é usada como um meio para comunicar as informações do projeto de
software, e pode ser considerada como um modelo do sistema.
Descrição de programa: Informações necessárias para entender o programa-fonte.
Programa-fonte: Programa de computador (ou código) que precisa ser compilado, montado ou traduzido de alguma
maneira com o objetivo de ser executado por um computador.
Código executável: Programa de computador (ou código) que pode ser executado diretamente por um computador.
Documentação de usuário: Documentação que descreve a maneira pela qual um programa é usado para obter os re-
sultados desejados.
Relatório de revisão de requisitos de software: Documentação de uma revisão dos requisitos especificados para um ou
mais componentes do software utilizada para avaliar sua capacidade de resposta e de interpretação dos requisitos do
sistema, assim como para determinar se eles formam uma base satisfatória para a continuação da fase de projeto
preliminar do componente.
Relatório de verificação de requisitos de software: Documentação dos resultados da avaliação da especificação de

requisitos para determinar se a mesma satisfaz as condições impostas. Esta pode ser uma prova formal de correção.
Plano de teste de programa: Documento que descreve a abrangência, enfoque, recursos e cronograma das atividades de
teste previstas. Ele identifica os itens de teste, as particularidades (features) a serem testadas, a tarefa de teste, quem fará
cada tarefa, e quaisquer riscos que requeiram plano de contingência.
Relatório de medição de requisitos: Documentação do resultado da aplicação de métricas à especificação de requisitos de

software.
Relatório de revisão de projeto de software: Documentação dos resultados de um processo ou reunião durante a qual o
projeto de software é apresentado à equipe de projeto, gerentes, usuários, clientes ou outras partes interessadas, para
comentários ou aprovação.
Relatório de verificação de projeto de software: Documentação dos resultados da avaliação do projeto de software para
determinar se este satisfaz as condições impostas pela especificação de requisitos de software. Esta pode ser uma prova
de correção formal.
Relatório de medição de projeto: Documentação do resultado da aplicação de métricas na especificação do projeto de

software.
Plano de teste de unidade: Documento que descreve a abrangência, enfoque, recursos e cronograma das atividades de
teste de unidade previstas. Ele identifica as particularidades (features) a serem testadas e descreve o projeto do conjunto
de testes.
Relatório de revisão de programa: Documentação do processo ou reunião durante a qual o programa-fonte é apresentado à
equipe de projeto, gerentes e às outras partes interessadas para comentários ou aprovação.
Relatório de verificação de programa: Documentação da verificação de programa. Ela pode incluir a prova formal de
correção parcial e de término.
Relatório de teste de unidade: Documento que descreve a condução e os resultados dos testes executados para uma
unidade de teste.
Relatório de medição de programa: Documentação dos resultados da aplicação das métricas aos programas, em particular
ao código-fonte.
NBR ISO/IEC 14598-5:2001 21
Relatório de teste de programa: Documento que descreve a condução e os resultados dos testes executados para um
programa.
Relatório de revisão de documentação de usuário: Documentação do processo ou reunião durante a qual a documentação de
usuário é apresentada à equipe de projeto, gerentes, usuários, clientes ou outras partes interessadas para comentários ou
aprovação.
Análise de requisitos de sistema: Documentação dos resultados dos estudos das necessidades do usuário para obter a
definição de requisitos do sistema.
Especificação de sistema e projeto de sistema: Documento de especificação que estabelece os requisitos do sistema;
tipicamente estão incluídos os requisitos funcionais, requisitos de desempenho, requisitos de interface, requisitos de projeto
e padrões de desenvolvimento. Um documento de projeto que descreve o projeto do sistema; tipicamente inclui arquitetura
do sistema, lógica de controle, formatos de entrada e saída e descrição das interfaces.
Manuais de sistema: Conjunto de manuais incluindo manual de instalação, manual de diagnóstico, manual de operação,
manual de suporte, etc.
Sistema: Um conjunto de componentes organizados para executar uma função específica ou um conjunto de funções. Pode
incluir componentes de hardware e software.
Relatório de revisão de sistema: Inclui os documentos de revisão de requisitos do sistema e documentos de revisão do
projeto do sistema.
Relatórios de verificação de sistema: Inclui o relatório de verificação de requisitos de sistema e o relatório de verificação de
projeto de sistema.
Plano de teste de sistema: Documento que descreve a abrangência, enfoque, recursos e cronograma das atividades de
teste previstas. Ele identifica os itens de teste, as particularidades (features) a serem testadas, a tarefa de teste, quem fará
cada teste e quaisquer riscos que requeiram plano de contingência.
Relatório de testes de sistema: Documento que descreve os resultados do teste do sistema completo e integrado.
Descrição de métodos e ferramentas de especificação de software: Documentos que descrevem os métodos e ferramentas
utilizados para especificar o software.
Descrição de métodos e ferramentas de projeto: Documentos que descrevem os métodos e ferramentas utilizados para
projetar o software.
Descrição de linguagens de programação e compiladores: Documentos que identificam as linguagens de programação (em
particular os dialetos específicos utilizados) e compiladores utilizados no desenvolvimento de software.
Plano de desenvolvimento de software: Documento que descreve o enfoque técnico e gerencial a serem utilizados no
projeto de desenvolvimento de software. O plano tipicamente descreve o trabalho a ser feito, os recursos necessários, os
métodos utilizados, os procedimentos a serem seguidos, o cronograma a ser cumprido e a forma de organização do
projeto.
Plano de garantia da qualidade: Documento que descreve todas as ações necessárias para proporcionar a confiança
adequada de que um item de software ou produto está de acordo com os requisitos técnicos estabelecidos.
Plano de gerência de configuração: Documento que mostra claramente as ações a serem realizadas pelas atividades de
engenharia de software e atividades de apoio que são necessárias para manter a visibilidade da configuração em evolução
do programa de computador. O plano apóia a gestão do processo de avaliação e implementação das alterações para cada
configuração e assegura que as mudanças sejam devidamente e completamente incorporadas em cada programa de
computador.
Relatório de desenvolvimento de software: Documento que contém registros das atividades do projeto e mudanças nas
atividades descritas no plano de desenvolvimento de software.
Relatório de garantia da qualidade: Documento que contém registros das atividades de garantia da qualidade e mudanças
com relação ao plano de garantia da qualidade.
Relatório de gerência de configuração: Documento que contém registros das atividades de gerência de configuração. Ele
inclui as informações de controle de configuração.
A figura C.1 apresenta a classificação das informações propostas.

22 NBR ISO/IEC 14598-5:2001
Outras Informações Outras

Produto
informações do produto informações
Análise de requisitos de Relatórios de

sistema revisão de sistema
Relatórios de
Especificação de verificação de sistema
sistema e projeto
de sistema
Planos de teste
de sistema
Relatório de revisão de Plano de desenvolvimento

requisitos de software
de software
Descrição de métodos e Especificação de
requisitos de Relatório de verificação
ferramentas de Plano de garantia
especificação software de requisitos de software
de qualidade
de software
Relatório de medição de Plano de Gerência
requisitos de Configuração
Relatório de revisão
de projeto de software Plano de teste
de programa
Descrição de métodos e Descrição de Relatório de revisão de
ferramentas de projeto projeto de software projeto de software
Plano de teste
Relatório de medição
de unidade
de projeto
Relatório de revisão
Relatório de
Descrição de de programa
desenvolvimento
programa Relatório de de software
verificação de programa
Programa-
Descrição de fonte Relatório de teste Relatório de
linguagens de de unidade garantia de qualidade
programação e
compiladores Código Relatório de medição
executável de programa
Relatório de
Relatório de teste de gerência de
Documentação programa configuração
de usuário
Relatório de revisão de
documentação de usuário
Manuais de sistema Relatório de

testes de sistema
Sistema Relatório de
problemas
Figura C.1 - Classificação das informações
________________
/ANEXO D
NBR ISO/IEC 14598-5:2001 23
Anexo D (informativo)
Interações entre requisitante e avaliador
O requisitante da avaliação e o avaliador interagem durante o processo de avaliação. O processo é dividido em interações
seqüenciais que podem ser implementadas como contratos individuais. Requisitante e avaliador podem a qualquer
momento interromper a interação, permanecendo a respectiva responsabilidade pelas fases já completas, sem incorrer em
obrigações adicionais.
Convém que seja utilizada a seguinte seqüência de interações:
Interação 1: O requisitante indica os requisitos de avaliação, os quais são aceitos pelo avaliador.
O produto é descrito e identificado, e o nível de avaliação é acordado. O requisitante concorda em fornecer os materiais
necessários. A aceitação dos requisitos do requisitante pelo avaliador pode ocorrer depois de várias negociações. Convém
que os requisitos acordados estejam num ou mais documentos claramente identificados.
Interação 2: Depois do acordo obtido na interação anterior, o avaliador se propõe a elaborar a especificação de avaliação,
a partir da entrega de itens especificados de informações do produto. O requisitante pode aceitar esta proposta ou desistir
do processo de avaliação. Assumindo que o requisitante aceite e forneça os materiais e informações acordados, a
especificação de avaliação é elaborada e entregue ao requisitante, que pode aceitá-la ou rejeitá-la.
Interação 3: Se a especificação for aceita, o avaliador se propõe a elaborar um plano de avaliação baseado nas
informações contidas na especificação de avaliação. Esta proposta pode ser aceita ou rejeitada pelo requisitante. Se for
rejeitada, o processo de avaliação é interrompido. Se aceita, o plano de avaliação é elaborado e entregue ao requisitante.
Interação 4: Baseado no plano de avaliação, o avaliador se propõe a conduzir uma avaliação de acordo com o plano e
elaborar um relatório de avaliação. Mais uma vez, a proposta do avaliador requer a aceitação do requisitante. Assumindo
que a proposta do requisitante seja aceita, a avaliação é conduzida. Convém que o requisitante revise cuidadosamente a
proposta, para determinar se alguma cláusula foi colocada para evitar questionamentos quanto aos resultados da avaliação
(por exemplo, cláusulas de exclusão). Se algum caso for encontrado, convém que o requisitante solicite a retirada de tal
restrição.
Interação 5: O relatório de avaliação é entregue ao requisitante. O conteúdo deste relatório está especificado no anexo A
desta norma. O relatório de avaliação pode ser aceito pelo requisitante, ou uma apelação pode ser apresentada contra
1)
quaisquer conclusões ou ações do avaliador. De acordo com o ABNT ISO/IEC Guia 25 , convém que o avaliador tenha um
procedimento de reclamações definido. Este procedimento poderia ser tratado nos documentos de condições e termos
gerais. Convém que este procedimento identifique questões sujeitas a uma apelação, os procedimentos que serão
seguidos e quaisquer conseqüências financeiras que possam surgir decorrentes de uma apelação.
Para teste de conformidade a negociação da interação 1 está limitada à aceitação ou à rejeição de requisitos de avaliação
estabelecidos em normas.
D.1 Analisando requisitos de avaliação
O acordo dos requisitos de avaliação é o primeiro estágio de relacionamento formal entre as partes. Um acordo pode
demandar um longo período de negociação. Normalmente o documento de requisitos substitui quaisquer comunicações
prévias, embora estas comunicações possam servir como base para uma ação, alegando, por exemplo, falta de clareza ou
falta de boa vontade.
D.2 Especificando a avaliação
Este estágio pode envolver a negociação entre as partes. Ao final da especificação de avaliação, o avaliador pode propor a
elaboração de um plano de avaliação baseado nos termos e condições contidas nesta especificação de avaliação.
Dois conjuntos de termos podem ser identificados. Primeiro o avaliador irá estabelecer um conjunto de regras e proce-
dimentos comuns aplicáveis a todas as suas avaliações e negociações com requisitantes. Segundo, condições específicas
serão necessárias para o contrato em particular. A melhor abordagem no ponto de vista do avaliador seria manter os
termos gerais separadamente e acrescentar, em qualquer especificação de avaliação, plano de avaliação ou qualquer outra
comunicação com o requisitante que possa ter algum significado contratual, uma condição estabelecendo que qualquer
acordo está sujeito aos termos gerais.
________________
1)
O ABNT ISO/IEC Guia 25 foi cancelado e substituído pela NBR ISO/IEC 17025:2001.
24 NBR ISO/IEC 14598-5:2001
D.3 Projetando a avaliação
O requisitante solicita a elaboração do plano de avaliação. Este ato constitui a aceitação do requisitante à proposta do
avaliador de elaborar o plano de avaliação, sujeito aos termos e condições descritas na especificação de avaliação.
O plano de avaliação pode reafirmar várias condições da especificação de avaliação e também poderá:
(i) identificar módulos de avaliação específicos a serem aplicados,
(ii) estabelecer um cronograma para o processo de avaliação,
(iii) estabelecer a logística para o processo de avaliação.
O avaliador pode se propor a executar a avaliação de acordo com o plano de avaliação.
D.4 Executando a avaliação

A avaliação deveria seguir a especificação e o plano de avaliação. Do ponto de vista legal, deve-se estar atento para
identificar e preparar-se para possíveis problemas. O problema mais significativo seria o plano de avaliação se mostrar
não factível. Isto pode ocorrer devido a vários fatores ou circunstâncias, incluindo as possibilidades de:
(i) aparecerem deficiências no plano de avaliação,
(ii) o software não estar como especificado,
(iii) intervenção de terceira parte prejudicar a execução.
________________
/ANEXO E
NBR ISO/IEC 14598-5:2001 25
Anexo E (informativo)
Contrato de avaliação
E.1 Modelo de contrato
A estrutura descrita na seção anterior envolve um certo número de contratos separados. Eles estão inter-relacionados e
construídos um a partir dos outros, de tal forma que, no momento do acordo do plano de avaliação, um relacionamento
completo entre os contratos esteja definido. Os componentes-chave são:
(i) requisitos de avaliação,
(ii) especificação de avaliação,
(iii) plano de avaliação,
(iv) termos e condições gerais.
Dentro desta estrutura, os seguintes componentes podem ser identificados:
A. Especificação da avaliação
(i) identificação das partes envolvidas,
(ii) identificação do produto,
(iii) objetivo do contrato,
(iv) identificação das técnicas de avaliação.

B. Condução da avaliação
Os compromissos do requisitante são:

(i) fornecimento do produto de software e informações associadas.
Os compromissos do laboratório de teste incluem:
(i) duração da avaliação,
(ii) qualificação da equipe de avaliação,
(iii) condução da avaliação.
C. O Relatório de Avaliação contém

(i) apresentação dos resultados e formato do relatório de avaliação,
(ii) procedimentos para solução de conflitos,

(iii) situações nas quais o relatório pode, ou não, ser usado,
(iv) nova submissão dos produtos e/ou testes de novas versões.
D. Termos legais e condições gerais consistem em
(i) confidencialidade,
(ii) itens relacionados com a propriedade intelectual,
(iii) cláusulas de exclusão e/ou limitação,
(iv) escolha da lei e/ou jurisdição.
E.2 Termos e condições legais gerais

Durante os estágios do relacionamento entre o requisitante e o laboratório de teste, descritos anteriormente, serão
relevantes vários dispositivos legais. Esses procedimentos incluem itens relativos aos direitos de propriedade intelectual
sobre o software, confidencialidade da informação, cláusulas de exclusão ou limitação, escolha de cláusulas de leis,
cláusulas de interpretação.
Emprego de termos: Nenhuma variação destes termos ou condições gerais será válida, a menos que esteja por
escrito e assinada por um funcionário autorizado do laboratório de teste.
Quando cláusulas da lei nacional tornam alguns destes termos não aplicáveis ou ilegais, estes termos devem ser
eliminados do restante do acordo.
As cláusulas destes termos gerais, em conjunto com a especificação de avaliação e o plano de avaliação, constituem
o contrato completo entre o laboratório de teste e o requisitante, e sobrepõem quaisquer acordos ou representações
feitas pelo, ou em nome, do laboratório de teste.
26 NBR ISO/IEC 14598-5:2001
Confidencialidade: O laboratório de teste compromete-se a tomar todas as precauções cabíveis para manter a
segurança física de qualquer propriedade do requisitante sob sua custódia ou seu controle, como parte do proce-
dimento de avaliação. O laboratório de teste também se compromete a tratar como confidencial qualquer informação
fornecida como parte do procedimento de avaliação e a impor obrigações similares aos seus funcionários ou qualquer
outra parte envolvida para os quais a informação possa ser divulgada com o propósito de avaliação.
Uso dos direitos de propriedade intelectual: O laboratório de teste recebe do requisitante uma licença não exclusiva
para usar o software com a finalidade de teste. Tal uso pode Incluir qualquer forma de análise que será necessária
como parte do procedimento de avaliação.
Limitação da responsabilidade: O laboratório de teste não garante, explícita ou implicitamente, ao requisitante ou a

qualquer parte, a qualidade do software avaliado ou sua adequação a um propósito particular.
Em caso de desempenho negligente de suas obrigações, a responsabilidade do laboratório de teste será limitada ao
valor cobrado pela avaliação. Em nenhum caso o laboratório de teste será responsabilizado por lucros cessantes ou
perdas devido ao desempenho negligente de suas obrigações.
Força maior: Não haverá qualquer responsabilidade, no caso em que acontecimentos fora do controle do laboratório de
teste ou do requisitante, tornem impossível o cumprimento de quaisquer obrigações impostas no contrato de avaliação.
Uso dos resultados da avaliação: O relatório de avaliação pode ser usado pelo requisitante com o propósito de obter
um certificado de conformidade, sendo que o tipo de certificação deverá ser incluído no texto, de acordo com a abor-
dagem geral da avaliação. O relatório pode também ser usado pelo requisitante para outros propósitos, contanto que
não seja reproduzido parcialmente, salvo consentimento do laboratório de teste.
Uso de selos da qualidade: No caso em que o produto seja avaliado como estando em conformidade a um nível de
avaliação relevante, o laboratório de teste, como proprietário de selo da qualidade, concederá licença não exclusiva ao
requisitante para usar este selo nos produtos avaliados ou no seu conjunto. Nada deve sugerir que o produto tenha sido
aprovado pelo laboratório de teste.
Prazo de validade da avaliação: A avaliação terá validade por um período inicial de 12 meses.
Dados de avaliação: Os dados coletados durante o processo de avaliação do produto serão armazenados pelo labo-
ratório de teste durante o prazo de validade da avaliação. Os dados serão tratados como confidenciais e não serão
divulgados sem o consentimento do requisitante ou de acordo com exigências de um Tribunal de Justiça.
No vencimento do prazo de validade os dados serão destruídos.
Todos os produtos e os materiais fornecidos pelo requisitante serão devolvidos após o término do processo de
avaliação.
________________
/ANEXO F
NBR ISO/IEC 14598-5:2001 27
Anexo F (informativo)
Bibliografia
ABNT ISO/IEC Guia 2:1998, Normalização e atividades relacionadas - Vocabulário geral.
1)
ABNT ISO/IEC Guia 25:1993, Requisitos gerais para a capacitação de laboratórios de calibração e de ensaios.
NBR ISO 8402:1994, Gestão da qualidade e garantia da qualidade - Terminologia.2)
NBR ISO 9001:2000, Sistemas de gestão da qualidade - Requisitos.
NBR ISO/IEC 12119:1998, Tecnologia de informação - Pacotes de software - Testes e requisitos de qualidade.
NBR ISO/IEC 12207:1998, Tecnologia de informação - Processos de ciclo de vida de software.
ISO 2382-1:1993, Information technology - Vocabulary - Part 1: Fundamental Terms.
ISO 2382-20:1990, Data processing - Vocabulary - Part 20: System development.

ISO/IEC 9126-1:2001, Information technology - Software product quality - Part 1: Quality model.
ISO/IEC 14598-2:2000, Information technology - Software product evaluation - Part 2: Manager’s guide.
ISO/IEC 15026:1998, Information technology - System and software integrity levels.
ISO/IEC JTC1/SC7 N1056, Working Glossary for SC7.
Commission of the European Communities, DG XIII, ITSEC - Information Technology Security Evaluation Criteria, version
1.2, June 1991, ISBN 92-826-3004-2.
Commission of the European Communities, DG XIII, ITSEM - Information Technology Security Evaluation Manual,
version 1.0, September 1993, ISBN 92-826-7087-2.
ISO/IEC JTC1/SC21/WG9 N12 Ver: February 1994, Proposed draft technical report - interpretation of accreditation
requirements in ISO/IEC Guide 25 for Information Technology and Telecommunications testing laboratories for software and
protocol testing services.
________________
________________
1)
O ABNT ISO/IEC Guia 25 foi cancelado e substituído pela NBR ISO/IEC 17025:2001 - Requisitos gerais para competência de
laboratórios de ensaio e calibração.
2)
A NBR ISO 8402 foi cancelada e substituída pela NBR ISO 9000:2000 - Sistemas de gestão da qualidade - Fundamentos e
vocabulário.

Abnt - NBR Iso Iec 14598 - Tecnologia de Informacao - Avaliacao de Produto de Software - Parte 5 Processo para Avaliadores

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Abnt - NBR Iso Iec 14598 - Tecnologia de Informacao - Avaliacao de Produto de Software - Parte 5 Processo para Avaliadores

Enviado por

Direitos autorais:

Formatos disponíveis

Cópia não autorizada

AGO 2001 NBR ISO/IEC 14598-5

Parte 1 - Visão geral;

Parte 2 - Planejamento e gestão;

Parte 3 - Processo para desenvolvedores;

Parte 4 - Processo para adquirentes;

Parte 5 - Processo para avaliadores;

Parte 6 - Documentação de módulos de avaliação.

Esta Norma contém o anexo A, de caráter normativo, e os anexos B, C, D, E e F, de caráter informativo.

Os potenciais benefícios de avaliação são:

Esta parte da NBR ISO/IEC 14598 pode ser utilizada por:

- adquirentes de software, quando requisitarem informações de avaliações do fornecedor ou de prestadores de

- entidades de certificação na definição de novos procedimentos de certificação para produtos de software.

4.4 requisitante da avaliação: Pessoa ou organização que requisita uma avaliação.

4.6 avaliador: Organização que executa uma avaliação.

5.1 Aspectos gerais

5.2 Ponto inicial da avaliação

5.2.1 Acordo inicial

5.2.2 Partes envolvidas na avaliação

- laboratórios de testes de terceira parte,

- equipes de testes integrantes de organizações de produção ou distribuição de software,

5.3 Características do processo de avaliação

O avaliador fornece as seguintes entradas ao processo de avaliação:

- especificações de avaliação predefinidas,

5.4.3 Saídas do processo de avaliação

Durante o processo de avaliação, o avaliador fornece as seguintes saídas:

- registros de avaliação, incluindo plano de avaliação e registros das ações de avaliação,

- relatório de avaliação revisado.

Descrição Especificação Registros de

Figura 1 - Processo de avaliação

5.5 Relação entre avaliação e ciclo de vida

6.2 Estabelecimento dos requisitos de avaliação

6.2.2 Elaboração dos requisitos de avaliação

A atividade de análise dos requisitos de avaliação é composta das seguintes subatividades:

- proposta dos requisitos pelo requisitante da avaliação;

- estabelecimento pelo requisitante do nível de cobertura da avaliação;

- explicação, pelo avaliador, do nível de confiança e rigor da avaliação;

- acordo sobre os requisitos de avaliação.

6.2.3 Conteúdo dos requisitos de avaliação

6.2.4 Aprovação e relato

6.3 Especificação da avaliação

6.3.1 Objetivos da especificação da avaliação

6.3.2 Elaboração da especificação de avaliação

6.3.2.1 Analisar a descrição do produto

6.3.2.2 Especificar medições

6.4 Projeto da avaliação

6.4.2 Elaboração do plano de avaliação

- disponibilidade das ferramentas para suporte das técnicas de avaliação,

6.4.2.3 Programar ações de avaliação

6.5.2.2 Gerenciar dados de avaliação

6.6 Conclusão da avaliação

6.6.2 Revisão conjunta do relatório de avaliação

6.6.3 Destino dos dados e documentos de avaliação

As subseções seguintes descrevem o conteúdo das seções de um relatório de avaliação.

A.1 Seção 1 - Identificações

Esta subseção deve conter as seguintes informações sobre o avaliador:

- nome da organização avaliadora,

- endereço da organização avaliadora,

- local(ais) onde a avaliação foi realizada (se diferente do endereço acima),

- nome da pessoa responsável pela avaliação.

Identificação do relatório de avaliação

Esta subseção deve conter a identificação do relatório:

- identificação única do relatório (por exemplo, um número de série),