Manual do Avaliador

Avaliao de Conformidade
MoReq-Jus

Verso 1.1

Agosto 2010

SUMRIO
1

Introduo.................................................................................................................... 3
1.1

Objetivo.................................................................................................................

1.2

Pblico-alvo..........................................................................................................

1.3

Base terica utilizada............................................................................................

1.4

Estrutura do Mtodo de Avaliao de Conformidade ao MoReq-Jus....................

Diretrizes para a Execuo da Avaliao: Mtodo de Avaliao..............................5

2.1

Treinamento para avaliadores...............................................................................

2.2

Atribuies do Laboratrio de Testes....................................................................

2.3

Abordagens para a avaliao das questes.........................................................

2.3.1

Questes sistmicas.......................................................................................7

2.3.2

Questes ambientais.......................................................................................7

2.3.3

Questes no funcionais.................................................................................8

2.3.4

Questes de metadados.................................................................................8

2.4

Atribuies dos avaliadores..................................................................................

2.5

Preenchimento das informaes no Relatrio de Teste........................................

2.6

Consolidao do Relatrio de Testes..................................................................

Procedimentos da avaliao.....................................................................................10
3.1

Execuo da avaliao.......................................................................................

3.2

Aes do avaliador para a finalizao da avaliao............................................

3.3

Aes do Laboratrio de Testes para a finalizao da avaliao........................

Elaborao de Relatrio e Laudo Tcnicos.............................................................11

Anexos........................................................................................................................ 12

Referncias................................................................................................................. 12

Histrico de alteraes deste documento...............................................................13

Manual do Avaliador

2/

Introduo

Este manual o componente do Mtodo de Avaliao de Conformidade de softwares ao

MoReq-Jus Ref [1] elaborado para relacionar os demais componentes entre si e definir as
atividades de avaliao de conformidade previstas.
Cada componente traz consigo as orientaes especficas pertinentes, de tal forma que
este documento seja objetivo e no redundante.
O resultado da aplicao desse mtodo ser a elaborao de um Relatrio de Teste, um
Relatrio Tcnico e um Laudo Tcnico do sistema de gesto de processos e
documentos avaliado, para que o CNJ tenha condies de homologar a avaliao e emitir
o selo de qualidade MoReq-Jus ao software avaliado.
1.1

Objetivo

O objetivo deste documento fornecer ao avaliador, informaes, diretrizes e

recomendaes que auxiliem na utilizao dos componentes do Mtodo de Avaliao de
Conformidade de softwares para que a execuo de uma avaliao de conformidade seja
bem sucedida.
1.2

Pblico-alvo

Este manual destinado aos avaliadores treinados no Mtodo de Avaliao de

Conformidade ao MoReq-Jus.
1.3

Base terica utilizada

O Mtodo de Avaliao de Conformidade ao MoReq-Jus foi elaborado a partir do Modelo

de Requisitos para Sistemas Informatizados de Gesto de Processos e Documentos do
Judicirio Brasileiro (http://www.cnj.jus.br/images/moreq_jus/manualmoreq.pdf) Ref [1].
A execuo da avaliao segue as recomendaes da Norma NBR ISO/IEC 14598-5 Ref
[2].
Foi utilizada tambm, a bibliografia disponvel sobre mtodos de avaliao similares, tais
como, Mtodo de Avaliao PNAFM Ref [3], Prmio ASSESPRO Ref [4] e MEDE-PROS
Ref [5] e Ref [6].
1.4

Estrutura do Mtodo de Avaliao de Conformidade ao MoReq-Jus

Os seguintes componentes fazem parte do Mtodo de Avaliao de Conformidade ao

MoReq-Jus:

Checklist Documento que inclui as questes utilizadas na avaliao. O mtodo

composto por:
o

Manual do Avaliador

Treze checklists, um para avaliar cada uma das reas do MoReq-Jus

Organizao dos documentos institucionais: plano de classificao e

manuteno dos documentos

Captura

3/

Armazenamento

Preservao

Segurana

Tramitao e fluxo de trabalho

Avaliao e destinao

Pesquisa, localizao e apresentao de documentos

Funes administrativas

Usabilidade

Interoperabilidade

Disponibilidade

Desempenho e escalabilidade

Quatro checklists para avaliar os Metadados

Metadados de contedo

Metadados de segurana

Metadados de auditoria

Metadados de preservao

Template de Relatrio de Teste Modelo do documento utilizado pelos

avaliadores durante o processo de avaliao para registrar os resultados obtidos.

Template de Relatrio Tcnico Modelo do documento utilizado para apresentar

ao solicitante os resultados conclusivos da avaliao.

Template de Laudo Tcnico Modelo do documento utilizado para emitir o

parecer tcnico de acordo com os critrios estabelecidos pelo sistema de
certificao.

Manual do Avaliador Este documento, que fornece ao avaliador as normas

gerais que o auxiliam e o orientam na execuo da avaliao de conformidade.

Template do Termo de Compromisso do Avaliador Modelo do documento que

contm as responsabilidades com as quais o avaliador se compromete durante o
processo de avaliao.

Template do Termo de Compromisso do Laboratrio de Testes Modelo do

documento que contm as responsabilidades com as quais o laboratrio de teste,
representado pelo seu coordenador, se compromete durante o processo de
avaliao.

Manual do Avaliador

4/

Diretrizes para a Execuo da Avaliao: Mtodo de Avaliao

Nessa seo sero apresentadas as atribuies do Laboratrio de Testes que o

responsvel pela execuo da avaliao, o treinamento dos avaliadores, as obrigaes e
as regras que os avaliadores devero respeitar, o material a ser utilizado na avaliao, as
orientaes gerais sobre o preenchimento do Relatrio de Teste.
2.1

Treinamento para avaliadores

O programa de treinamento para o avaliador deve incluir uma viso completa do:

Modelo de Requisitos para Sistemas Informatizados de Gesto de Processos e

Documentos do judicirio brasileiro MoReq-Jus.

Mtodo de Avaliao de Conformidade ao MoReq-Jus.

Apresentao dos componentes do Mtodo relacionados diretamente

avaliao:
o

Relatrio de Teste.

Manual do Avaliador.

Sistema avaliado a seguir so apresentadas algumas recomendaes que tm

como objetivo auxiliar na manuteno do foco do treinamento e a maximizao do
seu aproveitamento por parte dos avaliadores.
O responsvel pelo planejamento do treinamento deve:

Fornecer antecipadamente a ementa e a agenda do treinamento. Essa ementa

deve priorizar os fluxos principais do sistema e uma viso geral dos
documentos tcnicos: documento de viso, arquitetura e modelo de dados.

Elaborar e fornecer o material do treinamento.

Alocar instrutores com perfis que atendam os tpicos abordados.

Preparar a infraestrutura: equipamentos, espao fsico.

O responsvel pela execuo do treinamento deve abordar os assuntos, assim

como especificado na ementa:

Viso geral do sistema (baseada no documento de viso)

Arquitetura

Modelo de dados

Fluxos principais sempre que possvel adotar a dinmica da apresentao da

funcionalidade seguida de prtica no sistema.

Manual do Avaliador

5/

2.2

Atribuies do Laboratrio de Testes

O Laboratrio de testes o responsvel por aplicar o Mtodo de Avaliao de

Conformidade ao MoReq-Jus. A aplicao do Mtodo inclui atividades que devem ser
executadas antes, durante e no final da avaliao.

As atividades que antecedem a avaliao so:

Receber a solicitao de avaliao do sistema.

Ler e assinar o Termo de Compromisso do Laboratrio de Testes (Anexo 2)

antes do incio do processo de avaliao de conformidade.

Solicitar profissionais com perfis tcnicos necessrios para apoio aos

avaliadores no perodo da avaliao. Por exemplo: analista de negcios,
administrador de dados, operadores do sistema, etc.

Fornecer equipe de avaliadores treinados no mtodo e com perfil tcnico

adequado s reas avaliadas.

Ter acesso, antecipadamente, documentao do sistema a ser utilizada na

avaliao e ao material a ser utilizado pelos avaliadores na aplicao do
mtodo.
o

Disponibilizao do Relatrio de Teste com a indicao das reas que sero

verificadas no sistema sob avaliao.

Disponibilizao do Manual do Avaliador.

Especificao dos recursos de hardware e software a serem utilizados pelo

Laboratrio de Teste.

Obteno dos insumos necessrios avaliao, junto ao solicitante. Ex.:

Padres, normas internas, regras, leis.

Prover recursos de hardware e software suficientes s necessidades do

sistema que ser avaliado.

Preparar e validar o ambiente operacional (equipamentos, dispositivos)

necessrio avaliao.

Prover uma massa de dados robusta para a avaliao das questes.

Reunio de preparao para a avaliao apresentao das diretrizes aos

avaliadores.

Priorizao das reas a serem avaliadas considerando a categorizao das

questes.

Distribuio das reas a serem avaliadas de acordo com a rea de

atuao/experincia de cada avaliador.

As atividades em tempo de execuo da avaliao so:

Manual do Avaliador

6/

2.3

Executar a avaliao segundo a especificao presente em proposta tcnica

e/ou contrato, considerando principalmente as expectativas e prazo, acordados
com o solicitante.

Registrar as evidncias durante a execuo da avaliao, para a elaborao do

Relatrio Tcnico, a ser entregue ao solicitante.

Possibilitar o acompanhamento do processo de avaliao pelo solicitante.

Garantir o sigilo e a confidencialidade das informaes do solicitante

manipuladas durante a execuo da avaliao.

Fornecer esclarecimentos s dvidas dos avaliadores durante a avaliao.

As atividades que precedem o encerramento da avaliao so:

Reunio final da avaliao feedback dos avaliadores em relao avaliao

e ao Mtodo.

Consolidar o Relatrio de Teste.

Revisar o Relatrio de Teste, antes da entrega ao solicitante.

Devolver o material que o solicitante forneceu para a avaliao.

Abordagens para a avaliao das questes

As questes do Relatrio de Teste esto categorizadas (Sistmica, Ambiente, No

Funcional e Metadados) de acordo com a sua abordagem para a avaliao. Essa
abordagem considera:

Ambiente (hardware/software)

Perfis dos avaliadores

Equipe de apoio

Forma de avaliao das questes: auditoria e/ou teste e/ou entrevista.

2.3.1

Questes sistmicas

Ambiente com configurao bsica (homologao).

Avaliao com acompanhamento de perfil tcnico especfico (analista de negcio e

operadores com conhecimento do sistema).

Avaliao por operao direta no sistema.

2.3.2

Questes ambientais
Ambiente de infraestrutura do sistema.

Manual do Avaliador

7/

Avaliao com acompanhamento de perfil tcnico especfico (conhecedor da

infraestrutura do sistema, e configurao dos equipamentos/dispositivos).

Acesso a polticas, normas, regulamentos, etc.

Avaliao por entrevista e verificao na infraestrutura.

2.3.3

Questes no funcionais

Ambiente com configurao diferenciada.

Avaliao com acompanhamento de perfil tcnico especfico (executor de testes

no funcionais).

Execuo de testes especficos.

Obteno prvia de informaes para planejamento dos cenrios de testes para a

avaliao.

Utilizao de ferramentas automatizadas.

Avaliao por entrevista e operao direta no sistema.

2.3.4

Questes de metadados

Ambiente configurado para acesso ao banco de dados e modelo de dados (projeto

da camada de metadados).

Avaliao com acompanhamento de perfil tcnico especfico (administrador de

dados) com conhecimento do modelo de dados do sistema e execuo de
consultas na base de dados.

Massa de dados robusta (todas as tabelas populadas).

Avaliao por entrevista, operao direta no sistema e acesso a base de dados.

2.4

Atribuies dos avaliadores

Os avaliadores envolvidos nas atividades do Laboratrio de Testes, responsveis pela

avaliao de conformidade do MoReq-Jus devero:

Ler e assinar o Termo de Compromisso do Avaliador (Anexo 1) antes de iniciar a

execuo de uma avaliao.

Utilizar o material recebido do coordenador do laboratrio de testes e apenas esse

material.

No retirar o material recebido para a execuo da avaliao do laboratrio de

testes sem prvia autorizao.

Zelar pelo material recebido.

No divulgar informaes do solicitante ou do sistema em avaliao;

Manual do Avaliador

8/

Executar a avaliao no equipamento do Laboratrio de Testes, alocado pelo

coordenador do laboratrio de testes.

Executar a avaliao no prazo combinado.

Executar a avaliao de acordo com o Mtodo de Avaliao de Conformidade ao

MoReq-Jus.

Ler a atribuir respostas a todas as questes existentes no Relatrio de Teste.

Encaminhar as dvidas existentes ao coordenador do laboratrio de testes para

receber esclarecimentos.

Atribuir uma resposta questo avaliada. O avaliador dever executar o passo a

passo existente na coluna Procedimentos do Relatrio de Teste. Recomenda-se
documentar os procedimentos adicionais na coluna Observaes/Justificativas.

Preencher e encaminhar o Relatrio de Testes (Anexo 3) contendo o resultado da

avaliao ao coordenador do laboratrio.

2.5

Preenchimento das informaes no Relatrio de Teste

Apresenta um conjunto de orientaes para apoiar o avaliador no correto preenchimento

do Relatrio de Teste, registrado na aba identificada como Guia Rpido Avaliador.
As seguintes informaes devero ser preenchidas no Relatrio de Teste:

Identificao da avaliao Nome, verso, poltica de versionamento, escopo do

sistema de software avaliado, escopo da avaliao e reas avaliadas.

Ambiente Identificao dos equipamentos utilizados na avaliao, incluindo

informaes da configurao de hardware e software.

Documentao tcnica Identificao dos documentos de apoio fornecidos pelo

solicitante e que foram utilizados durante a avaliao.

Esforo Tempo aplicado para cada rea avaliada e nmero de avaliadores

envolvidos.

[rea] Cada rea avaliada possui uma aba prpria onde so informados para
cada questo:
o

Caminho para acesso funcionalidade no sistema.

Observaes/Justificativas Anotaes do avaliador com o objetivo de

complementar a resposta registrada. Esse registro deve ser claro e
detalhado, pois ser utilizado como insumo para documentar o ocorrido no
Relatrio Tcnico, a ser entregue ao solicitante da avaliao.

Ocorrncia de Defeito Utilizada quando o produto de software (sistema)

apresentar defeito durante a avaliao. O avaliador deve utilizar essa coluna
para registrar os passos executados que levaram ao defeito, facilitando sua
reproduo quando necessrio.

Manual do Avaliador

9/

2.6

Data da avaliao da questo.

Resultado obtido na avaliao da questo. Valores possveis:

"S" (Sim) O produto de software avaliado atende o solicitado na

questo.

"N" (No) O produto de software no atende o solicitado na

questo.

"NA" (No se Aplica) Questes que fazem referncia a um aspecto

que no se enquadra no produto de software (sistema) em
avaliao.

"AP" (Avaliao Prejudicada) Utilizada nas situaes:

Quando o produto de software apresentar um defeito

impeditivo para o trmino da avaliao da questo. Nesse
caso o avaliador deve descrever, na coluna Ocorrncia de
defeito, o defeito ocorrido bem como o passo a passo para a
sua reproduo.

O avaliador no est seguro para avaliar, seja por falta de

recursos, informao, ou mesmo por falta de conhecimento
especfico no assunto abordado.

Consolidao do Relatrio de Testes

O Relatrio de Teste (Anexo 3) dever retratar fielmente, o comportamento do sistema

avaliado, frente aos requisitos do MoReq-Jus implementados no sistema.
Com base nos Relatrios de Testes fornecidos pelos avaliadores so consolidados para
cada rea avaliada os resultados dos testes, o esforo empregado, o ambiente e a
documentao utilizada.

Procedimentos da avaliao

O avaliador deve receber o Relatrio de Teste com a indicao das reas a serem
avaliadas sob sua responsabilidade e a documentao tcnica correspondente a essas
reas.
3.1

Execuo da avaliao

O avaliador dever realizar as seguintes atividades para garantir que a avaliao alcance o
resultado esperado:

Interagir com o produto e ler a sua documentao para criar familiaridade com o
sistema.

Procurar o coordenador do laboratrio, to logo perceba algum impedimento para

prosseguir com a avaliao.

Manual do Avaliador

10 /

3.2

Aes do avaliador para a finalizao da avaliao

Verificar se todas as questes do Relatrio de Teste foram respondidas antes de

sinalizar o trmino da atividade ao coordenador do laboratrio.

Encaminhar o Relatrio de Teste ao coordenador do laboratrio de testes.

3.3

Aes do Laboratrio de Testes para a finalizao da avaliao

Consolidar o Relatrio de Teste.

Revisar o Relatrio de Teste e solicitar ajustes quando necessrio.

Entregar o Relatrio de Teste ao solicitante.

Devolver o material fornecido pelo solicitante.

Elaborao de Relatrio e Laudo Tcnicos

O Relatrio Tcnico (Anexo 4) deve ser elaborado a partir da anlise dos resultados
obtidos no Relatrio de Teste.
O Relatrio Tcnico possui a seguinte estrutura:

Identificao da avaliao Agrupa informaes sobre as partes envolvidas na

avaliao, o produto de software avaliado e o perodo da avaliao. So elas:
identificao do solicitante da avaliao, identificao do fornecedor do produto de
software, identificao do produto de software, escopo do produto de software,
escopo da avaliao, reas do MoReq-Jus avaliadas no produto de software,
perodo de realizao da avaliao, avaliadores e outros envolvidos durante o
processo da avaliao.

Ambiente e Documentao tcnica Apresenta, por rea avaliada, a identificao

dos todos os equipamentos utilizados na avaliao (configurao de hardware e
software) e a identificao dos documentos de apoio fornecidos pelo solicitante e
utilizados durante a avaliao.

Esforo Apresenta informaes sumarizadas para cada rea avaliada, nmero

de avaliadores envolvidos e esforo empregado na avaliao.

Consideraes aps avaliao Espao utilizado para:

Destaques positivos relato das funcionalidades e caractersticas do

produto de software que merecem destaque. Os requisitos desejveis que
obtiveram respostas S para as questes avaliadas devem ser descritos
nessa seo.

Pontos a serem revistos relatos das sugestes de melhorias para

funcionalidades e subfuncionalidades do produto de software onde forem
observados pontos fracos especialmente em requisitos no funcionais
como, por exemplo, usabilidade.

Manual do Avaliador

11 /

Critrios para avaliao Especifica os critrios utilizados para avaliar o produto

de software.

Sumarizao Apresenta as informaes consolidadas dos requisitos a partir das

sumarizaes individuais por rea do MoReq-Jus (presentes no prprio Relatrio
Tcnico) avaliadas no produto de software. Cada rea sumarizada em Categorias
(Sistmica, Ambiente, No Funcional e Metadados) e estas, por sua vez, so
subdivididas em Obrigatrios e Desejveis. Tambm apresentada a sumarizao
conforme a Resoluo n 91/2009 que estabelece os requisitos previstos para 2012
e 2014.

Grfico % Aderncia por rea Grficos de barras elaborados com informaes

de % Aderncia (eixo x), um para cada Categoria das reas do MoReq-Jus
avaliadas (eixo y) para requisitos Obrigatrios e Desejveis.

Pesos - reas Contm os pesos atribudos a cada questo e que so utilizados

nos clculos de aderncia de cada rea.

Pesos - Metadados Contm os pesos atribudos a cada questo e que so

utilizados nos clculos de aderncia dos elementos de metadados.

[Nome da rea-A Avaliada] O Relatrio Tcnico contm uma aba para cada
rea do MoReq-Jus avaliada no produto de software. Essa aba contm algumas
informaes (colunas) obtidas a partir da rea correspondente do Relatrio de
Teste. So elas: ID do Requisito MoReq-Jus, Requisito, Obrigatoriedade, Categoria,
Testabilidade, ID Questo, Questo, Respostas Obtidas e Peso da Questo e a
Sumarizao dos resultados da rea avaliada.
A sumarizao feita para cada requisito e apresenta:

Requisitos Total de requisitos da rea avaliada.

Questes Total de questes: da rea avaliada e por requisito.

Respostas Questes S (Sim), N (No), NA (No se aplica) e AP

(Avaliao prejudicada).

% Aderncia O percentual de aderncia atribudo por Categoria para

os requisitos Obrigatrios e Desejveis. O clculo da aderncia
determinado pela relao entre a soma do peso das questes que
obtiveram resposta S e a soma do peso de todas as questes
respondidas, excluindo-se aquelas que tiveram resposta NA.

Laudo tcnico Apresenta um parecer tcnico sobre o grau de aderncia do produto de

software s reas do MoReq-Jus avaliadas. A emisso do Laudo Tcnico (Anexo 5) deve
ter como base o percentual de aderncia obtido para as reas avaliadas que esto de
acordo com os critrios, estabelecidos para a avaliao, apresentados no Relatrio
Tcnico.

Anexos

Est prevista a definio dos seguintes instrumentos para compor esse documento:
Anexo 1: Template do Termo de Compromisso do Avaliador

Manual do Avaliador

12 /

Anexo 2: Template do Termo de Compromisso do Laboratrio de Testes

Anexo 3: Template do Relatrio de Testes
Anexo 4: Template do Relatrio Tcnico
Anexo 5: Template do Laudo Tcnico

Referncias

Ref [1] Modelo de Requisitos para Sistemas Informatizados de Gesto de Processos e

Documentos
do
Judicirio
(http://www.cnj.jus.br/images/moreq_jus/manualmoreq.pdf)

Brasileiro

Ref [2] NBR ISO/IEC 14598-5. ASSOCIAO BRASILEIRA DE NORMAS TCNICAS

NBR ISO/IEC. 14598-5 Tecnologia de Informao - Avaliao de Produto de

Software Parte 5: Processo para avaliadores. Rio de Janeiro ABNT, 2002. 28
pp.(verso brasileira da Norma ISO/IEC 14598-5, 1998)
Ref [3] MAINTINGUER, S. T. Um mtodo de avaliao especialista para produtos de

software, desenvolvido a partir dos requisitos de um edital. 2004. 145pp.

Trabalho final de Mestrado, Faculdade de Engenharia Mecnica, UNICAMP
Universidade Estadual de Campinas, Campinas, SP, 2004.
Ref [4] ROCHA,A.R.C.;MALDONADO,J.C.;WEBER,K.C. Qualidade de Software Teoria

e Prtica.So Paulo: Prentice Hall, 2001, 303 pp. Cap.13 Um Caso Prtico de
Avaliao da Qualidade de Produtos de Software Prmio ASSESPRO.
Ref [5] GUERRA, A. C. ; COLOMBO, R. M. T. Tecnologia da Informao: Qualidade de

Produto de Software. Ministrio da Cincia e Tecnologia, 2009.

Ref [6] COLOMBO,R.M.T. Processo de Avaliao da Qualidade de Pacotes de

Software. 2004. 169pp. Dissertao (Mestrado em Qualidade) Faculdade de

Engenharia Mecnica, UNICAMP Universidade Estadual de Campinas,
Campinas, SP, 2004.

Histrico de alteraes deste documento

Data de
elaborao

Verso

Autor

Descries das alteraes realizadas

25/ago/10

1.1

CPqD

Atualizaes decorrentes do aprimoramento

do mtodo de avaliao.

19/mai/10

1.0

CPqD

Verso inicial

Manual do Avaliador

13 /