Qualidade do Produto de Software

Normas e Modelos de Qualidade do Produto de Software

ISO/IEC 9126
Caractersticas de qualidade de software

ISO/IEC 14598
Guias para Avaliao de Produto de Software

ISO 25000 (SQuaRE)

Reformulao da 9126+14598

2/59

Fatores de Qualidade do Produto de Software

A noo de qualidade de software pode ser descrita por um grupo de fatores, requisitos ou atributos, tais como: confiabilidade, eficincia, facilidade de uso, modularidade, legibilidade, etc; Podemos classificar estes fatores em dois tipos: externos e internos.

Fatores Externos

Fatores Internos
3/59

A Norma ISO/IEC 9126

uma norma composta por um conjunto de caractersticas que devem ser verificadas em um software para que ele seja considerado um "software de qualidade".

4/59

A Norma ISO/IEC 9126: estrutura

ISO/IEC 9126-1: Modelo de Qualidade ISO/IEC 9126-2: Mtricas Externas ISO/IEC 9126-3: Mtricas Internas ISO/IEC 9126-4: Mtricas de Qualidade em Uso

5/59

ISO/IEC 9126-1 - Modelo de Qualidade

Documento composto basicamente de definies para as caractersticas de qualidade

6/59

ISO/IEC 9126-1 - Modelo de Qualidade Interna e Externa

Para qualquer requisito de qualidade interna ou externa deve ser

possvel especific-lo utilizando-se apenas as seis caractersticas.
7/59

ISO 91261: Modelo de

qualidade para qualidade em uso
Viso de qualidade do usurio

8/59

Medio do Produto de Software: ISO 91262..4

Definies
Atributo: Uma propriedade mensurvel, fsica ou abstrata, de uma entidade. Atributos podem ser internos ou externos. Medio: O uso de uma mtrica para atribuir um valor (o qual pode ser um nmero ou uma categoria), obtido a partir de uma escala, a um atributo de uma entidade. Mtrica: O mtodo e a escala de medio definidos.
9/59

Medio do Produto de Software: seleo de mtricas

As caractersticas de qualidade no permitem medio direta. necessrio estabelecer mtricas que se correlacionem s caractersticas do produto de software. Todo atributo interno quantificvel do software e todo atributo externo quantificvel do software interagindo com seu ambiente e que se correlacione com uma caracterstica, pode ser definido como uma mtrica.
10/59

ISO/IEC 9126-2 - Mtricas Externas

Define indicadores e mtricas externas para avaliar um produto de software. Referem-se a medies indiretas de um produto de software a partir do comportamento do Sistema Computacional ou do seu efeito no ambiente, quando da execuo de seus programas
11/59

ISO/IEC 9126-2 - Mtricas Externas

Permite definir a medio somente para aquelas caractersticas que so determinantes para o produto de software desejado. A separao das caractersticas de qualidade permite a atribuio de pesos de forma a reforar a importncia desta ou daquela caracterstica.
12/59

ISO/IEC 9126-2 - Mtricas Externas

Devem ser usadas para:
avaliar o comportamento do software quando usado em situaes especficas; predizer a qualidade real no uso; avaliar e indicar se o produto satisfaz as verdadeiras necessidades durante a operao real pelo usurio.

Exemplo:
Caracterstica: Funcionalidade Sub-caracterstica: Adequao
quantidade de funes atendidas, que podero ser subdivididas em desejveis e obrigatrias.
13/59

ISO/IEC 9126-2 - Mtricas Externas

1.Mtricas de Funcionalidade
Medem atributos que evidenciam o comportamento do sistema que contm o software.

14/59

ISO/IEC 9126-2 - Mtricas Externas

1.1.Mtricas de Adequao
Medem atributos do software que evidenciam um conjunto de funes e sua apropriao para as tarefas especificadas.
Mtrica Externa Cobertura das implementadas funes Frmula X=A/B A = Nmero de funes implementadas em teste. B = Nmero de funes especificadas. Interpretao 0 <= X <=1 Melhor resultado prximo de 1. Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

15/59

ISO/IEC 9126-2 - Mtricas Externas

2. Mtricas de Confiabilidade
Medem atributos que evidenciam a capacidade do software de manter seu nvel de desempenho sob condies estabelecidas durante um perodo de tempo estabelecido.

16/59

ISO/IEC 9126-2 - Mtricas Externas

2.1. Mtricas de Maturidade

Medem atributos do software que evidenciam quo livre o software est de ocorrncias de falhas internas.
Mtrica Externa
Resoluo de Falhas

Frmula
X=A/B A = Nmero de falhas resolvidas. B= Nmero Total de Falhas de falhas detectadas

Interpretao
0 <= X <=1 Melhor resultado prximo de 1.

Tipo da Medida
A = Contagem B = Contagem X= Contagem /Contagem

17/59

ISO/IEC 9126-2 - Mtricas Externas

3. Mtricas de Usabilidade
Medem atributos que evidenciam o esforo necessrio para poder-se utilizar o software, bem como o julgamento individual deste uso, por um conjunto implcito ou explcito de usurios.

18/59

ISO/IEC 9126-2 - Mtricas Externas

3.1. Mtricas de Inteligibilidade - Medem os atributos que evidenciam o esforo do usurio para
reconhecer o conceito lgico e sua aplicabilidade.
Mtrica Externa Entendimento entrada/sada da Frmula X=A/B A= Nmero de funes onde o usurio compreende com sucesso os dados de entrada e sada em um curto perodo de avaliao. B= Nmero de funes onde o usurio compreende com sucesso os dados de entrada e sada em um perodo de observao. Interpretao 0 <= X <=1 Melhor resultado prximo de 1. Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

19/59

ISO/IEC 9126-2 - Mtricas Externas

4. Mtricas de Eficincia
Medem os atributos que evidenciam o relacionamento entre o nvel de desempenho do software e a quantidade de recursos usados, sob condies estabelecidas.

20/59

ISO/IEC 9126-2 - Mtricas Externas

4.1. Mtricas de Comportamento em relao aos recursos

Medem os atributos do software que evidenciam a quantidade de recursos usados e a durao de seu uso na execuo de suas funes.
Mtrica Externa
Utilizao da Memria

Frmula
X=A/B A = Quantidade de memria utilizada B = Memria total

Interpretao
0 <= X <= 1 Valor prximo da mdia o melhor.

Tipo da Medida
A= Tamanho B= Tamanho X= Tamanho

21/59

ISO/IEC 9126-2 - Mtricas Externas

5. Mtricas de Portabilidade
- Medem os atributos do software que evidenciam a capacidade do software em ser transferido de um ambiente para outro.

22/59

ISO/IEC 9126-2 - Mtricas Externas

5.1 Mtricas de Capacidade para ser instalado
Medem os atributos do software que evidenciam o esforo necessrio para sua instalao num ambiente especificado.
Mtrica Externa Pouco esforo instalao para Frmula X=A A= Nmero de manuias de usurio necessrios para instalao. Interpretao 0<X O menor valor o melhor. Tipo da Medida A= Contagem X= Contagem

23/59

ISO/IEC 9126-2 - Mtricas Externas

6. Mtricas de Manutenibilidade
Medem os atributos que evidenciam o esforo necessrio para fazer modificaes especificadas no software.

24/59

ISO/IEC 9126-2 - Mtricas Externas

6.1 Mtricas de Modificabilidade
Medem os atributos do software que evidenciam o esforo necessrio para modific-lo, remover seus defeitos ou adapt-lo a mudanas ambientais.
Mtrica Externa Facilidade nas mudanas Frmula X=A/B A= Soma do tempo dedicado mudana. B= Tamanho do software modificado. Interpretao 0 <=X Quanto mais prximo de zero melhor Tipo da Medida A= Tempo B= Tempo X= Tamanho

25/59

ISO/IEC 9126-3 - Mtricas Internas

Define indicadores e mtricas internas para avaliar um produto de software Mtricas internas referem-se a medies de um produto de software a partir de suas prprias caractersticas internas, sem a necessidade de execuo dos programas.
Exemplos: nmero de linhas de cdigo, nmero de erros encontrados em revises, etc.
26/59

ISO/IEC 9126-3 - Mtricas Internas

As mtricas internas oferecem a possibilidade de medir a qualidade dos artefatos intermedirios e de prever a qualidade do produto final Isto permite que sejam identificados problemas de qualidade e se inicie a ao corretiva assim que possvel no ciclo de vida do desenvolvimento.
27/59

ISO/IEC 9126-3 - Mtricas Internas

Mtricas para as caractersticas e sub-caractersticas de qualidade
1. Mtricas internas de Funcionalidade

So usadas para prever se o produto de software em questo ir satisfazer os requisitos funcionais e suprir as necessidades dos usurios.

28/59

ISO/IEC 9126-3 - Mtricas Internas

1.1 Mtricas de Segurana
Indicam um conjunto de atributos para avaliar a capacidade do produto de software de evitar acesso ilegal ao sistema e a seus dados.
Mtrica Interna
Preveno da corrupo dos dados

Frmula
X=A/B A= Nmero de instncias implementadas de preveno de corrupo de dados como especificado na reviso. B= Nmero de instncias de operao/acesso identificadas nos requisitos capazes de corromper os dados.

Interpretao
0 <= X <=1 Melhor resultado prximo de 1.

Tipo da Medida
A = Contagem B = Contagem X= Contagem /Contagem

29/59

ISO/IEC 9126-3 - Mtricas Internas

Mtricas internas de Confiabilidade
- So usadas para prever se o produto de
software em questo ir satisfazer, na fase de desenvolvimento do produto, necessidades de confiabilidade preestabelecidas.

30/59

ISO/IEC 9126-3 - Mtricas Internas

2.1 Tolerncia a falhas
Indicam um conjunto de atributos para avaliar a capacidade do produto de software de manter um nvel de performance desejvel em caso de falhas operacionais ou uso no natural das interfaces.
Mtrica Interna No permisso de operaes incorretas Frmula Interpretao Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

X=A/B A=Nmero de funes implementadas para evitar padres de operaes incorretas. B=Nmero de operaes incorretas que sero consideradas.

0 <= X Melhor resultado para X maiores.

31/59

ISO/IEC 9126-3 - Mtricas Internas

3. Mtricas internas de Usabilidade
- So usadas para prever em que extenso o software em questo poder ser entendido, aprendido, operado, atraente ao usurio e compatvel com os regulamentos de usabilidade.

32/59

ISO/IEC 9126-3 - Mtricas Internas

3.1 Mtricas de aprendizado
Avaliam quanto tempo os usurios levaro para aprender a usar funcionalidades particulares do sistema e a eficcia dos sistemas de ajuda e documentao.
Mtrica Interna Completude da documentao para o usurio e facilidade de uso dos sistemas de ajuda. Frmula Interpretao Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

X= A/B A= Nmero de funes descritas no documento. B= Nmero total de funes do sistema.

0 <= X <=1 Melhor resultado prximo de 1.

33/59

ISO/IEC 9126-3 - Mtricas Internas

4. Mtricas internas de Eficincia
- So usadas para prever a eficincia do comportamento do produto de software durante os testes ou operao.

34/59

ISO/IEC 9126-3 - Mtricas Internas

4.1 Mtricas de utilizao de recursos
Indicam um conjunto de atributos para prever a utilizao de recursos de hardware pelo sistema computacional incluindo o produto de software durantes os testes ou operao.

Mtrica Interna Utilizao de Entrada e Sada

Frmula

Interpretao

Tipo da Medida X= Tamanho

X=nmero de buffers(calculados ou simulados)

Quanto menor, melhor o resultado .

35/59

ISO/IEC 9126-3 - Mtricas Internas

5. Mtricas internas de Manutenabilidade
- So usadas para prever o nvel de esforo necessrio para modificar o produto de software.

36/59

ISO/IEC 9126-3 - Mtricas Internas

5.1 Mtricas de custo de mudana
Indicam um conjunto de atributos para prever o tempo de esforo necessrio na tentativa de implementao de uma mudana no produto de software.
Mtrica Interna Impacto da mudana Frmula Interpretao Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

X=1-A/B A= Nmero de impactos detectados aps as modificaes B=Nmero de modificaes feitas.

0 <= X <=1 Melhor prximo de 1.

resultado

37/59

ISO/IEC 9126-3 - Mtricas Internas

6. Mtricas internas de Portabilidade
- So usadas para prever o efeito que o produto de software ter no comportamento do sistema durante quando ele est sendo portado.

38/59

ISO/IEC 9126-3 - Mtricas Internas

6.1 Mtricas de Adaptabilidade
Indicam um conjunto de atributos para prever o impacto que o produto de software pode ter no esforo do usurio ao tentar adapt-lo a outros ambientes.
Mtrica Interna Adaptabilidade ao ambiente de hardware Frmula Interpretao Tipo da Medida A = Contagem B = Contagem X= Contagem /Contagem

X=A/B A= Nmero de funes implementadas capazes de ter os mesmos resultados em diferentes ambientes de hardware B=Nmero total de funes com requisitos de capacidade de adaptao de hardware.

0 <= X <=1 Melhor resultado prximo de 1.

39/59

ISO/IEC 9126-4 - Mtricas de Qualidade em Uso

A avaliao da Qualidade em Uso do software valida a qualidade do produto em cenrios e tarefas comuns ao usurio Os atributos da qualidade em uso so categorizados pelas caractersticas: efetividade, produtividade, segurana e satisfao Usurios tambm podem desenvolver e aplicar mtricas para seus domnios particulares de aplicao
40/59

ISO/IEC 9126-4 - Mtricas de Qualidade em Uso: exemplo

Efetividade Nome da Mtrica: Tarefas Completadas Propsito: determinar proporo de tarefas completadas

Frmula: (# tarefas compltadas/ # tarefas tentadas)

Interpretao: 0 <= x <= 1, quanto mais prximo de 1, melhor Entradas: relatrio de operao, registro de histrico de uso

41/59

Qualidade no Ciclo de Vida do Software

42/59

Relacionamento entre os Tipos de Mtricas

Qualidade interna e externa so aplicveis ao produto de software Qualidade em uso aplicvel ao efeito do produto de software em um cenrio especfico As mtricas internas podem ser aplicadas a um produto de software no executvel As mtricas externas podem ser usadas para medir a qualidade do produto de software atravs da medio de seu comportamento em um sistema do qual ele faa parte As mtricas de qualidade em uso medem o quanto o produto agrega s necessidades de usurios especficos
43/59

Certificao da Qualidade do Produto

Conjunto planejado e sistemtico de todas as aes necessrias para fornecer uma confiana adequada de que o item ou produto est de acordo com os requisitos tcnicos estabelecidos. (ANSI/IEEE Std 730-1984)

44/59

A Norma ISO/IEC 14598

Como avaliar um software de acordo com as caractersticas estabelecidas???

45/59

A Norma ISO/IEC 14598

Orienta o planejamento e a execuo de um processo de avaliao da qualidade do produto de software Complementa a ISO/IEC 9126. Inclui modelos para relatrios de avaliao, tcnicas para medio das caractersticas, documentos necessrios para avaliao e fases da avaliao
46/59

A Norma ISO/IEC 14598: vises

Certificao

Quem realiza

Finalidade

de 1a. parte

Empresas que desenvolvem software

Melhorar a qualidade de seu prprio produto

de 2a. parte

Empresas que adquirem software

Determinar a qualidade do produto que iro adquirir

de 3a. parte

Empresas que fazem certificao

Emitir documento oficial sobre a qualidade de um software

47/59

A Norma ISO/IEC 14598: estrutura

Norma 14598-1 14598-2 14598-3 14598-4 14598-5 14598-6 Nome Viso Geral Planejamento e Gerenciamento Guia para Desenvolvedores Guia para Aquisio Guia para Avaliao Mdulos de Avaliao Finalidade Ensina a utilizar as outras normas do grupo Sobre como fazer uma avaliao, de forma geral Como avaliar sob o ponto do vista de quem desenvolve Como avaliar sob o ponto de vista de quem vai adquirir Como avaliar sob o ponto de vista de quem certifica Detalhes sobre como avaliar cada caracterstica

48/59

A Norma ISO/IEC 14598

Modelo de relatrio de avaliao, segundo um anexo da norma ISO/IEC 14598-5.
Seo 1 - Prefcio Itens Identificao do avaliador Identificao do relatrio de avaliao Identificao do contratante e fornecedor Descrio geral do domnio de aplicao do produto Descrio geral dos objetivos do produto Lista dos requisitos de qualidade, incluindo - Informaes do produto a serem avaliadas - Referncias s caractersticas de qualidade - Nveis de avaliao Abrangncia da avaliao Referncia cruzada entre os requisitos de avaliao e os componentes do produto Especificao das medies e dos pontos de verificao Mapeamento entre a especificao das medies com os requisitos de avaliao Mtodos e componentes nos quais o mtodo ser aplicado Resultados da avaliao propriamente ditos Resultados intermedirios e decises de interpretao Referncia s ferramentas utilizadas

2 - Requisitos

3 - Especificao

4 - Mtodos 5 - Resultado

49/59

A Norma ISO/IEC 14598

Em resumo:
complementa a ISO/IEC 9126; permite uma avaliao padronizada das caractersticas de qualidade de um software.

importante notar que, ao contrrio da ISO/IEC 9126, a ISO/IEC 14598 apresenta detalhes, incluindo:
modelos para relatrios de avaliao; tcnicas para medio das caractersticas; documentos necessrios para avaliao fases da avaliao.

50/59

Projeto SQuaRE
SQuaRE Software Product Quality Requirements and Evaluation (ISO 25000)
Modelo de Qualidade 2501n Requisitos de Qualidade 2503n Gesto de Qualidade 2501n Medies 2501n
51/59

Avaliao 2504n

Square Normas Publicadas

ISO/IEC 25000 - Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE; ISO/IEC 25001 - Software engineering Software product Quality Requirements and Evaluation (SQuaRE) Planning and management; ISO/IEC 25020 - Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Measurement reference model and guide; ISO/IEC TR 25021 - Software Engineering: Software product Quality Requirements and Evaluation (SQuaRE) - Quality measure elements; ISO/IEC 25030 - Software engineering Software product Quality Requirements and Evaluation (SQuaRE) Quality requirements; ISO/IEC 25051 Software Engineering Software product Quality Requirements and Evaluation (SQuaRE) Requirements for quality of Commercial Off-TheShelf (COTS) software product and instructions for testing; e ISO/IEC 25062, Software engineering: Software product Quality Requirements and Evaluation (SquaRe) - Common Industry Format (CIF) for Usability Test Reports.
52/59

Tcnicas de Avaliao de Produto de Software

Podemos destacar:
Testes Revises

53/59

Modelos de Maturidade para Testes

Modelos de referncia para o processo de desenvolvimento so superficiais em relao s atividades de testes Modelos de maturidade para testes modelos de referncia para a definio de processos de testes mais eficientes. Investir em processo falho desperdiar mais recursos para obter os mesmos resultados.
54/59

Test Process Improvement - TPI

20 reas chaves dividas em:
ciclo de vida do desenvolvimento do software; tcnicas de planejamento e testes; infra-estrutura do ambiente de testes; fatores organizacionais.
reas Chave
Matriz de Maturidade De Teste

Nveis

Pontos de Verificao

Sugestes de Melhoria

55/59

Test Maturity Model Integration - TMMI

Baseado no CMMI 5 nveis de maturidade, reas de processo definidas para cada nvel
Otimizao Gerenciamento e Medio Integrao

Definio

Inicial

56/59

Test Improvement Model - TIM

Desenvolvido pela Ericson, Subotic, Ursing 5 nveis de maturidade:
Nvel 0 Nvel 1 Baseline Nvel 2 Cost-efectiveness Nvel 3 Risk-lowering Nvel 4 Optimizing Organizao Planejamento e rastreabilidade Casos de testes Testware Revises
57/59

Aspectos:

Concluso
Produzir software de qualidade uma tarefa difcil, porm possvel.
O processo de avaliao de produtos de software complementa o processo de desenvolvimento

58/59

Concluso
So vrios os benefcios alcanados decorrentes da avaliao de produtos de software:
O produtor poder assegurar a qualidade do produto final; Reduo nos custos com a manuteno do software; O usurio ficar mais satisfeito, pois estar adquirindo um produto de qualidade; O vendedor poder usar como argumento de venda a qualidade assegurada do produto que est vendendo; Organizaes podero exigir critrios de qualificao com propsitos especficos.
59/59