Implantao de Fbrica de Teste:

desafios, resultados e melhores prticas

Welington Costa Monteiro Out/2011

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantando a Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
O palestrante
Gerente da Fbrica de Software da Prodemge Consultor de aquisio habilitado pelo MPS.BR Especialista em Qualidade de Software com certificaes pela ALATS e ISQTB 15 anos de experincia na rea de TI

Graduado em Cincia da Computao

Ps-graduao em Gerncia de Tecnologia da Informao

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
A Prodemge
Companhia de economia mista, apoia as aes estratgicas da administrao pblica mineira na rea de TIC - Tecnologia da Informao e Comunicao.

1 maior empresa de TIC de Minas Gerais em faturamento

(ranking Assespro-MG 2008)

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
A Prodemge Produtos e Servios
Data Center

Finanas
Sistemas de Informao

Gesto
Armazns de Informaes Servios de Infraestrutura Servios de Rede Gesto de Contedo Gesto de contedo Certificao Digital

Segurana Pblica Oramento e Planejamento Recursos Humanos

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
A Prodemge DDS
Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)
Diretoria de Desenvolvimento de Sistemas

SSC

SSD

SSO

SAS

GSC

GSH

GSS

GPS

GSA

GSM

GSO

GPR

GST

GFS

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
A Prodemge A Fbrica de Software
Gerncia de Fbrica de Software
Fbrica Web Fbrica de Cdigo Fbrica de Teste Ncleo de Subcontratao

A GFS foi criada h quase 4 anos e tem 50 colaboradores. Nos prximos 4 meses, ter 160 colaboradores. segmentada em 3 reas e um ncleo de subcontratao (ncleo administrativo) Atende as demais gerncias da empresa (especificao) na construo e testes sistemas em plataforma baixa (Java, PHP e dot Net) e tambm na construo de stios, intranets e portais corporativos Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Apresentao
A Prodemge A Fbrica de Teste
Gerncia de Fbrica de Software
Fbrica Web Fbrica de Cdigo Fbrica de Teste Ncleo de Subcontratao

A Fbrica de teste est implantada h quase 2 anos Conta atualmente com 20 profissionais, sendo 50% estagirios . Previso de mais 15 profissionais nos prximos 4 meses; Capacidade mdia mensal de 900 PF (2011) 5 profissionais certificados CFTL e 1 profissional certificado CBTS 1 profissional habilitado como consultor de implementao do MPT.BR (22.10) Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

O cenrio inicial dos testes

Eu j vi este bug antes Dj vu A aplicao estava funcionando na verso anterior Sndrome do Casamento Eu sempre fiz deste jeito Sndrome da Gabriela Este bug no bug! Ser ou no ser ? No temos tempo para testar tudo mesmo - Deus Deadline Terei que fazer uma melhoria por causa do teste - Caso Patolgico
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

O cenrio inicial dos testes

No existia equipe de teste independente Problemas de manuteno das aplicaes Incompatibilidade de verses de BD
Os testes eram baseados apenas nos requisitos funcionais, e de forma superficial pelo fato de no ter mtricas para planejar os prazos de testes.

A ausncia de uma atividade de teste para avaliar o funcionamento bsico da aplicao no era realizado. Desta forma no caso de aplicaes compiladas, a posterior manuteno era comprometida pelas bibliotecas esquecidas

Em virtude do desenvolvimento interativo incremental, ocorriam inmeros falsos defeitos em virtudes das verses do banco de dados no estarem compatveis, ou seja, foi utilizada a verso X para a construo e a X para os testes.

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

O cenrio inicial dos testes

Inexistncia da Documentao de Teste Falta de padronizao no relato de defeitos Ineficincia e baixa cobertura dos testes
Os casos de testes eram elaborados de forma exploratria, sem utilizar metodologias especficas de testes e isto onerava e muito o prazo do projeto, em virtude da responsabilidade ser da equipe de especificao.

Dificuldade de entendimento e de reproduo dos erros, o que gerava um grande atraso na correo dos defeitos

No existia um processo de testes completo, era apenas uma atividade descrita no processo de desenvolvimento, e que era executada aps o codificao da aplicao. A execuo era somente manual;

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Desafios
A empresa buscava na rea de desenvolvimento
Maior agilidade no processo Cumprir 100% dos prazos acordados Melhorar a qualidade do software construdo E o cliente?
SIMPLIFICAR O PROCESSO:
Usurio interage com o sistema

Sistema

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Desafios
Paradoxo: Simplificar os processos existentes e Implantar um novo processo de qualidade ?
Qual seria a melhor alternativa?

Os testes deveriam ser automticos

Desafios
Cinco principais aes:
1. Buscar um patrocinador para o projeto de Fbrica de Teste na empresa, com teria por objetivo atender as demandas de projetos de plataforma baixa da Prodemge; 2. Interiorizar a importncia dos testes em todo o processo de desenvolvimento e no apenas como uma parte do ciclo do mesmo;

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Desafios
Cinco principais aes:
3. Implantar um processo de testes compatvel com o processo de desenvolvimento da empresa; 4. Ter capacidade de atendimento de todas as demandas de plataforma baixa das reas; 5. Demonstrar o ROI da implantao da fbrica de teste;

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Doze passos para a implantao:
1. Definio de terminologias 2. Identificao dos servios a serem prestados 3. Definio de mtricas dos servios prestados para

planejamento e acompanhamento de produtividade 4. Especializao dos papis da equipe 5. Elaborao do processo completo e detalhado
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Doze passos para a implantao:
8. Elaborao de Guias para a execuo dos procedimentos para execuo das atividades 9. Definio de um ambientes de testes compatvel com o ambiente de homologao 10.Avaliao de ferramentas disponveis no mercado

Implantao da Fbrica de Teste

Doze passos para a implantao:
11. Elaborao de documentos administrativos para controle (solicitao, parecer, etc) 12. Definio de indicadores para busca contnua da melhoria do processo

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Definio de Terminologias
GLOSSRIO PADRO DE TERMOS UTILIZADOS EM TESTE DE SOFTWARE (55 pginas)
Verso 1.3br (01 de Julho de 2007) Produzido pelo Glossary Working Party International Software Testing Qualification Board Editor Erik van Veenendaal (Holanda) Notificao do Detentor dos Direitos Autorais Este documento poder ser copiado na ntegra ou em parte desde de que haja meno sua fonte.

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Identificao dos servios a serem prestados

Fbrica de Software

Teste Unitrio

Teste Integrado

rea de Segurana

Teste de Segurana

Fbrica de Teste
Inspeo de Cdigo Fonte

Checklist de ERSw Smoke Test

Checklist de Casos de Testes Teste Funcional

Elaborao de Casos de Testes Automao de Teste

rea de Produo
Teste de Stress

Teste de Desempenho Teste de Carga

Implantao da Fbrica de Teste

Definio de mtricas dos servios prestados para planejamento e acompanhamento de produtividade
Mtrica de Produtividade: PF Taxa de entrega: 90% Exemplo de clculo: Elaborao de casos de testes

Fonte: UNILASALLE - TCC 2009 Tatiana Brezezinski

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Especializao dos papis da equipe
Gerente de Testes

Coordenador de Testes

Teste Lder

Analistas de Testes

Arquiteto de Testes

Testadores

Automatizadores

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Elaborao do processo detalhado

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Elaborao de guias de procedimentos para a execuo das atividades
- Guia para Elaborao de Casos de Testes - Guia de Configurao de Ambiente - Guia para Inspeo de Cdigo Fonte - Guia do Smoke Test - Guia dos Testes Funcionais
(Padronizao de relato de defeito / Testes exploratrios)

- Guia para Automao de Testes

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Definio de um ambiente de testes compatvel com o ambiente de homologao

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Avaliao das ferramentas disponveis no mercado

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Elaborao de documentos administrativos para controle
- Solicitao de Testes - Parecer Smoke Test

- Parecer Teste Funcional

- Check-list ERSw - Check-list Casos de Testes

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Implantao da Fbrica de Teste

Definio de indicadores para busca contnua da melhoria do processo
INDICADOR
Qualidade Prazo Custo Eficcia Confiabilidade Produtividade Restrio Maturidade

IMPACTO DA FBRICA DE TESTE

Maior volume de casos de testes Menor tempo de execuo dos testes Menor custo de execuo dos testes Maior preciso na deteco de defeitos Menor volume de defeitos no-procedentes Maior volume de testes gerenciados pelos Analistas Menor ciclo de estabilizao dos sistemas de negcio Evoluo e amadurecimento da cultura de testes

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Resultados
Na prtica
Aplicaes mais estveis (melhora da qualidade do produto)

Diminuio significativa dos defeitos no ambiente de

produo (reduo de custos) Melhora significativa dos artefatos entregues para o

desenvolvimento dentro dos padres estabelecidos pelo

processo (Ponto de controle de qualidade)

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Resultados
Na prtica
Reduo das dvidas dos desenvolvedores em virtude dos relatos dos incidentes (tempo de correo dos defeitos)

Gerao de script de testes funcionais para testes de

desempenho (Integrao e otimizao do processo entre reas)

Automao de aplicaes crticas

retrabalho)

(reduo drstica de

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Resultados
Exemplo de projeto
Projeto em plataforma baixa : 400 PF aproximadamente Percentual de incidentes encontrados por rea

9% 28% 63%

rea de Testes rea de Especificao (Negcio) Cliente

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Resultados
O grande resultado

Fbrica de Teste tornou-se

na proposta de

fundamental

melhoria contnua de qualidade de software da PRODEMGE.

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Melhores prticas
1. No testars sem documentao 2. Honrars os casos de testes 3. Validars o banco de dados 4. Realizars a inspeo de cdigo

5. Controlars o ambiente de testes

6. Registrars todos os incidentes 7. No marretars os dados dos testes 8. Evitars reteste manual 9. Nem tudo automatizars 10.O processo sempre seguirs
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso
Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Prximos passos
- Avaliao do MPT.BR (melhoria de processo) - Adoo da mtrica de Ponto de Teste (esforo e cobertura) - Aquisio de um sute de teste (integrao) - Execuo de teste automatizado programado (sistemas crticos) - Edital de contratao de fbrica de testes (sazonalidade) - Teste de Baseado em Risco (estratgia de teste) - Anlise Preditiva de Testes(preciso no prazo do ciclo de teste) - Teste de Acessibilidade (ampliar atuao)

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

Agenda
Apresentao O cenrio inicial dos testes Desafios Implantao da Fbrica de Teste Resultados Melhores Prticas Prximos Passos Concluso

Concluso
No se pode enxertar qualidade em um produto de software mal construdo apenas com teste, mas tambm no possvel construir um produto com qualidade sem teste e anlise
Mauro Pezz e Michal Young

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas

OBRIGADO !
Welington Costa Monteiro wmonteiro@prodemge.gov.br (31) 3915-4467 welingtonmonteiro

Implantao de Fbrica de Teste: Desafios, Resultados e Melhores Prticas