Data-Driven Quality no Scrum

Quem somos?

Bárbara Cabral Bruno Tanoue

QA Engineer QA Engineer
@ResultadosDigitais @ResultadosDigitais
 Agenda

•Introdução
•Mapeamento de Defeitos (tags github)
•KPI de Qualidade
•Definindo OKR
•Métricas Gerais
– Na Release
– Na Sprint
•Post Mortem
•Próximos Passos
 Introdução

“Working Software is the primary

measure of progress”
- Agile Manifesto -
 Introdução

Modelo Spotify
 Introdução - OKR & KPI
OKR (sigla para Objectives and Key Results)

● É um framework para definição de metas criado pela Intel e adotado pelo Google em 1999.
● Objetivo é a descrição qualitativa do que se espera atingir e os Key Results são métricas que
indicam se atingimos nosso objetivo.

Quais são as características de OKR?

● Ciclos curtos de definição de metas: Ciclos trimestrais de desdobramento de metas;
● Simplicidade: OKRs devem ser simples e mensuráveis, de fácil compreensão;
● Transparência: Os OKRs devem ser públicos para toda a empresa.

KPIs (sigla para Key Performance Indicators)

● São medidas quantificáveis para compreender se os objetivos estão sendo atingidos.
Consequentemente, esses indicadores determinam se é preciso tomar atitudes diferentes que
melhorem os resultados atuais
2015 VersionOne. State of Agile Survey
 Introdução - QA vs. QC

Regra 10 de Myers
Mapeamento de Defeitos
(tags github)

Frequência Gravidade
 Mapeamento de Defeitos
(tags github)

Backlog de Defeitos (automatizado via github com Google Apps Script)

Mês de Score Score Peso Peso Score

# Título Funcionalidade Frequência Gravidade
Abertura Frequência Gravidade Suporte Rollbar Urgência

Consegue
16 10/2014 A Feature 1 Às vezes 2 1 0 1 4
realizar tarefa

Consegue
34 04/2015 B Feature 7 Às vezes 2 1 1 0 3
realizar tarefa

Existem
39 08/2015 C Feature 1 Sempre 3 2 0 0 5
alternativas

Não
46 11/2015 D Feature 1 Sempre consegue 3 3 1 1 7
contornar
Mapeamento de Defeitos
(tags github)
- Como calcular o score médio?

Score
Urgência

5
4+3+5+7 = 19 = 4,75
7
4 4
 KPI de Qualidade: por Time

Grade por Time

Tipo Unidade A B C D E F
Incidentes Total 0 - - - - 1+
Bugs criados (mês) Total 0 <= 1 <= 2 <= 3 <= 5 5+
Backlog (acumulado) Total <= 3 <= 5 <= 7 <= 10 <= 15 15+
Score médio (acumulado) Média <= 2 <= 3 <= 4 <= 5 <= 6 6+

Pontos Janeiro Feveiro Março

Incidentes A A
Bugs criados (mês) B E

Backlog (acumulado) F F
Score médio (acumulado) D D

C D
 KPI de Qualidade: Geral
Grade de Pontuação Geral
Tipo Unidade A B C D E F
Incidentes Total 0 1 2 3 4 4+
Bugs criados (mês) Total <= 2 <= 5 <= 10 <= 20 <= 30 30+
Backlog (acumulado) Total <= 30 <= 42 <= 54 <= 66 <= 78 78+
Score médio (acumulado) Média <= 2 <= 3 <= 4 <= 5 <= 6 6+

Janeiro
Geral Time 1 Time 2 Time 3 Time 4 Time 5 Time 6 Time 7
B A A A A A B B
E B F E F F A B
F F F F F F C A
D D D D D D D D

E C E D D E B B
Definindo OKR (Trimestral)

OKR Q2 Reduzir a nota do KPI de F (6,0) => E (5,0)

Dono Bárbara

Frequência de Semanal
medição

Como é calculado Baseado nas 4 métricas:

- Incidentes
- Bugs Criados
- Backlog de bugs acumulado
- Score médio dos bugs acumulados

Valor atual 6,45 (F)

Valor alvo 5,00 (E)

 Métricas Gerais

Release: Abertos VS. Fechados - Mensal

 Métricas Gerais

Heatmap: Bugs Abertos acumulados por Feature

Feature 06/2015 07/2015 08/2015 09/2015 10/2015 11/2015 12/2015 TOTAL

Feature 1 6 4 4 6 11 6 10 47

Feature 2 0 0 2 1 1 0 1 5

Feature 3 1 0 0 1 0 0 1 3

Feature 4 0 4 1 3 0 1 1 10

Feature 5 5 10 7 5 5 4 7 43

Feature 6 3 5 7 1 1 2 1 20

Feature 7 3 13 6 5 11 4 1 43

Feature 8 2 1 2 2 2 1 0 10

Feature 9 3 5 1 0 1 0 0 10

Feature 10 7 5 1 2 3 3 1 22
 Métricas Gerais

Nr. de Defeitos por Urgência: Gravidade + Frequência

Gravidade Urgência

Não consegue
contornar
26 47 28 Corrigir na Sprint 93 39.41%

Existem
alternativas
24 26 18 Corrigir na Release 73 30.93%

Consegue
realizar tarefa
26 20 21 Agendar Correção 70 29.66%

Raramente Às vezes Sempre Frequência

 Na Sprint:
Ritmo de Correção

Release 2
Não Corrigidos Total
Time Alocados corrigidos Corrigidos sem alocação Corrigidos
Time 1 4 1 3 1 4
Time 2 3 1 2 3 5
Time 3 0 0 0 4 4
Time 4 3 1 2 3 5
Time 5 4 2 2 3 5
Time 6 5 3 2 2 4
19 8 11 16 27
Na Sprint:
Alocação & Correção
 Post Mortem

● Funcionalidade
● Cronologia
● Qual o impacto?
○ Quantos tickets no suporte?
○ Quantas contas afetadas?
○ Gerou perda de dados? É possível recuperá-los?

● Análise da Causa-Raiz
● Aprendizado do time
● Ações de Prevenção
Próximos passos

● Sla de Defeitos
● Métrica: Tempo de Resolução
● Métricas por ciclo
○ Defeitos encontrados:
#1 em fase de Solução
#2 em Desenvolvimento
#3 em Rollout
#4 em Produção
 @barbarapcabral
http://barbaracabral.wordpress.com

@brunotanoue
bruno.tanoue@resultadosdigitais.com.br

r i ng!
hi
e ’re
W