Módulo 5.

4
Testes A/B
5.4
Testes A/B
Camila de Oliveira Lopes
Sobre mim

Camila de Oliveira Lopes

cammylopes
Agenda desta aula

01. 02. 03. 04.

Introdução Etapas de um Boas práticas para Como interpretar
testes AB o seu teste AB e comunicar
resultados
Agenda desta aula

01. 02. 03. 04.

Introdução Etapas de um Boas práticas para Como interpretar
testes AB o seu teste AB e comunicar
resultados
01.
Introdução
O que é um experimento

Um experimento é um procedimento para se validar uma hipótese.

Em muitos aspectos, um experimento é similar ao método científico - se

baseando em fatos, dados e na indução para se tirar conclusões.

Experimentação deve ser um processo, estruturado, lógico e repetível.

Se utiliza de métodos estatísticos para tirar conclusões

Cultura de experimentação

Dados não mentem (mas suas conclusões podem mentir!)

Aprendizado rápido

Melhor forma de ter garantias de impacto

Pode ser aplicado tanto para otimização quanto discovery

Alavanca uma cultura voltada para resultados, em vez de entregáveis

(outcomes instead of outputs).

Maximizar os resultados de negócio por dinheiro investido (RoI)

Baixo risco/custo, alto retorno

"Nós deveríamos usar MUITO
mais a metodologia de teste
A/B do que usamos hoje”,
Bill Gates, ThinkWeek, 2009
Teste AB

É a comparação do resultado
de dois ou mais experimentos,
com uma variável de diferença
Quando usar teste AB

Testes AB podem ser utilizados para testar praticamente qualquer tipo de

variação no seu aplicativo ou página web - desde que estejam avaliando coisas
comparáveis.

Testes AB também podem ser realizados com múltiplas variações, conhecidos

como ABC (no geral, se evitam mais do que 3 variações)

Por exemplo - você pode testar diversos elementos para uma landing page,
como: título, CTA, imagens, organização dos elementos, design, etc.

Não se utiliza teste A/B para se validar um novo produto ou proposta de valor
Exemplo: Teste AB de email
Exemplo: Teste simples de design
Exemplo: Landing Page multivariável
Agenda desta aula

01. 02. 03. 04.

Introdução Etapas de um Boas práticas para Como interpretar
testes AB o seu teste AB e comunicar
resultados
02.
Etapas de um
teste AB
Etapas do teste AB

01. 02. 03. 04. 05. 06.

Determinar Criar Definir Definir Rodar Mensurar
objetivo hipóteses métricas variações o teste o resultado
 O objetivo do seu teste
AB SEMPRE é relacionado
a alguma métrica principal
Exemplo

Determinar objetivo
Engajamento com o G1

Você pode fazer testes para:

● Diminuir abandono na página de cadastro

● Aumentar % de usuários ativos (usuário
que fazem o primeiro
uso do produto)
● Diminuir tempo para ativação
dos usuários
● Aumentar frequência de uso
● Aumentar tempo de sessão
Exemplo - fazer junto

Determinar objetivo
Receita de um E-commerce
Exemplo - fazer junto

Determinar objetivo
Receita de um E-commerce

Você pode fazer testes para:

● Diminuir abandono do carrinho

● Aumentar número de produtos
por usuário
● Aumentar conversão da página
de checkout
● Aumentar ticket médio
Hipóteses Exemplos de Boas hipóteses

Acreditamos que conseguimos

Uma boa hipótese possui um formato de aumentar a conversão em 20%
causa e consequência claros. ao aumentar o contraste
do formulário para que tenha
mais destaque.
É importante que a sua hipótese seja
lógica, ou seja, traga uma correlação
possível. Ela deve conter uma métrica de
sucesso e uma explicação de causa
e consequência.

Uma má hipótese não possui um critério

de sucesso claro, ou se utiliza de falácias
ou relações lógicas inválidas
Hipóteses Exemplos de Boas hipóteses

Acreditamos que conseguimos

Uma boa hipótese possui um formato de aumentar a conversão em 20%
causa e consequência claros. ao aumentar o contraste
do formulário para que tenha
mais destaque.
É importante que a sua hipótese seja
lógica, ou seja, traga uma correlação Acreditamos que é possível
possível. Ela deve conter uma métrica de aumentar em 15% o número
de produtos adicionados
sucesso e uma explicação de causa
no carrinho ao tornar mais claro
e consequência. quais as cores disponíveis
de roupas
Uma má hipótese não possui um critério
de sucesso claro, ou se utiliza de falácias
ou relações lógicas inválidas
Hipóteses
Uma boa hipótese possui um formato de
causa e consequência claros.
É importante que a sua hipótese seja
lógica, ou seja, traga uma correlação
possível. Ela deve conter uma métrica de
sucesso e uma explicação de causa
e consequência.
Uma má hipótese não possui um critério
de sucesso claro, ou se utiliza de falácias
ou relações lógicas inválidas
Exemplos de Boas hipóteses
Acreditamos que conseguimos
aumentar a conversão em 20%
ao aumentar o contraste
do formulário para que tenha
mais destaque.
Acreditamos que é possível
aumentar em 15% o número
de produtos adicionados
no carrinho ao tornar mais claro
quais as cores disponíveis
de roupas
Acreditamos que é possível
aumentar em 30% o número
de pessoas que clicam no artigo
ao utilizar um título mais apelativo
Hipóteses ruins

Meus usuários vão utilizar mais o meu

produto se eu trocar a cor do botão
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível

aumentar em 30% o número de
pessoas que terminam um artigo ao
criar um título apelativo
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível Porque adicionar um título apelativo

aumentar em 30% o número de aumentaria o número de pessoas
pessoas que terminam um artigo ao que terminam o artigo? Esse é um
criar um título apelativo comportamento de usuário provável?
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível Porque adicionar um título apelativo

aumentar em 30% o número de aumentaria o número de pessoas
pessoas que terminam um artigo ao que terminam o artigo? Esse é um
criar um título apelativo comportamento de usuário provável?

Se eu atingir 20% de aumento de

acessos para o meu produto de
assinatura, terei sucesso
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível Porque adicionar um título apelativo

aumentar em 30% o número de aumentaria o número de pessoas
pessoas que terminam um artigo ao que terminam o artigo? Esse é um
criar um título apelativo comportamento de usuário provável?

Se eu atingir 20% de aumento de Apenas o acesso

acessos para o meu produto de é o suficiente para ser considerado
assinatura, terei sucesso sucesso para o seu negócio?
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível Porque adicionar um título apelativo

aumentar em 30% o número de aumentaria o número de pessoas
pessoas que terminam um artigo ao que terminam o artigo? Esse é um
criar um título apelativo comportamento de usuário provável?

Se eu atingir 20% de aumento de Apenas o acesso

acessos para o meu produto de é o suficiente para ser considerado
assinatura, terei sucesso sucesso para o seu negócio?

Se eu atingir 20% de aumento de

acessos para o meu produto de
assinatura, terei sucesso
Hipóteses ruins

Meus usuários vão utilizar mais o meu O que é utilizar mais? Se eu melhorar
produto se eu trocar a cor do botão em 0.5% é um sucesso?

Acreditamos que é possível Porque adicionar um título apelativo

aumentar em 30% o número de aumentaria o número de pessoas
pessoas que terminam um artigo ao que terminam o artigo? Esse é um
criar um título apelativo comportamento de usuário provável?

Se eu atingir 20% de aumento de Apenas o acesso

acessos para o meu produto de é o suficiente para ser considerado
assinatura, terei sucesso sucesso para o seu negócio?

Se eu atingir 20% de aumento de

Qual a causa desse aumento? O que
acessos para o meu produto de
você está testando?
assinatura, terei sucesso
Definir métricas

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

Definir métricas

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

São as métricas que são

a principal medida
de sucesso do sucesso
do seu teste AB e devem
refletir um sucesso para
o seu teste
Definir métricas

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

São as métricas que são São métricas importantes

a principal medida para te ajudar a entender
de sucesso do sucesso se a métrica de objetivo
do seu teste AB e devem foi atingida pelo
refletir um sucesso para comportamento de
o seu teste usuário que foi
hipotetizado
Definir métricas

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

São as métricas que são São métricas importantes São métricas importantes
a principal medida para te ajudar a entender para a saúde do seu
de sucesso do sucesso se a métrica de objetivo negócio e que você deve
do seu teste AB e devem foi atingida pelo acompanhar para definir
refletir um sucesso para comportamento de se realmente houve um
o seu teste usuário que foi resultado positivo para
hipotetizado o seu negócio
Definir métricas

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

São as métricas que são
a principal medida
de sucesso do sucesso
do seu teste AB e devem
refletir um sucesso para
o seu teste
São métricas importantes
para te ajudar a entender
se a métrica de objetivo
foi atingida pelo
comportamento de
usuário que foi
hipotetizado
São métricas importantes
para a saúde do seu
negócio e que você deve
acompanhar para definir
se realmente houve um
resultado positivo para
o seu negócio

Utilize sempre que possível métricas percentuais ao invés

de números absolutos
Exemplo

Acreditamos que
é possível aumentar
em 15% o número
de produtos
adicionados no
carrinho ao tornar
mais claro quais as
cores disponíveis de
roupas
Exemplo

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

● Número médio por ● % de clique nos ● Conversão

usuário de produtos ícones de cores na página
adicionados no de checkout
● % clique em
carrinho
“Add to Cart” ● Abandono
de carrinho

● Receita média
por usuário
Exemplo - fazendo junto

Acreditamos que conseguimos aumentar a conversão

em 20% ao aumentar o contraste do formulário para
que tenha mais destaque.
Exemplo - fazendo junto

Métrica de Objetivo Métricas auxiliares Métricas ”guardrails”

● % de leads se ● % de usuários ● Número de

inscrevendo no teste fechando a página usuários ativos
grátis (conversão) com mais de 1
● % de usuários que
mês de assinatura
preencheu pelo
menos 1 campo ● NPS
Definindo variações e o
tamanho da sua base
Definir variações

Acreditamos que é
possível aumentar em
30% o número de
pessoas que clicam na
landing page se ela
tiver uma estética
mais agradável para o
meu perfil de usuário
Rodar o Teste

● É altamente recomendável utilizar ferramentas já existentes no mercado - ‘não

reinventar a roda’

● Exemplos de ferramentas:

Google Optimize

Optimizely

VWO

RD Station
Tamanho de Base

Significância estatística:

É a probabilidade de que o resultado

apresentado seja aplicável para toda a
base. Se em um teste A/B uma versão foi
vencedora e a significância foi de 95%, por
exemplo, isso significa que há 95% de
chance de que você realmente tenha essa
versão como vencedora. No entanto, ainda
há 5% de chance de que esse resultado
tenha sido uma pura obra do acaso e não
refletir a realidade.
Tamanho de Base

Margem de erro:

É o índice que determina a estimativa

máxima de erro dos resultados de uma
pesquisa. Se em um teste A/B a versão
vencedora teve conversão de 45%, com
margem de erro de 5%, quer dizer que
o resultado pode estar entre 40% e 50%.

Uma boa prática é mirar em ter

90 a 99% de relevância estatística
e 1 a 10% de margem de erro
(normalmente 95% e 5%).
Escolhendo a base

Determinar segmento de teste:

Base menos enviesada possível (normalmente aleatório é suficiente)

Cohorts que sejam comparáveis

Perfis de usuário que sejam comparáveis

De preferência testar grupos com tamanhos iguais

Sempre ter um grupo de controle

Determinar tamanho de base

Verificar se o teste já atingiu relevância estatística

Exemplo

Var A
Métrica de Objetivo:
- Conversão

Métricas auxiliares:
- % de cliques no botão

Métricas guardrails:
- Taxa de cancelamento
- NPS
Var B

————— or normal Checkout —————

Exemplo - fazer junto

https://www.evanmiller.org/ab-testing/sample-size.html
Mensurar o resultado

● Mensurar o resultado é a etapa em que você avalia as métricas definidas

anteriormente para cada variação testada
● O teste deve rodar até que todas as variáveis dêem um resultado
significativamente relevante

https://neilpatel.com/br/calculadora-de-testes-ab/
Cenário 1 - Resultados

Variação A Variação B

Aumento de conversão de 10% Aumento de Conversão de 20%

Sem alteração nos cliques Aumento nos clique de 10%

Taxa de cancelamento sem alteração Taxa de cancelamento sem alteração

NPS sem alteração NPS sem alteração

Cenário 1 - Resultados

Variação A Variação B 🏆
Aumento de conversão de 10% Aumento de Conversão de 20%

Sem alteração nos cliques Aumento nos clique de 10%

Taxa de cancelamento sem alteração Taxa de cancelamento sem alteração

NPS sem alteração NPS sem alteração

Cenário 2 - Resultados

Variação A Variação B

Aumento de conversão de 10% Aumento de Conversão de 20%

Sem alteração nos cliques Aumento nos clique de 10%

Taxa de cancelamento sem alteração Taxa de cancelamento aumenta em 18%

NPS sem alteração NPS cai em 30%

Cenário 2 - Resultados

Variação A 🏆 Variação B

Aumento de conversão de 10% Aumento de Conversão de 20%

Sem alteração nos cliques Aumento nos clique de 10%

Taxa de cancelamento sem alteração Taxa de cancelamento aumenta em 18%

NPS sem alteração NPS cai em 30%

Agenda desta aula

01. 02. 03. 04.

Introdução Etapas de um Boas práticas para Como interpretar
testes AB o seu teste AB e comunicar
resultados
03.
Boas práticas para
o seu teste AB
Boas práticas no design do teste

SEMPRE utilizar de um grupo controle, para garantir que você irá conseguir
mensurar efeitos de sazonalidade e de pico no seu teste.

Tente fazer o seu teste AB rodar por um tempo mínimo (normalmente uma
semana) para se remover efeitos de pico e sazonalidade:
https://vwo.com/tools/ab-test-duration-calculator/

Para um melhor aprendizado, tente isolar as variáveis no seu teste. Por exemplo,
em vez de mudar totalmente o layout de uma página, teste algumas alterações de
elemento isoladamente e em conjunto.
Boas práticas no design do teste

Evite testar muitas variáveis no seu teste - isso irá fazer com seu
teste demore muito para atingir relevância estatística.

Cuidado ao rodar mais de um teste AB ao mesmo tempo. Você deve

garantir que as bases de cada teste só estão incluídas em um deles
para evitar cross-contamination. Como uma recomendação geral, é
mais simples só rodar um teste por vez, principalmente se seu
produto/empresa estiver começando em testes AB.

NUNCA altere seu teste durante a execução. Isso irá invalidar os

resultados. Caso ache um erro, descarte o teste e comece
novamente.
Tipos de metodologias

Teste de sequência
Tipo de Teste Teste por frequência Teste Bayesiano
simples

Nessa abordagem, Nessa abordagem, Nessa abordagem,

você utiliza dados são utilizados dados de se utiliza de um
somente do seu experimentos método onde apenas
Como funciona
experimento atual anteriores para 1 variável ser testada
e aguarda ter se chegar a uma (+ controle), com 50%
significância estatística conclusão. cada grupo

Define também a
probabilidade de B ser Atinge resultados
melhor que A e qual de forma mais rápida
Mais simples e comum o range de resultados dos 3 (muito bom para
Vantagens
nas ferramentas após o rollout. acelerar resultados ou
Resultados rápidos quando meu sample
SE você realizar muitos é pequeno).
testes.

Comece aqui
Documentar seu teste

Executivos & Seu time &

Tipo de Audiência
stakeholders seniors stakeholders

Tipo de Comunicação curta, Comunicação

Comunicação sucinta e visual detalhada

Hipótese, estado atual,

Variações, hipótese,
Informações variações, métricas,
estado atual
design do teste

Documento para
Template Apresentação do teste
feedback Teste AB
Apresentação do Teste

Queremos aumentar <inserir métrica de objetivo e seu valor atual aqui>.

Para tal, queremos testar a hipótese <inserir hipótese aqui>.

Imagem do grupo controle

imagem da variação a ser testada

Variação A: <descrição> Grupo Controle: <descrição>

Link para documentação completa

Agenda desta aula

01. 02. 03. 04.

Introdução Etapas de um Boas práticas para Como interpretar
testes AB o seu teste AB e comunicar
resultados
04.
Como interpretar e
comunicar resultados
Interpretando Resultados

O formulário com destaque

deve performar melhor
na maioria das vezes,
e portanto posso
padronizar o design dessa
forma
Interpretando Resultados

O formulário com destaque

deve performar melhor
na maioria das vezes,
e portanto posso
padronizar o design dessa
forma

Essa afirmação
é VERDADEIRA, pois
você testou apenas
um elemento isolado,
e está se baseando em
probabilidades em vez
de verdades absolutas
Interpretando Resultados

Como performou melhor para

cores, se eu também adicionar
opções de tamanho com o
mesmo layout, o resultado será o
mesmo
Interpretando Resultados

Como performou melhor para

cores, se eu também adicionar
opções de tamanho com o
mesmo layout, o resultado será o
mesmo

Essa afirmação é FALSA

pois a intenção do cliente é
diferente, e não temos
garantia de um resultado
igual
Interpretando Resultados

A foto na esquerda
e o formulário embaixo
sempre vão performar
melhor
Interpretando Resultados

A foto na esquerda
e o formulário embaixo
sempre vão performar
melhor

Essa afirmação
é FALSA pois você
não testou esses
elementos
separadamente
Comunicar resultados

Executivos & Seu time &

Tipo de Audiência
stakeholders seniors stakeholders

Tipo de Comunicação curta, Comunicação

Comunicação sucinta e visual detalhada

Variável ganhadora, Resultados, variável

Informações
conclusão ganhadora, conclusão

Apresentação Documento de
Template
resultados resultados Teste AB
Apresentação Resultados

Testamos a hipótese <inserir hipótese aqui>. Dado o resultado <inserir

resultado>, a recomendação é <inserir conclusão>.

��
A variação X performou Y% melhor
que o grupo controle na <métrica imagem da variação ganhadora
de objetivo>, com <inserir métricas
auxiliares e guardrails>.

Variação X: <descrição>

Link para documentação completa

Obrigada!