Escolar Documentos
Profissional Documentos
Cultura Documentos
O Guia Do Teste A B PDF
O Guia Do Teste A B PDF
O Guia do
Teste A/B
ndice
Introduo.................................................................................................................................. 4
O que so Testes A/B e como escolh-los..............................................................................5
Por que os Testes A/B so eficientes........................................................................................... 6
Onde preciso tomar cuidado....................................................................................................... 7
O que testar....................................................................................................................................... 8
Na prtica: o impacto de um teste A/B simples da Resultados Digitais...............................9
Quando saber a hora de parar um teste.................................................................................12
Intervalo de confiana o grande heri (ou vilo)......................................................................13
Como funciona o intervalo de confiana na prtica e por que voc deve tomar decises
apenas quando tiver dados relevantes......................................................................................14
Processo para realizao de Testes A/B...............................................................................17
Passo 1. Encontrar oportunidades de otimizao e priorizar................................................18
Passo 2. Modelagem e execuo...............................................................................................23
Passo 3. Registro dos aprendizados e implementao.........................................................26
12 Boas prticas a seguir na hora de fazer um teste A/B.....................................................28
Faa o bsico - conhea seu pblico.........................................................................................28
Seja Data-Driven - louco por dados.............................................................................................29
4
O que so Testes A/B e como
escolh-los
Algo que devemos ter sempre em mente que, embora existam as recomendaes e boas
prticas, cada empresa tem o seu prprio pblico com caractersticas peculiares, e que
somente com testes possvel ter certeza de fato de qual abordagem funciona melhor.
Um dos testes mais conhecidos e eficientes o chamado Teste A/B, que consiste em
dividir o trfego de uma determinada pgina em duas verses: a atual e uma desafiante,
com modificaes para ento medir qual a verso que apresenta maior eficincia.
O primeiro a necessidade de um bom volume de acessos para que o teste seja vlido
estatisticamente, coisa que poucas empresas iniciantes em Marketing Digital conseguem
ter. A falta de volume pode levar a decises prematuras e incorretas.
Para algum que ainda tenha muitas coisas mais bsicas e provadas para fazer no
marketing digital da sua empresa, pouco provvel que trabalhar com otimizaes
tragam tanto resultado como o terminar de montar a sua estrutura.
Claro que os testes no se limitam a isso: possvel alterar a posio dos elementos,
cores ou mesmo aspectos da prpria oferta (15 ou 30 dias de teste gratuito em um
software, por exemplo). No entanto, os itens que apresentamos anteriormente so bons
pontos de partida.
o tipo de dado que podemos pedir mais frente, quando o Lead fizer o pedido de Trial do
nosso software, por exemplo.
Nosso teste utilizou a Landing Page at ento atual do eBook Marketing no Facebook,
em que o nmero de telefone era obrigatrio, e uma outra em que no pedimos essa
informao.
Pense que para cada R$ 100 investidos em mdia anteriormente, agora conseguiramos
o mesmo resultado investindo apenas R$37,45, ou ento teramos quase trs vezes esse
resultado se investssemos o mesmo valor.
Por isso, sempre que estiver na dvida sobre o impacto de qualquer detalhe Para muitas pessoas difcil
na sua Landing Page, no deixe a opinio prpria prevalecer: faa um Teste
A/B e deixe que os nmeros falem por voc. acreditar que remover um nico
campo do formulrio seja capaz de
aumentar as converses em 167%
Embora durante o teste j seja possvel mensurar resultados parciais e perceber que h
uma diferena de resultados entre as variaes, um erro j tomar essas informaes
como verdadeiras. Muitas vezes os resultados parciais podem no representar o
comportamento real de toda a populao e o teste no confivel estatisticamente.
Imagine que voc queira testar se uma moeda ou no tendenciosa para jogar cara ou
coroa. Teoricamente, se voc jogar essa moeda 200 vezes, metade das vezes dever ser
cara, e metade coroa, certo?
Voc ento resolve fazer o teste e observa que tirou cara 116 vezes, ou 58% das vezes.
Com esse resultado, voc pode dizer, com confiana, que a moeda tendenciosa?
Quando voc conduz um teste em uma Landing Page, por exemplo, e conclui que a
experincia foi positiva mesmo com um baixo intervalo de confiana, deixa margem para
que a alterao v ao ar sem que os resultados se mantenham no patamar esperado. Pior
ainda, pode ter informaes menos completas ou em volume menor a troco de nada.
Sendo assim, resumimos aqui em 3 passos nosso processo, os quais voc pode seguir
para comear a realizar testes:
Essa achismo vlido neste momento e pode inclusive partir de um brainstorming com a
equipe para levantar ideias de melhorias em qualquer mbito: pgina inicial do site, pgina
de descrio de produto, pgina de preos, blog, template de email, etc.
Pesquisa: Leia blogs que falam de otimizao de converso e procure estudos de caso
e exemplos que faam sentido para sua empresa;
Benchmarking: Converse com empresas parceiras que tambm realizam testes (pode
contar com a RD para isso) sobre os testes que voc est executando e pergunte o
que tem funcionado ou no;
Exemplo: um blog comum possui no mnimo trs templates: o template da pgina inicial,
da pgina de categorias e da pgina de posts. Na maioria das vezes, se somarmos os
acessos de todos os artigos do blog (template de post), o nmero de acessos vai superar
o da pgina inicial (template da pgina incial).
Ou seja, podem existir grandes melhorias a serem feitas primeiramente na estrutura que
ir afetar todos os posts e, pelo trfego ser maior, conseguir atingir relevncia estatstica
de forma mais rpida.
Cruzando essas trs variveis com as ideias de testes levantadas, voc chega em um
framework de priorizao como o do exemplo abaixo (nmeros fictcios):
Neste cenrio, j possvel tomar uma deciso sobre o que testar primeiro: remover o
campo de telefone da Landing Pages.
Uma questo interessante que surge no framework relativo s tarefas que so mais
fceis que as outras, ou no. A princpio, adicionar depoimentos de clientes pgina de
preos mais barato que mudar o processo de check-out, porm os dois se equiparam
no total. A deciso se vale a pena o custo dado que o impacto (potencial) ser maior.
Feita a priorizao, partimos para uma etapa muito importante: modelagem e execuo.
nesta etapa que vamos desenhar todo o experimento para garantir que ele tenha um
objetivo claro, seja bem executado e medido. comum, na modelagem, descobrirmos que
um teste que parecia fcil na verdade bem complicado.
Alm disso, essa modelagem acaba servindo de histrico no futuro pois contm todas
as informaes mais importantes do teste. Se voc for realizar um teste parecido, saber
exatamente qual o passo-a-passo a seguir, quais as dificuldades que surgiram, recursos
necessrios e tambm os resultados.
Feita a modelagem, agora colocar a mo na massa e seguir tudo o que foi levantado na
etapa anterior. O principal foco aqui quanto a ateno, para implementar o experimento
exatamente conforme o modelado.
importante frisar que, mesmo se uma hiptese no for atingida (e o teste for
considerado falho), o resultado ainda pode ser bom. Por exemplo, se a hiptese era
que, removendo o campo telefone, a converso aumentaria em 50% e na verdade ela
aumentou apenas 30%, o teste no pode ser considerado ruim. 30% um aumento
grande e, mesmo tendo falhado, a remoo do campo ainda pode ser implementada em
todas as Landing Pages, pois a converso ir aumentar.
Nesse caso, dizemos simplesmente que o teste foi mal modelado e, apesar de ter falhado,
o resultado foi bom e deve ser implementado nas outras Landing Pages.
Mapear a jornada de compra dessa pessoa ir lhe dizer como ela compra, por que ela
compra e quando ela compra. Uma vez feita essa anlise prvia, temos o que preciso
para pensar nas ofertas que gerem mais valor para esse grupo de usurios.
Nossa indicao trabalhar com 95% ou 99% de intervalo de confiana. Esse intervalo
muito importante pois ele um dos principais fatores que influenciam o volume de visitas
que sero necessrias para provar que uma pgina realmente melhor que outra.
A segunda que esta expectativa de melhoria tambm um dos parmetros que ajudam
a determinar o volume de visitantes naquela pgina para provar que ela realmente trouxe
um ganho. Quanto maior a expectativa de melhoria, menor a quantidade de visitantes
necessria para provar esse ponto (e mais rpido o experimento).
Um exemplo simples: quer tirar 3 campos do formulrio? Tire um de cada vez e mea o
impacto. Talvez s um deles faa realmente diferena na conveso.
Por exemplo, muitas empresas rodam a verso alterada por um perodo de tempo e
comparam com o resultado histrico da pgina. E na prtica sabemos que algumas
semanas podem trazer resultados muito diferentes de outras devido sazonalidade,
possveis feriados, poca do ano, situao do mercado em si, etc.
De novo: tudo o que for necessrio e nem uma vrgula a mais. No adianta escrever
um eBook sobre uma caixa de fsforo. Produtos simples e de baixo custo exigem
informaes simples e rpidas. Mas se o seu produto for inovador e de alto valor agregado,
a sim voc precisar oferecer informaes mais detalhadas sobre ele.
Ao clicar no anncio no Google, o usurio vai encontrar uma pgina que cobre exatamente
o assunto pelo qual ele se interessou, mantendo uma experincia fluida e real. Alm
disso, voc ir pagar menos por Custo-por-Clique (CPC) uma vez que um dos fatores que
influenciam no clculo desse custo a qualidade da sua pgina de converso.
O mercado uma grande fonte de ideias, e essencial que voc esteja sempre de olhos
abertos para encontrar novos testes que faam sentido para o seu negcio, mas cuide
para no replicar erros alheios sem o devido questionamento.
Isso porque para quem est comeando, h sempre uma srie de pequenas mudanas
que podem ser implementadas praticamente sem custo, e que juntas traro resultados
rapidamente.
Documente tudo!
a parte chata, ns sabemos. Sabemos tambm que essa obrigao implica em muito
mais tempo necessrio para fechar um experimento, mas sem dvidas voc pode v-lo
como um investimento.
Gostando do material?
Compartilhe esse ebook
nas suas redes sociais!
Por isso, quero medir quantas pessoas pessoas chegaram na pgina e quantas
preencheram o formulrio, clicaram no boto e foram direcionados para a pgina de
agradecimento. Nesse caso, vamos considerar como objetivo alcanar a pgina de
agradecimento.
A opo 50/50 normalmente utilizada em pginas que no tem um trfego muito grande,
e por isso precisam usar todo o volume de visitas disponvel para o experimento.
Pginas com grande volume de visitas no precisam separar todo o seu trfego para o
experimento e podem, portanto usar opes como 10/90, 20/80, 30/70. Isso importante,
pois sempre h o risco de o experimento apresentar um resultado pior que a verso
original.
Ao separar apenas 10 ou 20% do trfego para o experimento, voc garante que em caso
de desempenho pior, grande parte dos resultados no ser afetada/prejudicada.
O prximo passo esperar os resultados. O Google Analytics demora alguns dias para
mostrar os primeiros resultados. Mas ao clicar no nome do experimento, possvel ver a
pgina vencedora e a probabilidade de variao de ser melhor que a verso original.
extremamente fcil editar mudanas, sendo a maioria delas possvel no modelo drag
and drop;
Ela faz sozinha os clculos de referencia estatstica para o intervalo de confiana que
voc escolher;
Voc facilmente pode fazer testes simultneos, com a possibilidade de escolher a
proporo de trfego que ser direcionado para cada pgina.
Aps o login, voc entrat em um painel com todos os seus experimentos. Para criar um
novo clique em New experiment.
Rock Content
aumentou em 37,5% a abertura de um email
hiptese
Ao direcionar o texto do assunto do email ao contexto do segmento ir receb-lo
(agncias), a taxa de abertura ir aumentar em 30%.
variaes
Assunto controle: [EBOOK GRATUITO] SEO - O guia definitivo da Rock Content
Assunto variao: [EBOOK GRATUITO] Sua agncia est na 1 pgina do Google?
aprendizado
O principal aprendizado deste teste foi
provar a eficcia de direcionar o texto
segmentao que ir l-lo. No caso, como
os destinatrios eram agncias, chamar
a ateno para isso no assunto do email
chamou a ateno para a abertura.
hiptese
O call-to-action do template controle fica under the fold, ao final de todo o texto, e varia
entre 15% e 20%. Movendo o call-to-action para cima, o CTR (# cliques / # aberturas) ir
aumentar em 20%.
variaes
Controle
(Imagem ao lado)
resultados
CTR do template Controle: 16,96%
CTR do template Variao: 21,07%, aumento de 24,28%
aprendizado
Apesar do template ter mudado bastante, provamos que mover o call-to-action para cima
trouxe um aumento significativo na quantidade de cliques.
Nossa suposio foi de que, facilitando a ao, a tomada de deciso acontece mais rpida
e o Lead que no leria todo o texto, nem rolaria a tela, pde ter acesso ao material de
forma mais rpida.
hiptese
Usar o scollbox do lado direito da pgina ir
aumentar a converso em 40%.
variaes
Mesmo scrollbox, aparecendo 50% das
vezes no lado direito e 50% no lado esquerdo.
aprendizado
Esse experimento foi o tpico teste que surgiu
da dvida que tivemos ao implementar o
scrollbox: de que lado colocamos?.
hiptese
Alterar o ttulo da Landing Page para uma expresso
que transmita maior percepo de valor ir aumentar a
taxa de converso em 10%.
variaes
Controle
(Imagem ao lado)
resultados
Controle: 14% de converso
Variao: 24% de converso, aumento de 58%
aprendizado
A melhoria alcanada foi vigorosamente superior
nossa prpria hiptese. Esse fato somente nos refora
a ideia de que a comunicao da oferta tem um grande
impacto na percepo de valor do usurio.