Escolar Documentos
Profissional Documentos
Cultura Documentos
Escolher um método
Etapa 2: precisão 0
Tony Flanery-Rye, do eBay, oferece alguns conselhos práticos sobre o que é preciso considerar:
“Você está se comprometendo a aprender continuamente e a desafiar constantemente o status
quo. Tudo o que você pensava que era verdade pode não ser. Você está se comprometendo a dar
continuidade ao progresso de sua empresa. A cultura com a qual você trabalha está preparada
para esse rigor? As pessoas estão acostumadas a tomar decisões com base no instinto, mas você
terá experimentos que podem contestar essas decisões. Essa abordagem será aceita? Sua cultura
valoriza as pessoas que trazem dados para a conversa?”
Ao pensar em quais devem ser seus primeiros passos, considere começar com os canais
de marketing mais importantes. À medida que você avalia o quanto sua organização ficaria
confortável em adotar uma mentalidade de teste e aprendizado, talvez faça sentido iniciar com
testes menores, nas áreas em que você sabe que pode comprovar o valor rapidamente,
e consolidar essa abordagem com o tempo.
Experimental
Para começar, desenvolva uma hipótese sobre o efeito que sua mudança na estratégia terá. Em
seguida, designe o grupo (ou grupos) de pessoas que será exposto ao tratamento e o grupo de
controle que não será. Isolando a exposição de uma variável, como criativo ou público, e depois
fazendo a comparação com grupo de controle, você pode entender o valor incremental real da
estratégia. A qualidade dos experimentos pode variar, mas ainda é a maneira ideal e mais precisa
de mensurar a incrementalidade. Experimentos reais costumam servir de referência para outras
metodologias. Apesar de seus benefícios, os experimentos exigem uma configuração inicial, bem
como o custo de oportunidade de não expor o grupo de controle ao tratamento.
Grupo de controle
Tony compartilha a opinião dele sobre o valor de optar pela realização de um experimento:
“Os experimentos são preferíveis porque oferecem um nível mais alto de certeza de que os
resultados exibidos representam as ações que você está tentando mensurar.”
Observacional
Comece com um conjunto existente de dados resultantes da exposição de pessoas a
determinado anúncio ou variável do anúncio e, em seguida, aplique um modelo ou estatística
para estimar o valor que um tratamento pode ter agregado. Os métodos comuns envolvem o uso
de experimentos sintéticos para tentar replicar um experimento real “encontrando” um grupo
de controle dentro de um grupo de pessoas que não foram expostas ao anúncio ou variável do
anúncio que você está tentando avaliar. Por exemplo, você pode avaliar o efeito de um problema
técnico que só afetou alguns usuários encontrando um grupo “semelhante” de pessoas que não
foram afetadas. Esse método não requer um trabalho inicial, mas pode ser menos preciso e estar
sujeito a influências sobre fatores desconhecidos. Ele também requer métodos avançados e
suporte de cientistas de dados em etapas posteriores do processo.
Alok oferece uma perspectiva sobre quando pode ser necessário escolher métodos
observacionais: “Considerar o uso de métodos observacionais faz sentido quando o lado
positivo ou o nível de recursos não é significativo. Muitas vezes eles são rápidos e fáceis.
Conforme um canal de marketing se torna mais importante para a empresa, torna-se
relevante optar pelo uso de um experimento”.
+ +
Tempo Recursos Custo de
oportunidade
Agora que você tem uma compreensão geral das duas abordagens possíveis para medir a
incrementalidade, vamos analisar melhor cada uma delas para ajudar você a planejar seu processo
e evitar problemas ao longo do caminho. Para começar, falaremos sobre os experimentos, porque
os consideramos a abordagem mais precisa e eficaz.
Alok fala sobre os benefícios de abordar um experimento com cuidado: “Fazer estas perguntas
é uma melhor prática, porque pode haver mudanças no lado do publisher e do profissional de
marketing que não conhecemos nem planejamos. É como fazer experiências em um laboratório —
devemos garantir que as ferramentas estejam calibradas”.
Precisão:
2 Meu teste fornecerá dados suficientes para responder com precisão à pergunta que
estou fazendo?
Exposição realista:
4 Minha experiência reflete uma ação do mundo real?
Matthew Gerrie, do Booking.com oferece uma perspectiva sobre a escolha de uma hipótese:
“Sem uma hipótese, o teste será feito apenas por fazer, o que significa que você poderá não ter
um resultado útil. Se o teste não estiver a serviço da hipótese, não deverá ser feito”.
• Não procure outros resultados depois de um teste. • Pós-teste: verifique se as campanhas foram veiculadas
Certifique-se de que você não esteja tirando conclusões conforme o planejado e se a variável de teste permaneceu
com base em variáveis que não isolou. isolada.
Exemplos:
Se você estiver testando o efeito do orçamento sobre o desempenho de uma
campanha de anúncios, altere apenas o orçamento alocado para cada grupo de
tratamento, deixando o direcionamento, o valor do lance, o criativo, o cronograma e a
execução idênticos.
Conselho organizacional:
Este ponto do processo é um bom Stephan McBride da Netflix oferece um
momento para definir expectativas e obter conselho sobre o que priorizar quando
adesão antecipada de toda a organização realizar seu experimento: “Como estratégia
e dos publishers com os quais você está tática, geralmente sugiro que você se
trabalhando. Se este for o primeiro teste de concentre em seus canais maiores, por
incrementalidade que suas equipes farão, causa do impacto. Mas, como alternativa,
dedique um tempo a mais no começo eu recomendaria priorizar tipos de testes
para orientar os grupos multifuncionais ou testar uma hipótese específica com
que poderão ser afetados, como finanças, a qual você possa obter aprendizados e
marketing e produto. Algumas equipes oferecer resultados às partes interessadas
podem ter grandes expectativas em relação rapidamente, de modo a conseguir adesão
à ampla aplicabilidade dos resultados quanto à abordagem e consolidá-la ao longo
experimentais, especialmente a respeito do tempo”.
de uma segmentação adicional que não foi
planejada. Além disso, geralmente é mais
vantajoso começar com experimentos
menores e mais frequentes, que gerem
aprendizados rapidamente, em vez de
experimentos maiores e menos frequentes,
que envolvam um investimento maior
de tempo e dinheiro antes de produzir
resultados.
Exemplos:
Mensuração baseada nos moradores da casa,
com mala direta (endereço postal) IDs de login em plataforma digital
Além disso, garanta que as pessoas que fazem parte do teste sejam expostas a mídias e
campanhas externas com a mesma frequência que seriam em circunstâncias normais. Alguns
designs de teste podem dificultar isso devido a limitações técnicas, o que pode causar efeitos
de interação entre seus anúncios. Por exemplo, não impedir a exibição de uma campanha a um
grupo de controle por uma rodada de testes pode fazer com que suas outras campanhas sejam
veiculadas em excesso a esse grupo. Embora seja difícil evitar isso em plataformas digitais, você
pode fazer a validação durante ou após o teste.
Você pode ter tratamentos que não façam parte do teste e que sejam resultantes de ações
realizadas pelas pessoas durante um teste, como campanhas de redirecionamento para
usuários que visitam seu site. A exposição a esses tratamentos não precisa ser igual entre os
grupos, contanto que os eventos que os acionam — e o tratamento que as pessoas receberão
posteriormente — não sejam afetados pelo tratamento em teste.
Resultados: os grupos que você está comparando têm uma propensão semelhante a
2 usar ou comprar produtos, conforme mensurado pelas taxas de conversão antes do
tratamento?
Por vezes, os experimentos de alta qualidade não estão disponíveis ou são muito dispendiosos.
Nesses casos, pode ser necessário usar métodos observacionais.
Ao usar métodos observacionais para desenvolver um teste de incrementalidade, sua primeira
pergunta deve ser: “É possível validar esse método em relação a um experimento real?”
As técnicas observacionais destinam-se a especular os resultados de um experimento, de modo
que a maneira mais simples e eficaz de avaliar a qualidade dessas técnicas é compará-las a
experimentos que você já realizou.
Em geral, há duas categorias em que você pode avaliar o modelo de método observacional em
relação a um experimento:
Se não for possível validar seu método observacional em relação a um experimento, e se você
estiver usando um controle sintético, concentre-se em garantir que exista um equilíbrio entre o
grupo de tratamento e o grupo de controle sintético.
Mesmo que você esteja tomando decisões de otimização usando métricas observacionais, deverá
notar melhoria em seus KPIs ao longo do tempo com base em suas decisões.
3
Agir de acordo
com o que você
aprendeu
Algumas considerações finais sobre a importância de
implementar a incrementalidade nos negócios: