Análise de caso de combustível de foguete

Marketing Digital e Analytics 2

FISPQ 2020
LT 7 (Cuballes, Peña, Salvano, J. Uy)

1. A campanha publicitária foi eficaz? Outros consumidores converteram como resultado da

campanha publicitária?

A campanha da TaskaBella com a Rocket Fuel pode ser considerada eficaz. No entanto, devido à
falta de um quadro de referência rigoroso, referimo-nos aos seguintes dados para aferir o
sucesso da campanha.

Usuários Exposto a Não exposto a anúncios Total

anúncios
Convertido 14,423 420 14,843
Não convertido 550,154 23,104 573,258
Total 564,577 23,524 588,101

Condição do usuário Taxa de Conversão

Exposto ao anúncio 2.55%
Não exposto ao anúncio (linha de base) 1.79%

A campanha resultou em uma taxa de conversão de 2,55% para os usuários submetidos às

impressões do anúncio. O grupo de controle, que não foi exposto aos anúncios, teve uma taxa
de conversão de 1,79%, o que significa que 1,79% do mercado está receptivo às mídias sociais e
outras campanhas veiculadas pela TaskaBella na época. O Rocket Fuel apresenta, assim, uma
melhoria de 0,76% em relação às campanhas anteriores.

Aumento de usuários convertidos:

2,55% usuários expostos convertidos - 1,79% usuários não expostos convertidos
= aumento de 0,76% nos usuários convertidos com o anúncio

Para testar a significância dos resultados da pesquisa, dois testes t amostrais foram feitos para
determinar se há evidência estatística de que os resultados associados de dois grupos são
significativamente diferentes. A hipótese nula afirma que não há diferença significativa entre
dois grupos, enquanto a hipótese alternativa afirma que há significância estatística entre os
dois grupos. Após a simulação em Python, obteve-se um p-valor de 1,70e-13. Assim, rejeitamos
a hipótese nula, uma vez que o aumento de 0,76% nos usuários convertidos tem um efeito
significativo nas vendas da TaskaBella.
2. A campanha foi lucrativa?

a. Quanto mais dinheiro a TaskaBella ganhou com a execução da campanha (excluindo

os custos de publicidade)?

Venda $ 1,500,000
Menos:
Custo dos produtos -900,000
vendidos
Despesas com -130,500
publicidade

Lucro $ 469,500

Anotações:
15.000 bolsas compradas * $100 por bolsa = $1.500.000 de receita
15.000 bolsas compradas * US$ 60 por bolsa = custo de US$ 900.000 dos
produtos
14.500.000 impressões * US$ 9 por 1.000 impressões = custo da campanha de
US$ 130.000

Com cerca de 15.000 bolsas compradas após a campanha ser executada, o lucro
resultante após deduzir o custo dos bens e o custo da campanha é de US $ 469.500.
A suposição aqui é que 15.000 bolsas compradas equivalem a 15.000 usuários (ou
seja, cada usuário comprou apenas 1 bolsa). Assim, os 15 mil usuários
representaram 2,55% do total de usuários expostos à campanha.

b. Qual foi o custo da campanha?

$9
Total cost=14 , 500 , 000 impressions× =$ 130 , 500
1000 impressions

O custo total é de US$ 130.500 para 564.577 usuários.

c. Calcule o ROI da campanha. A campanha foi lucrativa?

Para obter o ROI da campanha, o custo total da campanha será dividido pelo custo
unitário de conversão, estimado em US$ 40, para obter o número de equilíbrio de
usuários a serem convertidos.

$ 130 , 500 total campaign cost

=3263users ¿ be converted
$ 40 VC per user

Como foram 3.952 usuários convertidos, superou o número esperado de usuários

para atingir o ponto de equilíbrio, tornando a campanha lucrativa.
 Ao executar a campanha, o cálculo da Rocket Fuel é que haverá uma melhora de
0,76% nas vendas da TaskaBella. 0,76% equivale a 4.471 usuários ou bolsas novas
compradas. Portanto, do lucro total de R$ 470 mil, o lucro que pode ser atribuído
diretamente à campanha gira em torno de R$ 140.000,00.

15,000 handbags
× 0.76 %=4,471handbags
2.55 %

$ 469,500 profit
×0.76 %=$ 139,929
2.55 %

O lucro de $140.000,00 que pode ser diretamente atribuído ao custo da campanha é

mais do que suficiente para cobrir o custo da campanha de $130.000,00. Portanto,
o custo da campanha é imediatamente recuperado.

d. Qual foi o custo de oportunidade de incluir um grupo controle; quanto mais

TaskaBella poderia fazer com um grupo de controle menor ou não ter um grupo de
controle?

Um dos benefícios de ter um grupo de controle é que a TaskaBella tenha dados

básicos sobre quantos clientes comprarão a nova bolsa sem anúncios digitais. Os
resultados do grupo de controle também servirão como uma medida da efetividade
dos esforços de marketing atuais da TaskaBella.

Uma oportunidade de melhorar é o tamanho do grupo controle. Do ponto de vista

estatístico, o número de população amostral é muito grande, aumentando o CPM.
Idealmente, para um estudo com margem de erro de 1% e intervalo de confiança de
99%, é necessário um tamanho amostral de 17.000.

A figura abaixo mostra a relação do tamanho da amostra e intervalo de confiança

com margem de erro igual a 1%. O intervalo de confiança fornece um intervalo de
valores que provavelmente contém o parâmetro populacional com confiança.
Observa-se que o aumento do intervalo de confiança da amostra exigiria maior
tamanho amostral.
 Gráfico 1. Tamanho da amostra vs. Intervalo de Confiança com Margem de Erro = 1,0%

Nota-se também que o aumento do tamanho da amostra reduziria o erro da

amostragem a ser realizada. No entanto, há um tamanho de amostra ideal a ser
selecionado, uma vez que os resultados da amostragem ou experimento não se
alterarão à medida que o tamanho da amostra aumentar, demonstrado na figura
abaixo.

Gráfico 2. Resultados da amostragem para diferentes tamanhos de amostragem

Para o caso da TaskaBella, um total de 582.481 impressões foram servidas para o

grupo controle com um tamanho amostral de 23.524. Devido às informações
 limitadas disponíveis, obteve-se a impressão média por membro do grupo controle
de ter uma linha de base sobre o custo da superamostragem.

582,481impressions
=25 impressions per user
23 ,524 users

Cost of oversampling :
impressions $9
25 × ( 23,524−17,000 ) users × =$ 1,468
user 1000impressions

Um custo adicional de US$ 1.468 foi arcado pela TaskaBella devido à

superamostragem.

3. Como o número de impressões vistas por cada usuário influenciou a eficácia da publicidade?

Gráfico 3. Mapa de calor de correlação das variáveis

A partir do Mapa de Calor de Correlação, que mostra a correlação entre as variáveis do

conjunto de dados, há alta correlação entre o número total de impressões a que o usuário é
submetido e a conversão do usuário. Portanto, quanto maior o número total de impressões,
maior a probabilidade de conversão.
a. Crie um gráfico de taxas de conversão em função do número de anúncios exibidos aos
usuários. Plotar taxas de conversão para aqueles que estavam no grupo controle e para
aqueles que foram expostos ao anúncio. Agrupar o número de impressões em 10's (1-10,
11-20...)

Taxa de conversão do grupo de

ensaio

Taxa de
convers
ão

Número de impressões (por intervalo)

Gráfico 4. Taxa de conversão em função do número de impressões (grupo de teste)

Taxa de conversão do grupo

controle

Taxa de
convers
ão

Número de impressões (por intervalo)

Gráfico 5. Taxa de conversão em função do número de impressões (grupo controle)

b. O que você pode inferir dos gráficos? Em que região a publicidade é mais eficaz?

Para aqueles expostos a anúncios, a taxa de conversão aumenta à medida que o número
de impressões aumenta. A mesma lógica se aplica àqueles no grupo de controle, a única
diferença é que, em um certo número de impressões, a taxa de conversão despenca até
zero por cento.
 Para aqueles expostos a anúncios, o número mais efetivo de impressões é entre 1320 a
1780 impressões por usuário. Enquanto o ideal para aqueles no grupo de controle é
entre 560 a 570 impressões. Se for muito alto a partir deste intervalo, o usuário pode
não converter, aumentando assim o custo e não ganhando lucro.
c. O que os números acima implicam para o desenho da próxima campanha, assumindo
que a resposta do consumidor será semelhante?

Aumente o número de impressões se você der anúncios, pois garantirá no máximo cem
por cento de conversão. No entanto, o número ideal de impressões deve ser calculado
com cuidado, pois há o risco de não converter usuários como o que aconteceu no grupo
de controle.

4. Como a resposta do consumidor à publicidade varia em diferentes dias da semana e em

diferentes horários do dia?

a. Crie um gráfico com taxas de conversão para o grupo de controle e o grupo exposto
em função do dia da semana em que são mostradas mais impressões

Taxa de conversão do grupo de teste vs. dia da semana

Taxa de
convers
ão

Dia da semana

Gráfico 6. Taxa de conversão em função do dia da semana (grupo de teste)

Taxa de conversão do grupo de controle vs. Dia da semana

Taxa de
convers
ão

Dia da semana

Gráfico 7. Taxa de conversão em função do dia da semana (grupo controle)

 Para aqueles expostos a anúncios, a tendência de taxa de conversão é alta na segunda-
feira e cai dia após dia, depois sobe novamente quando se aproxima do domingo. No
entanto, no grupo controle, é alta em três dias específicos: segunda-feira, quinta-feira e
domingo.

Para a taxa de conversão, aqueles expostos a anúncios têm uma taxa de conversão
ligeiramente maior, indo até 30%, enquanto aqueles no grupo de controle têm no
máximo 25%.

b. Criar o mesmo gráfico para horas dentro do dia (excluindo o período entre meia-
noite e 8h)

Taxa de conversão do grupo de teste vs. hora do dia

Taxa de
convers
ão

Hora do dia

Gráfico 9. Taxa de conversão em função da hora do dia (grupo de teste)

Taxa de conversão do grupo controle vs. hora do dia

Taxa de
convers
ão

Hora do dia

Gráfico 8. Taxa de conversão em função da hora do dia (grupo controle)

Aqueles expostos nos anúncios e no grupo de controle não têm muita diferença na
tendência da taxa de conversão com o passar do tempo. A única diferença é a taxa de
conversão entre esses dois grupos, mostrando maior taxa de conversão para os
expostos a anúncios (30%) do que para os do grupo controle (no máximo 25%). Taxas
de conversão semelhantes se o eixo x for Mode Day Impression [4a].

c. Que dias/horas a publicidade é mais ou menos eficaz?

Com base nos resultados dos gráficos acima, a publicidade é efetiva às segundas-feiras e
domingos, e entre 15h e 22h. Liberar impressões fora dessa janela ideal pode resultar
em uma campanha ineficaz e alocação ineficiente de custos e recursos devido ao
comportamento atual dos clientes. Os resultados deste estudo podem ser utilizados
para melhorar os resultados de campanhas futuras por meio da segmentação adicional
de sites e outros canais que proporcionem a maior taxa de conversão, dados os
resultados acima.