TESTE

DE HIPÓTESES
MÉTODO CIENTÍFICO 220V PARA NEGÓCIOS

HIPÓTESE
FAZER UMA QUE FAZER UM ANALISAR REPORTAR
220V
PERGUNTA RESPONDE EXPERIMENTO RESULTADOS RESULTADOS
A PERGUNTA

ÍCONE: FREEPICK
VAMOS FOCAR NA ESTATÍSTICA INFERENCIAL

DESCRITIVA INFERENCIAL

DESCREVER ALGO FAZER PREVISÕES

Calcular estatísticas que descrevem a OU GENERALIZAÇÕES
população: média, desvio padrão, Estimar parâmetros
distribuição, gráficos... OU validar hipóteses
POPULAÇÃO X AMOSTRA

POPULAÇÃO AMOSTRA
POPULAÇÃO X AMOSTRA

HIPÓTESE REPRESENTAÇÃO O QUE É? O QUE ESPERAMOS?

Lembra da hipótese que pensamos?

NULA Ho Que não haja efeito. Igualdade.
É o contrário!

Lembra da hipótese que pensamos? Que exista evidência para que não seja rejeitada!
ALTERNATIVA H1
É ela mesma! É o que irá provar nossa hipótese! Desigualdade (<,>)
POPULAÇÃO X AMOSTRA

HIPÓTESE REPRESENTAÇÃO O QUE É? O QUE ESPERAMOS?

Lembra da hipótese que pensamos?

NULA Ho Que não haja efeito. Igualdade.
É o contrário!

Lembra da hipótese que pensamos? Que exista evidência para que não seja rejeitada!
ALTERNATIVA H1
É ela mesma! É o que irá provar nossa hipótese! Desigualdade (<,>)

ELAS SOMAM 100%

DAS OPÇÕES POSSÍVEIS
POPULAÇÃO X AMOSTRA

POPULAÇÃO

TAMANHO: 100
90
10
PROPORÇÃO DE :10%
POPULAÇÃO X AMOSTRA

POPULAÇÃO AMOSTRA

TENTATIVA 1 20%

TAMANHO: 100
TENTATIVA 2 30%
90
10
TENTATIVA 3 0%
PROPORÇÃO DE :10%

TENTATIVA 4 10%
POPULAÇÃO X AMOSTRA

PROPORÇÃO DE
*curva hipotética
NA AMOSTRA

40%

30%

20%

10%

0% QUANTIDADE
10 20 50 100 150 DE AMOSTRAS
ESTATÍSCA EXEMPLO O QUE É? IMPORTÂNCIA

É um intervalo de valores do verdadeiro parâmetro da Indica valor máximo e mínimo de um parâmetro dado
INTERVALO DE Entre 8%
população compatíveis com os dados da amostra, a amostra. Já podemos ter uma sensibilidade se
CONFIANÇA e 12%
com um certo nível de confiança estamos com a hipótese correta
ESTATÍSCA EXEMPLO O QUE É? IMPORTÂNCIA

É um intervalo de valores do verdadeiro parâmetro da Indica valor máximo e mínimo de um parâmetro dado
INTERVALO DE Entre 8%
população compatíveis com os dados da amostra, a amostra. Já podemos ter uma sensibilidade se
CONFIANÇA e 12%
com um certo nível de confiança estamos com a hipótese correta

É a frequência com a qual o intervalo observado Indica a margem de incerteza do cálculo. Esse cálculo
NÍVEL DE
95% contém o parâmetro real de interesse quando o usa a amostra para estimar o tamanho real do
CONFIANÇA
experimento é repetido várias vezes resultado na população de origem
ESTATÍSCA EXEMPLO O QUE É? IMPORTÂNCIA

É um intervalo de valores do verdadeiro parâmetro da Indica valor máximo e mínimo de um parâmetro dado
INTERVALO DE Entre 8%
população compatíveis com os dados da amostra, a amostra. Já podemos ter uma sensibilidade se
CONFIANÇA e 12%
com um certo nível de confiança estamos com a hipótese correta

É a frequência com a qual o intervalo observado Indica a margem de incerteza do cálculo. Esse cálculo
NÍVEL DE
95% contém o parâmetro real de interesse quando o usa a amostra para estimar o tamanho real do
CONFIANÇA
experimento é repetido várias vezes resultado na população de origem

NÍVEL DE
SIGNIFICÂNCIA (Ɑ) É a probabilidade de rejeitar a hipótese nula quando Indica a significância estatística ou que o resultado é
ɑ = 5%
(Ɑ = 1 - NÍVEL DE ela é verdadeira estatisticamente significante, ao final do teste
CONFIANÇA)
ESTATÍSCA EXEMPLO O QUE É? IMPORTÂNCIA

É um intervalo de valores do
Indica valor máximo e mínimo de
Entre verdadeiro parâmetro da população
INTERVALO DE um parâmetro dado a amostra. Já
CONFIANÇA
8% compatíveis com os dados da
podemos ter uma sensibilidade se
e 12% amostra, com um certo nível de
estamos com a hipótese correta
confiança

É a frequência com a qual o Indica a margem de incerteza do

intervalo observado contém o cálculo. Esse cálculo usa a
NÍVEL DE
CONFIANÇA
95% parâmetro real de interesse quando amostra para estimar o tamanho
o experimento é repetido várias real do resultado na população de
vezes origem

NÍVEL DE Indica a significância estatística

SIGNIFICÂNCIA É a probabilidade de rejeitar a
ou que o resultado é
(Ɑ) ɑ = 5% hipótese nula quando ela é
(Ɑ = 1 - NÍVEL DE estatisticamente significante, ao
verdadeira
CONFIANÇA) final do teste

Quando comparado com ⲁ, nos dá

É o menor nível de significância para o resultado do teste. A hipótese
P-VALOR 0,001
o qual se rejeita a hipótese nula nula é rejeitada se o p-valor for
menor que ɑ pré-determinado
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
A nossa base de clientes possui uma média de idade maior que 50 anos.

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Idade média <= 50 anos. H1: Idade média > 50

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Como p-valor > alfa, eu NÃO rejeito H0, ou seja, NÃO tenho evidência estatística
que a média de idade da minha base é maior que 50 anos.
CHECKLIST DO TESTE DE HIPÓTESE
Compare o seu p-valor com o seu alfa.
Se p-valor < alfa (0,05), REJEITA hipótese nula.
Se p-valor > alfa (0,05), NÃO REJEITA hipótese nula.

p-valor encontrado= 0,873

Portanto, eu NÃO REJEITO a minha hipótese nula (H0), ou seja,

não tenho evidência estatística que a média de idade da minha
base é maior que 50 anos.
TESTE AB
https://ferramentas.resultadosdigitais.com.br/calculadora-teste-ab/amostra https://pt.surveymonkey.com/mp/sample-size-calculator/
 O QUE É? COMO EXEMPLO

Cupons disponibilizados na última BackFriday para um

Baseado em campanhas anteriores, dados do
Construir uma boa segmento da base, incrementou a retenção. “Clientes
PASSO 1 passado, problem solving, construa uma boa
hipótese! que usam cupom possuem uma retenção de 30 dias
hipótese que resolva o seu problema! Defina um KPI!
5p.p. maior.”
 O QUE É? COMO EXEMPLO

Cupons disponibilizados na última BackFriday para um

Baseado em campanhas anteriores, dados do
Construir uma boa segmento da base, incrementou a retenção. “Clientes
PASSO 1 passado, problem solving, construa uma boa
hipótese! que usam cupom possuem uma retenção de 30 dias
hipótese que resolva o seu problema! Defina um KPI!
5p.p. maior.”

Cupons disponibilizados na última BackFriday para um

Desenhe o tratamento, Determine o tamanho da amostra, separe piloto e
segmento da base, incrementou a retenção. “Clientes
PASSO 2 os grupos e as controle, defina qual o tratamento que será aplicado
que usam cupom possuem uma retenção de 30 dias
estatísticas e gere seu valor de ɑ.
5p.p. maior.”
 BASEADO NA NOSSA HIPÓTESE
BASEADO NA
AÇÃO DA
BLACKFRIDAY

DETERMINADO PELO PESQUISADOR

Fonte: https://www.evanmiller.org/ab-testing/sample-size.html
R$ 27.000 R$ 30 900 clientes
 PILOTO CONTROLE
9000 CLIENTES 900 CLIENTES SEM
COM CUPOM INTERVENÇÃO
 O QUE É? COMO EXEMPLO

Cupons disponibilizados na última BackFriday para um

Baseado em campanhas anteriores, dados do
Construir uma boa segmento da base, incrementou a retenção. “Clientes
PASSO 1 passado, problem solving, construa uma boa
hipótese! que usam cupom possuem uma retenção de 30 dias
hipótese que resolva o seu problema! Defina um KPI!
5p.p. maior.”

Cupons disponibilizados na última BackFriday para um

Desenhe o tratamento, Determine o tamanho da amostra, separe piloto e
segmento da base, incrementou a retenção. “Clientes
PASSO 2 os grupos e as controle, defina qual o tratamento que será aplicado
que usam cupom possuem uma retenção de 30 dias
estatísticas e gere seu valor de ɑ.
5p.p. maior.”

Apliquei o tratamento no grupo piloto, isole o grupo

Executar o Enviei os cupons para os 900 clientes e aguarde 30
PASSO 3 controle e garanta que não haja outros testes
experimento dias para medir a retenção!
simultâneos acontecendo!
 O QUE É? COMO EXEMPLO

Cupons disponibilizados na última BackFriday para um

Baseado em campanhas anteriores, dados do
Construir uma boa segmento da base, incrementou a retenção. “Clientes
PASSO 1 passado, problem solving, construa uma boa
hipótese! que usam cupom possuem uma retenção de 30 dias
hipótese que resolva o seu problema! Defina um KPI!
5p.p. maior.”

Cupons disponibilizados na última BackFriday para um

Desenhe o tratamento, Determine o tamanho da amostra, separe piloto e
segmento da base, incrementou a retenção. “Clientes
PASSO 2 os grupos e as controle, defina qual o tratamento que será aplicado
que usam cupom possuem uma retenção de 30 dias
estatísticas e gere seu valor de ɑ.
5p.p. maior.”

Apliquei o tratamento no grupo piloto, isole o grupo

Executar o Enviei os cupons para os 900 clientes e aguarde 30
PASSO 3 controle e garanta que não haja outros testes
experimento dias para medir a retenção!
simultâneos acontecendo!

Pegar os dados gerados no experimento, e usar

alguma ferramenta de manipulação para validar as Enviei os cupons para os 900 clientes e aguarde 30
PASSO 4 Analise os resultados
informações, se os dados estão corretos e fazer as dias para medir a retenção!
primeiras análises
 PILOTO CONTROLE
9000 CLIENTES 900 CLIENTES
18,9% 13,8%
Retenção 30 dias Com retenção/
total observações
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
Distribuir cupom para os clientes resulta em uma maior retenção em 15 e 30 dias

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Retenção com cupom <= Retenção sem cupom. H1: Retenção com cupom > Retenção sem cupom

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor
Retenção 15 dias = 0,02 e Retenção 30 dias = 0,000

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Ambos menores que alfa, temos evidência para rejeitar H0
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
Distribuir cupom para os clientes resulta em uma maior retenção em 15 e 30 dias

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Retenção com cupom <= Retenção sem cupom. H1: Retenção com cupom > Retenção sem cupom

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor
Retenção 15 dias = 0,02 e Retenção 30 dias = 0,000

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Ambos menores que alfa, temos evidência para rejeitar H0
CHECKLIST DO TESTE DE HIPÓTESE
Defina a hipótese que resolve o seu problema
Distribuir cupom para os clientes resulta em uma maior retenção em 15 e 30 dias

Defina a sua hipótese nula (tratamento sem impacto) e a alternativa (tratamento com impacto)
H0: Retenção com cupom <= Retenção sem cupom. H1: Retenção com cupom > Retenção sem cupom

Defina o nível de significância, através do seu alfa (ɑ) - geralmente 5%

Alfa = 0,05 ou 5%

Execute o teste e colete os dados

Calcule o p-valor
Retenção 15 dias = 0,02 e Retenção 30 dias = 0,000

Compare o seu p-valor com o seu alfa. Se p-valor < alfa, REJEITA hipótese nula
Ambos menores que alfa, temos evidência para rejeitar H0
MÉTODO DE INTERFERÊNCIA

MÉTODO DE INFERÊNCIA MÉTODO DE INFERÊNCIA BAYESIANO

FREQUENTISTA
Além dos dados coletados, inclui
Toda inferência é feita partir dos dados informações subjetivas, ou seja, inclui
disponíveis, ou seja, as conclusões são algum conhecimento não contida nos
feitas a partir dos dados coletados da dados da amostra.
amostra.
+ Existem regras, mas são flexíveis
+ Método mais comum + Necessita de intuição, que pode ter
+ Envolve o entendimento de alguns viés
conceitos + Deve sempre ser acompanhado do
+ Processo lógico método frequentista