Como aleatorizar?

Bruno Ferman
Professor da FGV-SP
Pesquisador afiliado do J-PAL
Importância

Os experimentos aleatorizados constituem o método mais confiável para

estimar o impacto de um programa, sempre e quando forem corretamente
desenhados e realizados

2
Objetivos

• Entender que é possível aleatorizar de maneiras diferentes

• Compreender que a melhor maneira não existe: depende do contexto

• Ser capaz de identificar a maneira mais adequada para um programa

determinado

3
Estrutura da aula

• O que é uma avaliação aleatorizada?

• Tipos de aleatorização

• Desenhos de aleatorização

4
O que é uma avaliação aleatorizada?
O que significa “aleatório”?

Dicionário Michaelis
“aleatório
a· le· a· tó· ri· o
adjetivo
Que depende do acaso ou de acontecimentos incertos, favoráveis ou não
a um determinado evento; casual; contingente, fortuito.”

• Em estatística
– Não contém padrões reconhecíveis ou regularidades
– Cada possível resultado tem a mesma probabilidade de acontecer

6
Amostragem aleatória vs.
Designação aleatória

Amostragem Designação
aleatória aleatória

7
 Amostragem aleatória vs.
Designação aleatória
Amostragem Designação
(opcional)

Tratamento

População de
Amostra
interesse
Controle

Nesta aula veremos

diferentes maneiras para
aleatorizar a designação
8
Tipos de aleatorização
Tipos de aleatorização

• Aleatorização completa

• Aleatorização restritiva

• Aleatorização estratificada

• Aleatorização por cluster

10
Aleatorização completa:
probabilidade fixa

• Aleatorização sem nenhuma restrição ID Moeda Grupo

1 Cara Tratamento
2 Cara Tratamento
• Probabilidade fixa de ser designado 3 Coroa Controle
ao grupo de tratamento (ex.: 50%) 4 Cara Tratamento
5 Coroa Controle
6 Cara Tratamento
• Pode resultar em um grupo de 7 Coroa Controle
8 Coroa Controle
tratamento um pouco maior/menor
9 Cara Tratamento
do que o esperado
10 Cara Tratamento
T: 6
Total
C: 4
11
 Aleatorização restritiva:
proporção fixa

• Pré-determina-se o número de
pessoas em T e C

• Determina-se de maneira aleatória

quem conforma ambos os grupos
• Ordenar as pessoas de maneira
aleatória
• Tirar números de uma urna
• Usar gerador de números aleatórios

• Requer espaço amostral

Fonte: Chris Blattman 12

Aleatorização estratificada

13
 Amostra de avaliação

Dividir a amostra por região

Nordeste Sudeste Centro-Oeste

Aleatorizar dentro de cada região

Criar grupos de tratamento e controle

Grupo Tratamento Grupo Controle

Aleatorização estratificada

• Por que estratificar?

– Para assegurar equilíbrio nas variáveis de interesse
– Para aumentar o poder estatístico
– Para estudar subgrupos
– Por razões políticas ou logísticas

• Quais variáveis utilizar?

– Variáveis correlacionadas com o resultado de interesse
– Variáveis das quais se deseja fazer uma análise de subgrupo

15
Aleatorização por cluster (agrupamento)

• A unidade de aleatorização não é o indivíduo, mas um grupo de

indivíduos (escolas, municípios, cidades, etc.)

• Todos os indivíduos de um mesmo agrupamento recebem a mesma

designação

16
Unidade de aleatorização: individual

17
Unidade de aleatorização: individual
Tratamento
Controle

18
Unidade de aleatorização: por cluster

19
Unidade de aleatorização: escola

20
Unidade de aleatorização: escola
Tratamento
Controle

21
Vantagens e desvantagens
• Vantagens
Por vezes, tratar a amostra em clusters permite viabilizar uma pesquisa
por motivos
– Logísticos
– De contaminação
– De interesse para gestores públicos

• Desvantagens
Agrupamento em clusters incorre na redução da amostra, gerando
– Perda de poder
– Redução da precisão

22
Desenhos de aleatorização
Desenhos de aleatorização
Diferentes opções de desenho incluem:
– Loteria básica
– Por etapas
– Múltiplos tratamentos
– De estímulos

Essas alternativas não são excludentes

24
Loteria básica
Loteria básica
• As unidades (indivíduos, casas, escolas, etc.) são designadas
aleatoriamente ao grupo de tratamento e ao grupo de controle

– O grupo de tratamento obtém acesso ao programa

– O grupo de controle NÃO obtém acesso ao programa

26
Loteria básica

Tratamento
Controle

27
Loteria básica

• Quando é útil?
– Quando não há recurso suficiente para cobrir todas as pessoas elegíveis
ao programa

• Que possível restrição poderia ter?

– O grupo que não recebe o programa (o grupo de controle) pode não
cooperar com a avaliação

28
Exemplo:
Programa de Ampliação de Cobertura da Educação Secundária
(Colômbia)

• 1.600 candidatos a bolsas de estudo para estudantes de bairros

desfavorecidos: cobrem mais da metade do custo de frequentar uma
escola privada na Colômbia

• Demanda excede o número de bolsas de estudo disponíveis

...aleatoriza-se a entrega das bolsas

29
Loteria básica: exemplo

Tratamento
800 estudantes
recebem bolsa

Amostra
1.600 candidatos à
bolsa de estudo

Controle
800 estudantes não
recebem bolsa

30
Desenho por etapas
Desenho por etapas

• Quando todos os candidatos devem receber o programa, mas

o programa é implementado em etapas
– Pode-se escolher aleatoriamente quem participa na primeira etapa
e quem participa nas etapas seguintes

• No início, os grupos que ainda não receberam o programa

fazem parte do grupo de controle

32
Desenho por etapas

Etapa 1 2
Tratamento: 1/3 3 3 2
1 3 3
Controle: 2/3 2 1
1 3 2
2 1
Etapa 2
3 2 3 3
Tratamento: 2/3
Controle: 1/3 2 3
3 1 2 2
1
Finaliza avaliação aleatória 2 1
2 1 1
3 3
Etapa 3 3 1
3 1 2 3
Tratamento: 3/3
Controle: 0 1 1
2
33
Desenho por etapas
• Quando é útil?
– Quando implementar o programa de uma só vez não é factível
– Quando não se pode excluir ninguém completamente
– Em última análise, todos recebem o programa

• Que possível restrição poderia ter?

– Difícil de medir efeitos a longo prazo
– Possibilidade do grupo de controle alterar seu comportamento
antecipando o tratamento no período seguinte

34
Exemplo:
Programa Bolsa Verde, de Pagamento por Serviços Ambientais (Brasil)

• Há famílias que preenchem os requisitos necessários para serem beneficiárias,

mas que ainda não integram o programa: há um excesso de demanda
• Se o programa tivesse um aumento no número de vagas, o critério de
definição de quais famílias da fila de espera seriam beneficiadas poderia ser
sorteio de um primeiro grupo
• Depois de alguns anos de tratamento, tentar-se-á verificar se houve um
aumento, nas regiões e famílias inicialmente contempladas, em:
– Cobertura vegetal
– Consumo de bens duráveis
– Valor das propriedades

35
Desenho por etapas: Exemplo

Etapa 1 Etapa 2

Tratamento Tratamento
1.000 candidatos 1.000 famílias são
são beneficiados beneficiadas
Amostra
2.000 potenciais
beneficiários ainda
não haviam sido
selecionados
Controle Tratamento
1.000 famílias
1.000 famílias são
aguardam mais pelo
beneficiadas
benefício

36
Desenho de múltiplos tratamentos
 Desenho de múltiplos tratamentos

Às vezes queremos testar

• Qual de várias intervenções tem maior impacto?
• Qual é o componente mais efetivo do programa?
• Qual é a intensidade ideal do tratamento?
• Qual é a interação entre diferentes componentes de um programa?

É possível aleatorizar múltiplos tratamentos e analisar como se

comparam uns com os outros e como se complementam

38
Múltiplos tratamentos

Tratamento 1

Tratamento 2

Tratamento 3
Múltiplos tratamentos

Que possível restrição poderia haver?

• Quando não há um grupo de controle puro, o impacto estimado mede

apenas o impacto relativo de uma intervenção versus outra

...além disso, são necessárias amostras muito grandes nos casos em que há
vários tratamentos e se deseja fazer uma comparação entre eles

40
Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil)
• Há evidência crescente na literatura de que melhorar a comunicação
entre pais e escolas melhora a performance dos estudantes

• O funcionamento dos mecanismos é menos claro e se desejava conhecê-

lo mais detalhadamente

• Há uma avaliação experimental em curso em São Paulo utilizando

diferentes tratamentos de SMSs enviadas aos pais:
– Conscientização (“Ir à escola todos os dias é importante para as notas de
Maria”)
– Conscientização + informação (“Maria faltou à escola menos de três vezes nas
últimas 3 semanas”)
– Conscientização + informação relativa (“Maria faltou à escola menos de três
vezes nas últimas 3 semanas. A média da sala dela no mesmo período foi de
quatro faltas.”)
43
Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil)

Controle
Não recebe mensagens

Tratamento 1
Recebem mensagem tipo 1
Amostra (Conscientização)
Pais de
estudantes de Tratamento 2
escolas públicas Recebem mensagem tipo 2
de São Paulo (Conscientização + Informação)

Tratamento 3
Recebem mensagem tipo 3
(Conscientização + Informação
relativa)
44
Esquema de incentivos
à participação
Esquema de incentivos à participação
• Às vezes é prático ou eticamente impossível designar o acesso a um
programa de forma aleatória
– Mas a maioria dos programas tem uma participação inferior a 100% da
população alvo

• Nesses casos é possível oferecer aleatoriamente um estímulo para

participar da intervenção

46
Esquema de incentivos à participação

Estímulo
Sem estímulo

Participam
Não
participaram

Cumprem
Não
cumprem

47
Esquema de incentivos à participação

Estímulo
Comparar incentivados com não incentivados
Sem estímulo

Estes devem estar correlacionados

Participam
Não
participaram Não comparar participantes com não
participantes

Cumprem
Não
Ajustar por não cumprimento na fase de análise
cumprem

48
Esquema de incentivos à participação

Que possível restrição poderia ter?

• Mede o impacto daqueles que respondem ao incentivo

• Necessita de um incentivo suficientemente potente para elevar a

quantidade de participantes

• O próprio incentivo pode ter um efeito direto sobre a variável de interesse

49
Exemplo: Programa de capacitação a microempreendedores (Chile)

• São oferecidas 20h de oficinas de capacitação a microempresas

• Quatro módulos: orçamento, poupança, empréstimo responsável e

investimento

• Cobertura
– Beneficiários de alguns programas de empreendimento do Fundo Chileno
de Solidariedade e Investimento Social
– Três regiões do Chile (V, VII, Região Metropolitana)

50
Exemplo: Programa de capacitação a microempreendedores (Chile)

Com Capacitados
incentivo
1.959 pessoas
receberam
Amostra convite Não capacitados
4.570 beneficiários
de programas de
empreendimento do
FOSIS Sem
Não capacitados
incentivo
2.611 pessoas
não receberam
convite Capacitados

51
Conclusões
Em resumo

• É possível aleatorizar de muitas maneiras diferentes

– diferentes opções de acordo com o tipo e o desenho de aleatorização

• A melhor maneira não existe: depende do contexto

• Pensar bem como aleatorizar…

– assegura validade interna
– permite responder a perguntas mais interessantes

53