Desafios após o desenho de uma

avaliação aleatorizada
Cristine Pinto
Professora da FGV-SP
Objetivos

• Identificar as principais ameaças à validade de uma avaliação

aleatorizada na fase de implementação

• Definir estratégias para prevenir cada ameaça

• Conhecer alguns métodos que podem ser usados durante a análise de

resultados caso essas ameaças estejam presentes

2
Introdução

• Já vimos que a avaliação aleatória, quando bem implementada,

nos entrega a estimativa mais confiável do impacto de um
programa
• Mas só desenhar uma avaliação rigorosa não é suficiente para
conseguir resultados robustos
• Há problemas que podem surgir durante a implementação da
avaliação, e eles ameaçam:

Validade interna: se a avaliação pode realmente medir o impacto

causal de um programa

Validade externa: se os resultados da avaliação podem ser

generalizáveis

3
Estrutura da aula

• Atrito da amostra

• Externalidades

• Viés de seleção e cumprimento parcial

• Respostas comportamentais à avaliação

4
Atrito amostral
Atrito amostral

• Ocorre quando “desaparecem” pessoas da amostra: não é

possível conseguir dados dos resultados de interesse para
algumas unidades da amostra

• Ocorre independentemente da participação da pessoa na

intervenção

• Atrito pode representar uma ameaça à validade interna de

uma avaliação

6
 Exemplo: Programa de reforço escolar

Fonte: J-PAL 7
Programa de reforço escolar

Problema: alguns alunos obtêm resultados acadêmicos

desfavoráveis ano após ano

Programa: é oferecido um programa de reforço escolar para

estudantes de baixo rendimento

Desenho da avaliação: foram aleatorizadas quais escolas receberão

o programa de reforço escolar

Resultados de interesse: impacto do programa nos resultados de

prova padronizada de matemática

8
Antes da intervenção

Antes
T C
20 20 Comprovamos que existe
25 25 equilíbrio entre os grupos de
tratamento e controle
30 30
Média 25 25
Diferença 0
*A tabela mostra os
resultados da prova de
matemática para três
estudantes em
cada grupo
9
Depois da intervenção

Depois
T C
22 20 Voltamos ao final do ano...

27 25 E alunos das escolas que

participaram do tratamento
32 30
aumentam em 2 pontos sua
Média 27 25 nota na prova de matemática
Diferença 2
*A tabela mostra os
resultados da prova de
matemática para três
estudantes em
cada grupo
10
Depois da intervenção

Depois
T C Imaginemos que, na
realidade, todos os
22 20
estudantes que tiram 20
27 25 pontos ou menos deixam
32 30 de frequentar a escola ao
longo do ano…
Média 27 25
Diferença 2
*A tabela mostra os
resultados da prova de
matemática para três
estudantes em cada
grupo
11
Evasão
Sem evasão Com evasão
T C T C
22 20 22 Ausente
27 25 27 25
32 30 32 30
Média 27 25 Média 27 27,5
Diferença 2 Diferença - 0,5

O atrito fez parecer que o programa não funciona!

12
Atrito amostral

É um problema para uma avaliação porque…

• Os que “desaparecem” do grupo de tratamento podem ser

diferentes daqueles que desaparecem do grupo de controle

• Isso é denominado atrito diferencial

• Os grupos deixariam de ser comparáveis

13
Atrito amostral

É um problema para uma avaliação porque…

• O tamanho amostral poderia ser reduzido e afetar o poder

estatístico da avaliação

• O nível de atrito pode ser tão elevado que pode colocar em

risco a viabilidade da avaliação

14
Estratégias para minimizar o atrito

Durante a etapa de análise dos resultados da avaliação, um dos

primeiros passos deve ser:

• Reportar os níveis de atrito em ambos os grupos

• Ver se existem diferenças em características observáveis entre

unidades que evadiram de cada grupo

Também existem estratégias para

minimizar o atrito amostral

15
Opção 1: Prevenir

Adotar medidas para prevenir o atrito:

• Empregar várias estratégias de levantamento de dados

• Fazer entrevistas mais curtas

• Realizar piloto dos instrumentos a serem utilizados no

levantamento de dados

• Oferecer incentivos

• Ser estratégico ao decidir em qual momento a entrevista

acontecerá

16
Opção 2: Insistir

• Decidir desde o início que se tentará encontrar todos os indivíduos

que participarão da avaliação, ainda que isso signifique buscar
outros meios de contato fora do procedimento principal, o que
pode encarecer o processo

• Em casos em que é impossível entrevistar todos os indivíduos,

estabelecer uma amostra representativa dos que evadiram, e
buscá-los

17
Externalidades
Externalidades
• Acontecem quando o grupo de controle é contaminado pelo
grupo de tratamento

• Podem ser positivas ou negativas

• Quando há efeito indireto da intervenção entre as pessoas que

não foram tratadas, o grupo de controle deixa de ser uma
estimativa imparcial do contrafactual

• Com isso, externalidades tornam difícil ou até impossível medir o

impacto do programa
19
Externalidades

Fora da
avaliação

População
Tratamento
alvo

Tratamento

Amostra
da Aleatorização
avaliação

Controle

20
Exemplos de externalidades em programas
de transferência de renda,
similares ao Bolsa Família

21
Externalidade positiva: PROGRESA (México)

• Beneficiários
compartilharam
renda recebida pelo
programa com
familiares
• Isso aumentou a
matrícula escolar de
crianças em lares
não escolhidos
aleatoriamente para
receber a
intervenção nas
comunidades
tratadas

Fonte: J-PAL 22
 Externalidade negativa: TMC (Colômbia)
• Famílias que receberam
a transferência de renda
só matricularam alguns
de seus filhos na escola
• Famílias desviavam, para
os filhos não
selecionados, recursos
relativos aos filhos
selecionados
• A ação prejudicou em
especial crianças do
sexo feminino

Fonte: J-PAL 23
Tipos de externalidades: Físicas

Quando se
entrega renda
extra (tratamento)
a um grupo que
cede parte dela a
Tratamento Controle
conhecidos
(controle) que
não deveriam
gozar do
benefício naquele
momento

24
Tipos de externalidades: comportamento ou
informação
Má Boa
Tratamento Controle
saúde saúde

Indivíduos do grupo de controle mudam comportamento

ao observarem práticas de vizinhos ou receberem
informações sobre o tratamento 25
Equilíbrio geral
Avaliação de política de empregabilidade em uma
situação com um dado equilíbrio
Tratamento Sem experimento
Controle
Posto de trabalho

Situação inicial

Com experimento

26
Minimizando externalidades

• Se não forem levadas em consideração, as externalidades podem

representar uma ameaça à validade interna da avaliação
– O grupo de controle é afetado pelo tratamento, e por isso deixa de representar o
contrafactual

• Se forem levadas em consideração, é possível reduzir os efeitos de

externalidades aleatorizando-se a avaliação a um nível maior
(comunidades em vez de residências, por exemplo)

As externalidades podem ser uma ameaça

ou um objetivo de pesquisa

27
Como medir externalidades

Variando a intensidade do tratamento

C Controle puro

C Controle 50%
C C T T
T Tratamento 50%
T Tratamento puro 100%
0% 50%

28
Como medir magnitude de externalidades

Foram comparadas famílias que não recebem tratamento

(verde) em relação às não tratadas em comunidades que
contam com grupos de tratamento (azul)

C Controle puro

C Controle 50%
C C T T
T Tratamento 50%
T Tratamento puro 100%
0% 50%

29
Comparação entre grupos de controle

• Sem externalidades presentes no grupo de tratamento:

Controle puro = Controle em zonas tratadas

• Com externalidades:

C Controle puro

C Controle 50%
C < C

30
Comparação entre grupos de tratamento

• Sem externalidades presentes no grupo de controle:

Tratamento em zonas com controle = Tratamento puro

• Com externalidades:

T Tratamento 50%
T Tratamento puro
T
< T

31
Viés de seleção e cumprimento parcial ou
imperfeito
Viés de seleção

• O viés de seleção da amostra pode surgir se a

distribuição entre tratamento e controle é afetada por
outros fatores que não a aleatorização.
• Embora a intenção de alocar seja aleatória, quem de
fato recebe o benefício pode não ser

Pode ser causado por implementadores ou participantes

33
Cumprimento parcial ou imperfeito
• Ainda que a intenção seja aleatorizar, parte do grupo que deveria
receber o programa pode vir a não ser tratado
• Ocorre quando:
– Pessoas do grupo de tratamento não recebem o tratamento (Autosseleção)
– Pessoas do grupo de controle recebem o tratamento
– Os implementadores do programa não seguem protocolos de aleatorização
– Indivíduos da amostra desafiam sua aleatorização

Poderia ser reintroduzido um viés de seleção

34
Quando membros dos grupos de tratamento ou
controle não se realizam

Fora da O que podemos fazer?

avaliação

População
Trocá-los?
alvo
Não!
Participantes
Tratamento
Amostra Não
da Aleatorização participantes

avaliação Participantes
Controle
Não
participantes

35
Quando membros dos grupos de tratamento ou
controle não se realizam

Fora da Podemos abrir mão

avaliação deles?
População
alvo Não!
Participantes
Tratamento
Amostra Não
da Aleatorização participantes

avaliação Participantes
Controle
Não
participantes

36
Quando membros dos grupos de tratamento ou
controle não se realizam

Por que? Se modificarmos de

qualquer forma os grupos de
tratamento e controle, sua
Fora da alocação deixa de ser
avaliação
aleatória: os grupos deixam de
População ser comparáveis!
objetivo

Participantes
Tratamento
Amostra Não
da Aleatorização participantes

avaliação Participantes
Controle
Não
participantes

37
Quando membros dos grupos de tratamento ou
controle não se realizam

Devemos preservar os grupos

de acordo com sua
Fora da alocação inicial, porque
avaliação sabemos que esses grupos
População
são comparáveis
alvo

Participantes
Tratamento
Amostra Não
da Aleatorização participantes

avaliação Participantes
Controle
Não
participantes

38
O que podemos fazer?

• Prevenir no desenho ou na implementação (idealmente)

Não é sempre possível

• Monitorá-lo durante a implementação

Importante saber o que ocorre

• Interpretar resultados corretamente na fase de análise caso

cumprimento parcial ocorra
Medir IIT
Medir EMT/LATE

39
 Intenção de Tratar (ITT)
nos indica o efeito de oferecer o programa
e
Efeito médio do tratamento (EMT ou LATE)
nos indica o efeito de receber o programa

40
ITT e EMT/LATE: Conclusões

• Ambos fornecem informações valiosas aos tomadores de decisões

• ITT indica o efeito geral da intervenção, aceitando que haja cumprimento

imperfeito ou parcial, fenômeno inerente a qualquer política (efeito de
ofertar a intervenção)

• EMT/LATE indica o efeito da intervenção nos que recebem o programa

41
Respostas de conduta à avaliação
Mudanças de comportamento
provocadas pela avaliação

Uma limitação das avaliações é o fato de que pode

haver mudanças comportamentais causados por elas

Tratamento Controle Ambos

• Efeito • Efeito John • Efeito de

Hawthorne Henry entrevista
• Ressentimento
• Efeito e baixa de
demanda moral
• Efeito
antecipação

43
Efeito Hawthorne

• 1924-32: Diferentes experimentos para aumentar

produtividade em “Hawthorne Works” (p. ex.
elevar a iluminação para trabalho)

• Indivíduos aumentam sua produtividade porque

estão sendo estudados

• Quando terminam os experimentos, o

diferencial de produtividade desaparece

44
Efeito John Henry

• Trabalhou martelando trilhos de trem na

década de 1870

• Foram introduzidas máquinas de martelar, e

os donos disseram que eram mais rápidas

• Henry competiu contra a máquina (e

venceu), mas morreu pelo esforço excessivo

Os efeitos John Henry ocorrem quando o grupo de

controle compete com o grupo de tratamento
45
Outros efeitos da avaliação
Efeitos de ressentimento
• O grupo de controle pode sentir ressentimento por não
receber o programa
• Pode ser que isso faça com que seus resultados sejam piores
do que se tivessem sido observados na ausência do
experimento (afeta motivação intrínseca)

Efeitos de demanda
• Quando os participantes mudam seu comportamento para
cumprir com o que acreditam ser as expectativas do avaliador

46
Outros efeitos da avaliação

Efeitos de antecipação

• Pode ocorrer em desenhos em que o grupo de controle em

algum momento terminará recebendo a intervenção

• Na expectativa antecipada de receber o programa, as pessoas

do grupo de controle podem mudar seu comportamento

47
Outros efeitos da avaliação
Efeitos da entrevista

• Às vezes, a experiência de ser entrevistado pode alterar o

comportamento dos participantes da avaliação

• Exemplo: Programa de purificação de água

• Entrevistas perguntando sobre a incidência de diarreia e se a família
consumia água purificada
• Descobriu-se que a mesma entrevista funcionava como uma lembrança
da importância de se consumir água purificada

48
Por que são uma ameaça?

• A avaliação produz alterações de comportamento que não

ocorreriam sem o experimento

• Se a alteração de comportamento afeta ambos os grupos de

forma diferenciada, isso ameaça a habilidade de generalizar os
resultados para além da avaliação

Se os efeitos da avaliação afetam a comparabilidade dos grupos,

isso produz um viés na estimação do impacto

49
Como limitar os efeitos derivados da avaliação?

• Identificar a origem dos efeitos verificados (externalidades, atrito,

cumprimento parcial ou respostas comportamentais)

• Nível de aleatorização

• Não anunciar as fases

• Imparcialidade dos implementadores

• Interagir com cada grupo de maneira igual

• Tentar medir os efeitos da avaliação

50
Como limitar os efeitos derivados da avaliação?

• Considerar incluir membros do controle entrevistados ao grupo de

beneficiários ao final do estudo

• Medir os efeitos derivados da avaliação em um subgrupo da amostra

51
Conclusões
• Validade interna é a grande fortaleza da avaliação aleatorizada, e
ameaças que possam debilitá-la devem ser consideradas
cuidadosamente

• As fases de desenho e o cálculo de poder estatístico são importantes,

bem como a habilidade no enfrentamento dos desafios da
implementação

• É preciso identificar o risco, e garantir que atrito, externalidades e

cumprimento imperfeito (ou parcial) não inviabilize a avaliação

• Também é preciso cuidado com os efeitos comportamentais

derivados da avaliação experimental
52