Experimentos Sociais Parte 1

Rafael Terra
Universidade de Braslia-Unb

09 de Setembro, 2015

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 1 / 29
Experimentos Sociais

Experimentos sociais para avaliacao de efeitos de programas e polticas

p
ublicas tem se tornado mais e mais frequentes nas u ltimas duas decadas.
Programas tao diversos como a provisao de insumos escolares para o
aprendizado,(Glewwe e Kremer 2005), a adocao de novas tecnolgias na
agricultura para aumentar a produtividade (Duflo, Kremer, e Robinson
2006) e incentivos para reduzir a corrupcao nos Detrans (Bertrand, Djankov,
Hanna, and Mullainathan 2006) tem sido alvo de avaliacao por meio de
experimentos randomizados.
A utilizacao de experimentos randomizados se justifica tanto pela precisao
de suas estimativas, que pode evitar o dispendio de recursos com programas
ineficazes, quanto pelo custo relativamente baixo para sua realizacao.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 2 / 29
Por que randomizar?

Quando realizamos uma inferencia causal sobre um programa

deveramos responder as seguintes perguntas contrafactuais:
1 Como os indivduos que participaram do programa teriam se sado na
ausencia do programa?
2 Como aqueles que nao participaram do programa teriam se sado se
tivessem participado?
impossvel responder exatamente essas quest
E oes, pois so
observamos um indivduo em um ou outro estado da natureza.
A comparacao do mesmo indivduo ao longo do tempo nao e
confiavel, pois outros fatores que afetam os resultados podem ter
mudado desde que o programa foi introduzido.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 3 / 29
Por que randomizar?

Mas podemos comparar os resultados medios entre participantes e

nao participantes se os u
ltimos forem parecidos o bastante com os
primeiros, de forma que esperamos que eles apresentem resultados
parecidos o bastante com os que os participantes apresentariam na
ausencia do programa.
Geralmente, no entanto, os participantes e os nao participantes sao
grupos muito diferentes.
Por exemplo, um programa pode ter um criterio de eligibilidade como
ter uma renda menor que $x por pessoa da famlia, famlia com
filhos, etc.
Grande parte das vezes, a participacao no programa e voluntaria, o
que da lugar ao problema de auto-selecao.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 4 / 29
Resultados Potenciais

Rubin (1974) foi o primeiro a introduzir formalmente a nocao de

resultados potenciais (note que diversos outros autores ja defenderam
a importancia de se olhar o resultado potencial, mas as referencias
eram feitas de forma intuitiva) no formato utilizado ate hoje.
Seja entao Ti : Indicador de status do tratamento para a unidade i

(
1 se a unidade i recebe o tratamento
Ti = (1)
0 se a unidade i nao recebe o tratamento

Os resultados sao definidos por

1 Yi : Resultados da variavel de interesse observados para a unidade i.
2 Y0i e Y1i : Resultados potenciais para a unidade i.
Y1i : Resultado da unidade i se fosse tratada.
Y0i : Resultado da unidade i se n
ao fosse tratada.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 5 / 29
Causalidade e Resultados Potenciais

O efeito real do tratamento para uma unidade i e dado pela diferenca

de resultados potenciais
Y1i Y0i (2)
Os resultados observados sao dados pela seguinte expressao

Yi = Y1i Ti + Y0i (1 Ti ) ou
(
Y1i se Ti = 1 (3)
Yi =
Y0i se Ti = 0

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 6 / 29
Causalidade e Resultados Potenciais

como se
Problema: Nao observamos simultaneamente Y0i e Y1i . E
tivessemos dados faltantes.
Se tivessemos uma grande homogeneidade de (Y1i , Y0i ) entre
indivduos e ao longo do tempo poderamos resolver o problema de
encontrar indivduos parecidos para servir de comparacao. Contudo,
normalmente, indivduos tratados e nao tratados apresentam
respostas bastante heterogeneas quando expostos ao programa,
especialmente quando a participacao e voluntaria ou segue um
criterio de elegibilidade.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 7 / 29
Stable Unit Treatment Value Assumption (SUTVA)

Uma hipotese importante para a identificacao do efeito do programa e

a de que os resultados potenciais de uma unidade i nao sao afetados
pelo tratamento da unidade j - Stable Unit Treatment Value
Assumption (SUTVA).
Essa hipotese e garantida pela equacao (3) dada por
Yi = Y1i Ti + Y0i (1 Ti ).
Exemplos que desmentem tal hip otese sao:
1 O efeito da plantacao de sementes mais resitentes a praga sobre a
produtividade (espalha para vizinhos nao tratados).
2 Efeito da vacinacao contra a gripe sobre o n
umero de internacoes (o
tratado sera uma pessoa a menos para servir como transmissor do
vrus, beneficiando os nao tratados).
Essa hipotese e problematica. Portanto, devemos escolher as unidades
de analise de forma a minimizar a interferencia entre unidades.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 8 / 29
Medidas de Interesse do Efeito do Tratamento

Entre as principis medidas de interesse do efeito do tratamento que

queremos estimar estao o Efeito Medio do Tratamento (ATE)

ATE = E [Y1i Y0i ] (4)

o Efeito Medio do Tratamento sobre os tratados (ATT)

ATT = E [Y1i Y0i |Ti = 1] (5)

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 9 / 29
Medidas de Interesse do Efeito do Tratamento

o Efeito Medio do Tratamento sobre os nao tratados (ATU)

ATU = E [Y1i Y0i |Ci = 1] (6)

em que Ci = 1 Ti . O ATE e, portanto, dado por

ATE = Pr(T = 1) ATT + Pr(C = 1) ATU (7)

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 10 / 29
Outras Medidas de Interesse do Efeito do Tratamento

Outras medidas de interesse sao o Efeito Local do Tratamento

(LATE) e o Efeito do Tratamento na Margem (EOTM). O LATE e
dado por

E [Yi |Zi = 1] E [Yi |Zi = 0]

LATE = (8)
E [Ti |Zi = 1] E [Ti |Zi = 0]
O Efeito do Tratamento na Margem (EOTM) e dado
"  #
U(Y (T )) = U(Y (T 0 )) U(Y (T 00 ))
0 0
EOTM(T , T ) = E Y (T ) Y (T ) 

T , T 0 6= T 00
(9)

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 11 / 29
O vies de selecao da Diferenca de Resultados Medios
Observados

Se quisermos estimar o efeito do tratamento, a maneira mais ingenua

seria pela simples diferenca dos resultados medios entre tratados e
nao tratados

E [Y1i |T ] E [Y0j |C ] (10)

Mas para ver como essa medida se relaciona com uma das medidas de
efeito do tratamento (ATT em especfico), somemos e subtraiamos
E [Y0i |T ]

E [Y1i |T ] E [Y0i |T ] E [Y0j |C ] + E [Y0i |T ] (11)

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 12 / 29
O vies de selecao da Diferenca de Resultados Medios
Observados

Rearranjando

E [Y1i Y0i |T ] + E [Y0i |T ] E [Y0j |C ] (12)

| {z } | {z }
ATT vi
es

O termo E [Y1i Y0i |T ] e o ATT, e o termo E [Y0i |T ] E [Y0j |C ] e o

vies.
Se pensarmos em um tratamento em que escolas de areas carentes
sao escolhidas para participarem de um programa de provisao de
livros-texto, e nos escores de desempenho como a variavel de
resultado, podemos interpretar o vies como a diferenca natural no
desempenho entre as escolas tratadas (carentes) caso nao tivessem
sido tratadas e o resultado das escolas nao tratadas (nao carentes).

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 13 / 29
A randomizacao da designacao do tratamento para
eliminar o vies de selecao

O termo E [Y0i |T ] nao e observavel, entao nao podemos avaliar sua

magnitude e o sinal do vies de selecao. Podemos apenas ter uma
ideia, como no caso obvio dos livros-texto acima, em que o vies deve
ser negativo, pois esperamos um desempenho melhor entre as escolas
nao tratadas (menos carentes).
Ma o vies de selecao pode ser removido quando o tratamento ou a
ausencia de tratamento sao designados de forma aleatoria (no sentido
de ser randomizado) para uma determinada sub-populacao de onde a
amostra e retirada.
Com isso, podemos estimar o efeito do tratamento.
A amostra e dividida aleatoriamente entre dois grupos: O grupo de
tratamento com NT indivduos, e o grupo de comparacao (ou de
controle), com NC indivduos.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 14 / 29
A randomizacao da designacao do tratamento para
eliminar o vies de selecao

Por exemplo, dentre uma sub-populacao de 100 escolas, podemos

sortear 50 que receberao os livros-texto.
Nesse caso o vies desaparece, e o Efeito Medio do Tratamento sera
obtido pela diferenca entre as medias empricas de Y entre os dois
grupos.

b = Eb[Yi |T ] Eb[Yj |C ]
D (13)
Para uma amostra grande o suficiente, essa diferenca convergira para

D = E [Y1i |T ] E [Y0j |C ] (14)

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 15 / 29
A randomizacao da designacao do tratamento para
eliminar o vies de selecao

Se o sorteio foi feito de forma cuidadosa para evitar que o tratamento

em um indivduo i afete o resultado de um indivduo j nao tratado, i.e.
se a Hipotese de Valor Estavel da Unidade de Tratamento (SUTVA)
descrita em Angrist, Imbens, e Rubin (1996)) for satisfeita, entao

E [Y0i |T ] E [Y0j |C ] = 0 ou
(15)
E [Y0i |T ] = E [Y0j |C ]

Substituindo essa igualdade em (12) temos

E [Yi |T ] E [Yj |C ] = E [Y1i Y0i |T ] = E [Y1i Y0i ] (16)

Portanto, apos a randomizacao do tratamento, uma simples

diferencas de media nos dara o Efeito Medio do Tratamento.
Rafael Terra (Unb) Econometria do Setor P
ublico 09 de Setembro, 2015 16 / 29
A randomizacao da designacao do tratamento para
eliminar o vies de selecao

A contrapartida de regressao por OLS para obter D

b e

Yi = + T + i (17)
Note que E [Yi |T ] = + e E [Yi |C ] = . Portanto, o efeito do
tratamento e dado por ATE = Eb[Yi |T ] Eb[Yi |C ] = (b b
+ ) b= ,
b
em que T e uma dummy igual a 1 para os tratados e 0 para os
controles, e C = 1 T .
Se a avaliacao for corretamente desenhada e implementada, ela
provera estimativas nao viesadas do efeito do programa na amostra
sob estudo, i.e. sera internamente valida.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 17 / 29
Derivada parcial vs. Derivada Total e o efeito do programa

A expressao (4) pode ser diferente do impacto do tratamento tudo

mais constante.
Se Y e tal que Y = f (I ), em que I e um vetor composto por alguns
insumos que podem variar por meio de polticas p ublicas e outros que
dependem das respostas das famlias `as mudancas nos incentivos.
Consideremos t um elemento de I , como uma transferencia de
alimentos in-kind. Podemos querer estimar o efeito de t sobre Y
mantendo tudo mais constante, i.e. a derivada parcial.
Outra estimativa de interesse consiste no efeito total de t sobre Y ,
pois t pode ser um complemento ou substituto de outros elementos
em I . Esse efeito e dado pela derivada total em relacao a t.
O programa de transferencia de alimentos pode ser complementar a
escolaridade, resultando em maiores rendimentos Y .

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 18 / 29
Derivada parcial vs. Derivada Total e o efeito do programa

Das, Krishnan, Habyarimana, e Dercon (2004) argumentam que as

derivadas total e parcial podem ser bem diferentes.
Ao mudar t, os agentes reotimizarao os outros insumos em I , o que
levara a mudancas indiretas em Y .
O ATE nos da a derivada total, que na maioria das vezes e o que nos
interessa.
A derivada parcial so pode ser obtida se o avaliador definir o modelo
estrutural que liga os varios insumos ao produto de interesse e coletar
dados desses insumos adicionais, controlando-os em uma regressao.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 19 / 29
Outros Metodos para controlar o vies de selecao: Selecao
em observaveis

Quando nao possvel realizar um experimento social aleatorio, temos

que recorrer a metodos quasi-experimentais.
As hipoteses de identificacao do efeito do tratamento, nesse caso,
dependerao de quao convincentes as hip oteses sao.
Uma hipotese que permite identificar o efeito do tratamento e a de
que, uma vez controladas as caractersticas observaveis X , a
designacao do tratamento independe dos resultados potenciais
(Ignorabilidade forte do tratamento).

(Y1i , Y0i )T |X (18)

como se, apos condicionar em variaveis observaveis, o tratamento
E
fosse definido de forma randomizada.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 20 / 29
Outros Metodos para controlar o vies de selecao: Selecao
em observaveis

Portanto, nesse caso temos

E [Y0i |X , T ] = E [Y0i |X , C ] (19)

Obviamente essa hipotese s

o sera valida se observarmos as variaveis
importantes, que determinam a auto-selecao.
Portanto, se essa hipotese for valida, o vies desaparece, e podemos
obter o ATTX .

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 21 / 29
Outros Metodos para controlar o vies de selecao: Selecao
em observaveis

Se o n umero de dimens oes em X nao e muito grande, podemos

calcular as diferencas entre tratados e controles dentro de cada celula
(suponha que so existam tres salarios possveis, nesse caso cada
salario sera uma celula). Ponderando essas diferencas pelo total de
pessoas em cada celula, temos um matching nao parametrico.
Se o numero de dimens oes for grande, podemos recorrer ao uso de
Propensity Score Matching, que consiste na contrucao de um
indicador-sntese parametrico que mede a probabilidade de receber o
tratamento com base em variaveis observaveis, seguido de um
pareamento entre unidades tratadas e de controle, para depois
realizarmos um teste de diferenca de medias.
Podemos tambem realizar uma regressao simples condicionada nas
variaveis obervaveis X . Seguindo a hip
otese de ignorabilidade forte do
tratamento, devemos obter estimativas consistentes do ATTX .
Rafael Terra (Unb) Econometria do Setor P
ublico 09 de Setembro, 2015 22 / 29
Outros Metodos para controlar o vies de selecao:
Descontinuidade (RDD)
Uma outra possibilidade interessante ocorre quando a probabilidade
de designacao do tratamento e uma funcao descontnua de uma ou
mais variaveis observaveis.
Por exemplo, um banco de microcredito pode limitar a elegibilidade
para emprestimos para mulheres vivendo em locais com menos de um
acre de area. Estudantes podem passar em um exame somente se
seus desempenhos forem ao menos 50%, etc.
Se o impacto da variavel nao observada correlacionada com a variavel
usada para designar o tratamento e suave, entao a seguinte hipotese e
razoavel para  pequeno

E [Y0i |T , X < X + , X > X ] = E [Y0i |C , X < X + , X > X ]

(20)
em que X e a variavel subjacente (ou forcing variable) e X denota o
ponto/descontinuidade (threshold) para designacao do tratamento.
Rafael Terra (Unb) Econometria do Setor P
ublico 09 de Setembro, 2015 23 / 29
Outros Metodos para controlar o vies de selecao:
Descontinuidade (RDD)

Essa hipotese implica que dentro de determinado intervalo (definido

por ) ao redor de X , o vies de selecao serao zero. Essa e a base
das estimativas por Regressao com Descontinuidade.
A ideia e usar indivduos imediatamente abaixo e acima da
descontinuidade.
Nao e muito utilizado por economistas da area de desenvolvimento,
pois mesmo quando existem regras que geram uma descontinuiadade,
tais regras nao sao normalmente cumpridas `a risca.
Os funcionarios encarregados da implementacao do programa, muitas
vezes conseguem manipular o nvel da variavel que determina a
elegibilidade, fazendo com que a posicao do indivduo em torno no
cut-off se torne endogena.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 24 / 29
Outros Metodos para controlar o vies de selecao:
Diferencas em Diferencas

Quando observamos diferencas pre-existentes entre grupos de

tratamento e controle, e existem dados antes e apos o tratamento,
podemos aplicar o metodo de Diferencas em Diferencas.
Com isso, podemos estabelecer duas tendencias. Uma para o grupo
de controle, e outra para o grupo de tratamento. Mesmo que partam
de pontos diferentes, esse metodo tira a diferenca entre tratados e
controles das diferencas antes e depois do tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 25 / 29
Outros Metodos para controlar o vies de selecao:
Diferencas em Diferencas

Denotando os resultados potencias no perodo 1 se tratados

(controles) como Y1T (Y1C ), e no perodo inicial como Y0T (Y0C )
entre os tratados (controles), podemos calcular o efeito do
tratamento como
h i h i
d = Eb[Y T Y T |T ] Eb[Y C Y C |C ]
DD (21)
1 0 1 0

Se vale a hipotese de que os grupos de tratados e controles seguiriam

tendencias paralelas na ausencia de tratamento, i.e.
Eb[Y1C Y0C |T ] = Eb[Y1C Y0C |C ], entao obtemos estimativas nao
viesadas do efeito do tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 26 / 29
Comparando resultados de metodos experimentais com
nao experimentais

O Heckman, Ichimura, e Todd (1997), Heckman, Ichimura, Smith, e

Todd (1998), Heckman, Ichimura, e Todd (1998), Dehejia e Wahba
(1999) e Smith e Todd (2005) defendem que o PS matching pode
replicar muito bem os resultados obtidos por experimento.
Lalonde (1986) realiza um estudo em que compara resultados de
experimentos e metodos nao experimentais.
O autor encontra diferencas importantes, i.e. alguns metodos nao
experimentais podem diferir significativamente das estimativas
experimentais, que constituem o padrao de referencia.
Cook, Shadish, e Wong (2006) encontram evidencias de que os
resultados experimentais e nao experimentais sao proximos quando se
usa o metodo de Regressao com Descontinuidade, ou series temporais
interrompidas (DD com uma serie longa de dados pre-tratamento).

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 27 / 29
Comparando resultados de metodos experimentais com
nao experimentais

Quase experimentos bem desenhados (especialmente RDD) podem

produzir resultados tao convincentes quanto os obtidos por
experimentos.
No entanto, os resultados de RDD revisados por Cook et al tem
tantos controles e condic
oes, que muitas vezes, pode ser mais facil
aplicar um experimento em pases em desenvolvimento.
Buddlemeyer e Skofias (2003) usam avaliacao experimental e
comparam com RDD com dados do PROGRESA (Mexico). Eles
concluem que se o criterio de eligibilidade for implementado `a risca,
entao seus resultados serao pr
oximos aos experimentais.
Diaz e Handa (2006) usam dados do PROGRESSA, e concluem que o
PS Matching pode fornecer estimativas precisas se a quantidade de
variaveis observaveis de controle for grande.

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 28 / 29
Referencias

Duflo, Glennerster e Kremer (2006), Using Randomization in Development

Economics Research: A Toolkit, BREAD Working Paper No. 136

Rafael Terra (Unb) Econometria do Setor P

ublico 09 de Setembro, 2015 29 / 29