Controle Sint

etico

Rafael Terra
Universidade de Braslia-Unb

19 de Outubro, 2015

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 1 / 32
Comparacao de Casos

Objetivo:
Estima os efeitos de eventos ou intervencoes (de polticas) que se dao
no nvel agregado (e.g., cidades, estados, pases, etc).
Comparacao de Casos:
Compara a evolucao de um resultado agregado de uma unidade afetada
pela intervencao `a evolucao do mesmo resultado para algum grupo de
controle. (e.g. Card, 1990, Card & Krueger, 1994, Abadie &
Gardeazabal, 2003).

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 2 / 32
Comparacao de Casos

Vantagens:
As intervenc
oes/programas, comumente ocorrem no nvel agregado, e
dados agregados estao normalmente disponveis.
Problemas:
A selecao do grupo de controle e normalmente problematica. Como
escolher esse grupo?
O grupo de controle pode ser uma estimativa enviesada do
contrafactual.
Os erros-padrao nao refletem a incerteza sobre a capacidade do grupo
de controle em reproduzir o contrafactuais de interesse.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 3 / 32
O Metodo de Controles Sinteticos

Uma caracterstica peculiar de comparacao de casos e que as unidades de

analise sao entidades agregadas, como pases ou regi
oes, para os quais
normalmente nao ha uma u nica unidade de comparacao adequada.
O metodo de controle sintetico se baseia na observacao de que quando as
unidades de analise sao alguns entes agregados, uma combinacao de
unidades de comparacao (um controle sintetico) normalmente e melhor
em reproduzir as caractersticas de uma unidade de tratamento do que
qualquer ente sozinho.
Tendo isso em mente, a unidade de comparacao no metodo de controle
sintetico e a media ponderada de todas as potenciais unidades de
comparacao que mais se assemelham `as caractersticas da unidade de
tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 4 / 32
O Metodo de Controles Sinteticos: Vantagens

Pressup
oe extrapolacao.
Nao requer acesso aos resultados pos-tratamento na fase de desenho do
estudo, quando o controle sintetico e calculado.
Torna explcita a contribuicao de cada unidade de comparacao para a
construcao do contrafactual de interesse.
Permite que os pesquisadores usem tecnicas quantitativas e qualitativas para
analisar as similaridades e diferencas entre as unidades do caso de interesse e
do controle sintetico.
A formalizacao da forma de escolha das unidades de comparacao nao apenas
representa uma forma de sistematizar os estudos de Comparacao de Casos,
como tambem tem implicac oes diretas para inferencias.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 5 / 32
O Metodo de Controles Sinteticos: Estimacao

Suponha que observemos J + 1 nos perodos 1, 2, ..., T .

A unidade 1 e exposta a intervecao de interesse (isto e, sao tratados)
durante os perodos T0 + 1, ..., T .
As J unidades restantes comp
oem o reservat
orio de controles potenciais (ou
donor pool).
Seja YitN o resultado potencial observado para unidade i no perodo t na
ausencia do programa/intervencao.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 6 / 32
O Metodo de Controles Sinteticos: Estimacao

Seja YitI o resultado potencial que seria observado para a unidade i no

perodo t se a unidade i tivesse sido exposta ao programa/intervencao do
perodo T0 + 1 ate T .
Queremos estimar o efeito da intervencao na unidade tratada dado pela
sequencia (1T0 +1 , ..., 1T ), em que

I
1t = Y1tI Y1tN = Y1t Y1tN (1)

para t > T0 , e Y1t e o resultado para a unidade 1 no perodo t.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 7 / 32
Metodo de Controle Sintetico: Implementacao

Seja W = (w2 , ..., wJ+1 )0 , um vetor coluna J 1 com wj 0 para

j = 2, ..., J + 1 e w2 + ... + wJ+1 = 1. Cada valor de W representa um
potencial controle sintetico.
Seja X1 um vetor (k 1) de caractersticas pre-intervencao para a unidade
de tratamento. Da mesma forma, seja X0 uma matriz (k J) de variaveis
pre-tratamento para as unidades nao afetadas.
O vetor W = (w2 , ..., wJ+1

) e escolhido de forma a minimizar kX1 X0 W k
sujeito a restricao dos pesos normalizados para somarem 1.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 8 / 32
Metodo de Controle Sintetico: Implementacao

Lembre, a f
ormula da distancia
p(norma) de uma diferenca entre dois vetores
(k 1) X e C e kX C k = (X1 C1 )2 + ... + (Xk Ck )2 .
Seja Yjt o valor do resultado da unidade j no perodo t. Para um perodo
os-intervencao t (com t T0 ), o estimador de controle sintetico e
p

J+1
X
1t = Y1t
wj Yjt (2)
j=2

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 9 / 32
Metodo de Controle Sintetico: Estimacao

Isto e, para reproduzir o contrafactual YitN encontramos a combinacao de

unidades de tratamento que mais se assemelhe `a unidade de tratamento
antes da intervencao/programa em termos dos valores das k covariadas
relevantes (preditoras do resultado de interesse).
Exemplo: O programa de controle do tabaco adotado na California em 1988:

Unidade de Tratamento: California

Resultado de Interesse: o consumo de tabaco na California apos 1988
Controles Potenciais: Outros estados dos EUA.
Covariadas: Preditoras do consumo de tabaco no nvel estadual antes
de 1988

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 10 / 32
Metodo de Controle Sintetico: Estimacao

p
Consideramos kX1 X0 W kV = (X1 X0 W )0 V (X1 X0 W ), em que V e
uma matriz positiva semidefinida k k.
Por que inserimos V nessa distancia?
V pode ser uma matriz identidade (pesos iguais para cada covariada).
Mas pode ser uma matriz que ira dar pesos para as covariadas. Aquelas
covariadas com mais importancia na determinacao do resultado Y1t<T0

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 11 / 32
Metodo de Controle Sintetico: Estimacao

Seja Xjm o valor da m-esima covariada para a unidade j

Tipicamente, V e diagonal com a diagonal principal v1 , ..., vk . Entao, o
controle sintetico com pesos ideais minimizara

k J+1
!1/2
X X
vm (X1m wj Xjm )2 (3)
m=1 j=2

em que vm e um peso que reflete a importancia relativa que designamos

para a m-esima variavel quando medimos a discrepancia entre a unidade de
tratamento e o controle sintetico.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 12 / 32
Metodo de Controle Sintetico: Estimacao
Vies de interpolacao: surge, por exemplo, quando ha uma relacao
fortemente nao-linear entre as caractersticas em X e Y .
Por exemplo, uma combinacao linear entre um estado com 65% de
brancos e 35% de nao-brancos, e outro com 95% de brancos e 5% de
nao-brancos, produzira o produto correspondente de um estado
medio com 80% de brancos e 20% de nao-brancos.
Se o efeito da raca sobre Y for altamente nao-linear essa aproximacao
sera ruim.
Restrinja o donor pool `a unidades com caractersticas Xj similares a
X1 .
Para reduzir o vies de interpolacao, inclua termos de penalidade para
discrepancias nas covariadas na funcao objetivo

J
X
kX1 X0 W k + (Wj )kXj X1 k (4)
j=2

para alguma funcao positiva nao decrescente ().

Rafael Terra (Unb) Econometria do Setor P
ublico 19 de Outubro, 2015 13 / 32
Metodo de Controle Sintetico: Estimacao

A escolha de V e importante:
W depende da escolha de V .
O controle sintetico W (V ) pretende reproduzir o comportamento da
variavel de resultado para a unidade tratada na ausencia de tratamento.
Portanto, os pesos (v1 , ..., vk ) deveriam refletir a capacidade preditiva
das covariadas.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 14 / 32
Metodo de Controle Sintetico: Estimacao

A escolha de (v1 , ..., vk ) podem se basear em :

A avaliacao subjetiva do valor preditivo de cada covariada, ou na
calibracao de valores de forma a verificar como os diferentes valores de
(v1 , ..., vk ) afetam a discrepancia entre as unidades tratadas e o
controle sintetico.
No uso de regress oes para avaliar o poder preditivo das covariadas.
Na minimizacao do Erro quadratico Medio da Previsao (MSPE) no
perodo pre-tratamento:

T0
X J
X
(Y1t wj (V )Yjt )2 (5)
t=1 j=2

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 15 / 32
Metodo de Controle Sintetico: Estimacao

Cross-validation:
Divida o perodo pre-tratamento em um perodo inicial de
treinamento e outro subsequente de validac ao.
Para um dado V qualquer (pode ser obtido via capacidade explicativa
de cada Xm ) , calcule W (V ) durante o perodo de treinamento, e
minimize o MSPE de W (V ) no perodo de validac ao escolhendo os
pesos de cada variavel V novamente.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 16 / 32
E os fatores nao observados?

Estudos de Comparacao de Casos sao complicados por fatores nao medidos

afetando as variaveis de resultado e as variaveis explicativas observadas e
nao observadas (enviesando as estimativas).
Contudo, se o n
umero de perodos pre-intervencao e grande, o pareamento
em resultados pre-intervencao permite controlar m
ultiplos fatores nao
observados.
Intuicao: Se as unidades sao parecidas em termos de uma quantidade
razoavel de determinantes observaveis do produto pre-tratamento, tem
grande chance de serem parecidas em termos de fatores nao observaveis.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 17 / 32
Formalizacao do Metodo de Controle Sintetico

Suponha que that YitN seja dado pelo modelo

YitN = Zit + t i + t + it (6)

em que
e uma tendencia geral.
t i representam tendencias especficas.
Zit e um vetor (1 r ) de covariadas observaveis, nao afetadas pelo
tratamento, podem ou nao ser fixas. Idealmente serao pre-tratamento.
e um vetor (r 1) de parametros.  sao choques aleatorios.
As especificac
oes permitem respostas heterogeneas `a m
ultiplos fatores nao
observados
Em contraste, o estimador de efeitos fixos ou de diferencas em diferencas,
restringem t a ser constante.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 18 / 32
Formalizacao do Metodo de Controle Sintetico

O vetor Zit pode conter valores pre ou p

os intervencao de variaveis que
variam no tempo, contanto que nao sejam afetados pela intervencao.
Por exemplo, se T = 2, e T0 = 1 , Zit = (Zi1 , Zi2 ), entao devemos ter que
1 = (, 0)0 e 2 = (0, )0
Isto e, os coeficientes nao mudam com a mudanca no status de
tratamento.Entao Zit t = Zit .

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 19 / 32
Formalizacao do Metodo de Controle Sintetico: Vies

Seja W = (w2 , ..., wJ+1 )0 0 para j = 2, ...., J + 1 e w2 + ... + wJ+1 = 1.

Cada valor de W representa um potencial controle sintetico.
Suponha que possamos escolher W tal que
PJ+1
wj Zj = Z1
Pj=2
J+1 PJ+1
j=2 wj Yj1 = Y11 , ..., j=2 wj YjT0 = Y1T0

Entao, se T0 e grande com relacao a escala de it , um estimador

aproximadamente nao enviesado de 1 e:
J=1
X
1t = Y1t wj Yjt (7)
j=2

Para t {T0 + 1, ..., T }

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 20 / 32
Formalizacao do Metodo de Controle Sintetico

Suponha que E |jt |p < para algum p > 2. Entao

2
! ( )
1/p
F mp
1t 1t ]| < C (p)1/p
|E [ J 1/p max 11/p
, 1/2
(8)
T0 T0

Em que:
1
PT0
jt2 = E |jt |2 , j2 = T0 t=1 jt2 , 2 = max j2
j=2,...,J+1
1
PT0
mpjt = E |jt |p , mpj = T0 t=1
2
mpjt , mp = max mpj ,
j=2,...,J+1

Para p par, |tf | para todo t = 1, ..., T e f = 1, ..., F , e

PT0 0
(M) = menor autovalor de M1 t=T0 M+1 t t .

O vies e pequeno quando o n umero de perodos pre-tratamento T0 e grande

em relacao `a escala dos choques transit
orios jt .

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 21 / 32
Representacao Grafica

Figura 1: Controle SIntetico - Calif

ornia e a Lei anti-tabaco vs. resto dos
EUA

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 22 / 32
Representacao Grafica

Figura 2: Controle SIntetico - Calif

ornia e a Lei anti-tabaco vs. California
sintetica

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 23 / 32
Representacao Grafica

Figura 3: Controle SIntetico - Covariadas Calif

ornia vs. California sintetica

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 24 / 32
Representacao Grafica

Figura 4: Diferenca no Resultado da Calif

ornia vs. California sintetica

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 25 / 32
Inferencia

Para avaliar a significancia dos resultados, os autores conduzem uma serie

de testes com placebos em que eles designam o programa de controle de
venda de tabaco para outros estados alem da Calif ornia.
Os autores procederam da seguinte maneira:
Iterativamente, aplicaram o metodo de controle sintetico para cada estado
doador no donor pool e obtem a distribuicao dos efeitos placebos.
Eles, entao, comparam o gap (RMSE) para a calif
ornia com os dos placebos.
Por exemplo, o RMSE p os-Proposicao 99 e:

T J+1
!2 !1/2
1 X X
RMSE = Y1t wj Yjt (9)
T T0
t=T0 +1 j=2

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 26 / 32
Representacao Grafica: Inferencia

Figura 5: Placebos com todos os estados

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 27 / 32
Representacao Grafica: Inferencia

Figura 6: Placebos com todos os estados sem outliers (erros muito grandes)

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 28 / 32
Representacao Grafica

Figura 7: Placebos com estados com ajuste mais pr

oximo a media (erros
menores)

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 29 / 32
Representacao Grafica

Figura 8: Placebos com estados com ajuste pr

oximo da media (erros bem
menores)

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 30 / 32
Representacao Grafica

Figura 9: Erro de previsao entre os Estados

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 31 / 32
Referencias

Abadie, A. ; Diamond, A. ; HainMueller, J. (2010) Synthetic Control

Methods for Comparative Case Studies: Estimating the Effect of Californias
Tobacco Control Program. Journal of the American Statistical Association,
vol.104, n.490.
Abadie, A. ; Gardeazabal, J. (2003) The Economic Costs of Conflict: A Case
Study of the Basque Country. American Economic Review, vol.93 n.1.

Rafael Terra (Unb) Econometria do Setor P

ublico 19 de Outubro, 2015 32 / 32