3er Da - Sesiones Tcnicas Sesin VI: Matching

1
Impact Evaluation Impact Evaluation
Fondo Espaol para
Evaluacin de Impacto
Departamento de
Desarrollo Humano
Sesi Sesi n T n T cnica VI: cnica VI:
M M todos de todos de Apareamiento Apareamiento
(Matching) (Matching)
Lima, 2009 Lima, 2009
2
En el caso de asignacin aleatoria
( ) { }
1 0
0
Supuesto asignacin aleatoria al tratamiento:
ambos resultados potencials son independientes del tratamiento:
,
En ese caso, no importa que no podamos observar el contrafactual:
| =0 =
i i i
Y Y D
E Y u D

( ) { } ( ) { }
( ) { } ( ) { } ( ) { }
0 0
1 1 1
| 1
| =0 | 1
i i i i i
i i i i i i i i
E Y u D E Y u
E Y u D E Y u D E Y u
= =
= = =
{ }
( ) ( ) { }
( ) { } ( ) { }
1 0
1
sepuedemedir en el anlo
0
no sepuedeme go muestral dir en el an
Entonces
| 1
- | 1
Efecto promedio de tratamiento
| 1
en los tratad s
1 -
o
|
i i i
i i i i
i i i i i i
E
E D
E Y u Y u D
E Y u D Y u D

=
= =
=
=
=
=
=

( ) { } ( ) { }
logo muestral
0
sepuedemedir en el anlogo muestral
1
| 1 - | 0
i i i i i i
E Y D u Y u D E = = =

3er Da - Sesiones Tcnicas Sesin VI: Matching

2
3
Cundo utilizamos mtodos de apareamiento?
La aleatorizacinasegura que el sesgo de seleccin sea zero:
Ahora, que pasa si la aleatorizacinno es factible y la seleccin se hace
en base a(un conjunto de) variables observables?
Ah es cuando utilizamos los mtodos de pareo: Los mtodos de
pareo son tcnicas para construir grupos de comparacin cuando la
asignacin al tratamiento no es aleatoria pero se hace en base a los
observables
Cuidado: los mtodos de paro NO dejan construir grupos de
comparacin cuando la asignacin al tratamiento se hace en base a los
no-observables!!!
Intuicin: El grupo de comparacin debe ser lo mas similar posible al
grupo de tratamiento en trmino de los elementos observables antes de
que el tratamiento se desarrolle (asumiendo no hay diferencias en los no
observables).
( ) { } ( ) { }
0 0
| 1 | 0 0 = = =
i i i i i i
E Y u D E Y u D
4
Pregunta clave.
Cual es
el efectode tratamientoen los tratados,
cuandola seleccinal tratamiento
estbasadaen observables?
3er Da - Sesiones Tcnicas Sesin VI: Matching
3
5
Unconfoundedness y seleccin en base a observables
Suponemos que X denota una matriz en la cual cada fila es un
vector de variables observables pre-tratamiento, para cada
individuo i.
Definicin Unconfoundedness
La asignacin al tratamiento es inconfundida dadas las
variables pre-tratamiento X si
Y
1
, Y
0
D | X
Note: unconfoundedness es equivalente a:
Dentro de cada celda de observaciones definido por X: la
asingacinal tratamiento es aleatoria.
La asignacin al tratamiento depende solamente de las
variables observables X.
6
Cual es el efecto de tratamiento en los
tratados, bajo seleccin en observables?
( ) { } ( ) { } ( ) { }
( ) { } ( ) { } ( ) { }
0 0 0
1 1 1
Asumiendo "unconfoundedness":
| =0, = | 1, |
| =0, | 1, |
i i i i i i i i
i i i i i i i i
E Y u D X E Y u D X E Y u X
E Y u D X E Y u D X E Y u X
= =
= = =
( ) ( ) { }
( ) { }
1 0
1
sepuedemedir en el an
=efecto promedio de tratamiento en los tratados de la celda definida po
Ahora, para cada celda definida por , podemos definir
{
r
| 1, }
| 1,
| 1,
i i i
i i i i
i i i
X
X
E D X
E Y u Y u D X
E Y u D X
X
= =
= =
= = ( ) { }
( ) { } ( ) { }
no sepuedemedir en el anlogo mue
0
logo muestra
1
str
0
sepuedemedir en el anlogo muestra
a
| 1,
| , | 1 , 0
i i
i i i i i i
E Y u D X
E Y u X E Y u X D D
=
= = =

3er Da - Sesiones Tcnicas Sesin VI: Matching

4
7
Efecto promedio de tratamiento en los
tratados bajo unconfoundedness
Ahora cul es la relacin entre...
"efecto promedio de tratamiento en los tratados"... y....
"efecto promedio de tratam. en los tratados en la celda definida por "?
X
X

{ }
[ ] { }
[ ] { }
{ }
por la ley de las expectativas iteradas
efecto promedio de tratamiento en los tratados
| 1
| =1,
| =1,

{efecto promedio de tratam. en los tratados, en la celda defi
i i
X
i
i X i i
X i i i
X
X
E D
E E D X
E E D X
E
E

=
= =
=
=
=
= nida por } X
8
Estrategia de estimacin del efecto promedio del
tratamiento en los tratados seleccin en observables
Eso sugiere la estrategiasiguiente para estimar el efecto promedio de
tratamiento en los tratados :
Estratificar los datos dentro de cada celda definida para cada valor
de X
Dentro de cada celda (i.e. condicionado en X) calcular la diferencia
en la variable de resultado promedio entre el grupo de tratamiento y
el de control;
El promedio de estas diferencias con respecto a la distribucin de X,
en la poblacin de unidades tratadas
Preguntas:
Es factibleesaestrategia?
Esaestrategiaesdiferentede unaregresinlinear de Y en D,
controlandode manerano-paramtricapor el conjuntocompletode
efectosprincipalesy interaccionesentrelos covariados?
3er Da - Sesiones Tcnicas Sesin VI: Matching
5
9
Es factible el pareo? El problema de la
dimensionalidad
En la regresin, tenemosqueincluir un conjuntocompleto
de interaccionesnonparametricasentretodoslasvariables
observables.
Puedeser queesono sea factiblecuando
La muestraespequea,
Hay muchoscovariados/ variables observables
Los covariados/ variables observables tienenvarios
valores, o son continuos
Esoeslo quese llamael problema de la dimensionalidad
10
El problema de la dimensionalidad
Ejemplos:
Cuantas celdas tenemos cuando hay 2 variables X que
son binarias(dummies)? Y con 3 variables X binarias?
Y con K variables X binarias?
Y cuantas celdas tenemos cuando hay 2 variables que
puedentomar 7 valorescadauna?
A medidaquecreceel nmerode celdas, vamosa encontrar
unafalta de soporte comn, es decir
Celdasquecontienensolo tratamientos
Celdasquecontienensolo controles
3er Da - Sesiones Tcnicas Sesin VI: Matching
6
11
Una alternativa para solucionar el problema
de la dimensionalidad
Rosenbaumy Rubin(1983) proponen una estrategia
alternativa equivalente pero factible basada en el
propensityscore.
El propensityscoreconvierte el problema multi-
dimensional en un problema uni-dimensional
Y as reduce el problema de la multi-dimensionalidad
12
Una alternativa para solucionar el problema
de la dimensionalidad
Definicin: El propensityscore es la probabilidad condicional de
recibir el tratamiento dadas las variables observadas X antes del
tratamiento:
p(X) =Pr{D =1|X} =E
X
{D|X}
Lema 1: Si p(X) es el propensity score, => D X | p(X)
Dado el propensityscore, las variables observables pre-
tratamiento X estn balanceadas entre los beneficiarios y los no-
beneficiarios.
Lema 2 : Y
1
, Y
0
D | X => Y
1
, Y
0
D | p(X)
Suponiendo que existe independencia condicional entre el
resultado y la asignacin al tratamiento, condicional en X,
entonces existe tambienindependencia condicional en p(X).
3er Da - Sesiones Tcnicas Sesin VI: Matching
7
13
El propensity score soluciona el problema
de multi-dimensionalidad?
Si!
El propensity score tienela propiedadde balancear
caractersticas: (Lemma 1) aseguraque:
Observacionescon el mismopropensity score tienenla
mismadistribucinde covariadosobservables,
independientementequeseantratamientoso controles.
Para un propensity score dado: la asignacinal
tratamientoesaleatoria. Por eso, en promedio, los
tratamientosy los controlesson idnticosdel puntode
vista observacional.
14
Efecto del tratamiento promedio en los
tratados usando Propensity Score
( ) ( ) { } ( ) ( ) { } ( ) ( ) { }
( ) ( ) { } ( ) ( ) { } ( ) ( ) { }
0 0 0
1 1 1
Ahora podemos parear los tratamientos y los controles
en base al propensity score ( ) en vez de .
| =0, = | 1, |
| =0, | 1, |
i i i i i i i i i i i
i i i i i i i i i i i
p X X
E Y u D p X E Y u D p X E Y u p X
E Y u D p X E Y u D p X E Y u p X
= =
= = =
( )
( )
( )
( )
( ) ( ) ( ) { }
( )
1 0
1
=efecto promedio de tratamiento en los tratados en l
Usando estas expresiones, podemos definir para cada celda definida por
{ | 1, }
| 1,
|
a celda definida por
1,
i i i
i i i i
i i i
p X
p X
E D p X
E Y u Y u D p X
E u D p
X
Y
p
= =
= =
= = ( ) { } ( ) ( ) { }
( ) ( ) { } ( ) ( ) { }
no sepuedemedir enel anlogo muestral
0
sepuedemedir enel anlogo muestral
1 0
sepuedemedir enel anlogo muestral
1 0
| 1,
| , | ,
i i
i i i i i i
X E Y u D p X
E Y u p X E D p D Y u X
=
= = =

3er Da - Sesiones Tcnicas Sesin VI: Matching

8
15
Average effects of treatment and the propensity
score
{ }
( )
( )
{ }
( )
( ) { }
( ) ( )
{ }
( )
por la ley de las expectativas iteradas
efecto promedio de tratamiento en los tratados
| 1
| =1,
| =1,

{efecto promedio de tratamiento en los tratado
p
i i i
i i i p X
i i i p X
X
X p X
p
E D
E E D p X
E E D p X
E
E

=
= =
=

=

=
= ( ) s en la celda definida por } p X
( )
( )
Ahora cul es la relacin entre
"efecto promedio de tratamiento en los tratados"... y....
"efecto promedio de tratamiento en los tratados dentro de la celda definida por "?
p X
p X

16
Implementacin de la estrategia de estimacin
Eso sugiere que sigamos la estrategiasiguiente para estimar
el efecto promedio del tratamiento en los tratados :
i. Primera etapa: estimar el propensityscore
ii. Segunda etapa: estimar el efecto promedio de
tratamiento dado el propensityscore
3er Da - Sesiones Tcnicas Sesin VI: Matching
9
17
Primera etapa: Estimacin del propensity score
Los modelosprobabilisticosestndarespuedenser utilizados
para estimar el propensity score. Por ejemplo, un modelo
logit sera:
donde h(X
i
) es una funcin de los covariados X con trminos
lineares, interaccionesy potencias.
Cuales son las interacciones y potencias que tenemos que
incluir en h(X
i
)?
Eso est determinado solamente por la necesidad de obtener
un estimadodel propensity score quesatisfagala propiedadde
balance.
) (
) (
1
} | {
i
i
X h
X h
i i
e
e
X D Pr

+
=
18
Primera etapa: Estimacin del propensity score
Recuerda:
La especificacin de h(X
i
)
Es ms parsimonia que el conjunto completo de interacciones
entre los observables X.
Pero no puede ser demasiodoparimonia: porque tiene que
satisfacer la propiedad de balance.
Nota: la estimacin del propensityscoreno requiere ninguna
interpretacin relacionada con la conducta de los beneficiarios.
) (
) (
1
} | {
i
i
X h
X h
i i
e
e
X D Pr

+
=
3er Da - Sesiones Tcnicas Sesin VI: Matching
10
19
Primera etapa: Un algoritmo para estimar el
propensity score
1. Empiece con un modelo logit o probit parsimoniopara estimar el
propensityscore.
2. Ordene los datos segn su propensityscoreestimado (del ms bajo
al ms alto).
3. Estratifique todas los observaciones en bloques, de tal manera que,
dentro de cada bloque, el propensityscoreno sea estadsticamente
diferente entre los tratamientos y los controles:
a. Empiece con cinco bloques de magnitud igual, por ejemplo
{0 hasta 0.2,0.2 hasta 0.4, 0.4 hasta 0.6, 0.6 hasta 0.8, 0.8 hasta 1}
b. Dentro de cada uno de esos bloques, compruebe que los
promedios de los scorespara los tratamientos y los controles
son estadsticamente diferentes.
c. En caso que s, aumente el nmero de bloques, reitere paso b.
d. En caso que no, pase al paso siguiente.
20
Primera etapa: Un algoritmo para estimar el
propensity score (continuacin)
4. Compruebe que la propiedad de balance estsatisfecha en cada
uno de los bloques, para cada uno de los covariantesen X:
a) Para cada covariante, compruebe que los promedios (y
posiblemente los otros momentos) para los tratamientos y
los controles son estadsticamente diferentes. Haga eso en
cada bloque.
b) En caso que uno de los covariadosno sea balanceado en
uno de los bloques, divida el bloque en dos partes, y
compruebe de nuevo en esos bloques ms pequeos.
c) En caso que uno de los covariadosno sea balanceado en
una mayora de los bloques, retome el modelo logit y aada
ms interacciones y potencias. Reitere las pruebas.
Utilice el programa STATA pscore.ado
Descargableen http://www.iue.it/Personal/Ichino/Welcome.html
3er Da - Sesiones Tcnicas Sesin VI: Matching
11
21
Cuando est apropiado el mtodo de
propensity score?
Los mtodos de propensity score estnbasados en la idea
quela estimacin de los efectos de tratamiento requieren
un apareamiento cuidadoso entre los tratamientos y los
controles.
En caso que los tratamientos y los controles sean muy
diferentes en trminos de caractersticas observables, ese
apareamiento no estar lo suficientemente dependable,
hastapuedeser imposiblede realizar.
La comparacin de los propensity score entre los
tratamientos y los controles puedeser unaherramiento de
diagnstico til cuando uno quiere evaluar que tanto
similares son los tratamientos y los controles, y que tan
confiableesla estrategiade estimacin.
22
Pero que es similar ???
El rango de variacin del propensityscoredebera ser lo
mismo para los tratamientos y los controles.
Cuente cuantos controles tienen un p.s. que sea abajo del
mimino, o arriba del mximo de los p.s. de los tratamientos.
Y viceversa.
La frecuencia de los propensity scores debera ser la
misma para los tratamientos y los controles.
Traze histogramas de los p.s. para los tratamientos y los
controles.
Las celdas de los histogramas corresponden la los bloques
utilizados en la estimacin de los propensityscores.
Lo que quiere usted es que los propensity scores de
los tratamientos y los controles sean similares
3er Da - Sesiones Tcnicas Sesin VI: Matching
12
23
Un ejemplo de problema con el soporte comn
0
.
2
.
4
.
6
-5 -4 -3 -2 -1 0 1 2 3 4 5 -5 -4 -3 -2 -1 0 1 2 3 4 5
0 1
D
e
n
s
i
t
y
Linear prediction
Graphs by treated
Figure A1:
Propensity Scores For EiC Phase 1 and non-EiC schools
Source Machin, McNally, Meghir,
EXCELLENCE IN CITIES: EVALUATION OF AN EDUCATION POLICY IN DISADVANTAGED AREAS
24
Implementacin de la estrategia de estimacin
Acuerdenseque estamos discutiendo de la estrategia fa utilizar
para estimar el efecto promedio del tratamiento en los
tratados, o sea
Primera etapa: estimamos el propensity score (hecho!)
Segunda etapa: estimamos el efecto promedio del
tratamiento en los tratados, dado el propensity score.
Apareelos tratamientosy los controlesquetienen
exactamenteel mimop.s. estimado
Compute el efectodel tratamientoparacadaunode
los valoresestimadosdel p.s.
Compute el promediode esosefectoscondicionados.
3er Da - Sesiones Tcnicas Sesin VI: Matching
13
25
Segunda etapa: estimamos el efecto promedio
del tratamiento, dado el propensity score
En la prctica, eso es imposible porque es poco comn de
encontrar dos observa cionescon exactamente el mismo p.s.
La solucin prctica es de aparear cada unidad tratada, a la unidad
control ms cercana, en cuanto a su p.s.
Ms cercana se puede definir de varias maneras en estadstica.
Cada manera corresponde a una manera de hacer el apareamiento.
Por ejemplo.
Estratificacin
Vecino mas cercano (pareo uno a uno o mas de uno) con o sin
reemplazo;
Apareamiento por Radius
Apareamiento kernel
Weightingonthe basisof the Score.
Apareamiento por Radio (Splines) con o sin reemplazo
26
Referencias
Dehejia, R.H. and S. Wahba(1999), Causal Effects in Nonexperimental Studies:
Reevaluating the Evaluation of Training Programs, Journal of the American
Statistical Association, 94, 448, 1053-1062.
Dehejia, R.H. and S. Wahba(1996), Causal Effects in Nonexperimental Studies:
Reevaluating the Evaluation of Training Programs, Harvard University, Mimeo.
Hahn, J inyong (1998), ON the role of the propensity score in efficient
semiparamentric estimation of average treatment effects, Econometrica, 66,2,315-
331.
Heckman, J ames J . H. Ichimura, and P. Todd (1998), Matching as an econometric
evaluation estimator , Review of Economic Studies, 65, 261-294.
Hirano, K., G.W. Imbens and G. Ridder (2000), Efficient Estimation of Average
Treatment Effects using the Estimated Propensity Score, mimeo.
Machin, McNally, Meghir. Excellence in cities: Evaluation of an education policy
in disavantagedareas
Rosenbaum, P.R. and D.B. Rubin (1983), The Central Role of the Propensity
Score in Observational Studies for Causal Effects, Biometrika 70, 1, 4155.
Vinha, K. (2006) A primer on Propensity Score Matching Estimators Documento
CEDE 2006-13, Universidad de los Andes