1 / 17

Clase 4. Introduccin a la evaluacin de impacto

Jos Rosero

Mayo 2015
Flacso-Quito

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 2 / 17

Introduccin
I En economa (y poltica pblica) los investigadores estn
usualmente interesados en preguntas tales como:
I Cul es el efecto de la educacin universitaria en los ingresos
futuros de las personas?
I Cul es el efecto del tamao de las clases en el aprendizaje de
los nios?
I Cul es el efecto de una transferencia monetaria en la oferta
laboral de las personas?
I Cul es el efecto de un programa de capacitacin laboral en la
probabilidad de empleabilidad de las personas?
I En general un investigador est interesado en obtener un
efecto causal de participar en algn tratamiento en alguna
variable de resultado
I En la literatura econmica los modelos creados para analizar
efectos causales usualmente se los conoce como modelos de
evaluacin de impacto/tratamiento
Clase 4. Introduccin a la evaluacin de impacto Rosero
 Clase 4. Evaluacin de impacto 3 / 17

Introduccin

I En estos modelos, tratamiento se refiere a la variable causal

que denota una eleccin por parte de un individuo (o agente
econmico). Por ejemplo, entrar a la universidad o no, recibir
una transferencia monetaria o no, entrar a un programa de
capacitacin laboral o no.
I Definamos como D la variable de tratamiento (causa) y Y
como el resultado.
I A travs de manipular el valor de D podemos cambiar el valor
de Y. Supongamos D cambia de D1 a D2 , entonces el
impacto causal de este cambio en D en la variable de resultado
D es igual a la comparacin de dos valores:
I Y2 que es la situacin resultado del cambio
I Y1 que es la situacin que hubiese resultado si el cambio D no
hubiese existido

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 4 / 17

Introduccin

I Y1 es una situacin contrafactual y no puede ser observado.

I Toda inferencia causal implica la comparacin de un resultado
factual con uno contrafactual
I Necesitamos alguna hiptesis sobre esta variable hipottica
inobservada
I El problema fundamental de una evaluacin de impacto es
precisamente uno de falta de informacin. Se comparan dos
potenciales resultados para una misma observacin. Problema
fundamental de la inferencia causal (Holland, 1986).
I En la literatura de evaluacin de impacto nos guiamos por el
Modelo de resultados potenciales o simplemente El Modelo
causal Rubin (Rubin causal model, Rubin, 1974, 1978)

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 5 / 17

El modelo de resultados potenciales

I Supongamos que queremos saber cul es el efecto de la

atencin hospitalaria en la salud de las personas.

Table : Promedio del estado de salud segn hospitalizacin

Grupo Muestra Promedio de estado de salud
I Hospital 7774 3,21
No Hospital 90049 3,93
Fuente: Angrist-Pischke, 2009. Procesamiento de la NHIS,
2005
I La diferencia entre en medias del estado de salud es 0,72. Ir al
hospital hace a las personas ms enfermas?.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 6 / 17

El modelo de resultados potenciales

I Sesgo de seleccin, para empezar, las personas que van al

hospital probablemente son menos saludables. Incluso despus
de la hospitalizacin sern en promedio menos saludables que
las personas que no han sido hospitalizadas.
I Formalizando, podemos pensar en la hospitalizacin como una
variable de tratamiento que toma dos valores Di = {0, 1}. La
variable de inters se denota por Yi .
I Para cada individuo existen dos variables potenciales:
(
Y1i
I Variables potenciales =
Y0i
I En donde Y0i es el estado de salud de un individuo si no
hubiese ido al hospital sin importar si su decisin fue ir o no ir,
mientras Yi1 es el estado de salud de un individuo si va al
hospital.
Clase 4. Introduccin a la evaluacin de impacto Rosero
 Clase 4. Evaluacin de impacto 7 / 17

El modelo de resultados potenciales

I Previo a la toma de decisin ambas pueden ser observables.

I Sin embargo, un individuo puede ir o no al hospital, pero no
ambos. De esta manera, solo una de estas variables
potenciales puede ser observada
I Si un individuo toma la decisin de ir al hospital, Yi1 va a ser
observado, caso contrario Yi0 va a ser observado.
I Formalmente, el resultado observado se denota como:
(
Y1i if Di = 1
I Yi = = Y0i + (Y1i Y0i )Di
Y0i if Di = 0
I Para un individuo, el efecto de participar en el tratamiento (ser
hospitalizado) es igual a
4i = Y1i Y0i

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 8 / 17

El modelo de resultados potenciales

I Sin embargo, como estamos interesados estimar la media

poblacional de 4, se define al efecto promedio del tratamiento
como:
ATE = E [4] = E [Y1 Y0 ]
I Ntese que Y1i solo es observado para una muestra selecta
(los que efectivamente fueron) pero no para la poblacin en
general. No sabemos cul hubiese sido el estado de salud de
haber ido al hospital para los que efectivamente no fueron.
Caso similar al de una variable censurada (Maskiw)
I De la misma manera Y0i solo es observado para los que
efectivamente no fueron. No sabemos cul hubiese sido la
situacin sin hospital para los que efectivamente fueron.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 9 / 17

El modelo de resultados potenciales

I Otro estimador del efecto del tratamiento es el que toma como

referencia nicamente a la poblacin efectivamente tratada. A
ste se lo conoce como efecto promedio del tratamiento en
los tratados
ATET = E [4|D = 1] = E [(Y1 Y0 )|D = 1]
ATET = E (Y1 |D = 1) E (Y0 |D = 1)
I El modelo de resultados potenciales tiene la ventaja de
enfocarse en limitados parmetros causales que son los ms
relevantes para el anlisis.
I Lo anterior contrasta con el enfoque tradicional en
econometra el cual se enfoca de manera simultnea en todos
los parmetros estructurales a estimar. Es decir, no todos los
parmetros en la regresin pueden interpretarse como causales.
Se conocen como atributos.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 10 / 17

Sesgo de seleccin

I Una comparacin ingenua entre las dos poblaciones segn su

condicin de tratamiento se relaciona con el efecto causal de la
siguiente manera:
E [Y1 |D = 1] E [Y0 |D = 0] =
{E [Y1 |D = 1] E [Y0 |D = 1]} +
{E [Y0 |D = 1] E [Y0 |D = 0]}
I La primera parte E [Y1 |D = 1] E [Y0 |D = 1] mide el efecto
del tratamiento en los tratados, es decir, la diferencia
promedio de salud entre la poblacin que decidin
hospitalizarse versus que les hubiese pasado a ellos si hubieses
decidido no hospitalizarse (contrafactual).
I La segunda parte mide el sesgo de seleccin, es decir, la
diferencia en el promedio de Y0 entre los que efectivamente se
hicieron o no hospitalizar.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 11 / 17

Sesgo de seleccin

I El sesgo indica que las personas que fueron o no hospitalizadas

son intrinsicamente distintas.
I Por ejemplo, si X representa nmero de enfermedades
crnicas, y las personas ms enfermas tienen mayor
probabilidad de ir al hospital significa que las personas
enfermas se autoseleccionan en el grupo de tratamiento.
I El sesgo es negativo: aquellos con hospitalizacin seguramente
son ms enfermos por lo que tienen peores valores de Y0 que
los que no buscaron tratamiento.
I El objetivo de una evaluacin de impacto es eliminar el sesgo
de seleccin encontrando un buen grupo de control que pueda
dar cuenta de la situacin sin programa para aquellos que
efectivamente lo recibieron.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 12 / 17

En un contexto de regresin

I En un contexto de regresin tenemos:

I Yi = + Di + i
I El estimador OLS del efecto de D en Y:
Cov (Y ,D) cov (D,)
I OLS = Var (D) =+ var (D)
I OLS consiste en dos partes. El efecto de inters y el sesgo.
I OLS nos da solo si D y el error no estn correlacionados.
I En caso de sesgo, el supuesto de media condicional cero no se
cumple y que el estimador de inters es sesgado e inconsistente

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 13 / 17

En un contexto de regresin

I Qu podemos decir de la direccin del sesgo?.

I Supongamos que el verdadero modelo era:
I Yi = + Di + Xi + i
I en donde X es el nmero de enfermedades crnicas y
suponemos que es independiente de D y de X
I El estimador causal de D en Y es:
Cov (Y ,D)
I OLS = Var (D) = + cov (D,X )
var (D) +
cov (D,)
var (D)
I Si asumimos que las personas con ms enfermedades crnicas
tienen un peor estado de salud (<0) y que las personas con
mayor nmero de enfermedades crnicas tienen mayor
probabilidad de ser hospitalizadas, el sesgo es negativo.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 14 / 17

Cmo identificamos un efecto causal?

I El objetivo de una evaluacin de impacto es eliminar el sesgo

de seleccin encontrando un buen grupo de control que pueda
dar cuenta de la situacin sin programa para aquellos que
efectivamente lo recibieron.
I Qu hacemos:
I Experimentos aleatorios
I Matching. Creacin de una muestra sintetica de un adecuado
grupo de control
I Experimentos naturales usando diferencias en diferencias
I Experimentos naturales usando regresiones por discontinuidad
I Variables instrumentales

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 15 / 17

Experimentos aleatorios

I Sucede cuando la asignacin de una persona al tratamiento o

al programa es aleatoria entre los individuos, usualmente a
travs de una lotera.
I La aleatorizacin resuelve el problema de seleccin porque
hace a Di independiente de los resultados potenciales:
(Y0i, Y1i )Di
I Qu significa esta independencia estadstica:
I Que el proceso que genera D es independiente del proceso que
genera Y.
I Que los parmetros de la funcin de asignacin al tratamiento
son irrelevantes para estimar la media condicional de Y con
respecto al tratamiento.
I Que no importa si un inviduo est el grupo de tratamiento o
en el de control, sus valores potentiales con o sin programas
sern los mismos en promedio.

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 16 / 17

Experimentos aleatorios

I Recordemos que:
E [Y1 |D = 1] E [Y0 |D = 0] =
{E [Y1 |D = 1] E [Y0 |D = 1]} +
{E [Y0 |D = 1] E [Y0 |D = 0]}
I En caso de aleatorizacin:
E [Y0 |D = 1] = E [Y0 |D = 0] = E [Y0 ] ; y
E [Y1 |D = 1] = E [Y1 |D = 0] = E [Y1 ]

Clase 4. Introduccin a la evaluacin de impacto Rosero

 Clase 4. Evaluacin de impacto 17 / 17

Experimentos aleatorios

I Por lo tanto:
E [Y1 |D = 1] E [Y0 |D = 0] = {E [Y1 |D = 1] E [Y0 |D = 1]}
E [Y1 |D = 1] E [Y0 |D = 0] = {E [Y1 |D = 1] E [Y0 |D = 0]}
E [Y1 |D = 1] E [Y0 |D = 1] = E [Y1 Y0 |D = 1] = E [Y1 Y0 ]
I ATET=ATE
I El efecto de asignar aleatoriamente el tratamiento en los tratados es
el mismo que el efecto de la hospitalizacin en un paciente
aleatoriamente escogido.

Clase 4. Introduccin a la evaluacin de impacto Rosero