LA EVALUACIN DE IMPACTO EN LA PRCTICA

EN QU CONSISTE LA EVALUACIN DE IMPACTO?

La evaluacin de impacto forma parte de una amplia gama de mtodos complementarios para
apoyar las polticas basadas en evidencias. Aunque este libro se concentra en los mtodos
cuantitativos de evaluacin de impacto, primero los situar en el contexto ms amplio de la gestin
para resultados, que incluye tambin el monitoreo y otros tipos de evaluaciones.

El monitoreo es un proceso continuo que sigue lo que est ocurriendo con un programa y emplea
los datos recolectados para informar la implementacin y la administracin cotidiana del programa.
El monitoreo utiliza principalmente datos administrativos para cotejar el desempeo con los
resultados previstos, hacer comparaciones entre programas y analizar tendencias en el tiempo;
normalmente, el monitoreo se centra en los insumos, las actividades y los productos, aunque en
ocasiones puede incluir los resultados, como el progreso de los objetivos nacionales de desarrollo.

Las evaluaciones son exmenes peridicos y objetivos de un proyecto, programa o poltica

programada, en curso o completada, las evaluaciones se usan para responder a preguntas
especcas, relacionadas con el diseo, la ejecucin y los resultados. En contraste con el
monitoreo, continuo, se ejecutan en momentos discrecionales y suelen buscar una perspectiva
externa de expertos tcnicos. Su diseo, mtodo y costo varan considerablemente en funcin del
tipo de pregunta que intenten responder.

En trminos generales, las evaluaciones pueden abordar tres tipos de preguntas (imas y rist,
2009):

Preguntas descriptivas: La evaluacin intenta determinar qu est ocurriendo y describe

los procesos, condiciones, relaciones organizativas y opiniones de las partes interesadas.
Preguntas normativas: La evaluacin compara lo que est ocurriendo con lo que debera
ocurrir; evala las actividades y si se logran o no los objetivos. Las preguntas normativas
pueden aplicarse a los insumos, las actividades y los productos.
Preguntas sobre causa y efecto: La evaluacin examina los resultados e intenta
determinar la diferencia que ejerce la intervencin sobre estos.

Las evaluaciones de impacto son un tipo particular de evaluacin que intenta responder a
preguntas sobre causa y efecto. A diferencia de las evaluaciones generales, que pueden responder
a muchos tipos de preguntas, las evaluaciones de impacto se preocupan por saber cul es el
impacto (o efecto causal) de un programa sobre un resultado de inters. Solo interesa el impacto
del programa: el efecto directo que tiene en los resultados. Una evaluacin de impacto analiza los
cambios en el resultado directamente atribuibles al programa.

El enfoque en la causalidad y la atribucin es la caracterstica distintiva de las evaluaciones de

impacto y determina las metodologas a usar. Para estimar el efecto causal o el impacto de un
programa sobre los resultados, cualquier mtodo elegido debe estimar el denominado
contrafactual; es decir, cul habra sido el resultado para los participantes en el programa si no
hubieran participado en l.

En la prctica, la evaluacin de impacto requiere que el evaluador encuentre un grupo de

comparacin para estimar lo que habra ocurrido con los participantes sin el programa. La
pregunta fundamental de la evaluacin, cul es el impacto (o efecto causal) de un programa
sobre un resultado de inters?, puede aplicarse a muchos contextos, por ejemplo, cul es el
efecto causal de las becas sobre la asistencia escolar y el logro acadmico? Cul es el impacto
sobre el acceso a la atencin a la salud de la contratacin de la atencin primaria a proveedores
privados? si se sustituyen los suelos de tierra por suelos de cemento, cul sera el impacto sobre
la salud de los nios? La mejora de las carreteras mejora el acceso a mercados laborales y
aumenta el ingreso de los hogares? en caso armativo cunto? El tamao de la clase inuye en
el logro escolar? en caso armativo en qu medida? Qu es ms efectivo para aumentar el uso
de mosquiteros en zonas afectadas por el paludismo: las campaas de correo o las sesiones de
capacitacin?

LA DECISIN DE EVALUAR

No todos los programas justican una evaluacin de impacto. Las evaluaciones de impacto pueden
ser costosas, y deben usar su presupuesto estratgicamente. Si est diseando un nuevo
programa o pensando en expandir un programa existente y se est planteando la posibilidad de
realizar una evaluacin de impacto, responder a una serie de preguntas bsicas puede ayudarle a
tomar esta decisin. La primera pregunta es:

Qu est en juego en este programa? La respuesta depender tanto del presupuesto

asignado como del nmero de personas afectadas ahora o en el futuro por el programa.
Por lo tanto, a continuacin debe preguntarse:
El programa requiere o requerir una parte importante del presupuesto disponible?
El programa afecta o afectar a un gran nmero de personas? Si el programa no requiere
un presupuesto o solo afecta a unas pocas personas, Si determina que hay mucho en
juego, la siguiente pregunta es si existen evidencias que demuestren que el programa
funciona. En concreto, sabe qu nivel de impacto tendr el programa? Existen
evidencias de un pas similar con circunstancias similares? Si no se dispone de evidencias
acerca del tipo de programa que est considerando, puede empezar con un programa
piloto que incorpore una evaluacin. Por el contrario, si dispone de evidencias de
circunstancias similares, es probable que el costo de emprender una evaluacin de
impacto solo pueda justicarse si sirve para resolver una pregunta nueva e importante
sobre polticas. Este sera el caso si su programa incluye algunas innovaciones
importantes que an no se han puesto a prueba.

Para justicar la movilizacin de los recursos tcnicos y nancieros necesarios para una
evaluacin de impacto de gran calidad, el programa a evaluar debe ser:

Innovador: Pone a prueba un nuevo enfoque prometedor.

Replicable: Puede ampliarse y se puede aplicar en una situacin diferente.
Estratgicamente pertinente: El programa es una iniciativa emblemtica; requiere
considerables recursos; cubre, o puede expandirse para que cubra, a un gran nmero de
personas, o podra generar un ahorro considerable
No comprobado: Se sabe muy poco sobre la efectividad del programa a nivel mundial o
en un contexto particular.
Inuyente: Los resultados se usarn para informar decisiones fundamentales sobre
polticas o sobre el programa.

COMBINACIN DE FUENTES DE INFORMACIN PARA EVALUAR TANTO EL QU COMO

EL POR QU

Las evaluaciones de impacto realizadas sin contar con otras fuentes de informacin son
vulnerables tanto tcnicamente como en trminos de su posible efectividad. Al no disponer de
informacin acerca del carcter y el contenido del programa para contextualizar los resultados de
la evaluacin, se crea desconcierto entre responsables de polticas sobre las razones por las que
ciertos resultados se lograron o no.

Si bien las evaluaciones de impacto pueden producir estimaciones conables de los efectos
causales de un programa, su diseo no est normalmente orientado a informar la implementacin
del programa. Es ms, las evaluaciones de impacto deben estar bien coordinadas con la
implementacin de un programa y, por lo tanto, necesitan estar basadas en informacin sobre
cmo, cundo y dnde se implementa el programa que se est evaluando. Es necesario contar con
datos cualitativos, de monitoreo y evaluaciones de proceso para hacer un seguimiento de la
implementacin del programa y examinar cuestiones esenciales para informar e interpretar los
resultados de las evaluaciones de impacto. En este sentido, las evaluaciones de impacto y otras
formas de evaluacin son complementarias, ms que sustitutivas.

Por ejemplo, un Gobierno provincial puede decidir anunciar que pagar primas a clnicas de salud
rurales si aumentan el porcentaje de partos asistidos por un profesional de la salud en la clnica. Si
la evaluacin determina que no se registran cambios en el porcentaje de partos asistidos en la
clnica, pueden existir muchas explicaciones posibles y necesidades correspondientes de
actuacin. Primero, es posible que el personal de las clnicas rurales no tenga suciente
informacin sobre las primas o no entienda las reglas del programa. En dicho caso, puede ser
necesario que el Gobierno provincial potencie su campaa de informacin y educacin para los
centros de salud. Si la falta de equipo o la escasez de electricidad impiden a las clnicas de salud
admitir ms pacientes, puede ser necesario mejorar el sistema de asistencia y mejorar el
suministro energtico. Finalmente, es posible que las mujeres embarazadas de las zonas rurales
no quieran asistir a las clnicas, y preeran parteras tradicionales y dar a luz en su casa por
razones culturales. En este caso, puede ser ms eciente abordar los obstculos para el acceso de
las mujeres que ofrecer primas a las clnicas. Por lo tanto, una buena evaluacin de impacto
permitir al Gobierno determinar si la tasa de partos asistidos ha cambiado o no como
consecuencia del programa de primas, pero hacen falta mtodos complementarios de evaluacin
para entender si el programa se llev a cabo segn lo previsto y cules son los eslabones
perdidos. En este ejemplo, los evaluadores querrn complementar su anlisis de impacto
entrevistando al personal de las clnicas de salud acerca de su conocimiento del programa,
examinando la disponibilidad de equipo en las clnicas, organizando grupos de discusin con
mujeres embarazadas para entender sus preferencias y barreras al acceso, y analizando todos los
datos disponibles sobre el acceso a clnicas de salud en zonas rurales.

USO DE DATOS CUALITATIVOS

Los datos cualitativos son un complemento esencial de las evaluaciones cuantitativas de impacto
porque aportan perspectivas complementarias sobre el desempeo de un programa. Las
evaluaciones que integran anlisis cualitativos y cuantitativos se caracterizan por el uso de
mtodos combinados (Bamberger, Rao y Woolcock, 2010). Los mtodos cualitativos incluyen
grupos focales y entrevistas con beneciarios seleccionados y otros informantes clave (Rao y
Woolcock, 2003). Aunque los puntos de vista y las opiniones recopiladas durante las entrevistas y
los grupos focales pueden no ser representativos de los beneciarios del programa, son
especialmente tiles durante las tres fases de una evaluacin de impacto:

1. Cuando se disea una evaluacin de impacto, los evaluadores pueden usar grupos focales y
entrevistas con informantes clave para formular hiptesis acerca de cmo y por qu funcionar el
programa, y aclarar cuestiones de investigacin que deben resolverse en el trabajo de evaluacin
cuantitativa de impacto

2. En la fase intermedia, antes de disponer de los resultados de la evaluacin cuantitativa de

impacto, el trabajo cualitativo puede contribuir a que los responsables de polticas comprendan lo
que est ocurriendo en el programa.

3. En la fase de anlisis, los evaluadores pueden aplicar mtodos cualitativos para aportar
contexto y explicaciones para los resultados cuantitativos, examinar los casos atpicos de xito o
fracaso y dar explicaciones sistemticas del desempeo del programa observado en los resultados
cuantitativos. En este sentido, el trabajo cualitativo puede ayudar a conocer las razones por las que
se observan ciertos resultados en el anlisis cuantitativo, y se puede usar para abrir la caja negra
de lo sucedido en el programa (Bamberger, Rao y Woolcock, 2010).

TIPOS DE PREGUNTAS DE EVALUACIN

Toda evaluacin empieza con una pregunta de estudio sobre una poltica o un programa y ser el
objetivo central de la investigacin. Por lo tanto, la evaluacin consiste en la generacin de
evidencias crebles para responder a esa pregunta. Como se explicar ms adelante, la pregunta
fundamental de la evaluacin de impacto puede formularse como:

Cul es el impacto (o efecto causal) de un programa sobre un resultado de inters? Por

ejemplo, Cul es el efecto del Programa de Subsidio del Seguro de Salud sobre el gasto directo
en salud de los hogares? La pregunta tambin puede comparar opciones de diseo, por ejemplo:
Qu combinacin de campaas de correo y orientacin familiar funciona mejor para fomentar el
uso exclusivo de la lactancia materna? Formular claramente preguntas de evaluacin es
fundamental para disear una evaluacin de manera efectiva.

TEORAS DEL CAMBIO

Una teora del cambio es una descripcin de cmo se supone que una intervencin conseguir los
resultados deseados. Describe la lgica causal de cmo y por qu un proyecto, un programa o una
poltica lograrn los resultados deseados o previstos. La teora del cambio es fundamental para
cualquier evaluacin de impacto, ya que esta se basa en relaciones de causalidad. Al tratarse de
uno de los primeros pasos en el diseo de la evaluacin, formular una teora del cambio puede
ayudar a especicar las preguntas de investigacin.

Las teoras del cambio describen una secuencia de eventos que generan resultados: examinan las
condiciones y las suposiciones necesarias para que se produzca el cambio, explicitan la lgica
causal detrs del programa y trazan el mapa de las intervenciones del programa a lo largo de las
vas lgicas causales. La colaboracin de las partes interesadas en el programa en la formulacin
de la teora del cambio puede ayudar a mejorar el diseo del programa. Esto es especialmente
importante en programas que intentan inuir en el comportamiento de los beneciarios: las teoras
del cambio pueden ayudar a determinar qu insumos y actividades se requieren, qu
productos se generan y cules son los resultados nales derivados de los cambios de
comportamiento de los beneciarios. El mejor momento para desarrollar una teora del cambio
para un programa es al principio del diseo, cuando se puede reunir a las partes interesadas para
que denan una visin comn del programa, de sus objetivos y de la va para lograrlos. As, al
comenzar la fase de implementacin las partes interesadas tienen una idea y unos objetivos
comunes que se reejarn en el funcionamiento del programa y de la evaluacin.
LA CADENA DE RESULTADOS

Una teora del cambio puede disearse de varias maneras, por ejemplo, mediante modelos
tericos, modelos lgicos, marcos lgicos, modelos de resultados y cadenas de resultados1. Todos
ellos incluyen los elementos bsicos de una teora del cambio, es decir, la cadena causal, que
debe ser capaz de discernir entre los logros del programa y las condiciones o inuencias ajenas al
programa. En este libro, se usar el modelo de la cadena de resultados porque creemos que es el
ms sencillo y claro para describir la teora del cambio en el contexto operativo de los programas
de desarrollo. Una cadena de resultados da una denicin lgica y plausible de cmo una
secuencia de insumos, actividades y productos relacionados directamente con el proyecto
interactan y establecen las vas por las que se logran los impactos La cadena de resultados
dene la lgica causal desde el comienzo del programa, empezando por los recursos disponibles,
hasta el nal, los objetivos a largo plazo.

Una cadena de resultados bsica representar los siguientes elementos: Insumos: Los
recursos de que dispone el proyecto, que incluyen el personal y el presupuesto.
Actividades: Las acciones emprendidas y el trabajo realizado para transformar los insumos
en productos.
Productos: Los bienes tangibles y los servicios que producen las actividades del programa
(estn directamente bajo el control del organismo ejecutor).
Resultados: Los resultados que se espera alcanzar una vez que la poblacin se bene cie
de los productos del proyecto (los resultados se dan normalmente a corto o mediano
plazo). Resultados nales: Los objetivos nales del proyecto (pueden estar inuidos por
mltiples factores y se alcanzan normalmente despus de un largo perodo).

La cadena de resultados tiene tres partes principales:

Implementacin: El trabajo programado producido por el proyecto, que incluye los

insumos, las actividades y los productos. Se trata de los aspectos que puede
supervisar directamente el organismo ejecutor para medir el desempeo del programa.
Resultados: Se reere a lo que se ha denominado resultados y resultados nales en
la cadena de resultados. No dependen solo del control directo del proyecto sino
tambin de cambios de comportamiento de los beneciarios del programa. En otras
palabras, dependen de las interacciones entre el lado de la oferta (implementacin) y
el lado de la demanda (beneciarios). Estos son los aspectos que se someten a la
evaluacin de impacto para medir la efectividad.
Suposiciones y riesgos: Hacen referencia a los riesgos que pueden afectar a la
consecucin de los resultados esperados y a cualquier estrategia para solventar dichos
riesgos. Incluyen cualquier evidencia en la bibliografa especializada sobre la lgica de
causalidad propuesta y las suposiciones en que se basa.

SELECCIN DE INDICADORES DEL DESEMPEO

Una cadena de resultados claramente denida ofrece un mapa til para la seleccin de los
indicadores que se medirn a lo largo de la cadena. Incluir indicadores tanto para seguir la
implementacin del programa como para evaluar los resultados. Una vez ms, es til que las
partes interesadas en el programa participen en la seleccin de estos indicadores, para asegurar
que constituyen una buena medida del desempeo del programa. Como regla general, los
indicadores debern cumplir con determinados criterios

Especcos: Para medir la informacin necesaria con la mxima proximidad

 Medibles: Para asegurar que es factible obtener la informacin
Atribuibles: Para asegurar que cada indicador est relacionado con los logros del
proyecto
Realistas: Para asegurar que los datos se pueden obtener puntualmente, con una
frecuencia razonable y a un costo razonable
Focalizados: en la poblacin objetivo.

Al elegir indicadores, es importante identicarlos a lo largo de toda la cadena, y no solo al nivel de

los resultados. As, se podr seguir la lgica causal de cualquier resultado observado del
programa. Incluso al implementar una evaluacin de impacto sigue siendo importante seguir los
indicadores de la implementacin, para determinar si las intervenciones se han ejecutado segn lo
programado, si han alcanzado a sus beneciarios previstos y si han llegado a tiempo (vase Kusek
y Rist, 2004 o Imas y Rist, 2009, para un anlisis de la manera de seleccionar indicadores del
desempeo). Sin estos indicadores a lo largo de la cadena de resultados, la evaluacin de impacto
solo producir una caja negra que determinar si se han materializado o no los resultados
previstos, pero no podr explicar las causas de ello. Aparte de seleccionar los indicadores, tambin
resulta til considerar los mecanismos para la produccin de datos.