CURSO INTERNACIONAL

EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS

PÚBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008

EVALUACIÓN EX - POST
Procesos e impactos

Andrés Fernández
División de Desarrollo Social
1
 Presentación

La evaluación ex-post corresponde a la verificación del grado de logro de

objetivos y metas formulados en el programa o proyecto.

Una mirada un poco más amplia que sólo impacto.

Es necesario un enfoque integral de la gestión para comprender las

relaciones entre diseño, ejecución, monitoreo y evaluación.

El propósito central del enfoque es la maximización del impacto y por lo

tanto de la rentabilidad de la inversión social (desde la evaluación ex –
ante).

2
 El enfoque integral de la gestión social

PROCESOS
Insumos Actividades Productos Impactos

Efectos

DISEÑO

Relación a nivel de metas

Objetivos y Objetivos y
Plan de producción metas de metas de
producto impacto

3
A continuación algunos ejemplos para
relacionar objetivos de impacto y sus
indicadores, con objetivos de producto y sus
indicadores

4
 Objetivos de Impacto
Bajar la incidencia de morbilidad
infantil a la media nacional (15o/oo)
Bajar la incidencia de mortalidad
infantil en un 50%.
Disminuir en un 70% la brecha de
nivel educacional existente entre la
región norte y el promedio nacional.
Bajar el desempleo de la PEA rural
juvenil en 10 puntos porcentuales.
Indicadores de Impacto
• Puntos de disminución en Incidencia
de morbilidad infantil
• % de variación de la incidencia de
mortalidad infantil
• % de variación en resultados de
prueba nacional de medición de
calidad educativa
• % de disminución de tasa de
repetición
• % de disminución de tasa de
deserción escolar
• Puntos de disminución en la tasa de
desempleo
5
 Objetivos de Producto
Madres e hijos bajo control médico pre
y post natal
Niños vacunados
Madres capacitadas en prevención de
deshidratación infantil
Alumnos educados con nuevas
tecnologías pedagógicas
Alumnos de escasos recursos becados • Cantidad de alumnos becados
Jóvenes rurales capacitados en
producción agropecuaria
Jóvenes microempresarios rurales con
acceso a créditos subsidiados
Jóvenes con contratos formalizados
Indicadores de Producto
• Cantidad de madres bajo control
• Cantidad de hijos bajo control
• Cantidad de niños vacunados
• Cantidad de madres capacitadas
• Cantidad de alumnos educados con
nuevas tecnologías pedagógicas
• Cantidad de jóvenes rurales
capacitados en producción
agropecuaria
• Cantidad de jóvenes
microempresarios rurales con crédito
subsidiado
• Cantidad de jóvenes con contratos
formalizados
6
 Principales razones de fracaso

Factores internos

• Errores de diagnóstico (tamaño del problema, análisis causal, etc.).

• Inadecuado diseño (procesos y organización).
• Incumplimiento de las metas de producto.
• Errores de focalización.
• Desajustes financieros (costos, flujo de caja, etc.).
• Interacción entre algunos de los anteriores.

Factores externos

• Incumplimiento de supuestos.
• Cambios imprevistos de contexto.

7
 Flujo básico de información en el ciclo de la gestión social

Alimentación Retroalimentación

Diagnóstico Evaluación
ex ante Inversión

Evaluación
Formulación Programación Operación
Ex post

Monitoreo y
control de
procesos

8
 Definición

La evaluación ex - post consiste en la medición o sistematización y

explicación de los resultados acumulados de:

Cobertura

Focalización

Eficacia

Eficiencia

Efectos

Impacto

Relación costo / impacto

… para lo cual se utilizan datos reales a diferencia de la evaluación ex-ante

que utiliza las estimaciones disponibles.

=> Estrecha relación con el sistema de monitoreo.

9
 Monitoreo y control de procesos

El propósito central del monitoreo y control de procesos es velar por el

cumplimiento de la(s) meta(s) de impacto. En términos generales, consiste
en el examen periódico de los procesos utilizando un sistema de
indicadores especialmente diseñado para alertar acerca de desviaciones
respecto de lo programado.

Esta función está centrada en la fase de operación y, particularmente en

sus procesos clave, no obstante que la inversión en activos fijos, en el
caso que un proyecto la contemple, también debe ser monitoreada.

10
 Monitoreo y control de procesos

El sistema de indicadores, abarcando tanto las “salidas” como las

actividades críticas de cada proceso, debe proveer de información
respecto de cantidad, calidad, tiempo y costo.

El desafío está en conjugar dos principios:

1. minimizar el riesgo en el proceso decisorio.
2. maximizar la eficiencia en la recolección de información.

11
 Principales indicadores

Cobertura

Este indicador hace referencia a la relación entre beneficiarios y población

objetivo.

Cantidad d e benefici arios

Cobertura = *100
Tamaño de la poblaci ón objetiv o

BT B PO
Cb = * 100 Cn = * 100
PO PO

12
 Principales indicadores

Focalización

Los indicadores de focalización buscan conocer en qué medida la

población objetivo es o no la beneficiaria del proyecto. El grado de
focalización (F), permite conocer en qué medida los productos (bienes o
servicios) son recibidos sólo por aquellas personas o entidades
pertenecientes a la población objetivo, es decir, mide el acierto de
inclusión.

B PO
F = * 100
BT

13
 Cobertura y focalización

Pertenecen No pertenecen
a la PO a la PO

Población Acierto de inclusión Error de inclusión

a+b
atendida (a) (b)

Población Error de exclusión Acierto de exclusión

c+d
no atendida (c) (d)

a+c b+d

Cobertura bruta (CB) = (a + b) / (a + c)

Cobertura neta (CN) = (a) / (a + c)

Cuando sólo existen aciertos, esto es, ambos errores son iguales a “0”, la
focalización es totalmente correcta. Entonces: CB = CN = 100%.

14
 Principales indicadores

Eficacia : corresponde a la relación entre la cantidad de bienes o servicios

que produce y distribuye el proyecto durante su operación y lo estimado en
la programación, independientemente de los costos.

IF Donde,
A=
GC IF corresponde al “índice físico” y
GC al “grado de cumplimento”.

Producción generada L
Indice Físico = IF =
Producción programada M

Tiempo real Tr
Grado de cumplimien to = GC =
Tiempo programado Tp

Si A = 1, el proyecto es eficaz (la eficacia es de 100%)

Si A < 1, el proyecto es menos eficaz que lo programado (inferior al 100%)
Si A > 1, el proyecto es más eficaz que lo programado (superior al 100%) 15
 Principales indicadores

Eficiencia : corresponde a relación entre los productos generados y los

recursos utilizados en la producción. Relaciona los costos programados,
con los costos reales, el volumen de producción y el tiempo (reales y
programados).

L * C p * Tp C
B= B = A*
p

M * Cr *Tr C r

Donde (Cp ) son los costos programados y (Cr ) los costos reales.

B = 1, la producción es eficiente (costos reales por producto iguales a los

programados)
B > 1, el proyecto es más eficiente que lo programado
B < 1, el proyecto es menos eficiente que lo programado
16
 Principales indicadores

Calidad : corresponde a la relación entre el estándar del producto real y el

estándar programado. Éste se establece a partir de criterios normativos, lo
observado en otro proyecto similar o en función del promedio para un
conjunto de proyectos.

q
Q =
S
Donde, “q” es el nivel de calidad del producto entregado y “s” es el estándar
de comparación.

Si Q = 1, la calidad observada es igual al estándar o a la media; si Q > 1 la

calidad del producto es superior; si Q < 1, entonces es inferior.

17
 Principales indicadores

Respecto de la calidad cabe advertir que, independientemente del

cumplimiento o no del estándar, existe lo que se denomina calidad
percibida por los beneficiarios. Ésta incidirá de manera significativa en
el uso del producto y, consecuentemente, en el logro de la meta de
impacto.

Si la calidad se califica negativamente, los beneficiarios rechazarán el

producto.

Por otra parte, cabe señalar también que ésta depende de las
expectativas: mientras menor sea ésta, más positiva será la percepción
de calidad.

18
A continuación un ejemplo de diagrama de
procesos y su relación con objetivos de
impacto y poblaciones objetivo:

El caso del Plan de Mejoramiento Alimentario

y Nutricional de Antioquia

19
20
21
Diagrama
Proceso: Recuperación de niños con desnutrición aguda
Detección de niños con
desnutrición aguda

NO ¿Moderada o
Severa?

NO SI
¿Existe
cupo?
Ingreso a CRN y
Lista de espera SI tratamiento clínico
por cupo

Eventual derivación y
tratamiento en clínica
Santa Ana

Recuperación nutricional Seguimiento

ambulatoria

Niños con desnutrición aguda

recuperados
22
Indicadores de monitoreo
Proceso: Recuperación de niños con desnutrición aguda

Detección de niños con desnutrición aguda Eficacia

Cobertura y Focalización
Tasa de abandono
Tratamiento clínico Tasa de derivación
Eficacia
Eficiencia

Tasa de abandono
Seguimiento
Eficacia

Cobertura y Focalización
Recuperación ambulatoria Tasa de abandono
Eficacia 23
 Evaluación de impacto

La evaluación de impacto utiliza la lógica del método experimental, no

constituyendo propiamente un “experimento”. La única excepción puede
ser el caso de ciertos proyectos que tienen el carácter de “piloto” siempre
que en su diseño esto haya sido considerado.

La verificación del impacto se realiza mediante la medición y comparación

del estado "inicial" (línea de base) que presentaba la población objetivo y
la situación existente después de un tiempo de operación del proyecto
(línea de comparación), eliminando (o tratando de minimizar) la incidencia
de factores externos que también pudieran estar contribuyendo a la
“explicación” del cambio.

Los modelos para medir efectos e impactos son los mismos, sólo cambian
los indicadores utilizados.

24
 Los diseños de investigación

• Pre experimentales
• Experimentales • Experimentales
Según la • Cuasi experimentales
intervención del
investigador
• No experimentales

• Transversales
Según el número de
mediciones • Cohortes
• Longitudinales • Panel
• Tendencia

25
 Diseños experimentales

Por experimento se entiende aquel método que permite

Definición estudiar el efecto que tiene, sobre una o más variables
dependientes (Y), la manipulación de una o más
variables independientes (X).

Posibilidades de Administrar el estímulo

Diversidad de manipular el ambiente experimental (X)
complejidad
Posibilidades de
Aislar factores
controlar el ambiente
intervinientes

Controlar los factores intervinientes afecta la validez de los resultados y

las conclusiones.

26
 Validez de los diseños experimentales

Los resultados se “explican” por el

Interna proyecto y no por otros factores no
controlados.

Alude a la representatividad de los

Externa
resultados obtenidos. Es decir, las
posibilidades de generalización que
éstos tienen.

En el análisis de los impactos lo más relevante es la validez interna.

La validez externa adquiere relevancia cuando alimenta decisiones de
replicación o de ampliación, como en el caso de los proyectos piloto, sin
embargo habrá que precaverse del “efecto macetero”.
27
 Principales factores que atentan contra la validez interna

1. Historia: acontecimientos externos a los sujetos ocurridos entre las

mediciones.

2. Maduración: sucesos propios de los sujetos que intervienen por el

sólo hecho del paso del tiempo entre las dos mediciones.

3. Administración de pruebas: efecto de una aplicación de prueba sobre

los resultados de otra posterior.

4. Instrumentación: cambio de instrumentos u observadores entre las

dos mediciones.

5. Mortalidad: efecto sobre los resultados por la pérdida de sujetos

entre las mediciones.

28
 Diseño experimental clásico

R Yb1 X Yb2
R Yc1 Yc2

La magnitud en que difieran los cambios producidos en el grupo con

b b
proyecto (Y 1 - Y 2), en cada objetivo de impacto, respecto a los del grupo
c c
sin proyecto (Y 1 - Y 2), será una medida del impacto del proyecto en dicho
objetivo.

29
 Diseño experimental clásico

b b
Si, (Y 1 - Y 2) es resultado de cambios endógenos y exógenos

Si, (Yc1 - Yc2) es resultado sólo de cambios exógenos

Entonces (Yb1 - Yb2) - (Yc1 - Yc2) es una medida del impacto neto del
proyecto.

Si la aleatorización es “perfecta”, entonces (Yb1 = Yc1) , por lo tanto para

conocer la magnitud del impacto bastaría con la comparación post. Sin
embargo, esto no permite conocer la magnitud de efectos exógenos y se
pierde información que enriquece el análisis evaluativo empobreciendo, a
la vez, la retroalimentación para tomar decisiones de reprogramación o
replicación.

30
 Diseño experimental clásico

El diseño experimental clásico constituye una forma vigorosa de

identificar los cambios producidos por un proyecto. Sin embargo, su
aplicación se dificulta porque requiere la selección aleatoria de los
integrantes de cada uno de los grupos en la línea de base (LB).

Otro obstáculo son las dificultades éticas que derivan de aplicar el

proyecto a sólo una parte de la población objetivo (el grupo experimental)
para poder medir el impacto, excluyendo a otros que legítimamente
requieren de la atención que el mismo brinda.

31
 Diseños pre experimentales

Diseño antes - después de un solo grupo

Yb1 X Yb2

No permite eliminar el efecto del contexto y, por tanto, tampoco es

posible determinar en qué medida los cambios registrados son
imputables al proyecto.

32
 Diseños pre experimentales

Diseño de comparación con grupo equivalente

X Yb2
-------------
Yc2

Es posible aumentar la validez procurando que los dos grupos sean

lo más parecidos posible en todas las variables externas al proyecto
que pudieran incidir en el impacto. Sin embargo, la ausencia de LB
no permite medir su magnitud.

33
 Diseños cuasi experimentales

Diseño antes – después con grupo de control “equivalente”

Yb1 X Yb2

Yc1 Yc2

Se comparan grupos “naturales” pero que no poseen

equivalencia por muestreo aleatorio.

34
 Diseños cuasi experimentales

Diseño de series cronológicas

Yb1 Yb2 Yb3 Yb4 X Yb5 Yb6 Yb7 Yb8

Si se dispone una serie mediciones para los indicadores pertinentes, tanto

antes como después de la ejecución del proyecto, es posible hacer un
análisis de series temporales. La formas que adopta la curva que
representa la serie es utilizada para estimar la magnitud del impacto.

En términos estrictos, con este modelo no es posible aislar los efectos

atribuibles al proyecto. Es el clásico problema de establecer causalidad sin
disponer de instrumentos que controlen los diferentes tipos de variables
que la afectan.

Es posible mejorar la estimación incorporando una serie cronológica para

“grupo equivalente”.
35
Curvas de efecto en diseños cuasi experimentales
F
Y
E

t 36
X
 Complementos a los diseños cuasi experimentales

Aunque los diseños experimentales se consideran el método óptimo para

estimar el impacto de los programas sociales, ellos son difíciles de
implementar.

1. Conseguir la aleatorización puede ser difícil por aspectos políticos o

éticos ya que supone no entregar los productos a personas que
cumplen con la definición de población objetivo.

2. Durante la intervención las personas asignadas a los grupos de control

podrían cambiar ciertas características que los identifican, afectando la
validez interna. Normalmente no es posible aplicar la condición de
“doble ciego”.

3. En muchas ocasiones la evaluación se diseña con el programa en

operación lo que dificulta optar por un diseño experimental debiendo
recurrirse a los diseños cuasi experimentales.

37
 Complementos a los diseños cuasi experimentales

Como hemos visto, un elemento importante en la evaluación de impacto es

la construcción de un escenario contrafactual. Esto es, por medio de
métodos estadísticos, construir una situación hipotética en la cual
hubiesen estado los beneficiarios en caso de que el programa no se
hubiese implementado.

Lo habitual, en el campo de los programas sociales, es recurrir a

mecanismos que propendan a lograr una deseada igualdad de medias
entre los atributos de los integrantes de ambos grupos.

El diseño denominado antes – después con grupo de control “equivalente”

ha sido perfeccionado con la aplicación de modelos estadísticos, por
medio de los cuales es posible “parear” sujetos empleando un set de
atributos similares.

38
 Muestreo, precisión y significación estadística

El nivel de precisión de una estimación de parámetros o el nivel de

significación logrado en un prueba de hipótesis está directamente
relacionado con el error de muestreo o error estándar y éste, a su vez
depende del tamaño de la muestra y de su diseño.

39
 Evaluación costo / impacto

Relación costo / impacto

El último componente de la evaluación ex-post es calcular el costo por

unidad de impacto real (CUIr), dividiendo los costos reales (Cr) por los
impactos alcanzados Ir.

Cr
CUI r = Ir

Para hacer un análisis intra-proyecto, se comparan los resultados con las

estimaciones realizadas durante la evaluación ex-ante. Esto permite medir
el grado en que dichas estimaciones se adecuaron a la realidad y las
razones de las diferencias encontradas .

40
 CURSO INTERNACIONAL
EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS
PÚBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008

EVALUACIÓN EX - POST
Procesos e impactos

Andrés Fernández
División de Desarrollo Social
41