Evaluacin de

Proyectos Sociales
(SOL-190)
PROFESORA: ANDREA LOPEZ
ANDRS GONZLEZ

ndice
Diseo de un programa social..................................................................................... 2
Diseo de indicadores............................................................................................... 7

10 de Marzo.

Diseo de un programa social.

Una poltica pblica se puede definir como un programa de accin de una autoridad
investida de poder pblico. Ahora bien, el problema de esta definicin es que le entrega el
monopolio de la creacin de polticas pblicas al Estado. Un concepto ms actualizado y
amplio puede ser: son cursos de accin y flujos de informacin relacionados con un
objetivo poltico definido en forma democrtica, que son desarrollados por el sector pblico
y frecuentemente con la participacin de la comunidad y tambin del sector privado. De
esta forma, la creacin de una poltica pblica no es slo monopolio del Estado.
Cuando hablamos de un diseo de programa nos vamos a centrar en tres puntos.
I.

Atingencia: aqu se debe analizar:

a) Relevancia social: es un diagnstico de si el problema existe o no, y, de
existir, a cuntas personas afecta. Esto puede ser respondido con
investigaciones acadmicas y con estadsticas nacionales. (Si se da de tarea
la creacin de un Programa nacional de alfabetizacin para mayores de 18
aos, ello no tiene mayor sentido en la medida que casi el 100% est
alfabetizado. Ello cambia si nos vamos a un pas como Nigeria donde un
75% de los hombres y 58% de las mujeres estn alfabetizados; aqu s es
atingente.)
b) Insercin Institucional: ver cmo se enmarca el programa en los objetivos de
la institucin, en un ministerio, por ejemplo. Y tambin se quiere ver la
relacin del programa con otros programas; esto es importante para evitar
duplicidades, porque un programa puede ser el complemento de otro, porque
se puede optimizar recursos, etc. (Ejemplo clase: Beca Vocacin de
Profesor, implementado por la Sub-secretaria de Educacin. Ella entrega
una beca de arancel a los estudiantes con 600 puntos o ms en la PSU para
estudiar la carrera de Pedagoga. Adems, la misin del Ministerio de

Educacin (MINEDUC). Considerando la Misin del MINEDUC1, se

inserta bien est poltica pblica? S, se inserta bien, en la medida en que la
misin del Ministerio dice que buscan asegurar un sistema educativo
inclusivo y de calidad. Sin embargo, este programa pierde todo el valor
relativo que pueda tener con la implementacin de la Gratuidad, por
ejemplo. Se estn duplicando polticas, no se estn complementando. A la
presentacin le tiende a faltar una teora. Asume de que la PSU es un buen
mtodo de medicin de calidad al igual que la prueba INICIA; en parte
II.

porque no hay mejores instrumentos.)

Coherencia interna: se ve la interrelacin de tres elementos del programa:
a) Los objetivos: qu se busca lograr. Estos se ven en tres niveles:
1. Fin ltimo: contribucin que no es responsabilidad del programa, ya
que es algo tan general como disminuir la pobreza, por ejemplo. Es
algo que va a contribuir a, pero es algo que el programa no se
puede hacer responsable en la medida que es demasiado ambicioso.
2. Objetivo general: s es responsabilidad del programa; es el resultado
directo de la ejecucin del programa. Es lo que el programa pretende

1 El Ministerio de Educacin de Chile es el rgano rector del Estado encargado de fomentar el desarrollo de
la educacin en todos sus niveles, a travs de una educacin humanista democrtica, de excelencia y abierta al
mundo en todos los niveles de enseanza; estimular la investigacin cientfica y tecnolgica y la creacin
artstica, y la proteccin e incremento del patrimonio cultural de la Nacin. Del mismo modo, esta institucin
es la llamada a velar por los derechos de todos los estudiantes, tanto de establecimientos pblicos como
privados.La misin del Ministerio de Educacin es asegurar un sistema educativo inclusivo y de calidad que
contribuya a la formacin integral y permanente de las personas y al desarrollo del pas, mediante la
formulacin e implementacin de polticas, normas y regulacin, desde la educacin parvularia hasta la
educacin superior.
Es funcin del Ministerio de Educacin que el sistema integrado por los establecimientos educacionales
financiado con recursos pblicos provea una educacin gratuita y de calidad, fundada en un proyecto
educativo pblico laico, respetuoso y pluralista, que permita el acceso a toda la poblacin y que promueva la
inclusin social y la equidad.

conseguir de manera concreta con su implementacin. Un programa,

un objetivo general.
3. Objetivos especficos: tambin son responsabilidad del programa.
Son metas intermedias que ayudan a conseguir el objetivo general,
por lo tanto deben tener coherencia con el Objetivo general.
b) La poblacin objetivo: a quien va dirigido el programa, a quien se busca
beneficiar con el programa. Puede estar delimitada por lineamientos de
cualquier ndole, incluso, y generalmente, presupuestarios. En este contexto
se distingue entre:
1. Poblacin potencial: aquella que presenta el problema que se busca
solucionar. Es lo que se quiso disear.
2. Poblacin beneficiada: aquella que efectivamente se vio beneficiada
con el programa. La mayora de las veces es distinta a la Poblacin
potencial. Es lo que efectivamente pas. Por lo general es un
subconjunto de la poblacin objetivo.
3. Estrategia de intervencin: qu estrategia empleo para conseguir el
objetivo; qu es lo que hace el programa. Tpicamente se hacen dos
cosas:
- Se entregan bienes y/o servicios,
- Se realizan actividades.
Adems de eso, se ve el vnculo entre las actividades, bienes o
servicios y los objetivos del programa: por qu de hacer A se
llegara a B? Esto se puede conseguir con investigaciones, literatura
al respecto, experiencia internacional; por lo general se ocupan
fuentes terciaras. Muchas veces en esta etapa pueden haber
problemas a nivel de saber qu es lo que hace un programa (ejemplo,
programa 24 horas del Ministerio del Interior); a nivel del vnculo
entre las actividades, bienes o servicios y los objetivos del programa
(ejemplo, Maletn Literario). (Al momento de disear un programa se
puede hacer referencia respecto a las condiciones externas, el
contexto en el cual se despliega el programa).
Hay que analizar bien la coherencia interna; ello se consigue en virtud de
la evidencia emprica, en base a estudios hechos al respecto. La coherencia
4

interna no se limita a enumerar los elementos anteriores; hay que citar estudios
que abalen la existencia del vnculo entre los distintos elementos de la
coherencia interna. A ratos, puede que los elementos de la coherencia interna
puede que no se entrelacen muy bien.
III.

Consistencia: es la medicin de resultados del programa; se realiza ex ante. Es la

relacin, la brecha existente entre el diseo (planificacin) y la implementacin
de un programa. (Supone una coherencia interna slida). Se mide en funcin de
indicadores, que a su vez se pueden clasificar segn el mbito de desempeo
(eficacia, eficiencia, economa, calidad de servicio), y segn mbito de control
(procesos, productos, resultados [corto, mediano, largo plazos]). Dos conceptos
importantes son:
a) La eficacia: se refiere a si el programa cumple o no con sus objetivos, en
particular los objetivos generales o propsito, y los objetivos especficos (no
se considera el fin ltimo en la medida que no es responsabilidad directa
suya). Estos objetivos no slo son analticamente distintos, sino que tambin
se alcanzan en plazos distintos; en general los objetivos especficos son
conseguibles en un corto plazo (ejemplo, Programa Plan Cuadrante).
Entonces, al analizar los resultados se va a distinguir entre:
1. Resultado (output): consecuencias inmediatas en el corto y
mediano plazo; en trminos analticos se est midiendo los
objetivos especficos del programa. (Un programa de vacunacin
de invierno se puede evaluar en invierno, en un par de meses).
2. Impacto (outcome): consecuencias a largo plazo; se realiza una
medicin del objetivo general del programa. (Un programa de
reduccin de la pobreza no se puede medir, segn la literatura,
hasta antes de 5 aos).
As, cobra importancia el evaluar un programa cuando debe ser evaluado en
funcin de sus objetivos, particularmente en polticas sociales; esto
permitira arreglar el problema sobre la marcha. (Ejemplo, Prevencin
Temprana, para evitar el consumo de droga: programa dirigido a nios entre
9 y 10 aos. Se mide el programa a los 3 aos, es decir, cuando los nios

tienen 13 aos. El problema es que el consumo de droga tiende a iniciar

entre los 14 y 17 aos; ver que la poblacin disminuyo su consumo no se
ver hasta cuando sta tenga 17 aos.)
b) La eficiencia: refiere al costo al cual el programa obtuvo resultados, cumpli
con sus objetivos. Parte del supuesto de que los recursos son escasos, por lo
tanto se analiza el volumen de recursos destinados al programa. La relacin
entre eficacia y eficiencia es importante; los esfuerzos tienen que ser
proporcionales a lo que se quiere lograr. La eficiencia se evala en dos
momentos:
1. Ex ante: presupuesto. Se analiza el precio del bien o servicio que se
va a entregar; y las opciones disponibles, se busca la opcin menos
costosa. (Ejemplo, Puente de Chacao: se compar con la mejora de
un sistema de flotas. En la medicin de gasto era ms eficiente
mejorar la flota.) No slo importa obtener lo que se quiere con el
proveedor ms barato sino que tambin las opciones disponibles para
conseguir el objetivo.
2. Ex post: anlisis de gasto. Se realiza sobre la base de indicadores y el
anlisis de costo-eficiencia, es decir, evaluacin socio-econmica.
Cuando se evala un programa se distingue entre Gasto Administrativo
(G.A) y Gasto Social (G.S). As, si:
G. A G. S=[0,1]
El resultado ser 0 en la medida que el Gasto Administrativo sea mayor que
el Gasto Social

(G . A>G . S ) . Ser 1 cuando el Gasto Social sea mayor

que el Gasto Administrativo

(G . A<G . S ) . El resultado de la divisin

debe ser lo ms cercano a 1.

Tanto la eficiencia como la eficacia se miden en base a indicadores.
Todo lo anterior es lo que se conoce como la Racionalidad o Lgica del Programa.

El diseo est relacionado con la evaluacin. Un programa mal diseado

difcilmente ser bien evaluado, difcilmente cumplir los objetivos que se propone. Los
programas siempre estn en constante construccin.

17 de Marzo.

Diseo de indicadores.
La primera etapa a evaluar en un programa social es la atingencia, en una segunda etapa se
ve la coherencia interna, la tercera etapa se ve la consistencia. La eficiencia y la eficacia se
miden en funcin de indicadores. Al minuto de disear un indicador hay que tener claro de
dnde se va a sacar la informacin para que el indicador mida lo que se supone que debe
medir.
Un indicador es una simplificacin de la realidad que nos da informacin numrica a cerca
de las consecuencias y/o del funcionamiento del programa. Los indicadores se pueden
disear ex ante (antes que el programa comience a implementarse) o ex post (evaluar el
programa estando en ejecucin); se prefiere hacerlo ex ante. Un indicador va a tener un
conjunto de caractersticas deseables:
a) Simple: se apela al principio de parsimonia. Se prefieren indicadores sencillos a
los complejos. Hace referencia a que sea una simplificacin de la realidad.
(Ejemplo: Nivel socioeconmico; con dos dimensiones: Dimensin econmica
(Bienes), Dimensin social (Nivel educacional). Un indicador simple se
construira cruzando ambas dimensiones).
b) Observables y medibles: se busca una medida objetiva. De ah deriva la
importancia de definir el concepto: debe ser descompuesto en indicadores
pequeos que sean medibles. (Ejemplo: Informe de la ONU ubica a Dinamarca
como el pas ms feliz del mundo. Siendo la unidad de anlisis los pases.
Entonces este ndice toma seis preguntas referentes al: PIB, esperanza de vida,
generosidad, el apoyo social, la libertad, la corrupcin. Un concepto complejo
como la felicidad fue descompuesto en estas seis dimensiones, ms all de que
se est de acuerdo con estas dimensiones).
7

c) Vlidos: se refiere a que se est midiendo el concepto que se busca medir. El

principal problema de la validez es que se va a tener un trade off entre la
validez y la simplicidad: para asegurarse de medir todo lo que se quiere medir
por lo general se tiene que medir de manera ms exhaustiva. (Ejemplo: el
concepto de Vulnerabilidad social, que por lo general se mide en funcin del
ingreso. El indicador puede ser simple, pero no valido: hay que sumar otras
cosas tales como educacin, contexto familiar, redes de apoyo, etc.) Lo
importante en la validez es explicitar lo que se quiere medir, es decir, es
importante restringir lo que se va entender por el concepto en cuestin, de ah la
importancia de los marcos tericos en las investigaciones.
d) Precisos: es decir, a qu nos estamos refiriendo con un determinado indicador.
Es importante para la comparabilidad, porque, por ejemplo en el mismo caso de
la felicidad, as se pueden comparar distintos estudios referentes al mismo
concepto. Cuando se da un indicador lo primero que se tienen que hacer una
frmula matemtica, los periodos de medicin en los cuales se miden los
indicadores, despus hay que decir la unidad de observacin, es decir, a quin se
est midiendo, y cuarto las fuentes de informacin; de aqu nace la importancia
de disear el indicador antes.
e) Sensibles: es decir, que tengan poder estadstico. Esto aplica para distintos tipos
de programas. Cuando se mide un indicador se tiene que medir en funcin de
una muestra que te permita medir el concepto. (Ejemplo: encuestas de drogas.
Realizar una de estas encuestas es complejo en la medida que se tienen que
hacer en el mismo periodo y porque las prevalencias en Chile no son tan altas).
f) Comparables: esto es en dos sentidos: consigo mismos, es decir, con las cifras
previas del mismo indicador esto se puede conseguir de dos formas: aplicando
la misma frmula, como por ejemplo la CASEN, o aplicando el mismo periodo,
como por ejemplo las encuestas de drogas y las de demandas de dinero (Banco
Central); estos estudios comparan con el ao anterior pero manteniendo el mes
dado que, por ejemplo, hay meses en los cuales los chilenos gastan ms que
otros meses, y comparar Agosto con Noviembre no tiene mayor sentido y con
los dems indicadores, con otros estudios; aqu va a ser crucial que el indicador
sea efectivamente preciso, lo que se tiende a hacer es vender metodologas, lo
8

cual te asegura que toda la informacin es comparable. Esto es importante en la

medida que permite poner en contexto la informacin que se est midiendo.
Ahora, hay un trade off siempre entre comparabilidad y perfeccionamiento: qu
pasa si el indicador no es lo suficientemente valido? Se reportan dos
indicadores: el antiguo y el nuevo. La idea es que al tener una serie lo
suficientemente larga de indicadores nuevos se puede dejar de usar el indicador
antiguo.
g) Verificables: tiene que ver con las fuentes de informacin que se utilizan. Al
medir un indicador de determinada manera se tiene que decir explcitamente de
dnde se saca la base de datos; ello para verificar que lo que se midi es
efectivamente cierto. Tiene que ver un tanto con la transparencia del estudio.
Entonces, lo que se hace es que los indicadores se presentan de una determinada
manera segn un nombre, una definicin y una base de datos de donde se extrae
la informacin.
h) Econmicamente razonables: los indicadores ms primarios de un estudio son
aquellos que se recolectan de manera muy rpida, pero en la medida que el
indicador se va sofisticando se hace ms caro el recolectar la informacin. Lo
que se hace es que le Estado asume la aplicacin de ciertas encuestas. Y en
funcin del costo de la medicin, se ve tambin su periodicidad.
Veamos cmo tiene que ser este indicador en funcin del programa.
a) Pertinente: que el indicador mida las metas estratgicas del programa. Aqu hay
que hablar de un sistema de incentivos: cuando uno pone un indicador, se pone
una escala de incentivos a la institucin; las instituciones funcionan por bonos
relacionados a ciertas metas. (Ejemplo, carabineros, robo de auto y robo
comn).
b) Atribuible al programa: es decir, evaluacin del impacto. Apunta a establecer
una relacin causal entre el programa y lo que se est midiendo; limpiar el
indicador de todas las condiciones externas. Por ejemplo, si se mide la pobreza
en un contexto de crisis econmica, no necesariamente dice que el programa es
malo, o no cumple con su fin.
c) No manipulables: las evaluaciones tienen que ser autnomas. El problema de
esto es que por lo general funciona con auto-reporte.
9

d) Variables: tiene que ver con los plazos. Al construir el indicador hay que decir el
momento en el cual se espera que el efecto se presente. Hay que ver la
variabilidad del indicador, y cuando se espera que esta se produzca.
e) Validados: refiere al vnculo que como evaluador hay que establecer con la
institucin evaluada. Hay que explicitar que se evala al programa y no a la
institucin. (Ejemplo, el gremio de los profesores que tienden a ser reticentes a
las evaluaciones que puede que no vean que las evaluaciones no son tanto para
medirlos a ellos sino que para medir los programas de pedagoga).

28 de Marzo.

Matrices de diseo.

10