Tomado del Libro: Monitoring and Evaluating Social Programs in Developing Countries: A Handbook por

Policymakers, Managers and Researchers.

Edited by Joseph Valadez and Michael Bamberger. EDI- WORLD BANK. Washington D.C. November 1994
Traducido por PREVAL.

La evaluacin de programas sociales en los pases en vas de desarrollo

Los pases en vas de desarrollo y las agencias de ayuda internacional financian, disean y manejan un gran
nmero de complejos proyectos de desarrollo. Slo en 1987, el gobierno de India financi ms de 3000 proyectos y
sus administraciones estatales patrocinaron entre 6000 y 7000 en tanto que Pakistn brind su apoyo a 3800
proyectos bajo su Federal Annual Development Plan (Amhed y Bamberger 1989). Entre los proyectos financiados
por grupos internacionales de ayuda, unos 192 fueron llevados a cabo bajo el auspicio del Banco Mundial en 1985,
segn sus reportes de avances (World Bank :xi) y cerca de 250 se finalizan cada ao bajo la mira de la U.S. Agency
for International Development (USAID) a juzgar por sus reportes de evaluacin (OECD 1986).

El estado actual del monitoreo y evaluacin en los pases en desarrollo

La evidencia disponible sugiere que una proporcin significativa de estos proyectos no llegan a alcanzar sus
objetivos. De los 192 proyectos llevados a cabo por el Banco Mundial en 1985, un 20 por ciento aproximadamente
tuvo resultados poco satisfactorios o inciertos (World Bank 1987:5). Los porcentajes de xito han sido ms bajos en
los proyectos complejos llevados a cabo en pases de bajos ingresos y en necesidad de una reforma social y
econmica, como en el caso de frica. Tales porcentajes no llegan a alcanzar el 50%. (World Bank 1987:28)

Estas cifras no reflejan con fidelidad el desarrollo del proyecto, debido a que usualmente se refieren a la etapa de
implementacin del proyecto (en la cual se construye la infraestructura, se instala el equipo, y se establecen los
sistemas del servicio). Poco se conoce acerca de qu tan bien pueden los proyectos brindar los servicios a travs
del tiempo y menos an sobre hasta qu punto pueden los proyectos producir los impactos deseados.
La necesidad de tal informacin ha crecido considerablemente en los ltimos aos debido a que los gobiernos y las
agencias donantes estn bajo gran presin de formular estrategias de desarrollo que contribuyan a objetivos
amplios, tales como proteger el medio ambiente, aliviar la pobreza y mejorar la participacin econmica, social y
poltica de la mujer, lo cual requiere un claro entendimiento de las complejas interacciones entre un proyecto y su
entorno. Como muchos gobiernos se estn dando cuenta de que las limitaciones sobre sus recursos van en
aumento, tambin se ven presionados a usar tales recursos eficientemente.
En vista de estos problemas, se ha convertido en una necesidad que los gobiernos y agencias donantes aprendan
tanto como sea posible de las experiencias pasadas para que los posibilite a identificar los tipos de proyectos y
sistemas que tienen ms posibilidades de xito y los factores que ms contribuyen al mismo. Como resultado, se
est dando ms atencin al seguimiento y evaluacin (SyE), de hasta qu punto el desarrollo de los proyectos es
costo-efectivo y logra sus objetivos.
Afortunadamente, la necesidad de mejores sistemas de seguimiento y evaluacin viene en un momento cuando las
naciones industrializadas han hecho grandes avances en la teora y prctica de la evaluacin de programas. En los
Estados Unidos y en otras naciones industrializadas, la evaluacin de programas est emergiendo como una
ciencia social independiente y como una disciplina de la administracin. Desde el inicio de los aos 70 se ha
convertido en una prctica estndar en los Estados Unidos, monitorear y evaluar la mayora de los proyectos
federales y financiados por el estado, y los resultados de estas evaluaciones son ampliamente analizadas por
personas de apoyo y oponentes de los mismos (Chelismsky 1988; Rossi y Freeman 1993; Wholey 1979). La
General Accounting Office publica ms de una evaluacin de programa al da en los Estados Unidos, muchas de
las cuales influyen sobre las decisiones presupuestarias y la formulacin de nuevos programas (Chelimsky 1987).

La creciente presencia de los especialistas en evaluacin se puede notar en sus publicaciones, en organizaciones
profesionales tales como la Asociacin Americana de Evaluacin -AEA- (que actualmente cuenta con ms de 2500
miembros) y en el nmero de cursos sobre seguimiento y evaluacin (ofrecidos en al menos cuarenta y seis
universidades en los Estados Unidos).
En la opinin de muchos practicantes de la evaluacin, se han hallado soluciones satisfactorias a los problemas
bsicos de evaluacin, diseo y anlisis, al menos para pases como los Estados Unidos. Es posible producir
evaluaciones metodolgicamente relevantes y tiles en cuanto a su operacionalizacin para un amplio margen de
programas de desarrollo. Rossi y Wright (1984:3320 concluyeron lo siguiente en una investigacin de desarrollo:
El campo de la investigacin sobre la evaluacin est comenzando a alcanzar niveles ms altos de logro
intelectual, es decir, coincide con las publicaciones de las mejores investigaciones sobre evaluacin de las
dcadas prsperas. El desarrollo en las tcnicas y en la metodologa parecen prometer elevar la calidad no
solo de las evaluaciones sino tambin de otras reas de investigacin social. Los evaluadores han aprendido
cmo conducir experimentos de campo en forma exitosa y como analizar los datos obtenidos, as como
tambin han comenzado a brindar soluciones a algunos de los ms serios problemas de validez de las
investigaciones no experimentales.

Quizs cerca de 100 pases en vas de desarrollo llevan a cabo algn tipo de seguimiento y evaluacin. Tales
actividades van desde sistemas de evaluacin nacional en pases como India y Malasia hasta el monitoreo bsico
de ciertos proyectos en muchos pases de Africa y el Medio Oriente. Los sistemas nacionales en Sur Asia (Ver tabla
1-1) tienen una agencia central o ms, responsable por la coordinacin y sntesis de los datos monitoreados (y de
los evaluados aunque son menos frecuentes), los cuales son tomados de los principales proyectos (Amhed y
Bamberger 1989; Khan 1989). Muchos de estos pases tambin estn desarrollando redes nacionales de SyE para
aumentar su capacidad de recoleccin de datos y anlisis.

Mucho del mpetu original detrs del esfuerzo hacia el monitoreo y evaluacin en pases en desarrollo vino de las
organizaciones de ayuda internacionales, la mayora de las cuales requieren al SyE como parte de sus proyectos.
La Organization for Economic Co-operation and Development (OECD 1986) ha estimado que una agencia donante
promedio conduce de 10 a 30 evaluaciones al ao mientras que USAID y el Banco Mundial conducen cerca de 250
al ao (Baum y Tolber 1985). Las agencias internacionales han tenido un efecto tanto positivo como negativo en la
forma en que los sistemas de SyE han evolucionado y son usados en pases en desarrollo.

Tabla 1-1 Organizacin y Funciones de las Agencias Centrales de Monitoreo y Evaluacin en Sur Asia (a Dic 1997)
Bangladesh

La Divisin de la Implementaron, Seguimiento y Evaluacin (IMED por sus siglas en ingles) se

estableci en 1984 bajo la Comisin de Planeamiento como el sucesor de una Unidad anterior. Es
responsable por el monitoreo fsico y financiero de todos los proyectos de desarrollo y
retroalimentacin para dirigir a los ministerios. Se centra en el monitoreo de la implementacin. Las
empresas pblicas estn monitoreadas por otra agencia.

India

La Project Monitoring Division del Ministerio de Implementacin de Programas (MOPI por sus siglas
en ingls) se estableci en 1985 para monitorear megaproyectos (con costos superiores a los 200
millones de rupias) as como tambin el programa del primer ministro sobre erradicacin de la
pobreza. El Management Information Division y otras de la comisin de planeamiento monitorean
todos los proyectos patrocinados. El Programme Evaluation Organization de la Comisin de
Planeamiento evala los programas sociales.

Nepal

El Programme Division de la Comisin Nacional de Planeamiento monitorea los proyectos

importantes a nivel nacional. El Program Budgeting and Motitoring Cell del Ministerio de Economa
prueba los sistemas que pueden usarse para monitorear tanto el progreso fsico y financiero de
todos los proyectos principales.

Pakistn

El Project Wing de la Comisin Nacional de Planeamiento mantiene su mirada en el progreso

financiero y fsico de los proyectos nacionales promovidos por el Programa Nacional de Desarrollo y

monitorea muy de cerca de ciertos proyectos seleccionados. Las empresas pblicas de

manufactura son monitoreados a travs de un sistema de evaluacin de desempeo del
ExpertsAdvisory Cell del Ministerio de Produccin. La Auditor Generals Office est desarrollando
un sistema de evaluacin de desempeo.
Sri Lanka

La Progress Control Division del Ministerio de Implementacin de Planes ha sido responsable

desde 1986 por el monitoreo de cerca de 140 proyectos y programas y por desarrollar indicadores
de progreso fsico. Ciertos programas ms importantes como el Mahaweli Irrigation Authority tienen
su propio sistema de SyE.

Un pequeo pero creciente nmero de pases han comenzado a usar SyE para el control de sus proyectos,
planeamiento financiero y anlisis de polticas (estos pases incluyen a Chile, Colombia, Brasil, India y Malasia). El
Banco Mundial, entre otros, est ayudando a los pases seleccionados a desarrollar esta capacidad a travs de su
Evaluation Capability Development Program (World Bank 1991:12). Sin embargo, la OECD concluye que, con
excepcin de un pequeo nmero de pases, el inters en la evaluacin tiende a ser ms fuerte entre aquellos que
buscan recursos que entre aquellos que los usan.
Cuando se aplica de manera apropiada, la informacin obtenida en los estudios SyE puede resultar til, en al
menos en cuatro formas, para los gerentes y hacedores de poltica. Primero, puede ayudar a un pas a desarrollar
mtodos para identificar y seleccionar proyectos y programas, asegurando que tales esfuerzos sern consistentes
con los objetivos nacionales de desarrollo, que tendrn una buena posibilidad de xito y que se utilizara la mejor
estrategia de costo-efectividad para lograr los objetivos. En segundo lugar, los estudios SyE pueden determinar si
el proyecto est siendo implementado de forma eficiente; si ofrece respuesta a las preocupaciones de los
beneficiarios. Asimismo, se detectar los problemas potenciales tan pronto como sea posible, para corregirlos. En
tercer lugar, el SyE mide si los proyectos y programas estn logrando sus objetivos econmicos y sociales y si
estn contribuyendo a los objetivos nacionales y sectoriales de desarrollo. Por ltimo, los estudios evaluativos,
pueden determinar el impacto de los proyectos en el marco de objetivos ms amplios de desarrollo tales como: la
proteccin del medio ambiente y el manejo de los recursos naturales; el alivio a la pobreza y la provisin, a las
mujeres, de participacin econmica, social y poltica en todos los aspectos del desarrollo. Los ejemplos dados a lo
largo de este libro, ilustran cmo los estudios de SyE se usan en pases en desarrollo en sectores sociales distintos
y en varias regiones geogrficas.
A pesar el creciente nfasis en sistemas nacionales de SyE, el foco en estudios en este campo, tiende a ser
limitado. Asimismo, en la mayora de los pases en desarrollo, la informacin es sub-utilizada y la contribucin al
manejo del proyecto y planeamiento nacional de desarrollo resulta limitada. Una gran porcin de recursos del SyE
se destinan al monitoreo de la implementacin fsica y financiera de grandes proyectos, en tanto que se presta poca
atencin a valorar la sostenibilidad de los mismos; la calidad de los proyectos de desarrollo social; la distribucin de
los beneficios del proyecto entre varios grupos socioeconmicos y regiones geogrficas; la medida en que los
proyectos han alcanzado los impactos previstos; y los efectos que las estrategias de desarrollo han tenido en el
medio ambiente. Asimismo, tampoco se han aplicado, en otros pases, los aportes que sobre metodologas de
evaluacin se han alcanzado en los Estados Unidos. La seccin F descubre algunos de los problemas
organizacionales, gerenciales y metodolgicos que afectan el diseo, la implementacin y uso del seguimiento y de
la evaluacin en los pases en desarrollo.

El estado actual de la evaluacin de programas sociales

Tal y como se mencion anteriormente, los programas sociales se entienden como el amplio rango de programas
diseados para mejorar la calidad de vida por medio del mejoramiento de la capacidad de los ciudadanos para
participar, plenamente, en actividades sociales, econmicas y polticas, tanto a nivel local como nacional. Los
programas se pueden poner el foco en mejorar la condicin fsica (salud, nutricin); proveer acceso a servicios
(vivienda, agua, transporte); proteger a los grupos ms vulnerables de las adversidades provenientes de reformas
econmicas y ajustes estructurales; proveer educacin, alfabetismo, empleo y oportunidades para la generacin de
ingresos (entrenamiento vocacional y tcnico, crdito, desarrollo rural integrado, pequea empresa).

Otros programas pueden focalizarse directamente en "empoderamiento" por medio del fortalecimiento de
organizaciones comunales, motivacin de las mujeres para su participacin en actividades de desarrollo o en el
alivio de la pobreza.
Las agencias de desarrollo difieren en su percepcin de la naturaleza y de los objetivos de los programas sociales y
de como stos se comparan con los programas convencionales de inversin de capital. Esta diferenciacin en las
perspectivas, determina como la evaluacin de programas sociales es enfocada.
Por ejemplo, algunas agencias donantes consideran la salud y la educacin como una inversin en capital humano
y evalan ex - ante, disean y monitorean tales proyectos casi de la misma manera como manejan un proyecto de
inversin de capital. Tales agencias asumen que ciertos aspectos definidos con precisin por medio de una
metodologa particular de implementacin, producirn resultados predeterminados que generarn mejoras medibles
en indicadores de capital humano como: logros educacionales; ganancias en el mercado laboral; tasas de
mortalidad, etc. Un proyecto educacional sera evaluado ex -ante, con base en su tasa interna de retorno y tendra
un cronograma de implementacin fcil de monitorear. Este mismo enfoque podra usarse para un proyecto en
salud, aunque su evaluacin ex - ante se hara tal vez usando un anlisis de costo-efectividad antes que la tasa
interna de retorno. Sin embargo, tal y como se discuti en el captulo 4, en slo un pequeo nmero de casos, son
definidos y usados, con claridad, lo indicadores de resultados e impactos en proyectos de educacin y salud. La
evaluacin tiende a concentrrsenos en los insumos o en los posibles resultados fsicos.
Un segundo enfoque adoptado por muchos gobiernos, por agencias de las Naciones Unidas, organizaciones
bilaterales y organizaciones no gubernamentales (ONGs) se basa en el concepto de que los rubros como
alfabetismo, salud primaria, vivienda y agua potable, son derechos humanos bsicos que no requieren de
justificaciones econmicas. Las evaluaciones, si se conducen, tienden a enfocarse en el costo-efectividad de los
sistemas de distribucin y en el acceso a estos servicios por parte de los grupos meta. Evaluaciones rigurosas,
sobre los impactos, son raramente llevadas a cabo porque los programas no estn justificados con base en un
impacto econmico determinado.
Los enfoques arriba citados son supply-driven, lo cual quiere decir que el gobierno o el donante decide qu
servicios debe recibir la poblacin y cules son sus necesidades bsicas.
Un tercer enfoque adoptado por muchas ONGs, donantes bilaterales, UNICEF y recientemente por el Banco
Mundial, se basa en que el objetivo principal del desarrollo social debiera ser el de apoyar a comunidades indgenas
o grupos no privilegiados (como mujeres, campesinos sin tierras, personas sin hogar) a desarrollar la capacidad de
organizacin y el conocimiento requerido para identificar y satisfacer sus propias necesidades.
Los objetivos de muchos proyectos sociales y programas involucran aspectos como: el desarrollo de
capacidades locales sostenibles; la promocin de la participacin; la concientizacin y la motivacin de
estrategias de auto-ayuda. Cmo se pueden medir estos objetivos? Cules son los propsitos de evaluar este
tipo de proyectos? Son acaso las evaluaciones de estos proyectos diferentes de la de aquellos proyectos ms
convencionales?
En tanto estamos frente a estrategias de desarrollo que son diferentes de aquellas que enfatizan la produccin,
se requieren de nuevas tcnicas y mtodos de evaluacin. Estamos frente a un marco cambiante de relaciones
entre actores que estn involucrados en los procesos de desarrollo. Asimismo, frente a un ambiente social y
cientfico cambiante, en donde las ideas ortodoxas, asociadas con los principios de desarrollo econmico
liberal del Norte, ya no pueden ser sostenidas. Se estn negociando nuevas formas para analizar el valor, y
nuevas metodologas que permitan entender (de forma mas apropiada) la efectividad de las intervenciones en
nombre del desarrollo social (Marsden y Oackley 199:1-2)

Dada la gran diversidad de programas de desarrollo social y la amplia gama de objetivos y de orientaciones
sociales y polticas de las organizaciones involucradas, no existe una forma estndar de evaluar los programas
mencionados arriba. Cierta flexibilidad ser siempre deseable. Esta emergiendo un numero considerable de
nuevos preceptos y aunque algunos han desatado controversia, rpidamente estn ganando apoyo. A estos se les
brinda una mayor atencin en este libro.
En primer lugar, muchas autoridades reconocen que los principales actores, en particular los supuestos
beneficiarios (as como tambin grupos que pueden verse afectados como resultado del proyecto) deben estar
activamente involucrados en la identificacin, seguimiento y evaluacin del proyecto. Las metodologas de

Beneficiary assessment (evaluacin del beneficiario) usadas desde hace mucho tiempo por ONGs, estn siendo
ahora adoptadas por agencias internacionales (Salmen 1987, 1992).
La metodologa de beneficiary assessment es una herramienta gerencial orientada a mejorar la calidad de las
operaciones de desarrollo. Este es un enfoque para la recoleccin de informacin, el cual estudia el valor de
una actividad tal y como es percibida por sus principales usuarios. El enfoque es cualitativo en tanto que
derivar el anlisis sobre la base de una experiencia compartida y de observacin. Asimismo, otorga prioridad
al punto de vista de las otras personas. En tanto que el Banco Mundial y otras agencias comprometidas en
desarrollo, buscan mejorar sus intervenciones, un indicador clave ser cmo el cliente meta o supuesto
beneficiario percibe el valor de su trabajo, proyecto o poltica, en relacin a como su vida es afectada. La
iluminacin de este cliente/usuario, a travs de sus apreciaciones, es el objetivo primario del benericiary
assessment (Salmen 1992:1)

Hasta hace poco, el beneficiary assessment se diriga, principalmente, a los beneficiarios de bajos ingresos. Sin
embargo, en la actualidad, estos mtodos se estn usando para entender mejor las perspectivas de otros grupos de
inters como agencias gubernamentales y proveedores de servicios privados. La evaluacin del impacto ambiental,
es probablemente el rea en donde las opiniones de todos loa actores se encuentran sistemticamente
entrelazadas.
En segundo lugar, la evaluacin de impacto social (llamada tambin anlisis social) se usa antes del inicio o
durante la implementacin de los proyectos, para evaluar como los diferentes grupos sociales y econmicos sern
afectados por el proyecto o el programa (Asian Development Bank 1991; Ingersol 1990). Una de las reas en las
que se ha incrementado el uso de la evaluacin de impacto social, es en el anlisis del gnero (Asian Development
Bank 1991; Maya Tech Corporation 1991; Overholt y otros 1985). Muchas agencias multilaterales y bilaterales
actualmente demandan anlisis de gnero y algunas veces anlisis mayores de impacto social. Esto como parte de
las actividades de programacin, o como parte del proceso de aprobacin del proyecto.
En tercer lugar, se han hecho esfuerzos para fortalecer el uso de mtodos cualitativos en la evaluacin de
programas internacionales de desarrollo y; por lo tanto para romper con los enfoques convencionales de evaluacin
basados en indicadores cuantitativos. Aunque ya se evidencian avances significativos, an no se han resuelto las
diferencias entre los defensores de ambos enfoques. Como resultado, pocos han sido los estudios de evaluacin
que han logrado integrar ambos enfoques. An queda mucho trabajo por hacer para lograr que los operadores de
proyectos que emplean evaluaciones convencionales cuantitativas, acepten mtodos cualitativos.
En cuarto lugar, se evidencia un creciente inters en procedimientos de evaluacin rpidos (tambin conocidos
como Rapid Social Assessment o Rapid Rural Appraisal), los cuales son ms costo efectivos que la mayora de
los otros mtodos. Asimismo, ms correspondientes con los ambientes socioculturales de los proyectos (Kumar)
En quinto lugar, existe presin por evaluaciones ms "holsticas" que hagan posible entender la compleja
interaccin entre un proyecto y el medio ambiente social, cultural, poltico y econmico en el que esta inserto
(Marsden y Oakley 1990)
Aunque ya se han logrado avances en estas reas, la evaluacin de los programas sociales no se ha integrado
totalmente dentro de los sistemas SyE desarrollados en la mayora de los pases en desarrollo. Al mismo tiempo sin
embargo, las ONGs estn desempeando un papel muy importante en la ejecucin y evaluacin de programas
sociales. Muchos creen que las ONGs pueden contribuir a una perspectiva de evaluacin con un mayor nfasis en
enfoques holsticos y mtodos cualitativos (ACVAFS 1983; Marsden y Oakley 1990). Sin embargo, estos nuevos
enfoques han tenido hasta ahora muy poco impacto sobre la forma en que los gobiernos y las agencias
internacionales evalan los programas sociales. Por estas razones, las metodologas y sistemas para evaluar
programas sociales no se han desarrollado en el mismo grado o tan sistemticamente como los llamados mtodos
convencionales de evaluacin.

Un marco de trabajo para el monitoreo y evaluacin para pases en desarrollo

Esta seccin presenta un marco de trabajo para describir varios mtodos de monitoreo y evaluacin en pases en
desarrollo. Las definiciones que se usarn, son consistentes con la mayora de las principales publicaciones
existentes en este campo. Se indica, asimismo, las pocas reas en las que se difiere de las fuentes bibliogrficas.
Tambin se establece como stas difieren entre ellas mismas. En tales casos la opinin divergente se presenta al
pie de pgina. Las fuentes principales usadas en esta comparacin son Casley y Kumar (1987), United Nations
ACC Task Force on Rural Development (1984), Rossi y Freeman (1993) y OECD (1986).
El seguimiento es una actividad gerencial interna, cuyo propsito es determinar si los programas han sido
implementados tal y como fueron diseados. En otras palabras, busca determinar si los recursos han sido
movilizados segn lo planeado y si los servicios o productos fueron entregados a tiempo. Nos referimos al primero
como monitoreo de insumos (input monitoring) y al segundo como monitoreo de resultados (output monitoring). En
palabras ms formales, el seguimiento es
Una actividad gerencial permanente e interna cuyo propsito es asegurar que el programa logre sus objetivos
dentro de un cierto cronograma y presupuesto. El seguimiento implica la provisin de una retroalimentacin
continua y regular sobre el progreso en la implementacin del programa y sobre los problemas ocurridos
durante esta etapa. El seguimiento incluye en actividades operacionales y administrativas que dan
seguimiento a la adquisicin y distribucin de los recursos, produccin o entrega de servicios y rcords de
costos.

En contraste, la evaluacin puede ser llevada a cabo, dentro de la agencia de implementacin del proyecto o por
una organizacin externa. La evaluacin puede ser utilizada para evaluar y mejorar el desempeo de proyectos o
programas ya concluidos ( evaluacin del impacto y evaluacin de la eficiencia). Con la finalidad de evaluar la
pertinencia de mtodos de diseo e implementacin, la informacin es recolectada durante la implementacion del
proyecto (por medio de estudios de diagnstico o evaluaciones de procesos). Los estudios de diagnstico se basan
en el seguimiento de un problema real o potencial que ha sido identificado por el seguimiento de insumos o de
resultados. Por ejemplo, el gerente puede requerir un estudio de diagnstico cuando un reporte de seguimiento ha
mostrado que pese a lo previsto, solo un pequeo nmero de familias solicitan viviendas; que existe un porcentaje
menor de mujeres que de hombres asistiendo a una nueva escuela primaria; o que la tasa de retorno de los
crditos es muy baja. Los resultados de un programa se miden por el grado en que logra sus objetivos, por otros
impactos que produce, por el costo-beneficio y por sus productos. Asimismo, por los problemas ocasionados por la
mala calidad de la implementacin, por no haber alcanzado los objetivos propuestos.
Podemos entonces definir evaluacin como una actividad gerencial interna o externa que tiene como propsito
asegurar la pertinencia del diseo de un programa de sus mtodos de implementacin para lograr tanto
objetivos especficos como generales. Asimismo, para evaluar los resultados del programa, previstos como no
previstos y para analizar los factores que afectan el nivel y la distribucin de los beneficios producidos

Surge una pregunta importante concerniente a la relacin seguimiento y evaluacin. Aunque es costumbre referirse
a los dos juntos (como en el trmino SyE) muchas agencias de ayuda y de implementacin de proyectos los
perciben como actividades distintas conducidas por agencias separadas y con objetivos tambin diferenciados.
Casley y Kumar (1987:8) apoyan esta divisin:
Son el seguimiento y la evaluacin funciones diferentes, que sirven a usuarios distintos como para que sean
consideradas independientes? La respuesta a esta pregunta, a la luz de las definiciones dadas, es positiva. De aqu
que no aprobemos el uso del acrnimo universal S&E ya que implica que estamos trabajando con una sola
funcin.
Cuando las dos funciones se mantienen por separado, sin embargo, pareciera que hubiera apoyo suficiente para el
seguimiento pero un apoyo limitado para la evaluacin. La evaluacin se le da mucha menos prioridad porque es
vista como una actividad que sera recomendable apoyar siempre y cuando el tiempo y los recursos lo permitan, lo
cual, desafortunadamente, ocurre muy raras veces. Como resultado, se han hecho muy pocos esfuerzos por
evaluar hasta qu punto los proyectos han logrado sus objetivos o usado la experiencia de otros proyectos
concluidos para mejorar la seleccin y diseo de otros futuros.

En contraste con el planeamiento anterior, la mayora de la literatura sobre evaluacin en los Estados Unidos
asume el seguimiento y la evaluacin como ntimamente relacionados y con frecuencia se usa el trmino
evaluacin de programas para referirse tanto al seguimiento como a la evaluacin, como en el trabajo de Hatry,
Winnie y Fisk (1981:4): La evaluacin de programas es el examen sistemtico de un programa gubernamental
especfico, orientado a proveer informacin sobre todo el rango de efectos producidos, tanto de corto como largo
plazo. Aun cuando la evaluacin de un programa puede incluir medida sobre volmenes de trabajo, procedimientos
operativos o personal, su nfasis principal est en la medicin del impacto del programa. Esta opinin tambin la
comparten Morris y Fitz-Gibbon (1978), Rossi y Reeman (1993) y Wholey (1979). En los Estados Unidos, algunas
organizaciones como el General Accounting Office (Chelimsky 1987,1988) alientan la integracin del seguimiento y
de la evaluacin por medio de la creacin de bancos de datos de ambos campos, para la evaluacin de impactos
potenciales sobre programas nuevos (evaluacin prospectiva)
En estudios sobre pases en desarrollo, Freeman, Rossi y Wright (1979) usan el trmino seguimiento y evaluacin
de proyectos" para enfatizar los vnculos entre ambos campos. Middleton, Terry y Bloch (1989:38) buscan integrar
ambos sistemas con una capacidad central y con fuertes vnculos verticales para mediar entre unidades
administrativas y escuelas. EL grupo de trabajo, ACC Task Force de la NNUU (1984) tambin promueve un
sistema integrado como se refleja en su constante uso del acrnimo S&E.
De la misma manera, creemos que el monitoreo y la evaluacin deben considerarse partes complementarias de un
sistema integrado. La evaluacin tiene mucho que ver tanto con las lecciones derivadas de la implementacin del
proyecto como con el nivel de los impactos logrados. Consecuentemente, la evaluacin debe llevarse a cabo tanto
en forma continua como peridica, desde la formulacin del proyecto, hasta la implementacin y la fase operativa.
Asimismo, el seguimiento alimenta el sistema nacional de SyE para lograr una base de datos nacional que pueda
ser usada para mejorar la seleccin y diseo de futuros proyectos.
Por lo tanto el acrnimo SyE es utilizado a lo largo de este libro, excepto en los casos en que sea necesario
referirse especficamente o al seguimiento o la evaluacin.
Estamos conscientes, por supuesto, que las limitaciones en los recursos fuerzan a muchos pases a concentrarse
en el seguimiento de los proyectos y frente a prohibitivas evaluaciones sistemticas. Pero, tambin hay muchos
pases en donde se rechaza la evaluacin, no por limitaciones de recursos sino porque sta es poco entendida. Tal
y como se plantea en este libro hay mtodos simples y econmicos ahora disponibles para evaluar impactos de los
proyectos y muchos de estos mtodos pueden usarse en pases con un limitado expertizaje en evaluacin o
escasos recursos financieros.

El seguimiento y la evaluacin al nivel de proyecto

Los estudios de monitoreo y evaluacin pueden ser conducidos al nivel de proyecto, sectorial, o nacional. Esta
seccin discute los usos de S/E en el mbito de proyecto. Las aplicaciones en los niveles sectoriales y nacionales
se discuten en los captulos 2,4,6,8 y 12.
Baum y Tolber (1983:333 definen un proyecto como un paquete discreto de inversiones, polticas, instituciones y
otras acciones, diseados para lograr un objetivo especfico de desarrollo (o un conjunto de objetivos) dentro de un
perodo determinado. Aunque esta definicin es satisfactoria para los proyectos de inversin y de desarrollo
econmico, es menos adecuada para la mayor parte de proyectos sociales y programas. En el caso de programas
sociales, los objetivos deben ser definidos, al menos parcialmente por los beneficiarios a medida que el proyecto
evoluciona. Debido a esto y dependiendo del perodo en el que el proyecto o programa ser implementado, se
requerir de mucho mayor flexibilidad.
El concepto de proyecto ha evolucionado desde las actividades de las agencias internacionales y de su
preocupacin de que su ayuda financiera sea usada para lograr objetivos especficos y monitoreables, dentro de un
cierto tiempo dado.
Los proyectos generalmente pasan por siete etapas (ver figura 1-1) y los sistemas de S/E debern proveer la
informacin que los encargados del proyecto, implementadores y gerentes requieren en cada etapa. Asimismo
debern ayudar a determinar si un proyecto ha sido implementado segn lo planeado, qu problemas deben
resolverse, qu impactos previstos o imprevistos han ocurrido; y qu lecciones pueden ser aprendidas para la
seleccin y diseo de futuros proyectos (ver captulo 2)

Etapa 1: Identificacin y preparacin

Antes de que los proyectos sean identificados, los gobiernos con frecuencia en conjunto con agencias
internacionales- definen sus estrategias de desarrollo nacional y sectorial. Algunos pases preparan planes a cinco
aos plazo, mientras otros lo hacen a ms corto plazo. En muchos pases la estrategia de largo plazo es
equivalente a planes de desarrollo anual (ADP) por sus siglas en ingls). Estas estrategias y planes proyectan los
recursos nacionales e internacionales que se requieren para nuevos proyectos de desarrollo, analizan la
disponibilidad de estos recursos e identifican prioridades sectoriales.
Figura 1-1 El ciclo de manejo de un proyecto

Identificacin y preparacin

Evaluacin exante, seleccin y negociacin

Planeamiento y diseo

Implementacin

Evaluacin de la implementacin y
transicin hacia las operaciones

Manejo de las operaciones y estrategias

de sostenibilidad.

Identificacin de un nuevo proyecto

Debe hacerse una valoracin preliminar de cada uno de los proyectos para determinar su potencial viabilidad. Esto
sobre la base de criterios econmicos, financieros, tcnicos, institucionales, sociales, de pobreza, medio ambiente
y de gnero (ver lista de chequeo en el captulo 2, cuadro 2-3).
Etapa 2: Evaluacin exante, seleccin y negociacin del proyecto
Esta etapa evala la factibilidad econmica, financiera y tcnica del proyecto. Muchas agencias de cooperacin
conducen anlisis econmicos (ver captulo 2) y calculan la tasa interna de retorno (TIR) para determinar si el
proyecto alcanzar una TIR mnima aceptable en relacin con los recursos invertidos (Gittinger 1982:314)

Los mtodos convencionales de evaluacin exante generalmente sufren variaciones para su aplicacin en
programas sociales. Los anlisis de gnero, evaluaciones de impacto social y de impacto ambiental se encuentran
dentro de os nuevos enfoques analticos que se discuten en este libro.

Etapa 3: Planeamiento y diseo del proyecto

Una vez que el proyecto ha sido aprobado, la atencin recae en el planeamiento y el diseo. En esta etapa se
desarrollan seis actividades.
En primer lugar, se recoge informacin para definir la poblacin meta, Segundo, se identifican los problemas que
el proyecto resolver o aliviar. Tercero, se formulan los propsitos y objetivos del proyecto. Los propsitos se
refieren al cambio social que se espera lograr. Por ejemplo, un propsito de la Organizacin Panamericana de la
Salud era erradicar la polio del hemisferio occidental en 1991. Los objetivos se refieren a la magnitud de los
resultados esperados por determinado proyecto, expresados en trminos cuantitativos. Siguiendo con el ejemplo
anterior, un objetivo de la OPS sera brindar tres dosis de vacuna contra la polio al 80% de los nios en Hait,
durante su primer ao de vida. En cuarto lugar, se toman decisiones acerca de la duracin y secuencia de cada
etapa. Quinto, se seleccionan los mtodos ms eficientes de formulacin y entrega de servicios, y por ltimo, se
recoge informacin adicional para formular un modelo de programa que sea capaz de producir el cambio social
deseado en la poblacin meta.
Ya sea en forma explcita o no, cada proyecto incluye supuestos acerca de: i) las formas en las que la poblacin
meta responder al mismo, ii) la efectividad relativa de diferentes mtodos de implementacin, iii) las formas en
que el proyecto puede afectar y verse afectado por el medio ambiente social, econmico y poltico bajo el que
opera. Para disear e implementar un programa de seguimiento y evaluacin, el evaluador debe trabajar en
conjunto con los diseadores del programa y los gerentes para desarrollar, las expectativas y supuestos del
proyecto dentro de un modelo esperado. Esto incluye, entre otras cosas, cmo se prev la evolucin del proyecto y
cmo ser afectado por el medio ambiente social, econmico y poltico en el que opera y cmo los presuntos
beneficiarios respondern al mismo. Este modelo se discute en el captulo 3.
Para efectos prcticos, se puede definir un modelo como una intervencin planificada, basada en teoras
explcitas, acerca de cmo lograr cambios sociales o reformas y por qu debieron esperarse tales cambios. Un
modelo de un programa social debera explicitar cmo es que distintos insumos conducirn a determinados
impactos. Por lo tanto, un modelo es una hiptesis probable acerca de si un proyecto ser rechazado o
reivindicado.

Etapa 4: La implementacin del proyecto

De acuerdo con Baum y Tolbert (1985:834), la etapa de implementacin cubre el desarrollo del proyecto, hasta el
momento en que ste se operacionaliza por completo. Incluye el seguimiento de todos los aspectos de los trabajos
de las actividades en desarrollo; y la supervisin de stas por parte de agencias nacionales especiales o donantes
externos.
En el caso de muchos proyectos, lo anterior se traduce en la construccin de infraestructura fsica (caminos,
sistema s de irrigacin, escuelas) y la adquisicin de plantas y equipos. Para otros, involucra capacitacin, diseo y
evaluacin de programas educacionales experimentales, asimismo como el desarrollo de sistemas de salud y
programas de crdito. La implementacin del proyecto involucra un cierto nmero de fases, actividades y
decisiones:

Se deban tomar decisiones con respecto a la organizacin del proyecto, la agencia que lo dirigir, la institucin
que lo ejecutar, otros organismos involucrados y los sistemas de coordinacin del mismo. Otra decisin
importante se refiere a la participacin de los beneficiarios del proyecto en el planeamiento, implementacin y
manejo del mismo.

Los recursos financieros, materiales y humanos requeridos para el proyecto debern ser adquiridos y
movilizados. Debido a que los procedimientos para las adquisiciones y para la contratacin de asistencia
tcnica que son complejos y probablemente extraos para los prestatarios, esta fase tiende a devenir en
excesos en los costos y demoras que pueden afectar la calidad y mantenimiento del equipo

Se deben construir edificaciones e instalar los equipos

Se deben seleccionar e implementar los mtodos ms efectivos de entrega de servicios

Se debe supervisar la implementacin fsica y la entrega de servicios. Asimismo se debe establecer un sistema
de control financiero para todos los aspectos de la implementacin del proyecto.

La figura 1-2 muestra una forma simplificada de un modelo de implementacin del proyecto. Indica tambin los
componentes principales a tener en cuenta durante el seguimiento y la evaluacin de insumos, estrategias,
resultados e impactos. Para los propsitos del seguimiento y evaluacin, es conveniente utilizar una definicin
simple de lo que es la implementacin de un proyecto:

La implementacin se refiere a la transformacin de insumos a travs de una serie de sistemas tcnicos y

organizacionales y de procedimientos que producen un volumen y calidad especficos en los resultados del
proyecto.

Figura 1-2 Modelo simplificado del proceso de implementacin del proyecto.

Insumos

Estrategias

Resultados
Impactos

Tabla 1-2 Contexto en que el seguimiento de insumos y resultados ocurre

Preguntas en la mente de los clientes

Estn los recursos financieros a tiempo? Cul es la causa de los atrasos?

Se ajustando el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto?

Cul es la causa los atrasos y de los costos adicionales?

Qu problemas se presentan en la contratacin, capacitacin y retencin del personal?

Cmo es que los retrasos en la implementacin afectan los desembolsos externos?

Tipos de estudios

Grficos Gantt

Marco lgico

Sistemas en red para el seguimiento fsico y financiero

Oportunidad de los estudios

Reportes mensuales o trimestrales, desde el inicio hasta el final de la implementacin

Modo de empleo de los estudios

Los reportes de avance son discutidos en reuniones de evaluacin. Se discuten e identifican los
retrasos, costos adicionales y se identifican problemas afines.

10

Pueden requerirse estudios de seguimiento si las razones de los retrasos no estn claras

La informacin se enva a agencias centrales y financieras en donde es agregada a otros reportes para
brindar un panorama global de la condicin de todos (o de los principales) proyectos de desarrollo

Los insumos son los recursos financieros, humanos y materiales disponibles para implementar el
proyecto segn lo planeado

Los resultados son los servicios o productos que un proyecto entrega a una poblacin meta para
producir los impactos esperados.

La tabla 1-2 indica el contexto en que los estudios de S/E de insumos y de resultados se llevan a cabo. Las
siguientes son algunas preguntas que los clientes pueden formular: Estn los recursos financieros a
tiempo? Se ajusta el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto?
Existen excesos en los costos? .Cuando los proyectos cuentan con recursos externos, es probable que los
ministerios quieran saber en qu forma los retrasos afectarn los desembolsos futuros.

Los informes de seguimiento son discutidos en reuniones gerenciales. En stas se presta atencin a los retrasos,
costos adicionales y otros tipos de problemas. Los estudios de seguimiento non para obtener retroalimentacin
sobre las causas y posibles soluciones a problemas identificados.
La tabla 1-3 indica el contexto en el que se llevan a cabo los estudios de diagnstico.

Tabla 1-3 Contexto en que se llevan a cabo los estudios de diagnstico

Preguntas en la mente de los clientes

Cmo reaccionaran los beneficiarios al proyecto propuesto y a sus distintos componentes?

Por qu ciertos componentes del proyecto se encuentran atrasados o incurren en costos adicionales?

Por qu se presentan grandes diferencias entre comunidades en los intereses sobre los prstamos y en los
cargos por servicios?

Qu impactos tiene el proyecto en distintos grupos? Quin se beneficia y quien no? Han resultado algunos
grupos afectados como consecuencia del proyecto?

Tipos de estudios

Observacin participante

Encuestas rpidas

Observacin directa

Entrevistas con informantes clave

Oportunidad de los estudios

Durante la identificacin y diseo del proyecto

Durante la implementacin, cuando los problemas han sido identificados por los reportes de seguimiento

Estudios continuos para proveer constante retroalimentacin sobre la actitud de los beneficiarios

11

Estudios ad hoc llevados acabo cada vez que la gerencia requiera un mayor entendimiento sobre determinados
aspectos del proyecto.

Modo de empleo de los estudios

Durante la identificacin del proyecto, los estudios ayudan a identificar componentes y servicios de inters para
los beneficiarios. As como tambin las comunidades que respondan favorablemente al proyecto.

Durante la implementacin se examinan los problemas y se recomiendan soluciones. Se obtiene una constante
retroalimentacin de los beneficiarios y se hacen ajustes en la implementacin y en la entrega de servicio del
proyecto. Se obtiene asimismo, retroalimentacin sobre grupos dejados por fuera o afectados en forma
negativa, y se procede a hacer los ajustes necesarios.

Etapa 5: La evaluacin de la implementacin del proyecto y la transicin a las operaciones

Una vez completada la implementacin del proyecto, la mayora de las agencias donantes y las de los gobiernos
piden un reporte final que describa y evale cada uno de sus componentes. En este punto se toman decisiones
sobre se manejar la fase operativa del proyecto. La evaluacin ayuda a las autoridades a decidir cmo es que la
la operacionalizacin del proyecto ser manejada. Idealmente, la transicin a las operaciones deber haber sido
planeada al inicio del proyecto. Pero tal y como se explic en el captulo 6, a esta fase se le presta muy poca
atencin hasta el momento en que la etapa de implementacin est a punto de finalizar.
La tabla 1-4 muestra el contexto en que los estudios son conducidos para evaluar la eficiencia con la que
los resultados e impactos son producidos.
Los resultados de los estudios se usan para seleccionar nuevos proyectos y para determinar cmo los
beneficios son distribuidos entre los diferentes grupos socioeconmicos.

Etapa 6: Manejo del proyecto, operacionalidad y sostenibilidad

Luego de la implementacin, el proyecto puede continuar como una actividad independiente o puede ser absorbida
por las operaciones generales del ministerio o agencia responsable. Si el proyecto cumple con los estndares de
sostenibilidad (ver captulo 6), se harn arreglos organizacionales y financieros para continuar con la entrega de
servicios; para asegurar que la infraestructura, planta y equipo tendrn mantenimiento regular y para brindar
asistencia tcnica a las agencias y organizaciones formales e informales involucradas en el proyecto. Como se
discuti en le captulo 6, muchos proyectos no son capaces de mantenerse operando porque no pusieron atencin
a la sostenibilidad del mismo.
A travs de su continua operacin, se espera que el proyecto produzca uno o ms impactos (o resultados).
Un impacto se define como el efecto (o efectos) esperado sobre cierta poblacin meta. Los impactos pueden ser
clasificados como de corto o largo plazo, dependiendo de cundo ocurren y cunto duran. Asimismo, se pueden
clasificar en intermedios y finales, (dependiendo de los objetivos) o, en previstos y no previstos.

Tabla 1-4 El Contexto en el que los estudios para evaluar la eficiencia del proyecto sobre los resultados e
impactos, se conducen

Preguntas en la mente de los clientes

Cunto cuesta producir cada resultado del programa?

Existen otras formas de producir los mismos resultados en forma ms econmica?

Cmo afectara al costo-efectividad del proyecto una replicacin del mismo a larga escala?

Podran los resultados haber tenido un mayor impacto si se hubieran invertido en un proyecto distinto?

12

Cmo se distribuyen los beneficios de proyecto entre distintos grupos geogrficos y sociales?

Tipos de estudios

Estudios de costo-efectividad

Estudios de costo-beneficio (anlisis econmico)

Oportunidad de los estudios

Durante la identificacin y evaluacin exante del proyecto con el fin de determinar los costos y beneficios de
proyectos alternativos.

Durante la preparacin del reporte de finalizacin del proyecto

Cuando el proyecto ha estado en operacin por varios aos, con el fin de re-evaluar la tasa econmica de
retorno como un indicador de sostenibilidad del proyecto.

Modo de empleo de los estudios

Ayudar en la seleccin de proyectos y de sistemas de entrega que ofrezcan mayor potencial para la obtencin
de resultados y beneficios a los menores costos

Valorar (antes de iniciar el proyecto) y evaluar (una vez concluido el mismo) la distribucin de los beneficios.

Evaluar la sostenibilidad de proyectos en marcha

Mejorar la base de datos para la seleccin de nuevos proyectos.

La tabla 1-5 se refiere al contexto en los estudios de evaluacin de impacto y las preguntas en la mente de los
clientes, son formulados y realizados.
Los resultados de los estudios de preliminares de impacto (llevados a cabo durante la fase de
implementacin) se usan para evaluar si los impactos sern logrados y beneficiarn a los grupos meta. Si las
proyecciones no parecen muy positivas, se tomarn las medidas correctivas del caso. La mayora de los estudios
de impacto se llevan a cabo despus de la operacin de los proyectos. Sin embargo su propsito central es ayudar
a mejorar la seleccin y diseo de futuros proyectos.

Tabla 1-5 Contexto en el que se llevan a cabo los estudios de evaluacin de impactos
Preguntas en la mente de los clientes

Est el proyecto produciendo los beneficios propuestos?

Qu tan amplios son los beneficios?

Quin recibe los beneficios? Quin no los recibe?

Qu factores influyen el la variacin de los impactos?

Cmo pueden aumentarse o estabilizarse los impactos?

Qu tan posible es que se produzcan impactos similares en otros proyectos similares?

13

Tipos de estudio

Diseos quasi-experimentales rigurosos, con mediciones antes y despus con un grupo de control
seleccionado cuidadosamente.

Estudios de panel continuos

Evaluaciones de impacto rpidas y econmicas

Evaluaciones cualitativas de impacto que usan la observacin participante y tcnicas relacionadas.

Estudios ms amplios para evaluar los impactos ambientales

Oportunidad de los estudios

Es posible hacer estimados preliminares del impacto durante la implementacin del proyecto

Para los diseos quasi-experimentales ser neesario tener una lnea de base al inicio e idealmente varias
repeticiones durante la implementacin.

Pueden conducirse evaluaciones rpidas en cualquier momento siempre y cuando el proyecto haya entrado
en su etapa de operacin.

Puede entrevistarse regularmente a un panel de informantes durante la etapa de implementacin y en los

primeros aos de operacin del proyecto.

Modo de empleo de los estudios

Los estudios preliminares de impacto se usan para evaluar si los impactos se lograrn o no. Se pueden tomar
medidas correctivas con base en stos.

Las evaluaciones cualitativas y los estudios de informantes pueden identificar en una etapa temprana a los
grupos que no se estn beneficiando o a los que estn siendo afectados negativamente por el proyecto.

El propsito central de los estudios de impacto es apoyar una mejor seleccin y diseo de futuros proyectos.

Los macro estudios se usan para monitorear los impactos ambientales y para tomar medidas correctivas a
escalas locales, regionales o nacionales.

Etapa 7: Identificacin de nuevos proyectos

Pocas veces se toma como base la informacin obtenida de los S/E al seleccionar y disear futuros proyectos. El
captulo 12 discute este tema y explica cmo se pueden crear bancos de datos para utilizar las lecciones
aprendidas en proyectos anteriores.

Algunos problemas con los enfoques actuales para el monitoreo y la evaluacin

En vista de la rpida proliferacin de los sistemas de seguimiento y evaluacin no es de extraar que muchos de
ellos hayan tenido dificultades de satisfacer las demandas puestas en ellos. Muchos sistemas de SyE han sido
criticados por su ineficiencia y limitada utilidad. En algunos casos la informacin no llega oportunamente; no
contesta las preguntas precisas; o es muy costosa. En otros, la atencin se enfoca en ciertos aspectos cuantitativos
y financieros de los proyectos, y la mayor parte de la informacin se refiere solamente al perodo de implementacin
fsica. Estos problemas pueden clasificarse en cuatro grupos principales, los cuales se describirn a travs del
presente libro.

14

Problemas organizacionales y polticos

Aunque las polticas de evaluacin de programas han sido ampliamente discutidas en los Estados Unidos
(Palumbo 1987) las dimensiones polticas de evaluacin han sido largamente rechazadas en pases en desarrollo.
Dems esta decir que no se espera entender la dinmica de la evaluacin de programas sin reconocer que
muchas agencias de seguimiento y evaluacin (CMEA por sus siglas en ingls) ejercen una influencia considerable
sobre la asignacin de recursos y sobre las decisiones concernientes al futuro de los programas que evalan. Sin
embargo, los CMEA son percibidos con frecuencia como una amenaza o como un recurso poderoso que necesita
ser controlado (Bamberger 1988). Como resultado, los CMEA son cambiados constantemente de un ministerio o
de un departamento a otro, o ven su poder o sus recursos disminuidos. Ahmed y Mamberger(1989) no encontraron,
en el Sur Asia, un CMEA que haya estado operando como tal por ms de tres aos.
Algunos otros problemas organizacionales surgen cuando las funciones de SyE son localizados en una agencia
inapropiada, cuando las funciones se asignan a agencias distintas, haciendo difcil la coordinacin, o cuando los
problemas de coordinacin restringen el flujo de informacin entre la agencia central y los presuntos usuarios. El
captulo 12 discute en ms detalle los vnculos entre la localizacin y organizacin del M/E y los tipos de estudios
producidos y cmo se diseminan. Es asimismo comn encontrar organizaciones no gubernamentales muchas de
las cuales cuentan con una vasta experiencia en evaluacin- excluidas de colaborar en la evaluacin de los
programas del sector pblico.

Las agencias donantes tienen una influencia considerable sobre el contenido y la organizacin de los sistemas
SyE. El hecho de que los donantes y prestatarios requieren diferente tipo de informacin puede crear a su vez un
mayor numero de problemas.

Problemas administrativos/gerencias
Muchas agencias de SyE al nivel de proyecto, sectorial o nacional no han logrado establecer procedimientos claros
para identificar a los usuarios principales de la informacin que producen, o para comparar la importancia de los
estudios requeridos por distintas organizaciones nacionales e internacionales o an para definir los tipos de
informacin requerida por cada usuario potencial. Como consecuencia, los usuarios potenciales se quejan de que
los estudios no proveen la informacin que requieren o que la informacin llega muy tarde o de una forma que no
es clara de entender. La naturaleza centralizada de muchos de los CMEA implica que la informacin del SyE sea
usada principalmente por las agencias gubernamentales para controlar unidades de lnea de los ministerios y de los
proyectos, por lo tanto no es considerada como una herramienta gerencial. En este campo, muchos gerentes
perciben el SyE como una amenaza, o como una inconveniencia, y no estn dispuestos a cooperar en la
recoleccin de datos o en el anlisis de los mismos. Esto tambin ha creado preocupacin acerca de la calidad y
confiabilidad de la informacin del SyE provista por las agencias encargadas. La mayora de estos problemas
tambin se encuentran en los Estados Unidos. Aunque un amplio rango de programas federales y estatales tienen
como mandato conducir tales evaluaciones, y aunque se ha reconocido la utilidad potencial de las evaluaciones,
an muchos gerentes rehusan iniciar evaluaciones. Las siguientes son algunas razones (Carlson y Crane 1989)

Minimizacin de la responsabilidad. La presin por reducir el tamao del estado ha trado consigo un nuevo
sentido de riesgo. Los gerentes estn conscientes de que los legisladores y los departamentos de presupuesto
buscan reducir o disminuir la escala de los programas. Consecuentemente, existe el temor de que cualquier
tipo de evaluacin podra ser usada como justificacin para cerrar un programa. Al mismo tiempo, no se
esperan beneficios de una evaluacin positiva.

Falta de confianza en que los productos de la evaluacin lleven a beneficios prcticos que excedan sus costos

Ausencia de incentivos para el patrocinio de evaluaciones.

15

Tiempo requerido para iniciar una evaluacin. En las agencias gubernamentales de los Estados Unidos, el
proceso para obtener la aprobacin para llevar a cabo una evaluacin, y luego el proceso para contratar a los
consultores son usualmente muy lentos. Muchos gerentes no sienten que los resultados de la evaluacin
justificaran los esfuerzos que se requieren para invertir.

Tiempo requerido para la produccin de resultados.

Otro grupo de problemas gerenciales, est relacionado con las dificultades existentes para reclutar y mantener
personal calificado para las unidades de SyE. Frecuentemente, el perfil de profesionales requerido por estas
unidades no est definido con propiedad en la administracin publica. Como consecuencia, resulta difcil ofrecer
condiciones de trabajo competitivas. Asimismo, las posibilidades de hacer carrera, no esta claramente definido para
los evaluadores; esto puede desmotivar a personal calificado que podra estar en posibilidades de ingresar en este
campo.

Problemas de enfoque
Los CMEA usualmente priorizan el seguimiento de la implementacin del proyecto. Por lo tanto, muy pocos
estudios se llevan a cabo para determinar cmo operan los programas, si son sostenibles o si sern capaces de
producir los impactos esperados. As pues, aunque gran cantidad de informacin sobre la implementacin puntual
de los proyectos y sus presupuestos es recolectada, limitadamente si se llega a conocer si lograron los objetivos
propuestos por los programas masivos de desarrollo social y econmico o si producen los beneficios o cambios
para los que fueron diseados (Bamberger 1989)
Una razn para este sesgo es que en la mayora de los pases en desarrollo el presupuesto de capital de inversin
(para la construccin de nuevos caminos, escuelas, fbricas y hospitales) usualmente es mayor que el destinado a
las operaciones o retornos. Esta rea es en la que se requiere un cuidadoso monitoreo debido a que la mayora de
los recursos gubernamentales se destinan a la implementacin de los proyectos. Asimismo, debido a que las
agencias internacionales de ayuda estn usualmente involucradas con la implementacin del proyecto, ellas
tambin se muestran ms interesadas en el monitoreo de este ltimo. Por consiguiente, muchas unidades de SyE
se encuentran localizadas en estas agencias destinadas a velar por la implementacin de los proyectos y, como
muchas de ellas se desintegran una vez completada la implementacin, no pueden llevar a cabo evaluaciones de
impacto en el largo plazo.
Otra limitacin en el uso de la evaluacin es el hecho de que la mayora de los gobiernos y agencias se centran
ms en la evaluacin de los insumos antes que en la de resultados y productos. Esto limita la demanda de
evaluaciones de la calidad o del costo-efectividad de los resultados o de la estimacin de los impactos.
Un problema mayor surge del hecho que la mayora de los gobiernos y los administradores encargados de disear
las polticas operan dentro de un horizonte de uno o dos aos plazo. Muchos pases continan operando con
presupuestos anuales y por lo tanto los planificadores y las agencias tienden a restringirse a objetivos de corto
plazo. Esto explica el por qu, raramente se conducen evaluaciones prospectivas de largo plazo. Osborne y
Gaebler (1992) sealan que un reciente avance en el gobierno estadounidense es que algunas autoridades locales
y estatales ms innovadoras se han aventurado a planear a diez aos plazo. Este enfoque, al ser combinado con el
planeamiento estratgico, puede generar una gran demanda por evaluaciones prospectivas y retrospectivas
orientadas a apoyar a planificadores y gerentes a proyectar el futuro, sobre la base de un anlisis sistemtico de
experiencias pasadas y presentes.

Problemas metodolgicos
Durante la dcada de los 70, agencias internacionales de ayuda, financiaron un cierto nmero de evaluaciones de
impacto a gran escala que usaban diseos casi experimentales. Los sectores involucrados eran salud, vivienda y
agricultura entre otros. Los resultados de la mayora de estas evaluaciones fueron desilucionantes. Como
resultado, hoy en da muchas autoridades gubernamentales y donantes manifiestan que es imposible que las
evaluaciones rigurosas de impacto sean costo-efectivas y tiles operativamente hablando. As pues, los propulsores
de las evaluaciones de impacto deben defender la factibilidad y rigurosidad tcnica de impacto y responder al
mismo tiempo a las crticas que dicen que los resultados de tales evaluaciones son muy acadmicas, o que llegan
muy tarde para ser usadas.

16

Algunos otros problemas metodolgicos que se discuten en captulos subsiguientes incluyen el sesgo de monometodo que surge al trabajar con un solo (o un pequeo nmero de) mtodo(s) de recoleccin de datos; la
preferencia por mtodos cuantitativos; la tendencia a ignorar mtodos cualitativos valiosos, la preferencia por
comparaciones estticas entre periodos antes que por el anlisis de procesos de cambi, y la excesiva
dependencia en computadoras y la falta de conciencia sobre las limitaciones que la computacin impone en el tipo
de datos que se recogen o en la calidad y validez de los mismos.

La evaluacin de programas de desarrollo social: Mas problemas; y enfoques recomendados

El seguimiento y evaluacin de programas de desarrollo social puede ir de la mano con otros problemas de una
naturaleza menos general.

Otros posibles problemas

En primer lugar, los programas de desarrollo social son con frecuencia monitoreados usando los mismos
procedimientos y formatos de reporte utilizados en proyectos de capital de inversin y de desarrollo econmico.
Estos sistemas de seguimiento se basan en un grupo de indicadores fsicos y financieros fcilmente cuantificables,
muchos de los cuales no son apropiados para proyectos de desarrollo social debido a que los resultados de estos
ltimos no son fciles de identificar o medir. Por ejemplo, el desempeo de los proyectos de salud o educacin
debe ser en parte evaluado con base en indicadores cualitativos tales como la calidad de los maestros o de los
extensionistas de salud; la calidad y utilidad de los libros de texto y de la curricula; la efectividad y representatividad
de las organizaciones comunales, o la calidad y utilidad de la asistencia tcnica provista. Resulta inapropiado
monitorear estos programas exclusivamente a travs de indicadores cuantitativos (como se hace con frecuencia)
tales como el nmero de pacientes o clientes atendidos o el nmero de personas que asisten a las reuniones de la
comunidad.
En segundo lugar, muchos programas sociales de desarrollo usan un enfoque flexible y participativo, en el cual los
objetivos del proyecto se definen en consulta con los presuntos beneficiarios y durante la evolucin del proyecto. Lo
anterior hace difcil que los objetivos sea establecidos al inicio del proyecto y que se defina un marco para la
evaluacin de objetivos. Para complicar las cosas an ms, es posible que los diferentes actores tengan tambin
distintos objetivos (ver la discusin sobre los actores en los captulos 4 y 10).
En tercer lugar, es difcil evaluar y establecer los vnculos entre los resultados de los proyectos y los impactos
deseados. Por ejemplo, la mortalidad infantil, el desempeo escolar o el ingreso familiar se ven afectados por
factores tan diversos que se hace difcil aislar la contribucin de un determinado proyecto. Esta contribucin se
hace an ms difcil de evaluar cuando los programas tienen objetivos muy generales como aliviar la pobreza o
mejorar la participacin social y econmica de la mujer.

Algunos enfoques recomendados

Antes de discutir algunas recomendaciones especficas para la evaluacin de programas sociales, sealaremos
algunas recomendaciones generales concernientes a la organizacin, diseo y manejo de las evaluaciones. Estas
recomendaciones fueron tomadas de un cierto nmero de estudios recientes sobre experiencias en evaluacin en
los Estados Unidos y Europa. Un lector ms interesado puede referirse a Wholey, Newcomer and Associates
(1989), Osborne y Gaebler (1992); Rist (1990); Stokke (1991); y Barkdoll y Bell (1989). Las siguientes son algunas
de las lecciones y recomendaciones ms importantes derivadas de estas y otras publicaciones recientes similares:

Es esencial involucrar a todos los actores en el proceso de evaluacin desde la etapa de identificacin de
necesidades hasta la definicin de los objetivos.

Sin descartar evaluaciones de insumos y de procesos se debe prestar una mayor atencin a la evaluacin de
resultados y de productos. No debe olvidarse que los programas estn diseados y planteados para lograr
ciertos objetivos; por lo tanto, una evaluacin efectiva debe proveer a los encargados de polticas y gerentes de
una retroalimentacin consistente sobre el grado de alcance de los objetivos y sobre los factores que pueden
estar interfiriendo en alcanzarlos.

17

Se debe prestar ms atencin a la evaluacin de la calidad de los programas antes que limitarse a examinar
indicadores cuantitativos de insumos y resultados.

Los evaluadores deben ayudar a los gerentes a entender cmo la evaluacin puede convertirse en una
herramienta gerencial para mejorar el desempeo. Los evaluadores deben, asimismo, mantener una relacin
ms estrecha con los gerentes.

Debe darse ms nfasis a la evaluacin de polticas. Uno de los ms grandes usos potenciales de los datos
obtenidos en la evaluacin es el anlisis sistemtico de lo que se conoce acerca de un problema particular o
tipo de programa. Esto con la finalidad de ayudar a los encargados del diseo de polticas a seleccionar el
programa que ms se adapte a los objetivos deseados.

Aunque es importante incorporar los programas sociales dentro de sistemas establecidos de SyE a escala nacional,
tales sistemas deben ser impulsados de tal forma que reflejen las caractersticas particulares de los programas de
desarrollo social.

Los presuntos beneficiarios deben estar involucrados en el planeamiento, ejecucin e interpretacin de los
estudios de SyE. Esto significa que las perspectivas de los diferentes actores deber ser identificada e
incorporada en el planeamiento e interpretacin de los estudios. Los mtodos de evaluacin de los beneficiarios
desarrollado por el Banco Mundial estn entre los muchos ejemplos de aplicacin de este enfoque.

El anlisis social debe incorporarse como un componente estndar en la evaluacin ex - ante de un proyecto.
As pues, la evaluacin de la relevancia social e institucional de un proyecto debe conducirse en la misma
forma en que se lleva a cabo para los campos econmico y financiero.

Los proyectos de desarrollo social estn con frecuencia ms relacionados con el desarrollo de capacidades en
el mbito comunal y local que con el logro de resultados definidos y precisos. Como consecuencia, se presta
mayor atencin a la evaluacin de los procesos de seleccin, implementacin, operacin y replicacion del
proyecto. Estrechamente relacionado a lo anterior, esta el nfasis en la evaluacin institucional. Sin embargo,
estos proyectos debieran tambin prestar atencin a los resultados que esperan sostener.

Se deben desarrollar mtodos de evaluacin rpida y estandarizarlos de modo que puedan usarse
regularmente para la recoleccin de datos y para el anlisis durante las etapas de evaluacin ex - ante,
monitoreo y diagnstico.

Se debe introducir una mayor flexibilidad en el proceso de SyE reconociendo el hecho de que los objetivos del
programa evolucionarn conforme el programa se desarrolle. Lo anterior significa que la evaluacin debe
describir y evaluar tanto el proceso de implementacin como los resultados.

Siempre ser til desarrollar un modelo del proceso de implementacin. Tal modelo (descrito en el captulo 3)
identifica la premisa sobre la que se basa el proyecto, describe los supuestos en los que subyace el proyecto,
describe las estrategias de implementacin e identifica los vnculos entre insumos, implementacin, resultados
e impactos. El modelo previsto es luego comparado con la experiencia real de implementacin, y establece las
razones de los desvos y explica y examina los resultados no previstos.

Se debe pedir a las organizaciones no gubernamentales que participen en todas las etapas de la evaluacin.

Es importante establecer un nmero de indicadores independientes de resultados clave e impactos para

obtener formas ms confiables de evaluacin y explicacin de los resultados y desempeo del proyecto. Lo
anterior normalmente involucra el diseo de indicadores tanto cuantitativos como cualitativos. La metodologa
para reconciliar los distintos indicadores se conoce como triangulacin.

Las distintas estrategias para mejorar los procesos de SyE son el tema central de este libro.

18