Você está na página 1de 18

DEPARTAMENTO DE EVALUACIÓN DE OPERACIONES

Lecciones y prácticas
DISEÑO DEL SISTEMA DE
SEGUIMENTO Y EVALUACIÓN DE
LOS PROYECTOS

Volumen 2, Número 8.

ÍNDICE

Definiciones ............................……………...........................…1
Necesidad de un seguimiento y una evaluación eficaces .......…1
Diseño del sistema de S y E: cinco componentes ..…………... 2
Experiencia en materia de ejecución ..................……………... 16

Lecciones y prácticas 1
DISEÑO DEL SISTEMA DE SEGUIMENTO Y
EVALUACIÓN DE LOS PROYECTOS.
Definiciones
Se entiende por seguimiento la evaluación continua de la ejecución de los proyectos
en relación con un programa acordado, y de la utilización de insumos,
infraestructura y servicios por parte de los beneficiarios del proyecto. El
seguimiento:

 Proporciona información constante a elaboración de informes de finalización


los administradores y otros interesados, del proyecto. Estos informaes
retroalimentando la ejecución del comprenden la evaluación de los
proyecto. efectos del proyecto y de su potencial
 Permite identificar, con la mayor sostenibilidad.
prontitud posible, éxitos y dificultades Necesidad de un seguimiento y una
reales o potenciales, para facilitar la evaluación eficaces
oportuna modificación de la operación La labor de seguimiento y evaluación (S y
del proyecto. E) constituye una actividad valorada cada
La evaluación consiste en la valoración vez más ampliamente como un instrumento
periódica de la pertinencia, los resultados, indispensable de gestión de los proyectos y
la eficiencia y el impacto (previsto e de la cartera. La reconocida necesidad de
imprevisto) de un proyecto en relación con mejorar los resultados de la asistencia para
objetivos preestablecidos: el desarrollo lleva a prestar atención más
 Durante la ejecución, los estrecha al suministro de información
administradores del proyecto llevan a gerencial tanto para respaldar la ejecución
cabo evaluaciones provisionales, a de los proyectos y programas, como para
modo de análisis inicial del proyecto, brindar información de retroalimentación
para pronosticar los efectos probables para el diseño de nuevas iniciativas.
del mismo y para identificar los ajustes La labor de S y E también sirve de
necesarios en el diseño del proyecto. En base para hacer efectiva la responsabilidad
la última década se ha generalizado en el uso de los recursos destinados al
rápidamente la utilización de desarrollo. Dada la mayor transparencia que
evaluaciones de mitad de período de los ahora se espera de la comunidad del
proyectos en ejecución. desarrollo, los gobiernos y los organismos
 Al acabar el proyecto, se deben realizar que los asisten tienen que responder a las
evaluaciones terminales para la exigencias de un mayor “éxito sobre el

Lecciones y prácticas 1
terreno” proporcionando ejemplos del aumenta la sostenibilidad de los
impacto en materia de desarrollo y beneficios. Esta participación fomenta
demostrando que disponen de sistemas que una mayor responsabilidad. Los
respalden un aprendizaje logrado a través objetivos deben establecerse y los
de la experiencia. indicadores deben seleccionarse en
Utilizados cuidadosamente en todas consulta con los interesados, en procura
las etapas del ciclo de los proyectos, el de una identificación compartida de los
seguimiento y la evaluación pueden ayudar objetivos y las metas. Este compromiso
a reforzar el diseño y la ejecución de los se refuerza cuando se logran beneficios
proyectos y estimular la formación de en una etapa incipiente. Asimismo, la
asociaciones de esfuerzos con interesados detección temprana de problemas que
en los mismos. Esas actividades pueden: se presenten permite adoptar medidas
 Influir sobre la estrategia de asistencia correctivas antes de que los costos sean
sectorial. A través de análisis mayores.
pertinentes que surjan de la evaluación  Revelar la necesidad de correcciones a
de proyectos y políticas se pueden mitad del trayecto. Una corriente de
destacar los resultados de medidas de información confiable durante la
intervención anteriores, así como las ejecución permite a los administradores
virtudes y defectos de su ejecución. realizar el seguimiento del avance
 Mejorar el diseño de los proyectos. La logrado y reajustar las operaciones
utilización de instrumentos de diseño teniendo en cuenta la experiencia.
de proyectos tales como el marco Diseño del sistema de S y E: cinco
lógico, da lugar a una selección componentes
sistemática de indicadores para el Lograr un adecuado diseño de S y E
seguimiento de los resultados de los durante la preparación del proyecto
proyectos. El proceso de selección de constituye una labor mucho más amplia que
indicadores para el seguimiento pone a la mera preparación de indicadores. Un
prueba la solidez de los objetivos del adecuado diseño tiene cinco componentes,
proyecto y puede mejorar el diseño de que se examinan sucesivamente a
los mismos. continuación:
 Tener en cuenta las opiniones de los  Claros enunciados de objetivos
interesados. Se comprende cada vez mensurables para el proyecto y sus
con mayor claridad que la participación componentes, para los cuales puedan
de los beneficiarios de un proyecto en definirse indicadores.
su diseño y ejecución logra que dichos  Un conjunto estructurado de
beneficiarios se comprometan en mayor indicadores que comprenda la
medida con los objetivos del proyecto y producción de bienes y servicios

Lecciones y prácticas 2
generados por el proyecto y sus medidas de intervención de los proyectos;
repercusiones sobre los beneficiarios. deben ser realistas en relación con el marco
 Medidas referentes a la recopilación de cronológico de ejecución de los mismos, y
datos y al manejo de los registros del deben ser mensurables a los efectos de la
proyecto, a fin de que los datos evaluación. En el Proyecto Distrital de
requeridos por los indicadores sean Educación Primaria de la India, por
compatibles con las estadísticas ejemplo, los objetivos se establecen a nivel
existentes y puedan obtenerse a un de distrito en enunciados claros vinculados
costo razonable. directamente con indicadores.
 Convenios institucionales para la  Creación de capacidad: Los equipos de
recopilación, análisis e información de subproyectos de distritos serían
datos del proyecto e inversión en plenamente operativos y ejecutarían
creación de capacidad con el fin de actividades de subproyectos e
respaldar al servicio de S y E. informarían trimestralmente sobre el
 Propuestas referentes a los mecanismos avance logrado. Los equipos en servicio
que permitan la retroalimentación de las estarían en funcionamiento, con
conclusiones de la labor de S y E en el personal y equipos ampliados, y
proceso de adopción de decisiones. brindarían respaldo en materia de
La presencia de esos cinco planificación y administración,
componentes ayuda a asegurar que la labor capacitación en servicio de docentes,
de S y E es pertinente, dentro de los límites elaboración de material didáctico y
de capacidad de las instituciones evaluación de programas.
prestatarias, y puede utilizarse eficazmente.  Reducción de la deserción y mejores
Objetivos de los proyectos logros didácticos: Las organizaciones
Los proyectos son diseñados para académicas y comunitarias estarían en
alcanzar objetivos sectoriales a largo plazo, pleno funcionamiento en por lo menos
pero, como mínimo, sus objetivos la mitad de los centros de enseñanza y
inmediatos deben poder medirse fácilmente. las tasas de deserción se reducirían a
Así, por ejemplo, podría diseñarse un menos del 10%. En el último año de
proyecto de salud para alcanzar los enseñanza primaria los logros
objetivos sectoriales de reducción de la pedagógicos en materia de lenguaje y
mortalidad infantil y de la incidencia de matemáticas se incrementarían un 25%
enfermedades infecciosas, pero teniendo con respecto a las estimaciones de línea
como objetivo mensurable inmediato de base.
brindar un acceso más equitativo a los  Acceso más equitativo. Las
servicios sanitarios. Los objetivos deben disparidades de inscripción por géneros
tener especificidad con respecto a las y castas se reducirían a menos del 5%.

Lecciones y prácticas 3
Los objetivos de un proyecto pueden con respaldo. Ese acuerdo genera
definirse con mayor precisión al determinar responsabilidad.
los mecanismos para medirlos (por Para disponer de información sobre
ejemplo, qué indicadores permiten el progreso logrado ya desde las primeras
determinar la equidad del acceso) y etapas de ejecución y a lo largo de todo el
analizando cómo las actividades de los ciclo del proyecto es necesario estructurar
componentes conducen a esos objetivos. De indicadores. El enfoque de marco lógico del
este modo, el diseño de las actividades de S diseño de los proyectos da lugar a una
y E contribuye directamente a la calidad de estructura eficiente, al postular una
los proyectos cuando éstos ingresan en la jerarquía de objetivos para los cuales se
cartera. requieren indicadores. Es necesario conocer
La calidad de un nuevo proyecto su terminología en el contexto del sector al
depende también de que los interesados que se aplican, pero en el cuadro siguiente
estén identificados con el mismo y del se ilustran los términos más comúnmente
conocimiento del alcance y las limitaciones usados.
de las actividades del proyecto. En el
contexto de la labor de seguimiento puede Objetivos de los Tipos de
ser necesario obtener información sobre las proyectos indicadores
medidas de respaldo que probablemente Meta Impacto
han de afectar al éxito del proyecto. El Finalidad Resultados o efectos
análisis de los problemas constituye un Productos Productos
mecanismo que puede ayudar a identificar Actividades Proceso
las medidas de ese tipo (véase el Recuadro Insumos Insumos
1).
Indicadores estructurados La información referente a los
Los indicadores permiten establecer indicadores de insumos proviene en gran
los detalles cuantitativos y cualitativos de medida de registros contables y de
un conjunto de objetivos. Se trata de administración. Los indicadores de insumos
enunciados sobre la situación que existirá suelen dejarse al margen de los análisis de
cuando se alcance un objetivo. seguimiento de los proyectos, aunque
La capacidad de definir un forman parte del sistema de información
indicador en consulta con los interesados y gerencial. Se requiere un adecuado sistema
convenir en el valor y la oportunidad de contable para mantener información sobre
lograr un objetivo demuestra que los el gasto y suministrar datos de costos para
objetivos del proyecto han sido enunciados el análisis de los resultados en materia de
claramente, son comprendidos y cuentan productos. Los indicadores de insumos son
utilizados principalmente por los

Lecciones y prácticas 4
Recuadro 1:
Análisis de problemas

Los objetivos de los proyectos deben estructurarse de modo que exista correspondencia con el análisis de
los problemas que se tratan de superar a través de los mismos. El análisis de los problemas es una técnica
de prospección de ideas en que los interesados identifican las causas y los efectos de los problemas. Los
diagramas de árbol permiten presentar el análisis visualmente en forma resumida. Luego se estructuran
los objetivos del proyecto de modo de resolver esos problemas, lo que puede representarse como una
imagen en el espejo del diagrama de árbol del problema. Los problemas que el proyecto no pueda
enfrentar directamente pero que haya que resolver para alcanzar las metas son objeto de otras estrategias,
o se convierten en riesgos para el proyecto si no se adopta medida alguna.

Alta tasa de fracaso


de compañías
Efecto ÁRBOL DE PROBLEMAS
recientemente
privatizadas

Productos no Deficiente Crisis de efectivo


orientados a la administración por falta de capital
financiera interna de explotación
Causa demanda del mercado

El proyecto ofrece El proyecto sostiene El proyecto prepara RIESGO


cursos de capacitación consultorías en cursos de El proyecto no
en investigaciones de investigaciones de capacitación en cubre el
mercado mercado
administración financiamiento

Medios Eficaces Mejoramiento de la Las medidas referentes


investigaciones de administración al financiamiento
mercados y financiera interna pueden afectar al éxito
del proyecto
consumidores

Reducción de la
Fines tasa de fracasos en
ÁRBOL DE OBJETIVOS
las compañías
privatizadas

Las medidas necesarias para alcanzar los beneficios del proyecto que este último no pueda realizar
directamente deben ser objeto de un seguimiento tan estrecho como las actividades del proyecto, e
inclusive pueden formar parte de las condiciones del préstamo. Son ejemplos la modificación de la
legislación o la adopción de medidas por parte de otras entidades públicas. En el marco lógico esos
ejemplos aparecerían como “supuestos importantes”.

Lecciones y prácticas 5
administradores que mantienen una relación demostración de cultivos antes de que se
más próxima con las tareas de ejecución, y ponga la capa superior de fertilizantes;
se consultan frecuentemente: a veces a número de docentes capacitados en
diario, o semanalmente. Ejemplos: costos utilización de libros de texto; costo por
de operación de vehículos para el servicio kilómetro de construcción de caminos;
de extensión de cultivos; niveles de aportes rendimiento por hectárea de los cultivos,
financieros del Estado o de fuentes de relación entre el número de libros de texto y
cofinanciamiento; designación de el de alumnos; tiempo que se requiere para
funcionarios; suministro de edificios; tramitar una solicitud de crédito; número de
estado de la legislación habilitante. demostraciones realizadas por trabajador de
Los indicadores de procesos miden extensión; etapas del proceso de
lo que sucede durante la ejecución. Con establecimiento de asociaciones de usuarios
frecuencia se tabulan como conjunto de de agua.
obras contratadas terminadas, o hitos El impacto se refiere a la variación
extraídos de un plan de actividades. a mediano o largo plazo en materia de
Ejemplos: fecha en que debe realizarse el desarrollo. (Algunos autores hacen
despeje del lugar de construcción de un referencia también a una categoría adicional
edificio; fecha de vencimiento del plazo de de indicadores de resultados, relacionados
entrega de fertilizantes a almacenes de más específicamente con las actividades del
establecimientos agropecuarios; número de proyecto que los indicadores de impacto,
dispensarios de salud que declaran que pueden consistir en estadísticas
actividades de planeamiento familiar; sectoriales y mantener una relación más
número de mujeres que reciben estrecha con el efecto directo de los
asesoramiento en anticonceptivos; estado resultados de los proyectos para los
de la adquisición de libros de texto beneficiarios.)
escolares. Para medir el cambio
Los indicadores de productos frecuentemente se requieren complicadas
muestran los productos físicos y financieros estadísticas sobre el bienestar económico o
inmediatos del proyecto: cantidades, social, cuya elaboración depende de datos
fortalecimiento institucional, flujos iniciales recopilados por los beneficiarios.
de servicios. Comprenden medidas de Pueden obtenerse indicadores
desempeño basadas en el costo de los tempranos de impacto mediante encuestas
coeficientes operativos. Ejemplos: de percepciones de los beneficiarios con
kilómetros de carreteras para todo tiempo respecto a los servicios del proyecto. Este
construidos al finalizar el mes de tipo de indicador de orientación tiene dos
septiembre; porcentaje de productores tipos de beneficios: el hecho de que se
rurales que asisten a un lugar de consulte a los interesados y de que puedan

Lecciones y prácticas 6
detectarse tempranamente los problemas ingresos de los hogares a través de la venta
que puedan suscitarse. Ejemplos de de productos de madera y de otro tipo.
impacto: (en salud) incidencia del bajo peso Ejemplos de percepciones de los
al nacer; porcentaje de mujeres que padecen beneficiarios: proporción de los
anemias moderadas o graves; (en productores rurales que hayan probado una
educación) tasas de continuación de nueva variedad de semillas y se propongan
educación primaria a secundaria, por sexos; volver a utilizarlas; porcentaje de mujeres
proporción de niñas que completan la satisfechas con la asistencia sanitaria por
educación secundaria; (en silvicultura) maternidad que reciben. (Véase el Recuadro
porcentaje de disminución del área de la 2.)
cosecha; porcentaje de aumento de los

Recuadro 2:
Ejemplo de indicadores estructurados
El siguiente ejemplo, correspondiente a Filipinas, proviene de un componente de reducción de la prevalencia del
cáncer cervical en el marco del Proyecto de Salud de la Mujer y Maternidad Segura.

Insumos
Número de máquinas de crioterapia adquiridas y entregadas
Cantidad de medicamentos, reactivos y suministros médicos adquiridos y entregados
Número de proveedores de asistencia sanitaria capacitados en tratamiento del cáncer cervical,
por tipos de proveedores y capacitación
Proporción de proveedores de asistencia sanitaria que pueden realizar pruebas de Papanicolau,
biopsias cervicales, histerectomías y crioterapia, por tipos de proveedores
Números y meses-funcionario de asistencia técnica suministrada
Proceso
Porcentaje de mujeres de más de 35 años sometidas a por lo menos una prueba de Papanicolau
Número de casos detectados
Número de biopsias cervicales realizadas por lesiones sospechosas
Número de procedimientos de crioterapia realizados en relación con el cáncer invasivo temprano
Número de histerectomías simples y radicales realizadas
Productos
Proporción de mujeres con acceso a servicios de tratamiento del cáncer cervical
Porcentaje de mujeres que han recibido tratamiento eficaz contra el cáncer, conforme a protocolos
o normas
Impacto
Disminución de:
- la incidencia del cáncer invasivo
- los fallecimientos a causa del cáncer cervical.

Lecciones y prácticas 7
Recuadro 3:

Indicadores, en orden jerárquico

Nivel de objetivos Carácter de los indicadores Responsabilidad

Meta Pruebas estadísticas a largo Organismos nacionales y sectoriales


plazo de repercusiones del
proyecto

Objetivo Encuestas sociales y Evaluadores del proyecto o evaluadores


económicas de resultados y independientes
efectos de los proyectos

Indicadores de orientación que Personal del proyecto


brindan alerta temprana sobre
las percepciones de los
beneficiarios y su reacción
frente al proyecto

Productos Registros administrativos Personal del proyecto

Información interna

Actividades Administración de tareas de Personal del proyecto


procesos del proyecto

Contabilidad financiera

Registros administrativos de
avance

Insumos Contabilidad financiera Personal del proyecto

Registros administrativos de
recursos disponibles y
utilizados.

La clasificación de los objetivos del de la administración del proyecto, y en gran


proyecto por niveles destaca el hecho de medida puede realizarse mediante tareas
que la administración deberá elaborar internas de mantenimiento de registros y
sistemas que proporcionen información a análisis. La mayor parte de los indicadores
todos los niveles: desde contabilidad básica de insumos, procesos y resultados se
hasta estadísticas con respecto a los generan en el marco de la administración
objetivos del proyecto. El Recuadro 3 del proyecto.
muestra el contenido y la localización de la En contraposición, el logro de los
responsabilidad por los indicadores en cada objetivos del proyecto depende
nivel en el marco lógico. normalmente de la reacción de los
El control de las actividades y sus beneficiarios con respecto a los bienes o
resultados o productos directos está a cargo servicios suministrados por el proyecto.

Lecciones y prácticas 8
Para obtener elementos de juicio sobre su de transporte y adopción de prácticas de
reacción y sobre los beneficios que asistencia sanitaria.
obtienen deben realizarse consultas y Al planificar las necesidades de
actividades de recopilación de datos que la información de un proyecto debe
administración puede no estar en distinguirse entre el detalle necesario para
condiciones de realizar. Es importante la administración cotidiana a cargo del
determinar la reacción previsible de los organismo ejecutor o, más tarde, para la
beneficiarios frente a los servicios del evaluación del impacto, y el limitado
proyecto, porque los administradores número de indicadores clave necesarios
necesitarán pruebas de esa reacción para para resumir el progreso global en los
modificar sus actividades y estrategias. Los informes dirigidos a los niveles gerenciales
indicios de que los beneficiarios tienen superiores.
acceso a los servicios del proyecto, los Por ejemplo, durante la
utilizan y están satisfechos con ellos construcción de pozos entubados de aldeas,
constituyen un indicio temprano de que el los administradores de proyectos tendrán
proyecto brinda servicios útiles y de que es que mantener registros sobre los materiales
probable que se alcancen los objetivos adquiridos y consumidos, la mano de obra
directos. Esos elementos de juicio — empleada y los detalles de su contratación,
obtenidos a través de investigaciones de el tipo de cedazo y bomba instalados, la
mercado— pueden estar disponibles antes y profundidad en que se encuentra agua, y el
con mayor facilidad que las estadísticas de coeficiente de flujo. Los indicadores clave,
impacto, como la modificación de la en cambio, podrían consistir simplemente
situación sanitaria o el aumento de los en el número de pozos exitosamente
ingresos. realizados y sus promedios de costos y tasas
La información de las de flujo.
investigaciones de mercado es un ejemplo Se denominan indicadores
de indicador de orientación sobre las exógenos los referentes a factores que
percepciones de los beneficiarios que puede escapan al control del proyecto pero que
revelar también repercusiones sustanciales pueden influir sobre sus resultados, por
ulteriores. Es posible identificar otros ejemplo, los riesgos (parámetros
indicadores de orientación como alerta identificados en el curso del análisis
temprana con respecto a supuestos clave económico, social o técnico que pueden
que afecten al impacto del proyecto. Los comprometer los beneficios del proyecto), y
ejemplos comprenderían niveles de precios sobre los resultados del sector en que opera
utilizados para el análisis económico, el proyecto.
factores de carga de pasajeros en proyectos Como es preciso realizar el
seguimiento tanto del proyecto como de su

Lecciones y prácticas 9
entorno más amplio, debe contarse con provienen de registros de administración de
capacidad de recopilar datos fuera del proyectos originados en el trabajo de
proyecto, lo que representa una carga campo.
adicional para este último en materia de S y La calidad de los registros que se
E. lleven sobre el terreno establece la norma
Un ejemplo reciente de un proyecto para toda ulterior utilización de los datos, y
de almacenaje de granos en Myanmar pone merece una cuidadosa atención. Los
de manifiesto la importancia de vigilar los diseñadores de S y E deben examinar los
indicadores de riesgo. Durante la ejecución sistemas de mantenimiento de datos
del proyecto, las decisiones de política existentes y los procedimientos de
económica referentes a los tipos de cambio información utilizados por las autoridades
y al acceso directo a compradores del del proyecto para evaluar la capacidad y
exterior por parte de molinos de arroz de generar los datos que se necesitarán. Al
propiedad privada influyeron mismo tiempo deben explicar cómo y por
desfavorablemente sobre la rentabilidad de qué se utilizarán los indicadores en los
los molinos privados. Los encargados del niveles de campo, intermedios y superiores
proyecto habrían sido alertados sobre el de administración del proyecto.
continuo deterioro de la situación si se El diseño de los registros de campo
hubieran vigilado cuidadosamente esos con respecto, por ejemplo, al número de
indicadores del sector en que operaban. Por productores rurales en grupos de extensión,
el contrario, el hecho de que se adoptara un personas que asisten a una clínica o
enfoque limitado referente a los indicadores aldeanos que utilizan un nuevo sistema de
de insumos y procesos impidió percibir la suministro de agua, influye sobre el alcance
variación fundamental de los supuestos del del análisis posterior. La inclusión de
proyecto. características socioeconómicas simples,
Es probable que la importancia como la edad y el sexo, puede mejorar
relativa de los indicadores varíe durante la considerablemente dicho análisis.
ejecución de un proyecto, haciéndose Un enfoque adecuado consiste en
mayor hincapié inicialmente en los estructurar los informes provenientes del
indicadores de insumos y procesos, y más terreno de modo de elaborar agregados o
tarde en los productos y el impacto. Se trata resúmenes en etapas intermedias. De este
de una distinción entre los indicadores de modo el personal de campo puede realizar
progreso en la ejecución y los indicadores comparaciones y mejorar el trabajo de
de resultados en materia de desarrollo. campo a partir de promedios o totales de
Recopilación de datos aldeas o distritos específicos.
Registros de campo del proyecto. Encuestas y estudios. Para medir
Los indicadores de insumos y procesos los productos y el impacto puede ser

Lecciones y prácticas 10
necesario recoger datos a partir de asistencia escolar o los ingresos familiares
encuestas de muestras o estudios especiales atribuibles a un proyecto, pueden requerir
(lo que comprende, cuando es pertinente, la comparaciones con la situación anterior al
aplicación de métodos participativos). Para proyecto o la existente en zonas no
estudios de investigación de temas abarcadas por el proyecto.
específicos pueden requerirse más aptitudes Esas comparaciones pueden
y una mayor capacitación del personal de depender del mantenimiento de sistemas
las necesarias para una recopilación nacionales de estadísticas y censos o
ordinaria de datos destinada a preparar una encuestas nacionales. Antes de que se elijan
serie cronológica. Si es posible, en general esas fuentes como indicadores del impacto
conviene montar las encuestas ordinarias del proyecto, el diseñador debe confirmar la
específicas de proyectos sobre encuestas disponibilidad de sistemas de datos
nacionales o dotadas de respaldo confiables y el hecho de que los datos sean
internacional existentes, en lugar de crear válidos para el ámbito administrativo en
un nuevo servicio de recopilación de datos. cuestión y para eventuales ámbitos de
Los estudios especiales pueden ser control.
manejados con mayor eficacia por una Entre los problemas que pueden
unidad de proyecto en forma directa, o afectar a las comparaciones con datos
subcontratarse su realización a una existentes figuran una incompleta cobertura
universidad o a consultores. de la zona específica del proyecto, la
Si los estudios especiales se utilización de diferentes métodos de
efectúan con fines de comparación con recopilación de datos — por ejemplo la
datos de otras encuestas, es esencial que se realización de entrevistas a miembros de la
utilicen los mismos métodos para la familia en una encuesta y sólo a jefes de
recopilación de datos (véase más abajo). familia en otra— y la modificación de
En el plan del proyecto, las técnicas tales como la medición del
propuestas de recopilación de datos para resultado de la cosecha en una encuesta y la
estudios deben incluir un análisis de: recopilación de estimaciones de los
 los objetivos del estudio o encuesta productores en otra. Los problemas de ese
 la fuente de los datos tipo pueden frustrar toda comparación que
 las opciones, así como el método de se desee realizar para poner de manifiesto la
recopilación de datos que se propone variación de los resultados. A fin de lograr
 la probable confiabilidad de los datos. la comparabilidad necesaria para la
evaluación, a través de esas propuestas debe
Comparabilidad de los datos. explicarse y justificarse el enfoque
Algunos indicadores deseados de propuesto y los métodos deben ser
impacto, como las tasas de mortalidad, la mutuamente congruentes.

Lecciones y prácticas 11
Con frecuencia, la complejidad de menos aptitudes que las encuestas basadas
las estadísticas y los problemas de en cuestionarios. Esos métodos consumen
determinación del nexo causal hacen que mucho tiempo y requieren considerables
resulte más apropiado utilizar la entrega de aptitudes en materia de comunicación y
servicios y la reacción de los beneficiarios negociación entre los planificadores y los
como indicadores representativos, en lugar participantes (véase el Recuadro 5).
de tratar de medir el impacto (véase el Contexto institucional; creación de
Recuadro 4).. capacidad. A través de una labor de S y E
Los métodos participatorios de adecuada es probable que se logre
recopilación de datos pueden permitir desarrollar la capacidad del prestatario y
conocer mejor las necesidades de la construir a partir de los
población para la planificación y ejecución
de proyectos, pero su aplicación no requiere

Recuadro 4:
Limitaciones de los datos de las encuestas
Cambio en el sector agrícola
En el contexto de los proyectos agrícolas, Casley y Kumar (1987) examinaron las posibilidades de medición del
cambio y de demonstrar que dicho cambio obedeció a actividades del proyecto. Los autores llegaron a la conclusión
de que, en relación con indicadores tales como el rendimiento de los cultivos en las condiciones variables de una
agricultura en pequeña extensión con riego natural, sería necesario mantener una serie cronológica uniforme, de alta
calidad, durante un mínimo de nueve años, para tener la certeza de que se está registrando una tendencia ascendente
de hasta un 12% anual.
Aunque se disponga de ese conjunto de datos, la capacidad de extraer conclusiones causales se verá afectada por las
influencias exógenas que experimente el agricultor. Estos últimos factores no pueden mantenerse constantes ni
aislarse de las actividades del proyecto. Es improbable que los datos de los estudios permitan realizar una evaluación
causal rigurosa. Los autores concluyen que las inferencias realizadas a partir de estudios de casos tienden a ser más
eficaces.

Pobreza e ingresos de los hogares


Las dificultades que entrañan las comparaciones entre una Encuesta de Presupuesto de Hogares realizada en 1989/90
y una Encuesta Integrada de Hogares, en 1992/93, referentes a Uganda, muestran que inclusive en condiciones de
estrecha supervisión y riguroso diseño, pequeñas variaciones de formulación de las preguntas con respecto al
consumo de los hogares, la presentación del formulario de la encuesta y la orientación dada a los encuestadores
pueden dificultar las comparaciones. (Véase Appleton, 1996). Los diseñadores de encuestas de S y E deben tener en
cuenta especialmente la posibilidad de realizar comparaciones con datos existentes emanados de estudios de línea de
base o encuestas nacionales de proyectos mediante la utilización de instrumentos y métodos comunes de realización
de encuestas. Es improbable que la idea de que cabe efectuar comparaciones entre datos recogidos mediante distintos
métodos corresponda a la realidad.

Lecciones y prácticas 12
Recuadro 5:
Varios mecanismos de medición del impacto
Entre las propuestas de evaluación del Programa de Inversiones del Sector Agrícola (PISA) en Zambia figura la
referente a un método doble de medición del impacto:
 Se utilizará un programa de encuestas cuantitativas para estimar el impacto del programa sobre la producción y
el ingreso. El mismo será administrado por la Oficina Central de Estadística (OCE) a partir de la muestra
aleatoria anual elaborada por esa entidad, de la que forman parte 5.000 pequeños y medianos agricultores. Se
utilizarán cuestionarios adicionales para determinar la opinión de los agricultores con respecto a los
subprogramas de PISA.
 Se realizarán consultas sistemáticas con los clientes para obtener información de los beneficiarios previstos con
respecto a la eficacia del diseño de los subcomponentes del proyecto.
La Universidad de Zambia tendrá a su cargo la gestión de las evaluaciones de impacto y además analizará datos
referentes al desempeño del sector agrícola, provenientes de la OCE, así como otros datos secundarios

sistemas existentes. Se admite en forma El diseño de las necesidades de


amplia la importancia de la creación de capacidad de S y E del proyecto debe
capacidad, pero a menudo la definición de realizarse en el contexto de las necesidades
la misma no es adecuada. Crear capacidad en materia de capacidad de evaluación que
supone: tengan las instituciones sectoriales y
 Mejorar las aptitudes en materia de nacionales del país de que se trate [véase el
seguimiento y evaluación, lo que estudio No. 4 de la serie de publicaciones
comprende análisis de proyectos, Lessons & Practices, “Building Evaluation
diseño de indicadores y sistemas de Capacity” (Creación de capacidad de
suministro de información, recopilación evaluación)].
de datos socioeconómicos y gestión de Prácticamente todos los organismos de
la información. ejecución dispondrán de sistemas de
 Mejoramiento de los procedimientos información ya existentes. A través del
para crear sistemas funcionales de diseño de S y E debe procurarse avanzar a
búsqueda y utilización de información a partir de esos sistemas, pero desarrollar aún
los efectos de la adopción de más las aptitudes técnicas necesarias para
decisiones. planificar las necesidades de información,
 Fortalecimiento de las instituciones diseñar el sistema de recopilación de datos,
para formar personal capacitado, llevar a cabo estudios y encuestas, analizar
destinado a cargos apropiados y los datos y dar cuenta de los resultados en
responsable de sus actividades. un formato útil para la administración. La
mayor parte de las unidades de S y E

Lecciones y prácticas 13
poseen capacidad de reacción rápida para unidad. En muchos proyectos será
investigar problemas de ejecución o conveniente que la administración conjugue
reacciones desalentadoras de los las actividades de seguimiento con otros
beneficiarios, y recomendar medidas de sistemas, como los de contabilidad
corrección en forma inmediata. financiera y gestión informatizada de los
A través de una evaluación del flujo de proyectos. Es probable que ampliando el
información y del grado de detalle interés en el sistema de información
necesario en cada nivel de administración gerencial la administración obtenga datos
será más fácil establecer claramente qué más valiosos que los provenientes de un
indicadores es necesario medir. Se adoptan seguimiento orientado por los donantes, por
numerosas decisiones operativas a nivel de lo cual ese enfoque debe ser respaldado por
campo o regional, por lo cual la corriente de el plan del proyecto.
información debe satisfacer esas Retroalimentación
necesidades. Tratándose de proyectos Es necesario que en la etapa de diseño se
complejos, o con respecto a los cuales no indique el uso que se pretende dar a la
exista un sistema de suministro de información de S y E, más allá de dar
información, será preciso elaborar cumplimiento a formalidades del Banco
formularios proforma de informes. Además, como los exámenes de mediados del
el organismo que administre el proyecto período o de terminación. Un adecuado
deberá distinguir entre el tipo de flujo de información guarda estrecha
información necesaria para su propia relación con el fomento de la
administración interna y el que se requiera responsabilidad en el marco del proyecto, el
para proporcionar información a niveles de sector, el gobierno y el Banco. En muchos
gobierno de mayor jerarquía, y al Banco. países, la información referente a los
Como la evaluación guarda proyectos y programas es insuficiente y de
relación, principalmente, con el impacto, difícil acceso, y los mecanismos de
que podrá medirse hacia el final del proceso retroalimentación son defectuosos o
de ejecución, o en época posterior, a inexistentes. Los mayores beneficios de la
menudo es conveniente que la realice una evaluación se producen a nivel de políticas
entidad autónoma, que no se ocupe de la y programas, pero en muchos países una
ejecución. No obstante, el seguimiento es evaluación a nivel de proyecto constituye
un instrumento de adecuada gestión, por lo un punto de partida más sencillo y no tan
cual la unidad responsable de la misma delicado.
debe estar situada en un nivel próximo al de Los usos de la información pueden
la administración del proyecto. Deben estructurarse y programarse conforme a las
especificarse los recursos, la capacitación y necesidades de los participantes:
la asistencia técnica necesarios para la

Lecciones y prácticas 14
 La administración del proyecto tendrá administrar programas y presupuestos de
que vigilar semanalmente y por lo trabajo, los diseñadores deberán describir
menos una vez al mes los gastos y el cómo y cuándo utilizar las conclusiones de
avance hacia el logro de los objetivos, la labor de S y E para dar forma a los planes
utilizando para ello gráficos de barras. de trabajo y promover el programa o
 No es probable que puedan medirse los política de desarrollo.
resultados a intervalos de menos de tres En México, por ejemplo, en el Segundo
meses; en algunos casos puede Proyecto de Descentralización y Desarrollo
requerirse un tiempo mucho mayor. Regional se procura hacer del seguimiento
 Las consultas con los beneficiarios, o de la ejecución un componente del
las encuestas referentes a su procedimiento de administración ordinaria
satisfacción a través de los servicios del del proyecto. Deben prepararse planes
proyecto deben programarse de modo anuales para cada componente, incluido un
de obtener información que pueda elemento de desarrollo institucional, como
utilizarse para la planificación de las base del seguimiento anual. El análisis de la
actividades del proyecto. ejecución dependerá del funcionamiento de
 El plazo al que corresponda el informe una base de datos central referente a
puede variar en función del nivel de subproyectos, creada en cada estado a partir
administración; por ejemplo de hojas de datos estandarizadas. La base
mensualmente a nivel de distrito; de datos producirá los informes necesarios
trimestralmente a nivel de región o de para el cumplimiento de los procedimientos
estado. de aprobación de proyectos, dando un
 Es necesario programar algunos flujos incentivo al personal de campo para que
de información de modo que coincidan utilice el sistema. Los resultados de la base
con las actividades de planificación de datos de ejecución han de ser analizados
presupuestaria nacional. a los efectos de establecer los objetivos de
 El financiamiento anual puede los análisis de campo y de un análisis de
depender de los resultados de la labor mitad de período.
anteriormente realizada. No existe una unidad específica de
 Los análisis periódicos y de mitad de seguimiento y evaluación, sino que cada
período brindan hitos en función de los subunidad de administración encargada de
cuales debe estar lista la información. la supervisión técnica de un componente se
En los proyectos en que figure como encarga de velar por la calidad y
objetivo el cumplimiento de determinados puntualidad de la recopilación de datos, y
patrones de desempeño, o en que los de elaborar y analizar los informes. Esos
procesos descentralizados requieran informes serán presentados por
capacidad localizada para planificar y componentes del proyecto y serán

Lecciones y prácticas 15
utilizados para facilitar el diagnóstico de los información con respecto al avance
problemas técnicos e institucionales de logrado. El otro factor consiste en que, a
ejecución, proponer y realizar estudios y menudo, los prestatarios dudan de la
planificar actividades de desarrollo conveniencia de adoptar procedimientos
institucional y capacitación. que pueden ser costosos y requerir mucho
Experiencia en materia de ejecución tiempo para recopilar, analizar y
Conforme a la experiencia del Banco, por proporcionar información. En esos casos, es
más que la labor de S y E esté importante contar con un diseño bien
adecuadamente diseñada, el éxito, en la concebido, porque la información de
etapa de ejecución, depende en gran medida seguimiento constituye un aporte esencial al
de que el prestatario se sienta identificado proceso de adopción de decisiones por parte
con el proyecto, de que las instituciones del de la administración. Además, a menudo
prestatario posean suficiente capacidad, y dicha información permite hacer hincapié
de que los jefes de proyecto muestren un en los beneficios iniciales que se logran con
continuado interés durante toda su vigencia. el seguimiento y en los procedimientos
A este respecto revisten importancia dos institucionales que promueven la utilización
factores. Primero, la identificación del de datos provenientes de dicho seguimiento
prestatario con el proyecto promueve una para suscitar nuevas decisiones en materia
administración transparente y una adecuada de ejecución.

Lecturas recomendadas

Appleton, Simon, “Problems in Measuring Changes in Poverty over Time”, IDS Bulletin, Vol. 27, No. 1, 1996.
Brighton, Reino Unido, Instituto de Estudios sobre el Desarrollo.
Casley, Dennis J., y Kumar, Krishna, “Seguimiento y evaluación de proyectos en agricultura.” Madrid, España :
Ediciones Mundi-Prensa, 1990.
Departamento de Evaluación de Operaciones, Banco Mundial, “Building Evaluation Capacity”, estudio No. 4 de la
serie de publicaciones Lessons & Practices, noviembre de 1994.
———, “Monitoring and Evaluation Plans in Staff Appraisal Reports in fiscal year 1995”. Informe No. 15222,
diciembre de 1995.

Lecciones y prácticas 16
Lessons & Practices
1. Railway Projects
2. Adjustment Lending: Lessons of Experience
3. Area Development Projects
4. Building Evaluation Capacity
5. Managing Urban Water Supply and Sanitation
6. Agricultural Extension
7. Technical Assistance
8. Designing Project Monitoring and Evaluation
9. Ports
10. Evaluating Development Operations: Methods for Judging Outcomes and Impacts

Lecciones y prácticas (traducidos)


8. Diseño del sistema de seguimento y evaluación de los proyectos
10. Evaluación de las operaciones de desarrollo: métodos para valorar sus resultados y sus repercusiones.

Lecciones y prácticas, publicación del Departamento de Evaluación de Operaciones, tiene como finalidad contribuir a
difundir la experiencia del Banco Mundial en el campo del desarrollo. El presente número ha sido redactado por
Rachel Weaving y Ulrich Thumm. Las opiniones aquí formuladas son las del personal del Departamento de
Evaluación de Operaciones y no deben atribuirse al Banco Mundial ni a sus instituciones afiliadas. Sírvanse enviar
sus observaciones y consultas al DEO: teléfono (1-202) 473-5365, Elizabeth Campbell-Pagé, Jefa de Redacción; fax
(1-202) 522-3200; correo electrónico eline@worldbank.org.

Lecciones y prácticas 17

Você também pode gostar