MB01ES - Sinopsis de La Evaluación de Impacto

Sntesis metodolgica
Sinopsis de la evaluacin de impacto n 1
Sinopsis de la
Evaluacin de Impacto
Patricia Rogers
CENTRO DE INVESTIGACIONES INNOCENTI DE UNICEF
El Centro de Investigaciones Innocenti es la oficina de UNICEF especializada en investigacin cientfica. El

objetivo principal del Centro de Investigaciones es mejorar la comprensin internacional de una serie de
cuestiones relacionadas con los derechos de la infancia, a fin de facilitar la plena aplicacin de la
Convencin sobre los Derechos del Nio mediante su promocin en todo el mundo. El centro tiene el
cometido de establecer un marco integral de investigacin y conocimiento dentro de la organizacin para
brindar apoyo a sus programas y polticas mundiales. Las publicaciones producidas por el centro
contribuyen al debate global sobre la infancia y los derechos del nio e incluyen una amplia gama de
opiniones.
Las opiniones expresadas corresponden a los autores o editores y se publican para estimular un mayor
dilogo sobre mtodos de anlisis de impacto. Esta publicacin no refleja necesariamente las polticas o
perspectivas de UNICEF sobre ciertos temas.
SINTESIS METODOLOGICAS DEL CENTRO DE INVESTIGACIONES
Las sntesis metodolgicas del Centro de Investigaciones de UNICEF pretender compartir prcticas de
investigacin, mtodos, diseos y recomendaciones de reconocidos investigadores y analistas. La
audiencia a la que van dirigidas es principalmente personal de UNICEF que lleve a cabo, encargue o
interprete los resultados de investigacin y anlisis para la toma de decisiones sobre programas y polticas
de sensibilizacin.
Esta sntesis metodolgica ha seguido un proceso de revisin por pares interna.
El testo no ha sido editado de acuerdo con los estndares de publicacin oficiales y UNICEF declina toda
responsabilidad por posibles errores
Se permite la reproduccin de cualquier parte de la presente publicacin siempre que se incluya referencia
a la presente. Si se desea utilizar una parte sustancial de la publicacin dirijan su solicitud al
Departamento de Comunicacin en la direccin de correo electrnico: florence@unicef.org
Para consultas o descargas, pueden encontrar estas sntesis metodolgicas en http://www.unicef-

irc.org/KM/IE/
Recomendamos la siguiente cita para cualquier referencia al presente documento:

Rogers, P. (2014). Sinopsis de la evaluacin de Impacto, Sntesis metodolgica n.1, Centro de
Investigaciones de UNICEF, Florencia.
Agradecimientos: Varios autores han proporcionado orientacin en la preparacin de esta sntesis. El

autor y el Centro de Investigaciones de UNICEF desean agradecer a todos aquellos que han participado
en la preparacin de la presente publicacin, especialmente a:
Por su contribucin: Simon Hearn, Jessica Sinclair Taylor, Howard White
Por su revisin: Nikola Balvin, Samuel Bickel, Christian Salazar, David Stewart
Fondo de las Naciones Unidas para la Infancia (UNICEF), septiembre de 2014

Centro de Investigaciones Innocenti de UNICEF
Piazza SS. Annunziata, 12

50122 Florencia (Italia)
Tel: (+39) 055 20 330
Fax: (+39) 055 2033 220
florence@unicef.org
www.unicef-irc.org
Sntesis metodolgica n1: Sinopsis de la evaluacin de impacto
1. QUE ES LA EVALUACION DE IMPACTO Y POR QU

ES IMPORTANTE?
Las evaluaciones de impacto proporcionan informacin sobre los impactos que produce una
intervencin. Puede realizarse una evaluacin de impacto de un programa o una poltica o del trabajo
preliminar, como la creacin de capacidad, la promocin de polticas y el apoyo a la creacin de un
entorno propicio. Esto supone examinar no solo las metas y los objetivos, sino tambin los impactos
no previstos. El Comit de Asistencia para el Desarrollo (CAD) de la Organizacin de Cooperacin y
Desarrollo Econmicos (OCDE) define los impactos como efectos de largo plazo positivos y
negativos, primarios y secundarios, producidos directa o indirectamente por una intervencin para el
desarrollo, intencionalmente o no1.
La evaluacin de impacto puede realizarse con fines formativos (para mejorar o reorientar un
programa o una poltica) o con fines sumativos (para servir de base a las decisiones acerca de si
continuar, interrumpir, reproducir o ampliar un programa o una poltica). Puede ser utilizada por
UNICEF y sus asociados a nivel mundial, regional o nacional para tomar decisiones informadas y a
efectos de promocin y asesoramiento.
Esta sntesis recoge una visin general de los distintos elementos de la evaluacin de impacto y las
diferentes opciones de que disponen los directores de programas de UNICEF para cada uno de estos
elementos, con relacin a las fases de planificacin y gestin de una evaluacin de impacto. Estas
fases son las siguientes, aunque a veces su orden puede variar o revisarse:
decidir realizar una evaluacin de impacto;
establecer arreglos de gobernanza y gestin;
prepararse para realizar la evaluacin de impacto;
elaborar los trminos de referencia para la evaluacin;
contratar al equipo de evaluacin;
supervisar la evaluacin, incluida la elaboracin de los informes de evaluacin;
hacer un seguimiento de la evaluacin.
Tambin proporciona orientaciones sobre la forma de tratar cuestiones ticas y garantizar la calidad
durante una evaluacin de impacto.
Esta sntesis es la introduccin de una serie de sntesis metodolgicas de UNICEF que brindan
informacin ms detallada sobre los componentes bsicos de la evaluacin de impacto (teora del
cambio, criterios de evaluacin y razonamiento evaluativo), los distintos diseos de evaluacin y
mtodos de recoleccin y anlisis de datos, y las opciones de enfoques participativos.
2. DECIDIR REALIZAR UNA EVALUACIN DE IMPACTO

Es importante que la evaluacin de impacto se trate en el marco de un plan integrado de
seguimiento, evaluacin e investigacin que genere y facilite pruebas empricas que sirvan de base a
las decisiones. Esto garantizar que los datos de otros componentes de seguimiento y evaluacin,
como el seguimiento de los resultados y la evaluacin de procesos, puedan utilizarse segn sea
necesario. Tambin asegurar que la planificacin de la evaluacin de impacto empiece pronto,
1
CAD-OCDE, Glosario de los principales trminos sobre evaluacin y gestin basada en resultados, OCDE, Pars, 2010.
Vase http://www.oecd.org/development/peer-reviews/2754804.pdf.
Pgina 1
permitiendo la recoleccin de datos de referencia y, en su caso, la creacin de un grupo de control o

un grupo de comparacin o el uso de otras estrategias para investigar la atribucin causal.
La evaluacin de impacto solo debe llevarse a cabo cuando pueda determinarse claramente su uso
previsto y cuando sea probable que produzca constataciones tiles, teniendo en cuenta la
disponibilidad de recursos y el calendario de decisiones sobre el programa o la poltica objeto de
investigacin. Podra resultar necesario realizar primero una valoracin de la evaluabilidad2 para
valorar estos aspectos.
Las evaluaciones de impacto formativas se llevan a cabo para fundamentar las decisiones relativas a
la realizacin de cambios en un programa o una poltica. Aunque muchas evaluaciones formativas se
centran en los procesos, las evaluaciones de impacto se pueden utilizar de manera formativa si una
intervencin est en curso. Por ejemplo, las constataciones de una evaluacin de impacto pueden
utilizarse para mejorar la ejecucin de un programa para la siguiente entrada de participantes.
Las evaluaciones de impacto sumativas se realizan para fundamentar las decisiones acerca de la
continuacin, interrupcin, reproduccin o ampliacin de una intervencin. Idealmente, una
evaluacin de impacto sumativa no solo genera constataciones sobre lo que funciona, sino que
tambin proporciona informacin sobre lo que se necesita para hacer que la intervencin funcione
con distintos grupos en distintos entornos, lo que posteriormente puede utilizarse para tomar
decisiones informadas.
Cuadro 1. Cundo podra resultar adecuada una evaluacin de impacto
Tema La evaluacin de impacto podra La evaluacin de impacto podra no

resultar adecuada cuando resultar adecuada cuando
Usos Hay margen para utilizar las No hay usos ni usuarios previstos claros;
previstos y constataciones para tomar decisiones por ejemplo, las decisiones ya se han
calendario informadas sobre los futuros programas tomado sobre la base de datos fiables
o polticas. existentes o deben tomarse antes de
poder realizar una evaluacin de
impacto fiable.
Foco de Es necesario entender los impactos que La prioridad en esta fase es entender y
atencin se han producido. mejorar la calidad de la ejecucin.
Recursos Existen recursos adecuados para Los datos existentes son inadecuados y
realizar una evaluacin de impacto no se dispone de recursos suficientes
suficientemente exhaustiva y rigurosa, para cubrir las carencias.
incluidos datos de buena calidad y
tiempo y fondos adicionales para
recopilar ms.
Pertinencia Est claramente relacionada con las Es perifrica a las estrategias y

estrategias y prioridades nacionales y prioridades nacionales y de UNICEF.
de UNICEF.
El proceso de priorizacin de las intervenciones para someterlas a una evaluacin de impacto debe
implicar a una serie de partes interesadas, entre ellas representantes gubernamentales, la sociedad
civil, directores y funcionarios del sistema de las Naciones Unidas y representantes de otras
2
Para ms informacin, vase: BetterEvaluation, Evaluability Assessment, sitio web, BetterEvaluation,
http://betterevaluation.org/themes/evaluability_assessment.
Pgina 2
organizaciones asociadas. El proceso debera tener en cuenta la pertinencia de la evaluacin

respecto a las estrategias nacionales y de las Naciones Unidas, su posible utilidad y el compromiso
de los directivos superiores de utilizarla, su posible uso para la promocin de una poltica con base
emprica, y los requisitos de rendicin de cuentas 3.
Tambin es importante tener en cuenta cundo resulta adecuado realizar una evaluacin de impacto.
Las evaluaciones de impacto que se llevan a cabo con retraso proporcionarn informacin
demasiado tarde para fundamentar las decisiones. Por este motivo, algunos informes calificados
como evaluaciones de impacto en realidad solo informan sobre los resultados intermedios que son
evidentes durante el recorrido de la evaluacin y no sobre los impactos a largo plazo de la
intervencin. Por ejemplo, la evaluacin del programa de transferencia monetaria condicionada
Progresa/Oportunidades de Mxico4 analiz el ndice de asistencia escolar en vez de los resultados
de aprendizaje.
Sin embargo, las evaluaciones de impacto que se realizan demasiado pronto darn una imagen
inexacta de los impactos. En algunos casos, los impactos se subestimarn, puesto que no habrn
tenido tiempo suficiente para desarrollarse; por ejemplo, los nios que finalizan la escuela despus
de participar en un programa de intervencin temprana. En otros casos, los impactos se
sobrestimarn; por ejemplo, los conocimientos y las aptitudes de los participantes podran disminuir
con el tiempo si no tienen la oportunidad de ponerlos en prctica y mantenerlos. En estos casos ser
necesario un estudio de seguimiento posterior para examinar la durabilidad de los impactos.
3. ESTABLECER ARREGLOS DE GOBERNANZA Y

GESTIN
La evaluacin de impacto debe planificarse formalmente y gestionarse como un proyecto separado,
describiendo claramente los arreglos de gestin desde el inicio del proceso.
Algunas estructuras y procesos importantes son:
El equipo de gestin de la evaluacin (EGA) o comit directivo, encargado de seleccionar
y supervisar el trabajo de los evaluadores externos contratados para llevar a cabo la
evaluacin, entre otras cosas examinando los trminos de referencia, el informe inicial y el
proyecto de informe final. El equipo proporciona orientacin tcnica a los evaluadores y
tambin gestiona los aspectos operacionales de la evaluacin, como el presupuesto, las visitas
sobre el terreno y los contactos con las oficinas en los pases y las secciones de UNICEF
pertinentes, y la garanta de calidad de las herramientas de evaluacin (por ejemplo, la
idoneidad de una determinada encuesta). En una evaluacin conjunta, incluira al personal de
UNICEF y a representantes de cada organizacin asociada.
El grupo de referencia de evaluacin (GRE), encargado de proporcionar orientacin y
asesoramiento tcnico sobre la interaccin culturalmente apropiada con las comunidades
locales (lo que incluye herramientas y mtodos de evaluacin culturalmente apropiados) y
sobre la elaboracin de los trminos de referencia, los criterios de seleccin del equipo de
evaluacin, la revisin del plan de evaluacin y el proyecto de informe de evaluacin. El GRE
puede estar formado tanto por expertos internos como externos (incluidos las principales partes
interesadas).
3
Para ms informacin, vase: Fondo de las Naciones Unidas para la Infancia, Poltica de evaluacin revisada,
E/ICEF/2013/14, perodo de sesiones anual de la Junta Ejecutiva, 18 a 21 de junio de 2013, UNICEF, 2013.
4
Vase Secretara de Desarrollo Social (SEDESOL), Oportunidades, www.oportunidades.gob.mx.
Pgina 3
La aceptacin del informe de evaluacin final normalmente se hace a travs de un proceso de

revisin a cargo del EGA y el GRE, y el jefe de oficina de UNICEF es el responsable de la
autorizacin/aprobacin final.
Deben definirse los principales usuarios previstos de la evaluacin de impacto (ya sean
organizaciones o personas), que debern participar lo mximo posible en el proceso de evaluacin,
bien en el EGA o como parte de un grupo de referencia de partes interesadas. Los principales
usuarios previstos podran ser los directores y el personal local, regional y mundial de UNICEF y
representantes de las organizaciones asociadas locales; comunidades locales; organizaciones no
gubernamentales (ONG) locales; proveedores de financiacin locales; departamentos de los
gobiernos asociados; oficinas mundiales de organizaciones asociadas y ONG; oficinas mundiales de
los proveedores de financiacin; e institutos de investigacin pertinentes.
Deben desarrollarse procesos adecuados para entender las necesidades de evaluacin de los
principales usuarios previstos y decidir cmo priorizarlos. Adems, puede haber otros usuarios
previstos (por ejemplo, organismos que ejecuten programas similares) que estn interesados en
aprender de la evaluacin de impacto, pero cuyas necesidades de informacin no sean una prioridad
para la evaluacin.
4. PREPARARSE PARA REALIZAR LA EVALUACIN DE

IMPACTO
Revisin de la teora del cambio
La teora del cambio explica cmo se entiende que las actividades produzcan una serie de resultados
que contribuyen a lograr los impactos previstos u observados. Es probable que en el marco de la
planificacin de un programa o una poltica se haya desarrollo alguna versin de una teora del
cambio. A la hora de prepararse para una evaluacin de impacto, debe examinarse y revisarse la
teora del cambio segn sea necesario. Por ejemplo, la teora del cambio vigente puede presentar
lagunas o supuestos no realistas que deben revisarse; tambin puede haberse quedado obsoleta si
el programa ha evolucionado desde que se desarroll la teora.
No todas las versiones de una teora del cambio explican verdaderamente cmo se entiende que
funciona una intervencin (por ejemplo, los resultados, las cadenas y los marcos lgicos). As, por
ejemplo, un programa puede haber enunciado como teora del cambio que llevar a cabo actividades
de educacin en materia de higiene que expliquen la importancia de lavarse las manos para la salud
con el fin de fomentar un buen lavado de manos y mejorar la salud. Una buena teora del cambio
explicar el mecanismo causal real que se entiende que funciona, es decir: funciona la educacin
en materia de higiene porque proporciona informacin nueva (por ejemplo, que el jabn es necesario
para mejorar la eficacia del lavado de manos o que puede utilizarse ceniza como sustituto del jabn),
porque recuerda a las personas informacin que ya conocen, porque refuerza o cambia las normas
sociales o porque crea oportunidades para que las personas deliberen y reduzcan las barreras de
acceso al agua y al jabn? Aclarar este mecanismo causal, o identificarlo como una laguna de
informacin importante, puede resultar til para prepararse para una evaluacin de impacto. La
evaluacin de impacto puede mejorarse utilizando la teora del cambio para:
determinar las variables relevantes que deberan incluirse en la recoleccin de datos;
determinar los resultados intermedios que pueden utilizarse como indicadores de xito, en
situaciones en las que los impactos de inters se producirn despus del marco temporal de la
evaluacin;
Pgina 4
determinar los aspectos de ejecucin que deberan examinarse para ver si el hecho de que no
se hayan logrado los impactos previstos se debe a que no se ha ejecutado la intervencin de
manera satisfactoria;
determinar los factores contextuales potencialmente relevantes que deberan incluirse en la
recoleccin de datos;
orientar el anlisis de datos;
proporcionar un marco para informar sobre las constataciones.
En la Sntesis n.o 2 (Teora del cambio) puede encontrarse ms informacin sobre el desarrollo y la
utilizacin de la teora del cambio.
Definicin y movilizacin de recursos
Es importante crear pronto una dotacin para la evaluacin (fondos y recursos reservados para la
evaluacin) para que haya suficientes recursos disponibles cuando se realice la evaluacin. Si las
decisiones sobre el diseo y los costos generales de la evaluacin pueden tomarse durante la
planificacin de la intervencin, ser posible reservar suficientes recursos disponibles para la
evaluacin. Puede elaborarse una estimacin del volumen de recursos necesarios tomando como
referencia los presupuestos de evaluaciones similares previas, utilizando plantillas o elaborando un
diseo inicial y calculando sus costos5.
Al igual que la financiacin que puede proporcionarse a un equipo de evaluacin externa, otro
importante recurso que debe asegurarse es la disponibilidad de tiempo de los principales actores que
contribuyen, entre ellos, el grupo de gobernanza, los organismos de revisin (como un grupo asesor
tcnico o revisores homlogos), informantes clave y facilitadores de las visitas sobre el terreno.
Tambin es necesario acceder a sistemas de datos y documentacin previa. Deben entenderse bien
los datos disponibles para que el diseo de la evaluacin pueda centrarse en verificar la informacin
y corregir las carencias en lugar de recabar datos superfluos.
Decisin sobre el proceso de desarrollo de la metodologa de evaluacin
Una buena metodologa de evaluacin exige entender de forma suficiente las necesidades y los
recursos de evaluacin especficos, as como tener una especializacin tcnica general. Por lo tanto,
les aconsejable elaborar el diseo de la evaluacin mediante un proceso que rena estos elementos.
El siguiente diagrama muestra cuatro posibles procesos para desarrollar la metodologa de
evaluacin.
5
Para consultar una lista de verificacin de los puntos que deben tenerse en cuenta, vase Horn, Jerry, A Checklist for
Developing and Evaluating Evaluation Budgets, Western Michigan University Checklist Project, Kalamazoo, 2001. Vase
http://www.wmich.edu/evalctr/archive_checklists/evaluationbudgets.pdf.
Pgina 5
Grfico 1. Opciones de procesos de desarrollo de la metodologa de evaluacin
Metologa inicial
Metodologa inicial Metodologa
Metodologa desarrollada
desarrollada por desarrollada por
desarrollada por el organismo
evaluadores y evaluadores al inicio
por el organismo encargado y
revisada como proyecto
encargado al inicio revisada
posteriormente separado
posteriormente
Establecida en Metodologa Metodologa Establecida en

los trminos de inicial revisada inicial revisada los trminos de
referencia en el informe en el informe referencia
inicial inicial
La evaluacin
real se encarga
como proyecto
separado
Metodologa desarrollada por el organismo encargado: Esto se da cuando los trminos de

referencia establecen el diseo, bien mencionndolo explcitamente o bien en la manera de elaborar
el presupuesto (por ejemplo, un determinado nmero de das para la revisin de documentos en la
oficina y para las entrevistas sobre el terreno respectivamente). Puede resultar una opcin
conveniente cuando el organismo encargado cuenta con una especializacin tcnica suficiente, por
las aptitudes de su personal o porque la evaluacin utiliza un diseo preexistente. En otras
circunstancias existe el riesgo de que esta opcin no aproveche las oportunidades debido al limitado
repertorio de diseos y mtodos de evaluacin que resulten familiares a las personas encargadas.
Metodologa inicial desarrollada por el organismo encargado y revisada posteriormente: Esto
se da cuando los trminos de referencia establecen un diseo indicativo que posteriormente es
examinado por los evaluadores como primer paso tras su designacin. Definen en un informe inicial
el diseo final incluidas las revisiones en base a las conversaciones mantenidas con el
organismo encargado y una revisin de los datos disponibles. Esta opcin brinda la oportunidad de
incluir contribuciones tcnicas y logsticas adicionales en la metodologa y, por lo tanto, es probable
que genere un diseo ms slido que el diseo indicativo propuesto inicialmente.
Metodologa inicial desarrollada por evaluadores y revisada posteriormente: Esto se da cuando
los trminos de referencia piden a evaluadores potenciales que propongan y determinen los costos
de un diseo de evaluacin. Posteriormente es examinado y revisado como primer paso tras su
designacin. Definen en un informe inicial el diseo final incluidas las revisiones en base a las
conversaciones mantenidas con el organismo encargado y una revisin de los datos disponibles. Al
igual que en la opcin anterior, es probable que en este caso se genere un diseo ms slido, puesto
que se basa en un mejor entendimiento de la realidad sobre el terreno.
Metodologa desarrollada como proyecto separado: Esto se da cuando se lleva a cabo un
proyecto separado para desarrollar la metodologa de evaluacin, lo que puede suponer mantener
numerosas consultas con los usuarios previstos de la evaluacin y examinar los datos disponibles en
forma de valoracin de la evaluabilidad6. La realizacin de la evaluacin real se anuncia
posteriormente como contrato separado; el equipo que ha desarrollado la metodologa puede no
resultar elegido para llevar a cabo la evaluacin si carece de la especializacin, cobertura o
6
Para ms informacin, vase: BetterEvaluation, Evaluability Assessment, sitio web, BetterEvaluation,
http://betterevaluation.org/themes/evaluability_assessment.
Pgina 6
disponibilidad necesarias. Esta opcin es la ms adecuada en situaciones en las que se necesita una
metodologa complicada para atender las caractersticas particulares de la evaluacin.
5. ELABORAR LOS TRMINOS DE REFERENCIA PARA

LA EVALUACIN
La elaboracin de un documento adecuado con los trminos de referencia constituye un paso
fundamental en una evaluacin de impacto. Si bien el formato especfico de los trminos de
referencia puede variar, especialmente si se trata de una evaluacin conjunta, debe definir los
elementos esenciales de la evaluacin de impacto, entre ellos, su finalidad, objetivos y usos
previstos, las preguntas clave de evaluacin de alto nivel que pretende responder, los entregables y
plazos especficos, y las competencias esenciales del equipo de evaluacin. Los trminos de
referencia suelen incluir la metodologa propuesta para la evaluacin de impacto, cuyas opciones de
desarrollo y mejora se han descrito anteriormente.
Contexto
Los trminos de referencia deben contener un resumen del desarrollo de la intervencin que se est
evaluando y la razn que ha motivado la decisin de realizar una evaluacin de impacto. Deben
definirse los conceptos principales. A modo de ejemplo, los trminos de referencia de una evaluacin
del impacto de los sistemas de preparacin para emergencias de UNICEF incluan un resumen de lo
que es la preparacin7.
Finalidad, objetivos y alcance de la evaluacin (incluidas las preguntas clave de

evaluacin)
La finalidad de la evaluacin se refiere a la justificacin para realizar una evaluacin de impacto. Las
evaluaciones que se llevan a cabo para apoyar el aprendizaje deben dejar claro quines est previsto
que aprendan, cmo se les incluir en el proceso de evaluacin para que se considere pertinente y
fiable, y si hay puntos decisorios especficos a los que se espera aplicar este aprendizaje. Las
evaluaciones realizadas para apoyar la rendicin de cuentas deben dejar claro a quin se le piden
cuentas, ante quin y por qu.
Los objetivos de la evaluacin normalmente se expresan en trminos de los criterios de evaluacin8
del CAD de la OCDE (vase el cuadro 2).
7
Oficina de Evaluacin de UNICEF, Evaluation of UNICEFs Emergency Preparedness Systems, Terms of Reference
Final, UNICEF, 2012. Vase
http://www.unicef.org/evaluation/files/Evaluation_of_UNICEF_Emergency_Preparedness_Systems_-_FINAL_ToR.pdf.
8
Organizacin de Cooperacin y Desarrollo Econmicos, Comit de Asistencia para el Desarrollo, Evaluation of
development programmes, DAC Criteria for Evaluating Development Assistance, sitio web, OCDE. Vase
http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm.
Pgina 7
Cuadro 2. Criterios de evaluacin del CAD de la OCDE
Pertinencia Medida en que los objetivos de la intervencin son congruentes con los
requisitos de los beneficiarios, las necesidades del pas, las prioridades
globales y las polticas de los asociados.
Eficacia Medida en que se lograron o se espera lograr los objetivos de la intervencin,

teniendo en cuenta su importancia relativa.
Eficiencia Medida en que los recursos/insumos (fondos, especializacin, tiempo,

equipos, etc.) se han transformado econmicamente en resultados.
Impacto Efecto de largo plazo positivo y negativo, primario y secundario, producido

directa o indirectamente por la intervencin, intencionalmente o no
Sostenibilidad Continuacin de los beneficios de la intervencin despus de que haya

concluido la asistencia principal para el desarrollo. La sostenibilidad analiza la
probabilidad de que continen los beneficios en el largo plazo.
Las evaluaciones de impacto tambin pueden tener por objeto abordar la equidad, la igualdad de
gnero y los derechos humanos.
Una evaluacin puede centrarse en algunos de estos criterios en vez de en todos. En una evaluacin
de impacto, debe describirse ms especficamente cada criterio en trminos de cmo sera el
xito.
En la Sntesis n.o 3 (Criterios de evaluacin) puede encontrarse informacin sobre la definicin de los
criterios evaluativos.
Las evaluaciones de impacto deben centrarse en responder un pequeo nmero de preguntas clave
de evaluacin de alto nivel. No son preguntas de entrevista, sino preguntas que se respondern
mediante una combinacin de pruebas empricas (vanse algunos ejemplos en el cuadro 3).
Estas preguntas deben relacionarse claramente con los usos previstos de la evaluacin de impacto.
Por ejemplo, si el objetivo de una evaluacin es servir de base a la ampliacin de un programa piloto,
no basta con preguntar si ha funcionado o cules han sido los impactos. Es necesario entender bien
cmo se lograron estos impactos en relacin con las actividades y los factores contextuales de apoyo
para reproducir los logros de un programa piloto de xito. Las preocupaciones relativas a la equidad
tambin exigen que las evaluaciones de impacto de todos los programas de UNICEF vayan ms all
del simple impacto medio para determinar con quin han tenido xito los programas y de qu forma.
Cuadro 3. Ejemplos de preguntas clave de evaluacin para la evaluacin de impacto

relacionadas con los criterios de evaluacin del CAD de la OCDE
Pertinencia
En qu medida se ajustaron los impactos previstos a las necesidades de los participantes
previstos?
En qu medida se ajustaron los impactos previstos a las prioridades expresadas por los gobiernos
asociados y el sistema de las Naciones Unidas?
Pgina 8
Eficacia
Produjo la intervencin [los impactos previstos] a corto, medio y largo plazo?
Con quin, de qu forma y en qu circunstancias funcion la intervencin?
Llegaron [los impactos previstos] a todos los participantes previstos?
Cmo contribuy la intervencin a [los impactos previstos]?
Cules son las caractersticas particulares de [la intervencin] que marcaron la diferencia?
Qu variaciones hubo en la ejecucin? Cul ha sido la calidad de la ejecucin en los distintos
lugares? En qu medida y de qu manera cambi la ejecucin con el tiempo a medida que
evolucionaba la intervencin?
En qu medida explican las variaciones en la ejecucin las diferencias de impacto?
Cmo trabaj la intervencin con otras intervenciones para lograr resultados?
Qu ayud o impidi a la intervencin lograr estos impactos?
Eficiencia
Qu recursos se han utilizado para producir estos resultados? Cmo se compara esto con
intervenciones similares?
Qu estrategias se han utilizado para asegurar la eficiencia de la intervencin?
Impacto
Qu impactos imprevistos (positivos y negativos) produjo la intervencin?
Sostenibilidad
Es probable que los impactos sean sostenibles? (Debe estudiarse al trmino de la intervencin)
Han sido sostenidos los impactos? (Es necesario un estudio de seguimiento)
Los trminos de referencia deben dejar claro el alcance de la evaluacin. Por ejemplo, los trminos
de referencia de la evaluacin del Programa Conjunto sobre la mutilacin/ablacin genital femenina:
acelerar el cambio9, del UNFPA y UNICEF, se referan explcitamente a los distintos niveles del
programa y el grado en que se esperaba que la evaluacin abordase cada uno de ellos.
Diseo y mtodos de evaluacin
La metodologa de evaluacin determina cmo se responder a las preguntas clave de evaluacin.

Especifica los diseos para la atribucin causal, incluso si se crearn grupos de comparacin y cmo,
y mtodos para la recoleccin y el anlisis de datos. Es conveniente crear una matriz que presente
9
Fondo de Poblacin de las Naciones Unidas y Fondo de las Naciones Unidas para la Infancia, Joint Evaluation: UNFPA-
UNICEF Joint Programme on Female Genital Mutilation/Cutting: Accelerating Change, 2008-2012, volumen I,
UNFPA/UNICEF, Nueva York, septiembre de 2013. Vase
http://www.unfpa.org/webdav/site/global/shared/documents/Evaluation_branch/Joint Evaluation - Sept 2013/Main
Report/FGM-report 12_4_2013.pdf.
Pgina 9
qu mtodos de recoleccin/cotejo y anlisis de datos (incluido el uso de datos existentes) se

utilizarn para responder a cada una de las preguntas.
En las preguntas clave de evaluacin conviene identificar los tipos de preguntas en cuestin:
descriptivas, causales y evaluativas. Las evaluaciones de impacto deben tener respuestas fiables
para todas ellas: cmo han cambiado las cosas, en qu medida se debe este cambio a la
intervencin que se est evaluando y, en general, si ha tenido xito la intervencin. La mayora de las
evaluaciones de impacto tratan las preguntas descriptivas y causales, pero muchas se quedan cortas
a la hora de examinar preguntas evaluativas (preguntas sobre la calidad y el valor), aunque
examinarlas es precisamente lo que hace que la evaluacin sea mucho ms til y pertinente que la
simple medicin de indicadores o los resmenes de observaciones y casos (vase la Sntesis n.o 4
(Razonamiento evaluativo)).
Se necesitan distintos diseos de evaluacin y mtodos de recoleccin y anlisis de datos para
responder a estos distintos tipos de preguntas de evaluacin, como se describe a continuacin.
Preguntas descriptivas
Las preguntas descriptivas se refieren a cmo son las cosas y qu ha ocurrido, incluida la descripcin
de la situacin inicial y cmo ha cambiado, las actividades de la intervencin y otros programas o
polticas relacionados, el contexto en cuanto a caractersticas de los participantes y el entorno de
ejecucin.
Existe toda una gama de mtodos de recoleccin/cotejo de datos para responder (aunque no
necesariamente de manera exclusiva) a las preguntas descriptivas. Algunos son:
Recoleccin de datos de personas o grupos: a travs de entrevistas, cuestionarios o mtodos
especializados como la votacin por puntos, la clasificacin de tarjetas, los calendarios
estacionales, las tcnicas de proyeccin y las vivencias.
Observacin: estructurada o no estructurada; de participantes o de no participantes; registrada
mediante notas, fotos o vdeos; participativa o no participativa.
Medicin fsica: mediciones biofsicas o informacin geogrfica.
Documentos y datos existentes: incluidos conjuntos de datos, estadsticas oficiales, registros
de proyectos y datos de las redes sociales existentes.
En la mayora de los casos, una combinacin eficaz de datos cuantitativos y cualitativos dar una
imagen ms completa de lo que ha pasado. Muchas evaluaciones de impacto no recaban datos de
referencia adecuados sobre las condiciones o datos adecuados sobre la ejecucin de la intervencin.
En la Sntesis n.o 10 (Sinopsis: Mtodos de recoleccin y anlisis de datos en la evaluacin de
impacto) puede encontrarse ms informacin sobre las diferentes opciones de recoleccin y anlisis
de datos y sobre la combinacin de los datos cualitativos y cuantitativos. En la Sntesis n. o 12
(Entrevistas) puede encontrarse asesoramiento especfico sobre la utilizacin de entrevistas.
Preguntas causales
Las preguntas causales se refieren a si los cambios observados se deben o no, y en qu medida, a la
intervencin que se est evaluando y no a otros factores, incluidos otros programas y/o polticas.
Existen tres opciones de diseo que abordan la atribucin causal:
Diseos experimentales, que construyen un grupo de control mediante asignacin aleatoria.
Diseos cuasi experimentales, que construyen un grupo de control mediante emparejamiento,
regresin discontinua, puntuacin de la propensin u otros medios.
Pgina 10
Diseos no experimentales, que analizan sistemticamente si las pruebas empricas son

coherentes con lo que cabra esperar si la intervencin estuviese produciendo impactos, y si
otros factores podran proporcionar una explicacin alternativa.
Todas estas opciones exigen una inversin considerable en la preparacin y recoleccin temprana de
datos, y no pueden ponerse en prctica si la evaluacin de impacto se limita a un breve ejercicio
hacia el final de la ejecucin de la intervencin: un punto dbil comn a muchas evaluaciones de
impacto.
En la Sntesis n.o 6 (Sinopsis: Estrategias de atribucin causal), la Sntesis n.o 7 (Ensayos
controlados aleatorios), la Sntesis n.o 8 (Diseos y mtodos cuasi experimentales) y la Sntesis n. o 9
(Estudios de caso comparativos) puede encontrarse ms informacin sobre las distintas opciones de
diseo.
Preguntas evaluativas
Las preguntas evaluativas se refieren a la conclusin general sobre si un programa o una poltica
puede considerarse un xito, una mejora o la mejor opcin.
Las intervenciones de desarrollo suelen tener mltiples impactos que se distribuyen de manera
desigual (la equidad es una inquietud particular en el sistema de las Naciones Unidas), lo que es
considerado un elemento esencial de una evaluacin de impacto. Por ejemplo, debera
considerarse que tiene xito un programa de desarrollo econmico que produce un aumento de los
ingresos en los hogares pero tambin impactos ambientales peligrosos? Debera considerarse que
tiene xito si los ingresos de los hogares medios aumentan pero los ingresos de los hogares ms
pobres disminuyen?
En una evaluacin de impacto es importante definir primero qu se entiende por xito (calidad,
valor). Una forma de hacerlo es utilizar una rbrica especfica que defina distintos niveles de
desempeo para cada criterio de evaluacin, decidiendo qu pruebas empricas se recabarn y cmo
se sintetizarn para llegar a conclusiones justificables sobre el valor de la intervencin. Como
mnimo, debera dejarse claro qu concesiones resultaran adecuadas al equilibrar los mltiples
impactos o efectos distributivos. Esta cuestin constituye un punto dbil, pues muchas evaluaciones
de impacto no la abordan de manera sistemtica o no se ocupan de ella en absoluto.
En la Sntesis n.o 4 (Razonamiento evaluativo) puede encontrarse ms informacin sobre la
importancia de examinar preguntas evaluativas y las opciones especficas para hacerlo (en trminos
de proceso recomendado y formas de lograr conclusiones justificables).
Perfil del equipo de evaluacin
Los trminos de referencia deben definir los criterios de seleccin del equipo de evaluacin, incluidas
las competencias obligatorias y deseables. Entre ellas puede incluirse: experiencia de trabajo en el
pas o la regin en cuestin; conocimientos de idiomas; conocimientos de contenido (en un sector o
rea como el gnero); competencias tcnicas en diseo de evaluacin, recoleccin de datos, anlisis
de datos y presentacin de informes; aptitudes de comunicacin; y competencias de gestin de
proyectos. Puede resultar necesario asegurarse de que el equipo en su conjunto tenga una cobertura
adecuada, por ejemplo, conocimiento actualizado de las redes locales, capacidad para acceder a
informantes clave y conocimiento de las evaluaciones de intervenciones comparables en otras
regiones. Es importante asegurar que el equipo cuente con competencias tcnicas para recopilar y
analizar datos, as como aptitudes de comunicacin para negociar eficazmente el diseo e informar
sobre las constataciones, y entienda que las evaluaciones deben centrarse en producir
constataciones tiles y accesibles, no solo informes acadmicos.
Pgina 11
Si se consideran convenientes los enfoques participativos con la participacin de miembros de

grupos de partes interesadas, especialmente miembros de la comunidad, el equipo de evaluacin
debe contar con las competencias y la experiencia necesarias para facilitarlo.
En la Sntesis n.o 5 (Enfoques participativos) puede encontrarse ms informacin sobre las
estrategias para incluir a distintas partes interesadas (entre ellos miembros de la comunidad) en las
evaluaciones.
En la Nota tcnica de evaluacin n.o 2 de UNICEF sobre el contenido de los trminos de referencia
puede encontrarse ms informacin sobre los procesos para elaborar los trminos de referencia de
una evaluacin10.
6. CONTRATAR AL EQUIPO DE EVALUACIN

La contratacin de un equipo de evaluacin externo debe seguir los procedimientos estndar de
UNICEF diseados para garantizar una reserva amplia de posibles evaluadores aptos desde la que
seleccionar la opcin ms adecuada.
Los trminos de referencia deben proporcionar suficiente informacin para que los posibles
evaluadores presenten una oferta tcnica y financiera fundamentada. Por este motivo, es mejor
concluir los estudios de alcance y las valoraciones de evaluabilidad antes de decidir realizar una
evaluacin de impacto y anunciarla a evaluadores externos. Para crear una reserva amplia de
posibles evaluadores, los trminos de referencia deben anunciarse abiertamente, por ejemplo, en
listas de discusin de evaluacin as como a travs del envo de correos directos a los posibles
evaluadores. El hecho de destacar oportunidades de publicacin acadmica puede animar a
evaluadores e investigadores universitarios a que presenten sus propuestas. Unas estrategias
eficaces de seleccin del mejor equipo de evaluacin empiezan por reflejar unos criterios de
seleccin adecuados en los trminos de referencia. Revisar ejemplos de informes anteriores de
evaluacin, si es posible, y debatirlos con los futuros equipos debera dar una buena idea del grado
en que se ajustan sus competencias y valores a los requisitos de la evaluacin.
Es importante conceder suficiente tiempo entre el anuncio de los trminos de referencia y el plazo de
presentacin de propuestas, as como entre la aceptacin de una propuesta y el inicio del trabajo.
Tambin deben darse plazos razonables para la finalizacin del trabajo. Los plazos demasiado
ajustados pueden limitar seriamente la cantidad de evaluadores disponibles para trabajar en el
proyecto y comprometer la calidad del trabajo.
7. SUPERVISAR LA EVALUACIN
Plan de trabajo de la evaluacin
En muchos casos, en el marco de los trminos de referencia se habr elaborado un plan de trabajo
indicativo en el que se establecen las distintas fases de recoleccin y anlisis de datos y los plazos
de los distintos entregables. Cuando sea posible, el plan de trabajo debe crear oportunidades de
presentacin de informes provisionales y anlisis continuo, en vez de reservar todos los informes
para el final de la evaluacin. El plan de trabajo debe examinarse y revisarse en el marco del informe
inicial.
10
Oficina de Evaluacin de UNICEF, What goes into a Terms of Reference (TOR), Evaluation Technical Note No. 2,
UNICEF, 2002. Lista de verificacin de preguntas para su uso por parte de los directores de evaluacin de UNICEF al
elaborar trminos de referencia. Vase http://www.unicef.org/evaluation/files/TechNote2_TOR.pdf.
Pgina 12
Una vez que se acepte, la direccin debe vigilar la materializacin del plan de trabajo y las
estructuras de gobernanza y su revisin, en caso necesario para hacer frente a las nuevas
cuestiones o los retrasos inesperados.
Debe programarse el plazo para el examen y la revisin de los principales entregables, incluida la
metodologa y el plan de trabajo revisados, las herramientas de recoleccin y anlisis de datos (si
deben aprobarse) y los proyectos de informe.
Constataciones de los informes
Los informes deben elaborarse con arreglo al Sistema Mundial de Supervisin de los Informes de
Evaluacin11 desarrollado por UNICEF, y a los evaluadores se les debe proporcionar una plantilla
para facilitar la elaboracin de un documento conforme.
Los informes deben cumplir las Normas para los Informes de Evaluacin del Grupo de Evaluacin de
las Naciones Unidas (UNEG) adaptadas a UNICEF 12. En resumen, el objetivo de estas es asegurar
que:
El informe est bien estructurado y es lgico, claro y completo.
El informe presenta una descripcin clara y completa del objeto de la evaluacin.
Se explican ntegramente la finalidad, los objetivos y el alcance de la evaluacin.
El informe presenta una descripcin transparente de la metodologa aplicada a la evaluacin,
que explica claramente cmo se ha diseado especficamente la evaluacin para atender a los
criterios de evaluacin, generar respuestas a las preguntas de evaluacin y cumplir la finalidad
de la evaluacin.
Las constataciones responden directamente a los criterios y las preguntas de evaluacin
detallados en la seccin sobre el alcance y los objetivos del informe, y tiene una base emprica
derivada de los mtodos de recoleccin y anlisis de datos descritos en la seccin de
metodologa del informe.
Las conclusiones exponen juicios razonables basados en las constataciones y estn
justificados mediante pruebas empricas, y proporcionan informacin pertinente respecto al
objeto y la finalidad de la evaluacin.
Las recomendaciones son pertinentes para el objeto y la finalidad de la evaluacin, estn
apoyadas por pruebas empricas y conclusiones y se elaboran con la participacin de las
partes interesadas pertinentes.
El informe ilustra el grado en que el diseo y la ejecucin del objeto, la valoracin de los
resultados y el proceso de evaluacin incorporan una perspectiva de igualdad de gnero y un
enfoque basado en los derechos humanos, incluidos los derechos del nio.
El informe de evaluacin debe estructurarse en torno a los mensajes principales que figuran en el
resumen y proporcionar acceso a explicaciones y pruebas empricas ms detalladas. El uso de
breves frases recapitulativas como ttulos, tablas y cuadros facilita que los lectores se centren en
estos mensajes principales.
11
Para ms informacin sobre los requisitos de presentacin de informes, vase: Fondo de las Naciones Unidas para la
Infancia, Sistema Mundial de Supervisin de los Informes de Evaluacin, UNICEF, 2013. Vase
http://www.unicef.org/evaluation/files/GEROS_Methodology_v7.pdf.
12
Oficina de Evaluacin de UNICEF, Normas para los Informes de Evaluacin del UNEG adaptadas a UNICEF, UNICEF,
2010. Vase http://www.unicef.org/evaldatabase/files/UNEG_UNICEF_Eval_Report_Standards.pdf.
Pgina 13
Respuesta de la direccin
Una evaluacin requiere una respuesta formal de la direccin 13 en forma de respuesta escrita a las
recomendaciones formuladas en el informe de evaluacin. Algunos organismos la incluyen en el
informe final; en UNICEF, la respuesta de la direccin se proporciona como documento separado. La
respuesta puede estar de acuerdo, parcialmente de acuerdo o en desacuerdo con una
recomendacin, y debe explicar la aceptacin parcial o el rechazo de una recomendacin. En el caso
de las recomendaciones que se han aceptado total o parcialmente, deben definirse medidas de
seguimiento, con la especificacin de un plazo y el nombre de la dependencia responsable.
Es importante designar a una persona para coordinar la respuesta de la direccin y definir un plazo
convenido para presentar las observaciones. La direccin debe responder en los dos meses
siguientes a la recepcin del informe de evaluacin final 14.
8. HACER UN SEGUIMIENTO DE LA EVALUACIN

Difusin de las constataciones
Adems del informe de evaluacin formal, pueden utilizarse otros productos de conocimiento y
procesos para facilitar la disponibilidad de las constataciones. Entre ellos, otros materiales escritos,
como una sntesis de evaluacin, un boletn electrnico o una entrada en una wiki, todos los cuales
contendran un resumen de la evaluacin.
Las constataciones tambin pueden compartirse a travs de actividades, como presentaciones en
reuniones, talleres y comunidades de intercambio de prcticas existentes o en seminarios web. Estas
presentaciones pueden incluso grabarse y compartirse de manera ms generalizada, por ejemplo, a
travs de YouTube o Vimeo.
Todas las evaluaciones de UNICEF deben subirse tambin a la base de datos de evaluacin de
UNICEF en el marco del sistema de informes anuales de las oficinas en los pases.
Seguimiento
El proceso de seguimiento de la aplicacin de las recomendaciones debe hacerse en el marco de los

procesos anuales de planificacin y revisin. Debe informarse sobre cada una de las medidas
anteriormente definidas en funcin de su progreso: iniciada, no iniciada, completada o ya no
aplicable.
Documentacin de la experiencia adquirida con la evaluacin
Lo ideal es documentar y compartir tambin la experiencia adquirida con la evaluacin, al menos a

nivel interno. En concreto, la Poltica de evaluacin revisada de UNICEF 15 establece que:
13
Fondo de las Naciones Unidas para la Infancia, Guidance for Management Response to Evaluation: Enhancing Critical
Engagement for the Strategic Use of Evaluations, UNICEF, 2012. Vanse
http://www.unicef.org/evaldatabase/files/2011_South_Africa_-_management_response_SCCFS_evaluation.pdf, y
https://intranet.unicef.org/epp/evalsite.nsf/8e1ddc662803020785256ede00706595/6a1a69ce471c376585257c40006677c1
?OpenDocument.
14
Grupo de Evaluacin de las Naciones Unidas, UNEG Guidance on Preparing Management Responses to UNDAF
Evaluations, documento orientativo, UNEG, 2014. Vase
http://www.unevaluation.org/UNDAF_management_response_guidance.
15
Fondo de las Naciones Unidas para la Infancia, Poltica de evaluacin revisada del UNICEF, UNICEF, Nueva York, 2013,
prrafo 37. Vase http://www.unicef.org/evaluation/files/2013-14-Revised_evaluation_policy-ODS-Spanish.pdf.
Pgina 14
Los directores de divisin son responsables de planificar, dotar de recursos y

encargar las evaluaciones de las polticas e iniciativas mundiales que se
encuentran bajo su responsabilidad, as como de responder a las
recomendaciones y la experiencia adquirida pertinentes. Los directores ejecutan
y respaldan medidas dirigidas a fortalecer la capacidad de evaluacin y el
compromiso en las dependencias de la sede que supervisan y en las redes
mundiales que gestionan.
Este requisito est directamente relacionado con la respuesta formal de la direccin mencionada
anteriormente, incluidas las medidas especficas que deben adoptarse sobre la base de las
constataciones de la evaluacin.
9. ANTICIPAR Y TRATAR LAS CUESTIONES TICAS

Las evaluaciones deben seguir las directrices ticas de evaluacin16 establecidas por el UNEG, a las
que se adhiere UNICEF. Estas directrices establecen un cdigo de conducta para evaluadores y las
obligaciones ticas de los participantes en la evaluacin.
Entre las obligaciones estn:
el respeto de la dignidad y la diversidad;
los derechos;
la confidencialidad;
la prevencin del dao.
Estas obligaciones deben cumplirse explcitamente en el diseo de la evaluacin y durante todo el
proceso de evaluacin. Su intencin es garantizar el respeto y la proteccin de los derechos y el
bienestar de los seres humanos y las comunidades a las que pertenecen, de conformidad con la
Declaracin Universal de Derechos Humanos y otras convenciones de derechos humanos.
UNICEF exige que todas las evaluaciones que respalde observen las leyes del pas en el que se
sita la correspondiente oficina de UNICEF, lo que conlleva un examen tico a cargo de un
organismo objetivo y cualificado17, cuando se considere necesario.
Las evaluaciones en las que participan nios como informantes, recopiladores de datos o de otra
forma requieren que se preste una atencin especial a las cuestiones ticas. En octubre de 2013, El
Centro de Investigaciones Innocenti de UNICEF puso en marcha Ethical Research Involving Children,
un recurso18 en lnea que rene planteamientos expertos sobre importantes cuestiones ticas
relacionadas con nios y cmo podran abordarse en distintos contextos de investigacin (y
evaluacin).
En la Sntesis n.o 5 (Enfoques participativos) y la Sntesis n.o 10 (Sinopsis: Mtodos de recoleccin y
anlisis de datos en la evaluacin de impacto) puede encontrarse ms informacin sobre las
cuestiones ticas.
16
Grupo de Evaluacin de las Naciones Unidas, Ethical Guidelines for Evaluation, UNEG, Nueva York, 2007. Vase
https://www.iom.int/jahia/webdav/site/myjahiasite/shared/shared/mainsite/about_iom/eva_techref/UNEG_ethical_guideline
s.pdf.
17
Fondo de las Naciones Unidas para la Infancia, Poltica de evaluacin revisada del UNICEF, UNICEF, Nueva York, 2013,
prrafo 54 e. Vase http://www.unicef.org/evaluation/files/2013-14-Revised_evaluation_policy-ODS-Spanish.pdf.
18
Los nuevos recursos son la Charter for Ethical Research Involving Children (Carta internacional para la tica en la
investigacin con nios); un sitio web, www.childethics.com, diseado especficamente para ofrecer un abundante
depsito de informacin con base emprica, recursos y enlaces a artculos de revistas para orientar y mejorar la
investigacin con nios y ofrecer una plataforma para seguir manteniendo una reflexin y un dilogo fundamentales; y un
compendio de cuestiones y desafos ticos, incluida una coleccin de ms de 20 casos de estudio, as como preguntas
estructuradas para orientar la tica en la investigacin con nios (la pgina web llamada Getting Started).
Pgina 15
10. ASEGURAR LA CALIDAD DE LA EVALUACIN DE

IMPACTO
La realizacin de una evaluacin de impacto de calidad implica encontrar un equilibrio adecuado
entre criterios concurrentes: validez18, utilidad (especialmente, oportunidad y pertinencia), viabilidad y
tica. Estos criterios pueden entrar en conflicto; As por ejemplo, un director podra tener que elegir
entre un diseo de evaluacin que pueda proporcionar constataciones muy precisas y exhaustivas y
otro que produzca informacin adecuada a tiempo para fundamentar una determinada decisin.
Algunos diseos de evaluacin se centran en mejorar la validez interna (la capacidad para extraer
correctamente una atribucin causal), pero a costa de la validez externa (la capacidad de aplicar las
constataciones a otros entornos).
Algunas estrategias para garantizar la calidad de la evaluacin de impacto son:
conocer las concesiones que se estn haciendo y debatir explcitamente las opciones
disponibles;
contar con una serie de personas en la gobernanza de la evaluacin para asegurar la
adecuacin de su enfoque y de las decisiones tomadas en torno a las concesiones;
incluir a un grupo asesor tcnico o a revisores homlogos para revisar el diseo de la
evaluacin y los proyectos de informe.
11. OTRAS SNTESIS DE LA SERIE

Esta es la primera de una serie de sntesis metodolgicas sobre la evaluacin de impacto elaboradas
por UNICEF. Las otras sntesis que conforman la serie son:
Componentes
Sinopsis de la evaluacin de impacto
Teora del cambio
Criterios de evaluacin
Razonamiento evaluativo
Enfoques participativos
Diseo de la investigacin
Sinopsis: Estrategias de atribucin causal
Ensayos controlados aleatorios
Diseo y mtodos cuasi experimentales
Estudios de caso comparativos
Recoleccin y anlisis de datos
Sinopsis: Mtodos de recoleccin y anlisis de datos en la evaluacin de impacto
Desarrollo y seleccin de medidas de bienestar infantil
18
Son importantes distintos tipos de validez: la validez conceptual se refiere a la capacidad de las medidas y otras
herramientas para representar con precisin la realidad; la validez interna se refiere a la capacidad de extraer
correctamente una atribucin causal, es decir, determinar si los cambios observados se deben a la intervencin; y la
validez externa se refiere a la capacidad de extrapolar los resultados a otras poblaciones o lugares.
Pgina 16
Entrevistas
Elaboracin de modelos
12. LECTURAS Y ENLACES CLAVE

En las dems sntesis de esta serie se facilitan lecturas y enlaces relacionados con determinados
aspectos de la evaluacin de impacto. A continuacin se presentan algunas introducciones generales
a la evaluacin de impacto:
IE4D Group, Impact Evaluation for Development: Principles for Action, IE4D Group, 2011. Aqu se
analizan las estrategias para gestionar y realizar la evaluacin del desarrollo de formas que apoyan el
desarrollo. Vase
http://www.scalingimpact.net/files/Impact%20Evaluation%20for%20Development%20-
%20Principles%20for%20Action.pdf.
Rogers, Patricia J., RMIT University y BetterEvaluation, Introduccin a la evaluacin de impacto,

Notas sobre la Evaluacin de Impacto N.o 1, InterAction, Washington, D.C., 2012. Aqu se presenta
una visin general de las cuestiones que deben abordar los directores de programas. Vase
http://www.interaction.org/sites/default/files/3%20-
%20Introduction%20to%20Impact%20Evaluation%20-%20Spanish_0_0.pdf.
White, Howard, Some Reflections on Current Debates in Impact Evaluation, International Initiative
for Impact Evaluation Working Paper No. 1, 2009. Resumen de los principales debates sobre la
medicin y atribucin de impactos. Vase
http://www.3ieimpact.org/media/filer/2012/05/07/Working_Paper_1.pdf.
Oficina de Evaluacin de UNICEF, What goes into a Terms of Reference (TOR) , Evaluation
Technical Note No. 2, UNICEF, 2002. Lista de verificacin de preguntas para su uso por parte de los
directores de evaluacin de UNICEF al elaborar trminos de referencia. Vase
http://www.unicef.org/evaluation/files/TechNote2_TOR.pdf.
Oficina de Evaluacin de UNICEF, Guidance on prioritization of major evaluations at the

decentralized level, UNICEF, 2010,
https://intranet.unicef.org/epp/evalsite.nsf/0/089a45b4f5292588852577e00056f69c/$file/guidanceprior
itizationofevaluations.pdf.
Centro de Investigaciones Innocenti de UNICEF, Childwatch International Research Network, Centre

for Children and Young People at Southern Cross University, Australia, y Childrens Issues Centre at
the University of Otago, Nueva Zelandia, Ethical Research Involving Children, sitio web, 2013,
www.childethics.com.
Pgina 17
GLOSARIO
Atribucin causal Imputacin de un vnculo causal entre cambios observados (o que se
espera observar) y una intervencin especfica.
Clasificacin de tarjetas Mtodo de recoleccin de datos que da una idea de cmo las
personas categorizan y clasifican distintos fenmenos.
Criterios de evaluacin Los valores (principios, atributos o cualidades considerados
intrnsecamente buenos, deseables, importantes y de valor general)
que se utilizarn en una evaluacin para juzgar el mrito de una
intervencin. Algunos ejemplos son los criterios del Comit de
Asistencia para el Desarrollo (CAD) de la Organizacin de
Cooperacin y Desarrollo Econmicos (OCDE) 19, el Enfoque para la
Programacin basado en los Derechos Humanos (HRBAP, por sus
siglas en ingls) y los criterios utilizados para la asistencia
humanitaria.
Datos de referencia Datos recopilados inicialmente que sirven de base para la
comparacin con los datos obtenidos en una fase posterior. Por
ejemplo, los datos recopilados antes de una intervencin se comparan
posteriormente con los datos recopilados despus de ejecutar la
intervencin.
Evaluacin de procesos Evaluacin del desarrollo y la aplicacin de un determinado
programa/intervencin. Analiza la eficacia de las actividades del
programa, la ejecucin, la prestacin de servicios, etc. La evaluacin
de procesos continua se llama seguimiento del programa. Vase:
seguimiento.
Grupo de comparacin En un diseo de investigacin cuasi experimental, es el grupo de

participantes en la investigacin que, a efectos de comparacin, no
recibe el tratamiento o la intervencin dados al grupo de intervencin.
Los sujetos del grupo de comparacin normalmente no se distribuyen
de forma aleatoria por su condicin, como ocurrira con los sujetos del
grupo de control en un estudio de diseo experimental. Vase: grupo
de control, grupo experimental.
Grupo de control Participantes en un estudio de investigacin/evaluacin que no
reciben el tratamiento/intervencin experimental.
Indicador Medida verificable que ha sido seleccionada por la direccin de un
programa o poltica para tomar decisiones sobre estos. Por ejemplo,
la proporcin de estudiantes que aprueban un examen estandarizado.
Informante clave Participante en la investigacin/evaluacin que es probable que est
bien informado sobre una cuestin y dispuesto a responder sin
sesgos.
Informe inicial Informe elaborado al trmino del perodo inicial que describe, por
ejemplo, el trabajo que ya se ha realizado, los resultados preliminares,
las referencias y un plan de trabajo para el resto del proyecto.
19
Comit de Asistencia para el Desarrollo (CAD) de la Organizacin de Cooperacin y Desarrollo Econmicos (OCDE),
Evaluation of development programmes, DAC Criteria for Evaluating Development Assistance, sitio web de la OCDE. Vase
http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm.
Pgina i
Rbrica Herramienta de evaluacin que utiliza un conjunto de criterios y una

gua de calificacin/puntuacin predeterminada por el evaluador o
evaluadores. Las rbricas pueden utilizarse para evaluar
presentaciones, proyectos, carteras, etc.
Seguimiento Recoleccin y anlisis de datos a medida que avanza el proyecto para
asegurar la adecuacin de la evaluacin, su diseo y la proteccin de
los participantes.
Trminos de referencia Declaracin del contexto, objetivos, usuarios previstos, preguntas de
evaluacin principales, metodologa, funciones y responsabilidades,
plazos, entregables, normas de calidad, cualificaciones del equipo de
evaluacin y otras cuestiones pertinentes que especifican la base de
un contrato de UNICEF con los evaluadores.
Valoracin de la Verificacin de la viabilidad para determinar si un programa o poltica

evaluabilidad puede evaluarse. Determina si una intervencin se ha definido
adecuadamente y sus resultados son verificables y si la evaluacin es
la mejor forma de responder a las preguntas formuladas por las
principales partes interesadas. Tambin comprueba si se dispone de
recursos adecuados en cuanto a datos, presupuesto, capacidad e
inters en utilizar los resultados para llevar a cabo una evaluacin.
Votacin por puntos Mtodo de recoleccin de datos de individuos o grupos. Se recaban

niveles de acuerdo sobre declaraciones escritas entre un gran nmero
de personas.
Pgina ii

MB01ES - Sinopsis de La Evaluación de Impacto

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

MB01ES - Sinopsis de La Evaluación de Impacto

Enviado por

Direitos autorais:

Formatos disponíveis

Sntesis metodolgica

Sinopsis de la evaluacin de impacto n 1

El Centro de Investigaciones Innocenti es la oficina de UNICEF especializada en investigacin cientfica. El

SINTESIS METODOLOGICAS DEL CENTRO DE INVESTIGACIONES

Esta sntesis metodolgica ha seguido un proceso de revisin por pares interna.

Para consultas o descargas, pueden encontrar estas sntesis metodolgicas en http://www.unicef-

Recomendamos la siguiente cita para cualquier referencia al presente documento:

Agradecimientos: Varios autores han proporcionado orientacin en la preparacin de esta sntesis. El

Fondo de las Naciones Unidas para la Infancia (UNICEF), septiembre de 2014

Piazza SS. Annunziata, 12

1. QUE ES LA EVALUACION DE IMPACTO Y POR QU

2. DECIDIR REALIZAR UNA EVALUACIN DE IMPACTO

permitiendo la recoleccin de datos de referencia y, en su caso, la creacin de un grupo de control o

Cuadro 1. Cundo podra resultar adecuada una evaluacin de impacto

Tema La evaluacin de impacto podra La evaluacin de impacto podra no

Pertinencia Est claramente relacionada con las Es perifrica a las estrategias y

organizaciones asociadas. El proceso debera tener en cuenta la pertinencia de la evaluacin

3. ESTABLECER ARREGLOS DE GOBERNANZA Y

La aceptacin del informe de evaluacin final normalmente se hace a travs de un proceso de

4. PREPARARSE PARA REALIZAR LA EVALUACIN DE

Definicin y movilizacin de recursos

Decisin sobre el proceso de desarrollo de la metodologa de evaluacin

Grfico 1. Opciones de procesos de desarrollo de la metodologa de evaluacin

Establecida en Metodologa Metodologa Establecida en

Metodologa desarrollada por el organismo encargado: Esto se da cuando los trminos de

5. ELABORAR LOS TRMINOS DE REFERENCIA PARA

Finalidad, objetivos y alcance de la evaluacin (incluidas las preguntas clave de

Cuadro 2. Criterios de evaluacin del CAD de la OCDE

Eficacia Medida en que se lograron o se espera lograr los objetivos de la intervencin,

Eficiencia Medida en que los recursos/insumos (fondos, especializacin, tiempo,

Impacto Efecto de largo plazo positivo y negativo, primario y secundario, producido

Sostenibilidad Continuacin de los beneficios de la intervencin despus de que haya

Cuadro 3. Ejemplos de preguntas clave de evaluacin para la evaluacin de impacto

Diseo y mtodos de evaluacin

La metodologa de evaluacin determina cmo se responder a las preguntas clave de evaluacin.

qu mtodos de recoleccin/cotejo y anlisis de datos (incluido el uso de datos existentes) se

Diseos no experimentales, que analizan sistemticamente si las pruebas empricas son

Perfil del equipo de evaluacin

Si se consideran convenientes los enfoques participativos con la participacin de miembros de

6. CONTRATAR AL EQUIPO DE EVALUACIN

Constataciones de los informes

8. HACER UN SEGUIMIENTO DE LA EVALUACIN

El proceso de seguimiento de la aplicacin de las recomendaciones debe hacerse en el marco de los

Documentacin de la experiencia adquirida con la evaluacin

Lo ideal es documentar y compartir tambin la experiencia adquirida con la evaluacin, al menos a

Los directores de divisin son responsables de planificar, dotar de recursos y

9. ANTICIPAR Y TRATAR LAS CUESTIONES TICAS

10. ASEGURAR LA CALIDAD DE LA EVALUACIN DE

11. OTRAS SNTESIS DE LA SERIE

12. LECTURAS Y ENLACES CLAVE

Rogers, Patricia J., RMIT University y BetterEvaluation, Introduccin a la evaluacin de impacto,

Oficina de Evaluacin de UNICEF, Guidance on prioritization of major evaluations at the

Centro de Investigaciones Innocenti de UNICEF, Childwatch International Research Network, Centre

Grupo de comparacin En un diseo de investigacin cuasi experimental, es el grupo de

Rbrica Herramienta de evaluacin que utiliza un conjunto de criterios y una

Valoracin de la Verificacin de la viabilidad para determinar si un programa o poltica

Votacin por puntos Mtodo de recoleccin de datos de individuos o grupos. Se recaban

Você também pode gostar