Metodologia Evaluacion Cooperacion

2ILFLQDGH3ODQLILFDFLyQ\(YDOXDFLyQ
MAE - SECIPI
INFORME EJECUTIVO
METODOLOGA DE EVALUACIN DE LA COOPERACIN ESPAOLA
INSTITUTO UNIVERSITARIO DE DESARROLLO Y COOPERACIN

UNIVERSIDAD COMPLUTENSE DE MADRID
Enero, 1998
MAE - SECIPI
PRLOGO
El documento que aqu se presenta constituye la propuesta metodolgica normalizada sobre la cual se asentarn los sucesivos planes de
evaluacin de la Cooperacin Espaola; con ellos, adems de colmar una necesidad generalmente sentida por gestores, contrapartes y
analistas, y una demanda de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) en sus sucesivos informes, se cumplir la
exigencia a tal efecto incluida en la Ley de Cooperacin Internacional para el Desarrollo. Se trata de una propuesta sencilla, flexible y
dinmica, adaptada a las caractersticas de nuestra cooperacin, a la vez que rigurosa tcnicamente, cuya vida prctica marcar la senda de su
evolucin futura. Para su elaboracin, la Secretara de Estado para la Cooperacin Internacional y para Iberoamrica (SECIPI) encarg a un
equipo de profesionales del Instituto Universitario de Desarrollo y Cooperacin de la Universidad Complutense de Madrid (Florencio Gudio,
Ignacio Soleto, Juan Manuel Toledano) la preparacin de un primer informe extenso, realizado tras una investigacin sobre los planteamientos
y soluciones ofrecidas por las principales Agencias de Cooperacin y la doctrina ms significativa, y despus de entrevistar a los responsables
ms relevantes de la gestin de proyectos en la Agencia Espaola de Cooperacin Internacional (AECI).
Las alternativas tericas que ese informe presentaba fueron discutidas con la Oficina de Planificacin y Evaluacin (OPE) y trasladadas
a la AECI. Lo que a continuacin se presenta son las opciones que se han considerado preferibles, a partir de las cuales se ejecutarn las
evaluaciones ya de 1998. Con la modestia exigible ante la complejidad y dimensiones de la labor de lucha contra el subdesarrollo, se puede
afirmar que con esta metodologa la Cooperacin Espaola avanza en el camino de su eficacia, calidad y transparencia.
Este informe ejecutivo es un resumen de la metodologa completa que se publica en documento aparte.
Oficina de Planificacin y Evaluacin
Enero, 1998
MAE - SECIPI
NDICE DE SECCIONES NDICE DE SECCIONES

INTRODUCCIN ........................................................... 1 Seccin B: ASPECTOS INSTITUCIONALES .............. 21
1. Introduccin .................................................................. 21
Seccin A: ASPECTOS METODOLGICOS ............... 2 2. Estructura institucional de la Cooperacin Espaola ....... 22
1. Introduccin .................................................................. 2 3. El ciclo del proyecto en la Cooperacin Espaola ........... 24
2. La gestin del ciclo del proyecto y la evaluacin ............ 3 4. El sistema de evaluacin ................................................. 26
2.1. Los criterios de evaluacin ..................................... 6 4.1. Funciones de la OPE .............................................. 29
2.2. Los factores de desarrollo ....................................... 7 4.2. Ciclo de la evaluacin ............................................. 29
3. Diseo de la evaluacin .................................................. 11 5. Recomendaciones y propuestas ...................................... 32
3.1. Indicadores ............................................................. 12
3.2. Herramientas de recopilacin y anlisis de datos ..... 13 NDICE DE FIGURAS
3.2.1. Recopilacin de informacin .......................... 13 Fig. 1: Estructura de la Seccin A ................................ 2
3.2.2. Anlisis de los datos ...................................... 14 Fig. 2: Gestin del Ciclo del Proyecto .......................... 4
3.2.3. Los mtodos participativos ............................ 15 Fig. 3: Criterios de evaluacin y factores de desarrollo . 6
4. Enfoques de evaluacin .................................................. 16 Fig. 4: Anlisis econmico-financiero ........................... 10
4.1. Evaluacin de acciones puntuales ........................... 17 Fig. 5: Objetivos, indicadores y datos ........................... 12
4.1.1. Proyectos ...................................................... 17 Fig. 6: Tipologa de actividades de cooperacin ........... 16
4.1.2. Cooperacin tcnica ...................................... 17 Fig. 7: Criterios y enfoques de evaluacin .................... 20
4.1.3. Ayuda de emergencia .................................... 18 Fig. 8: Estructura de la Seccin B ................................ 21
4.2. Evaluaciones sectoriales ......................................... 18 Fig. 9: Niveles estructurales de Sistema de 23
Cooperacin
4.3. Evaluaciones geogrficas ........................................ 18 Fig. 10: La GCP en la Cooperacin Espaola ................. 25
4.4. Evaluaciones de instrumentos ................................. 19 Fig. 11: Principios del sistema de evaluacin 26
...................
4.5. Evaluaciones de programas ..................................... 19 Fig. 12: Organizacin del sistema de evaluacin 27
..............
4.6. Evaluaciones temticas ........................................... 20 Fig. 13: Etapas del ciclo de la evaluacin ........................ 30
Enero, 1998
MAE - SECIPI
Fig. 14: El flujo de informacin en el ciclo de evaluacin 31

Fig. 15: Plan de implantacin del sistema de evaluacin 36
..
Enero, 1998
INFORME EJECUTIVO
SISTEMA DE EVALUACIN DE LA COOPERACIN ESPAOLA
2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

MAE - SECIPI INTRODUCCIN
INTRODUCCIN para que el esfuerzo de sistematizacin emprendido tenga xito.

Este documento establece las pautas para poner en marcha un
sistema integrado de evaluacin que se inserte de manera poco
La poltica espaola de cooperacin internacional para el traumtica en la situacin actualmente existente.
desarrollo se ha ido consolidando desde fines de la dcada de los
setenta, principalmente en lo que se refiere a su estructura La Seccin A de este documento se centra en los aspectos
institucional y al progresivo aumento de los fondos destinados a metodolgicos de la evaluacin ex post, identificndola como
este fin. Desde el ingreso del pas en la Unin Europea y, sobre una fase integral del ciclo de proyecto y definiendo sus
todo, en el Comit de Ayuda al Desarrollo (CAD) de la OCDE, caractersticas principales. Posteriormente, se analiza la
los aspectos vinculados a la gestin y a la administracin han preparacin y el diseo de las evaluaciones, revisando algunas de
cobrado tambin relevancia, exigiendo a la administracin las herramientas ms utilizadas para la recopilacin y el anlisis
espaola un esfuerzo de homologacin organizativa y funcional. de la informacin. Finalmente, se presenta una tipologa de
Es en este contexto en el que se enmarca la puesta a punto de la actividades de cooperacin que permite establecer distintos
presente metodologa acerca de la evaluacin de resultados y enfoques de evaluaciones para las intervenciones que se realizan
efectos (tambin denominada ex post o a posteriori) de los en la ayuda para el desarrollo.
proyectos, programas e instrumentos de la Cooperacin
Espaola. La Seccin B hace referencia a los aspectos clave,
institucionales y de gestin, para integrar la evaluacin dentro de
La adopcin de una metodologa integrada para la Gestin del las rutinas habituales de la administracin espaola de la ayuda.
Ciclo del Proyecto en la Agencia Espaola de Cooperacin Se identifican los actores principales en la estructura institucional
Internacional (AECI)1, la discusin en el Parlamento de una Ley de la cooperacin, haciendo especial referencia a la AECI, y se
de Cooperacin Internacional para el Desarrollo y la existencia sealan las exigencias concretas de informacin de cada uno de
de un organismo especfico sobre el que recae la funcin de ellos, necesidades que la evaluacin debe satisfacer. Tambin se
evaluacin dentro de la Secretara de Estado para la Cooperacin revisa el ciclo del proyecto habitual de la Cooperacin Espaola,
Internacional y para Iberoamrica (SECIPI) del Ministerio de teniendo en cuenta las ltimas modificaciones metodolgicas y
Asuntos Exteriores (MAE) la Oficina de Planificacin y normativas. Del anlisis surge una propuesta concreta de sistema
Evaluacin (OPE) constituyen un punto de partida necesario de evaluacin, que considera los aspectos analizados y la
1
experiencia internacional en este campo.
Se trata de una gua preparada por la AECI (1997): Metodologa de
proyectos de Cooperacin para el Desarrollo; Agencia Espaola de
Cooperacin Internacional; Madrid.
Pgina 1
INFORME EJECUTIVO

MAE - SECIPI A) ASPECTOS METODOLGICOS
ENFOQUES DE EVALUACIN
Seccin A: ASPECTOS METODOLGICOS
Puntual Sectorial
Geogrfica De instrumentos
1. INTRODUCCIN
Proyectos Programas Temtica
TIPOLOGA DE INTERVENCIONES
Cooperacin tcnica Eficacia
En esta Seccin se abordan algunos de los aspectos
CRITERIOS DE EVALUACIN
Ayuda alimentaria
metodolgicos ms relevantes de la evaluacin ex post. En Ayuda de emergencia Eficiencia
primer lugar, resulta necesario identificar esta tarea como una Condonacin deuda.
Contribuciones ONGD METODOLOGA DE LA Pertinencia
fase integral del ciclo de proyecto, definiendo sus caractersticas OO. II. privadas
EVALUACIN
principales en funcin de las clasificaciones ms habituales sobre Sensibilizacin Impacto

este tema. Los criterios que deben ser evaluados la eficacia, la Otros
Prstamos proyectos Cuantitativas Viabilidad
eficiencia, la pertinencia, el impacto y la viabilidad son Cualitativas
Prstamos programa De participacin
delimitados considerando el Enfoque del Marco Lgico (EML), y HERRAMIENTAS DE EVALUACIN
se realiza una aproximacin a algunos de los factores clave en el
desarrollo, tal como son identificados por la OCDE, cuya DISEO DE LA EVALUACIN
influencia es importante para valorar las posibilidades de
Fig. 1: Estructura de la Seccin A
sostenibilidad de las acciones.
A continuacin se realiza una referencia esquemtica al diseo El sistema que se propone se apoya en cuatro principios
de las evaluaciones y a las herramientas ms frecuentes de fundamentales: independencia, credibilidad, transparencia y
recoleccin y anlisis de datos e informacin necesaria para utilidad2. A partir de ellos, su objetivo es que las evaluaciones se
llegar a conclusiones aceptables. Finalmente se presenta una transformen en herramientas de gestin tiles para mejorar el
tipologa de actividades de cooperacin, basada en convenciones impacto de la ayuda sobre los beneficiarios, que contribuyan a
internacionales y en esfuerzos de sistematizacin realizados para aumentar la calidad de la poltica espaola de cooperacin
la Cooperacin Espaola, que permite establecer distintos internacional y que aseguren que las instituciones encargadas de
enfoques de evaluaciones para una proporcin mayoritaria de las planificarla y ejecutarla dispongan de informacin sobre la que
intervenciones que se realizan en la ayuda para el desarrollo basar sus decisiones.
(Figura 1).
2
Estos principios son acordes con los sugeridos por la OCDE. Ver CAD
(1995): Principios del CAD para una ayuda eficaz; OCDE y Mundi-Prensa;
Madrid.
Pgina 2
INFORME EJECUTIVO

2. LA GESTIN DEL CICLO DEL PROYECTO Y LA De manera general, es posible plantear seis fases tpicas en el
EVALUACIN ciclo (Figura 2):
La Gestin del Ciclo del Proyecto (GCP) es un mtodo de
La programacin: asignacin de recursos a lneas de
trabajo aplicable a las intervenciones de cooperacin
actuacin de acuerdo con los planes establecidos (para el caso
internacional para el desarrollo, cuyo objetivo es definir un
espaol, se trata del programa de cooperacin con el pas
lenguaje comn para todos los actores en lo que respecta a las
receptor de acuerdo con el Plan Director y el Plan Anual).
diferentes fases que atraviesan las actuaciones en este campo. La
Comisin Europea, en un esfuerzo de sistematizacin, ha La identificacin: reconocimiento de un problema de
adoptado la GCP desde enero de 1993, recomendando la desarrollo como un rea de actuacin posible y primera
utilizacin de esta metodologa a sus Estados miembros3. elaboracin de la idea de la intervencin (en la AECI, a partir
de las peticiones recibidas se elaboran fichas de
La GCP se apoya en el Enfoque del Marco Lgico, una
identificacin).
herramienta analtica para la planificacin y gestin de proyectos
orientada por objetivos que viene siendo aplicada en algunos
La formulacin: preparacin en detalle de los componentes
casos con variantes por la mayor parte de las organizaciones de la accin segn la matriz de planificacin del EML y
que financian y ejecutan proyectos y programas de desarrollo.
realizacin de anlisis de participacin, de problemas, de
objetivos y de alternativas (se redacta un documento de
En Espaa, el EML tambin ha sido adoptado como
formulacin o diseo de la intervencin).
instrumento de planificacin, y su uso se encuentra difundido y
se va consolidando entre las organizaciones implicadas en la
La ejecucin: puesta en marcha de las actividades utilizando
cooperacin para el desarrollo.
los recursos previstos en la fase anterior, con el fin de alcanzar
El anlisis de la vida o el ciclo de una intervencin de los resultados y el objetivo especfico (previamente a esta
desarrollo se plantea en fases, que pueden diferir segn variables fase, el procedimiento utilizado por la Cooperacin Espaola
administrativas y modalidades de gestin en las distintas incluye varios procesos administrativos, como la aprobacin,
organizaciones donantes. la inclusin en comisiones mixtas y la adjudicacin
presupuestaria).
3 El seguimiento: que se lleva a cabo de manera continua

Vase: Comisin de las Comunidades Europeas (1993): Gestin del Ciclo de
un Proyecto; Serie Mtodos e Instrumentos n 1; Bruselas. durante la ejecucin para verificar que la utilizacin de los
Pgina 3
INFORME EJECUTIVO

recursos y la formalizacin de actividades est de acuerdo con La evaluacin puede ser entendida como una fase del ciclo del
el cronograma previsto, dando lugar a informes peridicos. proyecto y tambin como una actividad que influye sobre todas
las dems. No se trata solamente de un examen que se realiza en
La evaluacin: anlisis de los resultados y efectos de la momentos puntuales, sino sobre todo de un mecanismo que sirve
intervencin, durante o una vez finalizada la ejecucin, con el para aprender de los fracasos y xitos, de los errores y aciertos, y,
objeto de aprender de la experiencia. en consecuencia, para mejorar la planificacin y la gestin.
Los datos que se producen a lo largo de la vida de la

intervencin son un insumo esencial de las evaluaciones, cuya
Plan Director Plan Anual realizacin ser tanto ms fcil, menos costosa y ms til cuanto
Programacin mejor identificada y formulada se encuentre la accin y cuanto
Inf ms completo sea el sistema de informacin que se refleja en los
orm
e in informes de seguimiento. Por esta razn, no resulta eficaz ni
de ac
ev Evaluacin ific eficiente entender la evaluacin como una funcin separada de
alu
ac Identificacin ident
in de las dems fases del ciclo de la intervencin.
ha
Fic
Finalizacin to Pero qu se entiende por evaluacin? La definicin asumida

yec
Inf Informe final pro
orm del comnmente por las agencias donantes de ayuda es la del CAD,
es Formulacin nto
d es cume que afirma que:
eg
u
Seguimiento Do
im
ien
to ... es una funcin que consiste en hacer una
Ejecucin apreciacin, tan sistemtica y objetiva como sea
posible, sobre un proyecto en curso o acabado, un
programa o un conjunto de lneas de accin, su
Ciclo de la intervencin concepcin, su realizacin y sus resultados. Se trata de
Lneas de influencia determinar la pertinencia de los objetivos y su grado
de realizacin, la eficiencia en cuanto al desarrollo, la
eficacia, el impacto y la viabilidad. Una evaluacin
Fig. 2: Gestin del Ciclo del Proyecto
debe proporcionar unas informaciones crebles y
tiles, que permitan integrar las enseanzas sacadas
Pgina 4
INFORME EJECUTIVO

en los mecanismos de elaboracin de las decisiones, externa con respecto a la entidad que gestiona directamente la
tanto de los pases de acogida como de los donantes.4 ayuda, para garantizar su independencia e imparcialidad;
Esta definicin destaca algunos de los principios esenciales intermedia o ex post desde un punto de vista temporal, tal
que se mencionaban ms arriba (como el de utilidad) y seala los como se desprende de la definicin del CAD (sobre un
componentes o criterios de evaluacin, que sern tratados con proyecto en curso o acabado...);
ms detalle en el captulo siguiente. Sin embargo, el propio
concepto evaluacin es utilizado de la misma manera en sumativa o formativa en relacin con sus posibilidades de
circunstancias muy diversas, por lo que requiere algunas generalizacin, de acuerdo con el momento en que sea puesta
consideraciones adicionales. en marcha (en general, las conclusiones de una evaluacin
intermedia sern aplicadas a la propia intervencin que se
Las clasificaciones de tipos de evaluacin son numerosas. enjuicia, mientras que las enseanzas de una evaluacin ex
Segn el agente que la realice podr ser externa al organismo de post podrn servir para otras acciones similares);
ejecucin, interna o mixta. Si se la analiza segn el momento
temporal en que es llevada a cabo podr ser previa (ex ante), de producto segn su objeto, incidiendo sobre el anlisis de
intermedia o posterior (ex post). Segn las posibilidades de resultados y efectos en relacin con las metas establecidas en
generalizacin de sus conclusiones ser formativa (aplicable a la el documento y sobre la estimacin del impacto en el contexto
misma intervencin que se valora) o sumativa (extensible a otras o entorno social. En algunos casos tambin ser necesario
actuaciones similares). De acuerdo con su objeto, finalmente, es poner nfasis en aspectos relacionados con el proceso (por
posible clasificar la evaluacin como de necesidades ejemplo, en las evaluaciones de instrumentos).
(caractersticas de los problemas de una poblacin), de la
formulacin (coherencia de las acciones previstas y factibilidad En conclusin, se trata de establecer una propuesta de sistema
de la intervencin), de procesos (puesta en marcha, seguimiento de evaluacin de intervenciones ejecutadas o en ejecucin, que
y esfuerzo) o de productos (resultados y efectos). informe sobre sus resultados, efectos e impacto, a ser realizada
por un agente externo a la entidad de gestin y con una finalidad
Estas tipologas permiten calificar la evaluacin de las formativa para el caso de proyectos no finalizados y sumativa
intervenciones de cooperacin internacional objeto de este para la evaluacin de intervenciones concluidas.
trabajo como:
4
CAD (1995, p. 178); Op. Cit.
Pgina 5
INFORME EJECUTIVO

2.1. LOS CRITERIOS DE EVALUACIN
La definicin del CAD que se cita anteriormente determina La eficiencia de una intervencin de desarrollo es la medida
del logro de los resultados en relacin con los recursos que se
cinco grupos de criterios eficacia, eficiencia, pertinencia,
consumen; esto es, la bsqueda de una combinacin ptima de
impacto y viabilidad, que representan una serie de puntos
recursos financieros, materiales, tcnicos, naturales y humanos
crticos a tener en cuenta para emitir un juicio de valor sobre las
para obtener los resultados previstos.
acciones evaluadas. No se trata, sin embargo, de categoras
exclusivas o exhaustivas, sino ms bien de
conceptos gua para enfocar las
evaluaciones. Su significado puede ser
PERTINENCIA
establecido de manera general, aunque
VIABILIDAD
EFICIENCIA
EFICACIA
IMPACTO
FACTORES ECONOMICO - FINANCIEROS

para su aplicacin en evaluaciones CRITERIOS
concretas ser conveniente precisar
FACTORES SOCIO - CULTURALES
GNERO EN EL DESARROLLO
LGICA DE
algunas de sus caractersticas (este punto INTERVENCIN
FACTORES MEDIOAMBIENTALES
es ampliado en el captulo 4).
FACTORES INSTITUCIONALES
OBJETIVO
FACTORES TECNOLGICOS
Los criterios para la evaluacin guardan GENERAL
POLTICAS DE APOYO
estrecha relacin con la lgica de la
OBJETIVO
intervencin tal como es considerada por ESPECFICO
el Enfoque del Marco Lgico, y se refieren
a diferentes elementos dentro de ese RESULTADOS
esquema de anlisis (Figura 3).

ACTIVIDADES
La eficacia es una medida del alcance
del objetivo y los resultados de una RECURSOS FACTORES DE
actividad en una poblacin beneficiaria y DESARROLLO
en un periodo temporal determinado, sin

considerar los costes en los que se incurre
para obtenerlos. Fig. 3: Criterios de evaluacin y factores de desarrollo
Pgina 6
INFORME EJECUTIVO

La pertinencia es la adecuacin de los resultados y los 2.2. LOS FACTORES DE DESARROLLO

objetivos de la intervencin al contexto en que se realiza. Para su
anlisis ser preciso considerar: i) los problemas y las Las acciones de desarrollo no se ejecutan en el vaco, sino que
necesidades de los beneficiarios; ii) las polticas de desarrollo se insertan en un contexto caracterizado por mltiples elementos
nacionales, regionales o locales en el sector sobre el que se de tipo poltico, social, cultural y econmico. El anlisis de este
interviene; iii) la existencia de otras actuaciones sinrgicas, contexto es un componente esencial en la planificacin y
complementarias o competitivas, de la cooperacin oficial, de la programacin de la poltica de cooperacin, en la identificacin
cooperacin descentralizada o de otros donantes; iv) la poltica de posibles intervenciones, en la formulacin de los proyectos, en
(objetivos y prioridades) de cooperacin para el desarrollo del su seguimiento y en la evaluacin. En otros trminos, debe ser
donante; v) las capacidades tcnicas y financieras con las que se considerado a lo largo de todo el ciclo del proyecto como un
cuenta; y vi) la concepcin que se posee acerca del concepto y el elemento clave que permite el xito o que puede llevar al fracaso
sentido del trmino desarrollo. de la accin.
El impacto hace referencia a los efectos que la intervencin En la evaluacin ex post el anlisis del contexto debe
planteada tiene sobre la comunidad en general. Es un concepto considerar la pertinencia de la intervencin con respecto a estos
mucho ms amplio que el de eficacia, ya que: i) no se limita al factores en el momento en que fue concebida la accin, los
estudio del alcance de los efectos previstos; ii) no se circunscribe posibles cambios que se hayan producido durante la ejecucin
al anlisis de los efectos deseados; y iii) no se reduce al estudio del proyecto y el estado en que se encuentren en el momento de
de dichos efectos sobre la poblacin beneficiaria. realizar la evaluacin, con vistas al diseo de otras
intervenciones.
La viabilidad puede ser definida, en trminos generales, como
el grado en el que los efectos positivos derivados de la La OCDE considera la existencia de seis grupos de factores de
intervencin continan una vez que se ha retirado la ayuda desarrollo: polticas de apoyo, aspectos institucionales,
externa. Este criterio parte de la idea de que es conveniente que condiciones financieras y econmicas, factores tecnolgicos,
los beneficiarios o las instituciones contraparte se hagan cargo de factores socioculturales y factores medioambientales5. A ellos,
continuar cumpliendo con los efectos positivos de la actuacin por la entidad que ha cobrado en los ltimos aos, es preciso
ejecutada. aadir el estudio de las relaciones de gnero.
5
OCDE (1989): Sustainability in development programmes: a compendium of
evaluation experience; Selected issues in aid evaluation n 1; OCDE; Pars.
Pgina 7
INFORME EJECUTIVO

Polticas de apoyo. Tanto en la formulacin como en la conflictos de competencias con las entidades previamente
ejecucin, los objetivos de la accin de cooperacin deben existentes.
inscribirse en las polticas y estrategias de los receptores (en
todos los niveles: local, regional y nacional) o, al menos, deben Aspectos socioculturales. La existencia de diferentes
tener en cuenta los posibles conflictos que pudieran surgir. Al parmetros culturales entre receptores y donantes, o entre grupos
mismo tiempo, los factores polticos conciernen tambin al pas de poblacin de los receptores; los distintos valores, la
donante. percepcin de la propiedad y la justicia, religin y creencias,
roles de gnero, etc. es, tal vez, el aspecto con mayor influencia
La evaluacin, por lo tanto, deber analizar la poltica de en la viabilidad de las intervenciones de desarrollo. El estudio de
desarrollo de los propios beneficiarios, as como la poltica de estos factores trata de analizar, por lo tanto, la integracin de la
cooperacin internacional del donante y la presencia de otros accin en la comunidad local y su impacto sobre el acceso al uso
intereses de poltica exterior o comercial. El estudio debe de recursos de los distintos grupos socioeconmicos.
centrarse en el cambio poltico que pudiera haberse producido
desde la formulacin de la intervencin hasta el momento de la La amplitud de este tema es enorme, pero en todo caso cabe
evaluacin. sealar que la evaluacin ex post debe tomar en consideracin
hasta qu punto la intervencin ha influido positivamente sobre
Capacidad institucional. Las intervenciones de desarrollo los distintos factores socioculturales de una poblacin (en cuanto
suelen estar en relacin estrecha con las personas e instituciones a una mayor justicia distributiva en su organizacin econmica,
que participan en su diseo y gestin en el pas receptor. Si se una mayor igualdad en su organizacin social y una mayor
desea asegurar la viabilidad de la accin, ser imprescindible democracia en su organizacin poltica) y ha promovido la
contar con una capacidad institucional adecuada para utilizar y participacin activa de los grupos beneficiarios, en especial de
gestionar los recursos comprometidos. los ms vulnerables.
La evaluacin deber considerar si las prioridades de las Enfoque de Gnero en el Desarrollo. Esta idea pone nfasis
instituciones son compatibles con los objetivos de la en la consideracin de las mujeres como beneficiarias de los
intervencin, as como la posibilidad en dicha entidad de contar procesos de crecimiento econmico y progreso social a travs del
con personal estable adecuadamente cualificado y motivado para aumento de su autoestima y el fomento de la igualdad. Esto
llevarla adelante. Si la intervencin estimula la creacin de significa que las diferencias de gnero deben ser entendidas
nuevas instituciones, ser conveniente contemplar los posibles como algo ms que una divisin biolgica: se trata de un
fenmeno estrechamente relacionado con las condiciones
Pgina 8
INFORME EJECUTIVO

sociales y econmicas que caracterizan las relaciones entre ambiente. El propio concepto de desarrollo sostenible implica
hombres y mujeres 6. la consideracin de estos factores como una de las claves para
garantizar la equidad entre las generaciones.
As, ser necesario considerar las relaciones entre los gneros
como una de las variables esenciales para explicar la desigualdad La evaluacin deber, entonces, emitir un juicio sobre la
en el interior de una comunidad y entre distintas sociedades, explotacin, gestin y desarrollo de la dotacin de recursos
estudiando por ejemplo la divisin sexual del trabajo, el acceso y naturales de acuerdo con la capacidad del medio ambiente local,
control que hombres y mujeres tienen sobre los recursos y en la puesto que la viabilidad de la accin, desde un punto de vista
reparticin de los beneficios, as como la participacin de unas y ecolgico, requiere que todos los participantes comprendan los
otros en los procesos de toma de decisiones, tanto en sus impactos de las actuaciones emprendidas sobre los factores del
comunidades como dentro de los hogares. medio y acten en consecuencia.
Factores econmico financieros. Una de las mayores
Factores tecnolgicos. Estos factores se refieren al
dificultades para garantizar la viabilidad de una intervencin
equipamiento utilizado, por un lado, y al conocimiento
consiste en la obtencin continua de recursos para la operacin y
sistemtico aplicado a la produccin de un bien, el empleo de un
el mantenimiento de las estructuras financiadas con la ayuda
proceso o la prestacin de un servicio, as como las tcnicas de
externa. Despus de la retirada de los donantes, su aportacin
gestin o de mercado aplicadas, por el otro.
deber ser sustituida por las contribuciones de otras fuentes, bien
La evaluacin de factores tecnolgicos consistir, a grandes internas (fondos generados por la intervencin va precios y/o
rasgos, en el anlisis de la eleccin, adaptacin y empleo de tarifas), bien externas (habitualmente aportaciones de las
tecnologas apropiadas a las condiciones existentes en la zona o autoridades locales).
el pas receptor de la ayuda. Se considera, por ejemplo, si se
Para realizar estudios sobre las posibilidades de
utilizan factores locales de produccin, si se crean puestos de
mantenimiento en el tiempo de los esfuerzos econmicos
trabajo o si se ahorra o genera capital, entre otras cuestiones.
realizados se emplean una serie de herramientas, que pueden ser
Factores ambientales. Casi todas las intervenciones de divididas en tres grupos, en funcin de la mayor o menor
desarrollo tienen un impacto ms o menos directo en el medio facilidad para medir los productos de la intervencin en unidades
monetarias: anlisis coste-utilidad, anlisis coste-efectividad y
anlisis coste-beneficio (Figura 4).
6
NORAD (1997): Evaluacin de proyectos de ayuda al desarrollo. Manual
para evaluadores y gestores; IUDC-UCM-CEDEAL; Madrid; p. 62.
Pgina 9
INFORME EJECUTIVO

- Facilidad para la valoracin de costes y beneficios en unidades monetarias

+
MTODO Anlisis coste / utilidad Anlisis coste / Anlisis coste /
efectividad beneficio
Los beneficios identificados Compara costes en trminos Expresa costes y beneficios

se expresan en una escala de monetarios con beneficios en unidades monetarias.
utilidad. expresados en otro tipo de
Permite obtener una serie de
unidades.
CONCEPTO Ayuda a establecer una criterios que informan sobre
ordenacin en cuanto a la Permite elegir entre alterna- la "rentabilidad" de la accin.
"bondad" de actuaciones tivas que podran cumplir
alternativas. unos mismos objetivos con
diferentes costes.
Se suele distinguir:
Financiero: desde una pers-
pectiva "privada".
Econmico: visin de la
TIPOS totalidad de la economa.
Social: econmico incluyen-
do consideraciones de distri-
bucin.
Fig. 4: Anlisis econmico - financiero
Pgina 10
INFORME EJECUTIVO

3. DISEO DE LA EVALUACIN realizado la intervencin, acudiendo a un estudio de tipo

contrafactual histrico (anlisis sin vs. con).
Las secciones 2.1. y 2.2. han estado centradas en la definicin
de qu es lo que se analiza, de manera general, en la evaluacin Existen mltiples tcnicas para aproximarse a esta cuestin,
de intervenciones de cooperacin al desarrollo. Las pginas que que son ms o menos formales, y en consecuencia ms o menos
siguen estarn dedicadas a presentar algunos comentarios acerca dependientes de grandes cantidades de informacin y ms o
de cmo emprender esta tarea. menos costosas en trminos de recursos financieros y humanos8.
En la prctica, las evaluaciones de impacto utilizan en la mayora
La evaluacin debe intentar el logro de la mayor objetividad de los casos mtodos baratos y sencillos para la estimacin de los
posible, para lo que se utilizan diseos especficos. Un diseo efectos de una intervencin, utilizando herramientas estadsticas
equivale a la planificacin de las distintas tareas que sern con distinto grado de complejidad.
realizadas para llevar a cabo el ejercicio de valoracin; adems,
ha de partir de una formulacin clara de los objetivos que se En definitiva, el punto que los evaluadores deben tener en
pretende lograr, y ha de contener informacin precisa sobre los mente en el momento del diseo de la evaluacin es que sus
insumos que van a ser utilizados; las actividades que van a observaciones finales, sus conclusiones y los resultados de su
realizarse y los resultados que se prev obtener para hacer posible trabajo deben ser considerados como vlidos por los implicados
la consecucin de esos objetivos 7. en la evaluacin, que incluyen tanto a los beneficiarios como a
los ejecutores y gestores de la intervencin, as como a quienes
El primer tema que es preciso considerar es que el diseo debe han encargado el trabajo. Esta consideracin de validez no
servir para identificar, por un lado, los cambios que se han significa necesariamente compartir las conclusiones, sino estar de
producido en la situacin local y, por el otro, la relacin de
causalidad entre la intervencin ejecutada y esos cambios. Para
esto no basta con realizar una comparacin entre el estado de la 8
Los diseos pueden ser divididos en tres categoras: experimentales,
situacin con anterioridad al proyecto y el que se encuentra en el cuasiexperimentales y no experimentales. Los experimentales requieren el
momento de realizar la valoracin (anlisis de antes y despus), establecimiento de dos o ms grupos, uno de los cuales ha estado sometido a
sino que ser necesario analizar el estado de cosas en el momento la intervencin mientras que los otros actan como grupos de control. La
de la valoracin comparndolo con cmo sera si no se hubiera asignacin de individuos a los grupos debe ser aleatoria. Los diseos
cuasiexperimentales son empleados cuando la asignacin aleatoria no es
posible, y los no experimentales utilizan un solo grupo de sujetos. Vase, por
7
Amezcua, C. y Jimnez, A. (1996): Evaluacin de programas sociales; Ed. ejemplo, Valadez, J. y Bamberger, M. (1995): Monitoring and Evaluating
Daz de Santos; Madrid; p. 91. social programs in developing countries; Banco Mundial; Washington.
Pgina 11
INFORME EJECUTIVO

acuerdo con la pertinencia de los datos de base que les han dado
origen.
3.1. INDICADORES
Una vez establecido el diseo ms adecuado a los recursos Formulacin de Objetivos de

la intervencin la evaluacin
existentes y a las necesidades definidas, el paso siguiente que el
equipo evaluador debe emprender es determinar los indicadores
que permitirn valorar los criterios de desarrollo y el papel
desempeado por los factores en la intervencin. Diseo de la
Sistema de evaluacin
En cualquier trabajo de evaluacin los indicadores operan a Indicadores
modo de conexin entre los objetivos de la intervencin y los
tipos de datos que es preciso recopilar para realizar una
valoracin de su consecucin (Figura 5). Recopilacin
de datos
Para que la evaluacin sea rigurosa, es conveniente que los
indicadores hayan sido diseados siguiendo estructuras lgicas
asociadas a un proceso normalizado de formulacin de proyectos Anlisis de la Informe de
informacin Evaluacin
como el EML. As, los indicadores debern especificar el grupo
beneficiario, estar cuantificados, establecer calidades, determinar
Fig. 5: Objetivos, indicadores y datos
tiempos, definir ubicaciones y relacionarse con resultados
factibles en relacin con los recursos disponibles.
En la evaluacin ex post se utilizarn los indicadores definidos

en el momento de la formulacin, aunque en ocasiones stos no La definicin de estos indicadores ser responsabilidad de los
sern suficientes y resultar imprescindible formular nuevos evaluadores, y resulta recomendable que se efecte durante la
indicadores, acordes con los objetivos de la evaluacin, que fase de estudio de la documentacin producida por el proyecto,
permitan identificar efectos no previstos u otras caractersticas de antes del diseo de las herramientas para la recopilacin y
la intervencin que parezcan relevantes. anlisis de los datos.
Pgina 12
INFORME EJECUTIVO

3.2. HERRAMIENTAS DE RECOPILACIN Y ANLISIS confiables. En el caso de que esto no sea as, ser imprescindible
DE DATOS recurrir a otras fuentes secundarias: estadsticas de la comunidad
recopiladas por el gobierno central o local, estudios provenientes
Los diseos de evaluacin o los indicadores son conceptos de mbitos acadmicos o incluso periodsticos, datos
vacos si no se recopilan y analizan los datos necesarios para proporcionados por otras agencias donantes o que, de forma
darles contenido. De hecho, la finalidad de las evaluaciones es dispersa, haya tambin generado el proyecto. La segunda
generar conclusiones demostrables a partir de la informacin cuestin remite a las diferentes herramientas para recopilar y
disponible para responder a las necesidades de los actores analizar la informacin que ser utilizada durante la evaluacin
implicados en la gestin de los programas de cooperacin. de resultados y efectos.
Los datos pueden ser clasificados de diversas maneras. A los 3.2.1. Recopilacin de informacin
fines de este trabajo, resulta interesante resaltar las siguientes.
Las herramientas para la recopilacin de informacin pueden
Segn las fuentes de las que provienen: i) primarios, ser formales o informales. Los mtodos formales tienen como
generados especficamente por la propia evaluacin; ii) caracterstica principal que el procedimiento est definido de
secundarios, que surgen de fuentes documentales externas a la manera clara desde el comienzo del trabajo y se basan en la
evaluacin. correcta utilizacin de ciertas tcnicas, estadsticas o
sociolgicas, que se encuentran estandarizadas. Los ms
Segn la manera en que son expresados: i) cuantitativos, habituales son la medicin directa, la encuesta o sondeo y la
representables mediante una expresin numrica; ii) observacin participante (en la que el evaluador se involucra
cualitativos, descripciones de actividades, procesos o directamente en la situacin e interacta con los beneficiarios).
relaciones expresadas con palabras.
El problema de estos mtodos estriba en que suelen consumir
La primera clasificacin remite a la cuestin de las fuentes de gran cantidad de tiempo y recursos. Por estas razones, existen
informacin. En el mejor de los casos, si la decisin de realizar la algunos mtodos informales, cuya validez y fiabilidad son
evaluacin fue tomada en el momento del diseo de la menores pero que se pueden adaptar mejor a las condiciones en
intervencin o si el sistema de seguimiento funcion las que normalmente se realiza la evaluacin. Los tcnicos
adecuadamente, los evaluadores contarn con series de datos debern poner un cuidado especial en evitar los sesgos excesivos
secundarios producidos por el proyecto pero no por la en sus opiniones y en formular de manera muy clara la base
evaluacin sumamente relevantes y razonablemente emprica sobre la que se asientan. Se trata, por ejemplo, de
Pgina 13
INFORME EJECUTIVO

entrevistas con informantes clave o de grupos, la observacin En general, la evaluacin de cualquier proyecto requerir la
directa o los sondeos informales (con muestras estadsticamente obtencin de datos cuantitativos y cualitativos, aunque la
no representativas). proporcin de unos y otros variar en funcin del objetivo de la
intervencin, de la participacin de los beneficiarios y de las
Estos mtodos pueden servir para obtener datos cuantitativos caractersticas principales de sus productos.
o cualitativos. Para los primeros, el ms habitual es la encuesta
estructurada, que implica trasladar un cuestionario escrito a una 3.2.2. Anlisis de los datos
muestra del universo de poblacin a estudiar. Estas encuestas
pueden ser realizadas de manera puntual o en varias ocasiones, a El anlisis de los datos es el paso lgicamente posterior a su
fin de detectar cambios y tendencias. Los datos cuantitativos recopilacin. La informacin cualitativa, por su propia
tambin suelen ser obtenidos de la medicin directa o, en casos naturaleza, ser revisada y presentada en la mayora de los casos
excepcionales, de entrevistas. Tambin ser necesario recurrir de a travs de resmenes descriptivos o clasificando las respuestas
manera frecuente a fuentes secundarias, vinculadas con el propio en categoras (lo que permite el empleo de herramientas
proyecto o provenientes de oficinas de estadsticas. estadsticas). En trminos generales, la calidad del anlisis
depender en gran medida de la pericia de los evaluadores.
Las herramientas de obtencin de datos cualitativos son ms
numerosas y variadas. Desde la observacin participante, en la Dentro de las herramientas para el anlisis de los datos
que el evaluador se introduce en la comunidad para estudiar los cuantitativos, han adquirido relevancia especial aquellas que
comportamientos de los beneficiarios, hasta los distintos tipos de proceden del campo de la economa. Entre ellas es posible
entrevistas; en todas ellas se trata de analizar la informacin destacar el Anlisis Coste-Beneficio, el Anlisis Coste-
recibida con amplitud de criterio, a fin de ser capaces de Efectividad y el Anlisis Coste-Utilidad, que ya han sido
considerar tanto las respuestas verbales como las actitudes no descritos (Figura 4).
verbalizadas de los individuos. La informacin cualitativa
tambin se puede obtener de encuestas formales siempre que se Estas tcnicas econmicas son utilizadas frecuentemente en la
formulen preguntas abiertas, aunque este instrumento resulta evaluacin de proyectos, y en ocasiones llegan a sustituir a
menos flexible que los anteriores ya que raramente el cualquier otro tipo de anlisis (produciendo una visin sesgada
encuestador puede incluir sus propias percepciones en la de realidades muy complejas). Adems, la utilizacin de este tipo
respuesta. de herramientas puede resultar excesivamente costosa en relacin
con la propia intervencin y, en cualquier caso, exige la presencia
de personal muy especializado. Esto sugiere que su utilizacin se
Pgina 14
INFORME EJECUTIVO

limite a las ocasiones en las que la informacin cuantitativa mtodos denominados Diagnstico Rural Rpido y
desempee un papel fundamental en la valoracin de la Diagnstico Rural Participativo (RRA Rapid Rural
intervencin. Appraisal y PRA Participatory Rural Appraisal, en sus
siglas habituales), que empiezan a ser adoptados por algunas
Otro tipo de herramientas muy habituales para el anlisis de agencias nacionales o multilaterales. Es significativo que incluso
los datos cuantitativos proviene del campo de la estadstica. Los el Banco Mundial los incluya, junto a otros, en su manual sobre
mtodos estadsticos resultan interesantes para proporcionar mtodos participativos9.
correlaciones y asociaciones entre variables que no son fciles de
percibir mediante la interpretacin lineal de la informacin. Estas El CAD realiza una serie de recomendaciones para la buena
tcnicas van desde el anlisis exploratorio sencillo hasta el ajuste utilizacin de este tipo de evaluaciones, que se resumen en los
de regresiones lineales o el clculo de coeficientes de siguientes puntos10:
correlacin, pasando por la comparacin de medias muestrales o
las tabulaciones cruzadas. i) es conveniente que sea realizada en un contexto
favorable, que reconozca la importancia de la
3.2.3. Los mtodos participativos participacin y la incorpore en la planificacin de las
intervenciones;
La idea que sostiene que la participacin es un elemento
central del desarrollo no es nueva, aunque su adaptacin a ii) debe ser entendida como un proceso en el que los
metodologas de formulacin y, sobre todo, de evaluacin, s es involucrados participen desde sus primeras etapas;
bastante reciente.
iii) los conceptos y marcos de anlisis deben ser definidos de
Las evaluaciones basadas en la participacin son denominadas manera clara y precisa, con una correcta identificacin de
como de cuarta generacin. Su empleo permite marcar los los grupos de involucrados y participantes;
lmites del trabajo conjuntamente con todos los implicados,
dando una importancia preeminente a los valores autctonos que 9
Vase Banco Mundial (1996): The World Bank participation sourcebook;
las evaluaciones tradicionales eran incapaces de considerar. BM; Washington. Sobre el PRA, vase CHAMBERS, R. (1994):
Participatory Rural Appraisal (PRA): Analysis of experience; en World
Tal vez el desarrollo ms significativo de las metodologas Development vol. 22 n 9; pp. 1253 a 1268.
10
participativas sea la creacin, promovida por ONGD y sobre todo CAD (1997): Evaluating programs promoting participatory development
desde organizaciones de base de los pases en desarrollo, de los and good governance. Synthesis report; Grupo de Expertos en Evaluacin de
la Ayuda del CAD; Pars.
Pgina 15
INFORME EJECUTIVO

iv) los indicadores que se utilicen deben reflejar estos

conceptos y ser el resultado de un anlisis sistemtico y
colaborativo. Las valoraciones pueden ser tanto
cuantitativas como cualitativas.
Pgina 16
INFORME EJECUTIVO

4. ENFOQUES DE EVALUACIN
Si bien el significado de los criterios 1. DONACIONES

presentados en el punto 2.1. de esta 1.1. Proyectos y programas. 1.1.1. Directos.
Seccin resultan generalizables, en 1.2. Cooperacin tcnica. 1.1.2. Fondos de contravalor.
ciertas ocasiones requerirn adaptaciones 1.3. Ayuda alimentaria. 1.1.3. Proyectos ONGD.
1.4. Ayuda de emergencia. 1.2.1. Asistencia tcnica. 1.2.1.1. Asesora y consultora.
para poder ser valorados segn la
1.5. Condonacin de deuda. 1.2.1.2. Capacitacin.
modalidad que adopta la intervencin de
1.6. Contribuciones a ONGs. 1.2.2. Becas y ayudas estudio.
cooperacin. Para ello, el primer paso 2. PRSTAMOS
1.7. OO. II. privadas.
consiste en determinar una tipologa de
1.8. Sensibilizacin. 1.2.3. Cooperacin C y T. 1.2.3.1. Investigacin conjunta.
actividades en este campo, homologable
1.9. Otros. 1.2.3.2. Intercambio personas.
a la experiencia internacional y acorde
2.1. Prstamos para proyectos. 1.2.4. Cooperacin cultural. 1.2.3.3. Intercambio informac.
con la realidad de Espaa. 1.2.4.1. Promocin de PVDs.
2.2. Prstamos por programas.
1.2.4.2. Intercultural.
Ha habido algunos intentos de racio-
nalizacin en este terreno en los ltimos
aos. Tal vez el ms significativo sea el
de Fernando Riquelme, recogido en un Fig. 6: Tipologa de actividades de cooperacin
informe interno de 1993 sobre la AECI11.
Para el presente trabajo, resulta til integrar las directrices sobre de abarcar la mayora de las intervenciones que se realizan en
estadsticas del CAD con esta conceptualizacin (Figura 6). Espaa, esta tipologa no las deja de lado.
Los enfoques de evaluacin que se proponen abarcan las
Es preciso sealar que, en algunos casos, las actividades de la
acciones puntuales (de proyectos, acciones de asistencia tcnica o
Cooperacin Espaola no pueden ser catalogadas como Ayuda
intervenciones de ayuda de emergencia); de programas (la ayuda
Oficial al Desarrollo (AOD) de acuerdo con el CAD, y por lo
con fines de desarrollo que no se canaliza a travs de proyectos,
tanto no contabilizan como tal. Sin embargo, por su pretensin
en la que se incluye, por ejemplo, la alimentaria); de
11
instrumentos; temticas; de sectores y de reas geogrficas
RIQUELME, F. (1993): Informe sobre la estructura administrativa y las
(Figura 7).
competencias en materia de cooperacin al desarrollo. AECI; mimeo;
Madrid.
Pgina 17
INFORME EJECUTIVO

En las evaluaciones puntuales no resulta tan relevante la

consideracin del mecanismo de financiacin como la de los
4.1. EVALUACIN DE ACCIONES PUNTUALES
procedimientos de gestin. Por esta razn, no parece necesario
Se entiende por acciones puntuales los proyectos u otras distinguir entre proyectos ejecutados directamente o financiados
intervenciones que, independientemente de que puedan ser parte a travs de fondos de contravalor, ni entre donaciones y
de una estrategia ms amplia, cuentan con un objetivo especfico prstamos, pero s es til diferenciar los que son gestionados por
propio y disponen de las actividades necesarias y suficientes para organizaciones no gubernamentales.
alcanzarlo. Dentro de esta categora se engloban actuaciones que
En el estilo de intervencin promovido desde las ONGD
van desde los proyectos en sentido estricto hasta la cooperacin
destaca el componente participativo en el desarrollo. Por esta
tcnica y la ayuda de emergencia. Se incluye tambin la
razn resulta interesante aplicar las tcnicas participativas en los
asistencia destinada a la sensibilizacin, intervenciones de
proyectos. Sin embargo, dada la escasa dimensin presupuestaria
cooperacin cultural y los proyectos de cooperacin en ciencia y
de la mayora de las acciones, hay que analizar cuidadosamente
tecnologa.
la conveniencia de realizar evaluaciones puntuales, que pueden
4.1.1. Proyectos llegar a resultar ms caras que la propia intervencin.
Para la evaluacin de los proyectos ser preciso estudiar los 4.1.2. Cooperacin tcnica
cinco criterios que fueron descritos en los trminos en que han
Las evaluaciones ex post de la cooperacin tcnica, entendida
sido presentados. El anlisis de los factores de desarrollo ser
como el suministro de capacitacin y prestacin de servicios de
tambin fundamental; aunque no todos tengan el mismo peso en
asistencia tcnica y consultora, son poco frecuentes y, en
razn del objetivo del proyecto que se considere.
general, se centran ms en la valoracin subjetiva de los recursos
Los diseos y las herramientas adecuados para la evaluacin aplicados que en la apreciacin de sus efectos sobre el desarrollo.
de proyectos tambin dependern de su objetivo, de sus
La evaluacin de la eficacia no debe estar basada en las
resultados y de los indicadores seleccionados para hacerlos
percepciones de quienes proveen la ayuda o la reciben
operativos. En principio, todas las evaluaciones requerirn la
directamente, sino en un anlisis de las instituciones,
utilizacin de herramientas para recopilar y analizar datos
organizaciones o individuos que son beneficiarios de esos
cualitativos y cuantitativos. En la mayora de ellas ser necesario
recursos (el usuario de la informacin en el caso de una
realizar algn tipo de anlisis econmico-financiero.
Pgina 18
INFORME EJECUTIVO

investigacin, la organizacin en el caso de asesora tcnica, 4.2. EVALUACIONES SECTORIALES

etc.).
La cooperacin por sectores consiste en el conjunto de todas
aquellas intervenciones que se desarrollan en un mbito de
4.1.3. Ayuda de emergencia. actuacin comn acorde con la divisin de propsitos de la ayuda
del CAD. Su evaluacin, por lo tanto, puede realizarse de manera
La ayuda de emergencia o humanitaria requiere, por sus agrupada, con el objetivo de determinar la calidad de las acciones
caractersticas de excepcionalidad, algunos comentarios del donante en un rea especfica.
especficos con respecto a los criterios que pueden ser evaluados.
A medida que los conflictos se prolongan y profundizan, sin Los criterios de evaluacin que pueden ser tratados son los
embargo, la lnea que separa la ayuda humanitaria de la habituales, aunque existen algunas variaciones debidas a los
cooperacin para el desarrollo se diluye, lo que provoca que su distintos niveles de anlisis que se asumen: el de cada una de las
evaluacin se asemeje cada vez ms a la de proyectos. acciones de manera individual y el del sector en su conjunto.
La eficacia y la eficiencia estarn relacionadas con las Al tratarse de una evaluacin de mltiples actividades, es
disposiciones de logstica que permiten que los bienes y servicios evidente que el grado de profundidad del estudio de cada
lleguen a los beneficiarios. La pertinencia tendr que dar intervencin no puede ser equivalente al de las evaluaciones
prioridad al factor tiempo, mientras que la valoracin del impacto puntuales. Esto remite al problema de la utilizacin de ciertas
deber ser considerada en el contexto de la totalidad de la ayuda herramientas relativamente costosas. Sin embargo, si se poseen
suministrada, definiendo el nivel de autosuficiencia creado y los datos para el sector en su conjunto, s puede resultar interesante
efectos ambientales. La viabilidad no resulta especialmente medir las contribuciones de la inversin en el sector a diversos
relevante en este campo, excepto en la ayuda destinada a la objetivos de poltica econmica, como el crecimiento de la renta,
prevencin o a la reconstruccin post-conflicto. la balanza exterior, el dficit o la distribucin del ingreso.
La ayuda alimentaria de emergencia est ms cerca de la 4.3. EVALUACIONES GEOGRFICAS

ayuda humanitaria que de la que se otorga como un medio de
Al igual que en el caso de las evaluaciones sectoriales, un
apoyo a la balanza de pagos (ver 4.5), ya que su objetivo
enfoque de evaluacin muy habitual en la mayora de las
principal es solucionar una carencia inmediata ms que
agencias donantes es la agrupacin de las intervenciones
estabilizar las cuentas nacionales.
realizadas en un rea geogrfica determinada. Normalmente se
Pgina 19
INFORME EJECUTIVO

trata de un pas, pero tambin puede remitir a una zona dentro del En este enfoque es necesario introducir un criterio adicional
pas o a un grupo de naciones relacionadas por algn vnculo referido a las modalidades de gestin del instrumento; as, los
comn. La seleccin de acciones a evaluar dentro de este mbito procesos de toma de decisiones, los mecanismos de financiacin
puede incluir a la totalidad o a algunas elegidas por modalidad de y de disposicin de fondos, el soporte administrativo en el pas
gestin o por formar parte de cualquier subdivisin de la donante, etc., pasan a formar parte del entramado burocrtico que
tipologa. ser necesario evaluar.
Los mismos razonamientos acerca de los niveles de anlisis de 4.5. EVALUACIONES DE PROGRAMAS
los criterios y la profundidad de los estudios que se realizaban
para el caso anterior son aplicables a este enfoque. Los programas, entendidos como la ayuda que no se canaliza a
travs de proyectos, pueden dividirse en dos grandes captulos: la
4.4. EVALUACIONES DE INSTRUMENTOS ayuda alimentaria y la ayuda por programa financiero. Dentro de
este ltimo se distinguen dos categoras: apoyo a la balanza de
Una modalidad muy diferente de evaluaciones apunta al pagos (incluyendo condonacin de deuda y apoyo a las
anlisis de instrumentos de intervencin, entendidos como importaciones) y contribucin a presupuestos.
esquemas definidos formalmente, horizontales o por pases, que
regulan la cooperacin en mbitos especficos. La evaluacin tradicional de este tipo de ayudas consiste en
estudios macroeconmicos que correlacionan las contribuciones
Los instrumentos pueden ser, tanto mecanismos para la externas con la evolucin de variables tales como dficit fiscal y
disposicin de recursos (fondos de ayuda a importaciones, balanza de pagos, inversin, consumo y ahorro, etc.
convocatorias de proyectos de ONGD, fondos de crditos en
trminos concesionales), como lneas de actuacin coordinadas Si bien el anlisis de la contribucin del programa a los
con un objetivo especfico en un rea puntual de la cooperacin cambios en variables econmicas parece obligatorio en
(programas de becas, instrumentos de fomento de la cooperacin intervenciones de este tipo, el estudio basado en el EML permite
cultural o cientfico-tecnolgica). enriquecer la visin con elementos, indicadores y objetivos de
nivel micro y meso-econmico.
La evaluacin de instrumentos raramente contempla el estudio
de la viabilidad como criterio bsico. Este enfoque se centra La evaluacin del impacto de la ayuda alimentaria no podr
sobre todo en el anlisis de la pertinencia, la eficacia y la dejar de lado las referencias a los problemas tpicos que genera
eficiencia, y de manera secundaria en el impacto. esta forma de cooperacin, especficamente el efecto
Pgina 20
INFORME EJECUTIVO

desincentivador sobre la produccin

local, las vinculaciones de la ayuda con Asistencia Ayuda Sectoriales y
los excedentes de los pases ENFOQUES Proyectos Tcnica Humanitaria Geogrficas Instrumentos Programas
desarrollados y las posibles Segn la Anlisis de las Relacionada Anlisis Segn los Con respecto a
Eficacia
definicin instituciones con dispositi- individual para objetivos del macrovariables.
repercusiones positivas del mecanismo bsica beneficiarias de vos de logstica cada instrumento Segn alcance de
de triangulacin. la asistencia intervencin (explcitos o objetivos
tcnica implcitos)
4.6. EVALUACIONES TEMTICAS
Eficiencia
Segn la Consideracin Anlisis de Anlisis Comparacin Con respecto a
definicin de costes y costes de individual para gasto con usos macrovariables.
bsica beneficios de operacin y cada alternativos o Usos alternativos
Las evaluaciones temticas son usos alternati- gestin intervencin instrumentos de recursos
vos de recursos alternativos similares
aquellas que se ocupan de estudiar cmo
Pertinencia
se ha tratado una cuestin especfica en Segn la Atencin Adecuacin a Anlisis Segn la Segn
CRITERIOS
definicin especial a necesidades y sectorial, y en definicin necesidades del
una o en varias intervenciones de de- bsica prioridades de entrega a segunda bsica pas receptor
sarrollo. A diferencia de las los receptores tiempo instancia
individual
evaluaciones sectoriales, en este enfoque
se analizan cuestiones que cortan Segn la En general, en Considerando Anlisis Secundario. Si Con respecto a
Impacto
definicin segundo plano la totalidad de individual y corresponde, macrovariables.
transversalmente distintas actividades, bsica (excepto AT la ayuda sectorial en un referido a Alcance de
ms all del sector al que estn vinculada a recibida mismo nivel economa objetivos
inversin) nacional especficos
adscritas. Algunos de los temas
relevantes Viabilidad
Segn la En general, en En general, en Anlisis indivi- Secundaria Secundaria,

potencialmente evaluables son: definicin segundo plano segundo plano dual. Factores excepto para la
erradicacin de la pobreza; gnero y bsica (excepto AT (excepto para de desarrollo ayuda
vinculada a prevencin o de manera alimentaria
desarrollo; sostenibilidad ambiental y inversin) reconstruccin) sectorial
Otros criterios
manejo de recursos naturales; fortaleci-

Visibilidad de Visibilidad de Fortalecimiento Visibilidad de Mecanismos de Visibilidad de
miento institucional; innovacin empre- la ayuda la ayuda institucional la ayuda gestin la ayuda
sarial y fomento del sector privado;
nios de la calle; tratamiento del SIDA,
etc.
Finalmente, es preciso tener en Fig. 7: Criterios y enfoques de evaluacin

cuenta que este enfoque de evaluacin
Pgina 21
INFORME EJECUTIVO

se acerca ms a la investigacin acadmica en ciencias sociales

que los restantes, y que su utilidad est muy orientada a mejorar
ciertos aspectos conceptuales y de gestin de las intervenciones,
relacionados con la idea de desarrollo que se posea y se
promueva desde la institucin donante.
Pgina 22
INFORME EJECUTIVO

MAE - SECIPI B) ASPECTOS INSTITUCIONALES Y DE GESTIN
3. La estructura organizativa de la evaluacin; esto es, la

Seccin B: ASPECTOS INSTITUCIONALES Y definicin de las lneas maestras que podra adoptar el sistema
DE GESTIN espaol en lo que se refiere a sus principios generales, la
organizacin administrativa, el papel de los distintos agentes
1. INTRODUCCIN en ella y la identificacin de las funciones de la principal
unidad responsable de su realizacin (la OPE).
A partir del marco metodolgico de evaluacin de resultados y
efectos de las intervenciones de cooperacin para el desarrollo 4. El propio ciclo de la evaluacin, entendido como una serie
esbozado en la Seccin A, la propuesta de organizacin de fases identificacin/seleccin, ejecucin y retroalimenta-
institucional y de gestin del sistema se apoya en la articulacin cin, que proporcionan un procedimiento normalizado para
de cuatro grupos de cuestiones (Figura 8): hacer vlidas las tareas a desarrollar, tanto en lo referente a la
estandarizacin de procesos de gestin, como en cuanto a la
1. Las necesidades de informacin de los actores de
aplicacin de sus resultados.
cooperacin a los que el sistema debe servir de manera
directa. Es necesario anclar el sistema de evaluacin en las GESTIN DEL CICLO DEL PROYECTO
instituciones existentes, que se estructuran en cuatro niveles: Programacin

Identificacin
poltico, poltico-ejecutivo, ejecutivo y de coordinacin. Para Formulacin
ello, una vez identificados los actores, se definen las Ejecuciny seguimiento
Finalizacin y evaluacin
ACTORES COOPERACIN ESPAOLA

necesidades de informacin en cada nivel y los enfoques de Polticos
ORGANIZACIN INSTITUCIONAL

Necesidades de informacin y
Principios
evaluacin que primordialmente les interesan.
enfoques de evaluaciones
Poltico-Ejecutivos ORGANIZACIN DEL Organizacin
2. El modelo de Gestin del Ciclo del Proyecto en el que la administrativa
Ejecutivos
SISTEMA DE
evaluacin se enmarca. La evaluacin no puede ser EVALUACIN

Funciones de la
considerada como una actividad aislada del resto de las fases De Coordinacin Unidad de
Evaluacin
de planificacin y gestin de las intervenciones de
cooperacin para el desarrollo. En tal sentido, se describe el Identificacin y seleccin
ciclo de las intervenciones, con la finalidad de que las Ejecucin
Retroalimentacin
propuestas del sistema de evaluacin permitan la
CICLO DE LA EVALUACIN
incorporacin de esta tarea a las fases del proceso.
Fig. 8: Estructura de la Seccin B
Pgina 23
INFORME EJECUTIVO

2. ESTRUCTURA INSTITUCIONAL DE LA 4. Existe adems un nivel de rganos colegiados, con dos

COOPERACIN ESPAOLA entidades principales que tratan de garantizar la coordinacin
de las actividades: la Comisin Interministerial de
El sistema de cooperacin internacional para el desarrollo Cooperacin Internacional CICI- y la Comisin
existente en Espaa se estructura en cuatro niveles (Figura 9): Interministerial del Fondo de Ayuda al Desarrollo CIFAD-
. En el Proyecto de Ley de Cooperacin se prev la creacin
1. El primero es el de definicin y direccin poltica general de una Comisin Interterritorial con la responsabilidad de
los rganos rectores que corresponde al Gobierno relacionar y vincular la cooperacin del Estado con la de las
(encargado de definir y dirigir la poltica de cooperacin) y a Comunidades Autnomas, Diputaciones y Ayuntamientos.
las Cortes Generales (como responsable de la determinacin Otro organismo importante dentro del sistema es el Consejo de
de las lneas directrices bsicas e instancia de control). Cooperacin para el Desarrollo CCD, que incluye
tambin a representantes de la sociedad civil.
2. El segundo es el de los rganos a los que se atribuye la
responsabilidad especfica de direccin ejecutiva e impulso de Las estrategias para implicar a todos estos actores en el
la poltica de cooperacin, entre los que destaca el MAE, a sistema pasan, en primer lugar, por hacer que la informacin que
travs de la SECIPI. se produce les sea til en el momento de tomar sus decisiones.
Para esto, habr que analizar qu tipos de informacin les son
3. El tercero es el nivel ejecutivo, en el que sobresale la AECI,
necesarios y qu enfoque de evaluacin es capaz de satisfacerlos.
como sede central, y las Oficinas Tcnicas de Cooperacin
(OTC), como representaciones en el terreno. Otra instancia De manera general, es posible plantear que los actores
importante del sistema espaol de cooperacin es el polticos requerirn principalmente informacin estratgica para
Ministerio de Economa y Hacienda (a travs de la Direccin ejercer las funciones de programacin y control, que podr ser
General de Poltica Comercial e Inversiones Exteriores encontrada con ms facilidad en evaluaciones geogrficas,
POLCO) que, al controlar la gestin del Fondo de Ayuda al sectoriales y, sobre todo, de instrumentos. Los actores poltico-
Desarrollo (FAD), la participacin de Espaa en los ejecutivos tienen responsabilidades de planificacin e
Organismos Internacionales Financieros y la condonacin de identificacin, para lo que necesitarn principalmente
la deuda, maneja una parte relevante de los fondos espaoles informacin tctica. En este campo, todas las evaluaciones
contabilizados como Ayuda Oficial al Desarrollo por el CAD. pueden proporcionar elementos tiles, pero se encontrarn en
mayor medida en las sectoriales, las geogrficas y las de
instrumentos. Los actores ejecutivos encargados de la
Pgina 24
INFORME EJECUTIVO

formulacin, ejecucin y seguimiento hallarn la informacin Los rganos encargados de la coordinacin, finalmente,
operativa que demanden para mejorar la gestin de las encontrarn ms datos valiosos para cumplir con esta tarea en las
intervenciones en las evaluaciones puntuales, de programas, evaluaciones que abarcan un nmero mayor de intervenciones.
temticas y de instrumentos, y en menor medida en las
sectoriales y geogrficas.
Parlamento Gobierno
NIVEL (Comisin de Cooperacin y Ayuda al Desarrollo) Consejo de Ministros
POLTICO
NIVEL DE Comisin Interministerial del Comisin Interministerial Comisin
COORDINACIN Fondo de Ayuda al Desarrollo de Cooperacin Internacional Interterritorial
Consejo de Cooperacin para el Desarrollo

Instancia consultiva
EJECUTIVO
POLTICO
Ministerio de Economa Ministerio de

Otros Ministerios
NIVEL
y Hacienda Asuntos Exteriores
Secretara de Estado Cooperacin

SECIPI
de Comercio... Descentralizada
AECI ONGD
NIVEL EJECUTIVO
POLCO ICI ICMAMPD
Otros actores
Instituto de Gabinete Subdirecciones Generales OPE
Crdito Oficial
Responsables de pas
Unidades de Cooperacin en el Exterior
Funciones PRSTAMOS y donaciones DONACIONES y microcrditos DONACIONES
Fig. 9: Niveles estructurales del Sistema de Cooperacin
Pgina 25
INFORME EJECUTIVO

Desarrollo y la instauracin de una Gua Metodolgica en la

3. EL CICLO DEL PROYECTO EN LA COOPERACIN
AECI inspirada por el EML.
ESPAOLA
La Ley permitir dar a conocer las definiciones, prioridades y
Como se mencionaba en el punto 2 de la Seccin A, la
objetivos de la poltica de ayuda y sentar las bases del sistema en
evaluacin debe insertarse de manera integral en la Gestin del
su conjunto, sealando unas reglas del juego explcitas para
Ciclo del Proyecto por dos razones principales: para aprovechar
todos los implicados. Los Planes Directores plurianuales y los
la informacin generada en las fases previas y para ser til a la
nuevos Planes anuales trasladarn a estos ciclos temporales las
programacin e identificacin de nuevas actividades.
directrices, prioridades geogrficas y sectoriales y las
Los cambios experimentados en la AECI con respecto a la estimaciones presupuestarias.
GCP permitirn la superacin de algunos de los problemas a los
La Gua servir para homogeneizar los modos de
que la Cooperacin Espaola se ha enfrentado en el pasado.
funcionamiento de las diferentes unidades de la AECI. Si bien la
Establecer procedimientos y formularios normalizados para la
fase de evaluacin no se aborda comprensivamente (ya que, por
identificacin, la formulacin, el seguimiento y la presentacin
sus caractersticas, es externa a los rganos de gestin), s se
de informes finales significar un aumento de la coherencia de
plantea que en los informes de seguimiento y final se solicitan
las intervenciones y una manera de conservar los datos que se
ciertas valoraciones complementarias que facilitarn la
van produciendo a lo largo de su vida (Figura 10).
valoracin de resultados y el impacto de los proyectos de la
En este contexto, el sistema de evaluacin podra fortalecerse Cooperacin Espaola.
y asegurar razonablemente la utilidad de las enseanzas
Tanto la puesta en marcha de los nuevos procedimientos de
obtenidas. Hasta ahora, los distintos esfuerzos de valoracin de
gestin como la propia implantacin del sistema de evaluacin
resultados y efectos de la Cooperacin Espaola no han sido
son procesos que pueden resultar relativamente largos y
convenientemente integrados y retroalimentados hacia instancias
complejos, y cuyo fin ltimo es impulsar un aumento de la
de planificacin y gestin, por causa (en parte) de la falta de
eficacia y la eficiencia de la ayuda. Para ello, se requiere un
procesos normalizados de GCP.
esfuerzo por parte de todos los agentes del sistema para aceptar
Los cambios en la GCP provienen de dos fuentes principales: los cambios que se vayan produciendo; en cualquier caso, si
el proyecto de Ley de Cooperacin Internacional para el ambas tareas son emprendidas de manera conjunta y buscando
sinergias positivas, las probabilidades de xito son mayores.
Pgina 26
INFORME EJECUTIVO

LA GESTIN DEL CICLO DEL PROYECTO

GCP Anterior GCP Actual (1998-...)
Fases Documentos
Programacin - Tratados/ Convenios - Tratados/ Convenios
- PACI - Plan Director
- Plan Anual
- Lneas directrices
Identificacin - Actas Comisin Mixta - Actas Comisin Mixta
- Documento Identificacin - Ficha Identificacin (EML)
Formulacin - Formulario - Documento de Formulacin (EML)
Ejecucin/ - Fichas - Informes de Seguimiento (EML)

Seguimiento - Actas Comisin Seguimiento - Actas Comisin Seguimiento
- Documentacin administrativa - Documentacin administrativa
Finalizacin - Ficha - Informe Final (EML)
Evaluacin - Informes ad hoc - Informe de Evaluacin
Retroalimentacin y - Manuales
difusin - - Informes de Sntesis
- Memorias
- Material de apoyo para seminarios
Fig. 10: La GCP en la Cooperacin Espaola
Pgina 27
INFORME EJECUTIVO

4. EL SISTEMA DE EVALUACIN Estos principios y su materializacin dejan un espacio en el

que pueden producirse incompatibilidades, sobre todo entre la
Todo sistema de gestin debe apoyarse en algunos principios independencia y utilidad o, en otros trminos, entre la
fundamentales. En este sentido, las lneas maestras del sistema externalidad funcional y la integracin estructural de la unidad de
de evaluacin pueden estar basadas en los principios bsicos evaluacin. El problema radica en que la situacin administrativa
propuestos por el CAD, que son aceptados por la mayora de los de la unidad de evaluacin y la contratacin externa de
donantes y resultan aplicables al caso espaol. A grandes rasgos, consultores pueden provocar que los trabajos sean percibidos
pueden ser sintetizados en cuatro: rigor y credibilidad, como algo ajeno por los gestores. Para solucionar este problema,
independencia, utilidad y transparencia (Figura 11). es necesario garantizar que los distintos agentes involucrados
participen en todas las fases del ciclo de la evaluacin y sean
eficazmente informados de las enseanzas obtenidas a travs de
PRINCIPIOS
canales de retroalimentacin giles y precisos.
MATERIALIZACIN
Definicin poltica y organizativa clara

La organizacin administrativa del sistema en su conjunto
Rigor y credibilidad Adopcin de metodologas contrastadas debe tener en cuenta las caractersticas particulares de las
instituciones en las que se inserta. La estructura de la
Externalidad funcional Cooperacin Espaola es dispersa en cuanto a los organismos
Independencia Programacin autnoma donantes, y su divisin responde a criterios temticos. En los dos
Imparcialidad de evaluadores
ministerios que agrupan la mayor proporcin de recursos
Integracin estructural destinados a la ayuda (MAE y MEH) existen ya oficinas que
Participacin de actores
Utilidad cuentan a la evaluacin entre sus funciones, y sera conveniente
Calidad de evaluadores
Canales de retroalimentacin fortalecer la coordinacin entre ellas.
Transparencia Difusin pblica de resultados En cuanto al Ministerio de Asuntos Exteriores, la posicin de

"Meta-evaluaciones" la Oficina de Planificacin y Evaluacin permite el
establecimiento de un sistema que se atenga a las
Fig.11: Principios del sistema de evaluacin recomendaciones de organismos internacionales y a los
principios sealados, ya que responde de manera directa ante el
Secretario de Estado y no posee vnculos de dependencia con las
instancias que se encargan de la gestin de las acciones. Ello no
Pgina 28
INFORME EJECUTIVO

excluye que la puesta en prctica del sistema de evaluacin responsables de esta tarea en cada uno de los Institutos
pudiera exigir una mayor dotacin de recursos para cumplir con geogrficos y en el Gabinete (Figura 12). Para asegurar el
eficacia sus funciones. principio de transparencia, los resultados de las evaluaciones
debern ser informados a las Cortes Generales y a las
No existe un modelo organizativo ideal del sistema de Comisiones Interministeriales existentes, al Consejo y a la futura
evaluacin. Cualquier decisin en este sentido debe tener en Comisin Interterritorial.
cuenta las caractersticas particulares de la poltica y las
instituciones a las que trata de servir.
Cortes Generales y
En principio, el sistema que se establezca deber responder a rganos Colegiados
tres dilemas principales, cuya descripcin se puede encontrar en
el recuadro de la pgina siguiente. En l tambin se especifican Comit de
SECIPI
algunas experiencias internacionales y la propuesta para la Evaluacin
Cooperacin Espaola.
AECI
El esquema que se sugiere adoptar, en sntesis, centrar sus
actividades en una primera instancia en la ayuda canalizada ICI ICMAMPD
a travs del MAE, y enfocar sus tareas en las evaluaciones
intermedias y ex post, descentralizando en una segunda etapa las Coordinador Coordinador
evaluaciones intermedias hacia las unidades operativas. Ms Evaluacin Evaluacin
adelante, una vez que el sistema y la cultura de la evaluacin se
encuentren consolidadas entre todos los agentes, ser posible Gabinete Subdirecciones Generales OPE
plantear la descentralizacin de evaluaciones ex post de
intervenciones puntuales. Coordinador
Responsables de pas
Evaluacin
Para el control general de esta funcin y para el cumplimiento
Unidades de Cooperacin en el Exterior
de algunas tareas especficas, sobre todo en lo referido a la
seleccin de actuaciones a evaluar, se crear un Comit de
Evaluacin integrado por funcionarios de la SECIPI y la AECI. Fig. 12: Organizacin del sistema de evaluacin (propuesta)
La coordinacin podra ser promovida por la existencia de
Pgina 29
INFORME EJECUTIVO

Estructura Organizativa de la Evaluacin: Experiencia internacional y propuestas para Espaa
ALTERNATIVA EXPERIENCIAS INTERNACIONALES PROPUESTA PARA ESPAA

Unidad de evaluacin nica Francia: sistema disperso. Mltiples unidades de evaluacin. Sistema centralizado y especializado. Si bien corresponde a
para toda la cooperacin vs. Reino Unido: sistema centralizado. Una sola unidad de la SECIPI la evaluacin de la poltica de Cooperacin para el
tantas unidades como orga- evaluacin. Desarrollo en su conjunto, en una primera fase se concentrarn
nismos responsables Alemania: sistema disperso y coordinado. Una unidad de los esfuerzos en la ayuda que se canaliza a travs del MAE.
evaluacin en cada entidad gestora y una en el organismo de Otras iniciativas de evaluacin que surjan de unidades
coordinacin. responsables en instancias diferentes de la Administracin
Comisin Europea: sistema disperso entre Direcciones sern tratadas y coordinadas en el mbito de la CICI, o la
Generales, que podra tender hacia la centralizacin. Comisin Interterritorial en su caso.
Centralizacin de todas las El sistema ms habitual es mixto, en el que se descentralizan Sistema mixto. En un primer momento, la OPE asumir la
evaluaciones en la unidad algunos tipos de evaluacin: responsabilidad de puesta en marcha del sistema en su
responsable vs. descentrali- Holanda: la unidad central se ocupa de evaluaciones ex post conjunto y la ejecucin de las evaluaciones. En un segundo
zacin hacia organismos sectoriales, de pas o temticas. momento, se podr descentralizar las evaluaciones intermedias
operativos. Estados Unidos: hay tres niveles las misiones en el exterior, las y, todava ms adelante, algunas evaluaciones ex post de
oficinas ejecutoras centrales y la unidad central de la USAID en proyectos puntuales.
los que se realizan evaluaciones.
Canad: se realizan auto-evaluaciones de los proyectos y
evaluaciones de grupos de intervenciones (clusters) en la unidad
central.
Existencia o inexistencia de un Dinamarca: no existe un grupo ad hoc responsable de estos Creacin de un Comit de Evaluacin, integrado por el
Comit de Supervisin, con temas. Secretario de Estado, que delega en el jefe de la OPE, el
diversas funciones en cuanto a Alemania: la responsabilidad de supervisin reside en la unidad Secretario General y el Vicesecretario General de la AECI, los
la planificacin de las de evaluacin del BMZ. Directores Generales de los Institutos y el Jefe del Gabinete de
evaluaciones y la garanta de Comisin Europea: grupo informal para asegurar la la Secretara General de la AECI, que participara en el
aplicacin de las enseanzas retroalimentacin (quality support group). proceso de confeccin del Plan de evaluaciones y que velara
aprendidas. Reino Unido: Comit senior que asegura que en cada nueva por la efectiva incorporacin de las enseanzas en los
iniciativa se incorporen las enseanzas de proyectos evaluados. proyectos.
4.1. FUNCIONES DE LA OPE
Pgina 30
INFORME EJECUTIVO

En este entramado institucional, la OPE debera asumir las 7. En colaboracin con los Subdirectores, los responsables de
siguientes funciones: pas y los Coordinadores y Directores de las OTC, preparar los
trminos de referencia para la contratacin de las evaluaciones
1. Organizar los mecanismos necesarios para garantizar el externas, llamar a concurso en los casos en que sea necesario
cumplimiento de los principios sobre los que se asienta el y seleccionar las mejores ofertas.
sistema.
8. Velar para que la calidad de la evaluacin sea suficiente a
2. Actuar como un elemento catalizador de las necesidades de travs de la discusin de los planes de trabajo y de los
informacin de todos los actores de la Cooperacin Espaola, informes que se vayan produciendo a lo largo de su ciclo, as
integrndolas en una planificacin racional de las como proporcionar la informacin de manera continua a los
evaluaciones a ser realizadas en un perodo determinado. miembros del equipo evaluador.
3. Difundir el plan de evaluaciones para asegurar la 9. Asegurar que las informaciones y las enseanzas lleguen a los
transparencia de la funcin. actores de la cooperacin para los que pueden resultar tiles a
travs de los diferentes canales de retroalimentacin.
4. Potenciar el conocimiento de los principios generales de la
funcin de evaluacin entre los actores a travs de la
realizacin de cursos, la organizacin de seminarios y el
empleo de otros mecanismos formales e informales de 4.2. CICLO DE LA EVALUACIN
difusin.
Las evaluaciones siguen en general un ciclo que est
5. Estimular la realizacin de evaluaciones conjuntas y la compuesto por varias fases, que pueden ser sintetizadas en tres
colaboracin en estudios con otros donantes, especialmente grandes etapas: iniciativa y seleccin, ejecucin y
con la Comisin Europea. retroalimentacin. Todas ellas son esenciales para un correcto
funcionamiento del sistema en su conjunto, y en cada una
6. Impulsar una metodologa comn y homologada para la participan diferentes actores, siendo la OPE la pieza clave del
valoracin de los proyectos, programas e instrumentos de esquema (Figuras 13 y 14).
ayuda.
La iniciativa de evaluar puede provenir de cuatro fuentes
principales: el entramado organizativo de la AECI, las
Pgina 31
INFORME EJECUTIVO

contrapartes de los pases en desarrollo, los beneficiarios y las este tema. Como corolario de la primera fase debera prepararse y
autoridades polticas de la Cooperacin Espaola. difundirse un Plan de Evaluaciones donde se refirieran
estimativamente las operaciones a realizar, junto con un
Como principio general, es conveniente que cualquier cronograma tentativo.
instancia de la gestin de cooperacin posea la capacidad de
presentar una propuesta para su evaluacin. La decisin acerca La ejecucin de una evaluacin requiere el acuerdo con las
de los proyectos a evaluar debe estar vinculada a criterios contrapartes, la preparacin de los materiales y la informacin
objetivos y transparentes, y podra ser responsabilidad del para el estudio de gabinete, la elaboracin de trminos de
Comit de Evaluacin, aunque es conveniente que la mxima referencia, la convocatoria y la seleccin de ofertas, como
autoridad poltica mantenga un margen de discrecionalidad en actividades que son responsabilidad de la OPE.
Posteriormente deber discutirse y

ETAPAS FASES DOCUMENTOS aprobarse un plan de trabajo con los
consultores, y llevarse a cabo, lo que dar
I. Iniciativa y Gua para evaluadores y lugar a la preparacin del informe final.
seleccin lineamientos para gestores
Iniciativa
La fase de retroalimentacin, finalmente,
Decisin de evaluar Plan de Evaluaciones
Difusin de la decisin es la que asegura la utilidad del sistema. En
general, los canales utilizados con este fin
II. Ejecucin de la Acuerdo con contrapartes y son mltiples, abarcando la difusin de
evaluacin preparacin de informacin informes, la realizacin de seminarios y
Elaboracin trminos referencia Trminos de referencia talleres, la preparacin de resmenes,
Convocatoria y decisin de ejecucin
estudios y manuales (que recojan la
Diseo y aprobacin plan de trabajo
Ejecucin de evaluacin Informe final experiencia sectorial o temtica de gestin
de intervenciones reflejada en las
III. Retroalimentacin Difusin de las enseanzas Informes de evaluacin evaluaciones), la publicacin de memorias o
Manuales de gestin la integracin en redes informticas. Todos
ellos son vlidos si los actores implicados
Fig. 13: Etapas y fases del ciclo de la evaluacin
Pgina 32
INFORME EJECUTIVO

perciben que las enseanzas son un insumo til para su trabajo.
Pgina 33
INFORME EJECUTIVO

NIVEL DE SISTEMA NIVEL DE EVALUACIONES INDIVIDUALES
COMIENZO 1 2
INICIATIVA
SECIPI Contrapartes Plan de

AECI Beneficiarios No Acuerdo de
OPE locales trabajo
contrapartes
S
Preparacin No Aprobacin
Recursos
de informacin
No S
Prioridades Decisin No evaluar
polticas
Trminos de Ejecucin
referencia
S FIN
REFERENCIAS Plan de Informe

Directo
final
Proceso evaluaciones 1 2 Tipo contrato
Administracin
Concurso
Proceso
Subcontratado Difusin Descartes Decisin Retroalimentacin
Documentos
Inputs
FIN 2 FIN
Fig. 14: El flujo de informacin en el ciclo de la evaluacin
Pgina 34
INFORME EJECUTIVO

5. RECOMENDACIONES Y PROPUESTAS para que el sistema de evaluacin inicie su funcionamiento en el

perodo ms breve posible, para as alcanzar un efecto ptimo.
En este captulo final se sintetizan las recomendaciones y
propuestas que se han venido haciendo explcitas en cada uno de Debe existir un compromiso de coordinacin y colaboracin
los apartados de esta Seccin. Es preciso advertir, sin embargo, entre los diferentes actores involucrados en el sistema de
que la puesta en marcha y la eficacia del sistema de evaluacin evaluacin. La comunicacin, horizontal y vertical, tiene que ser
estarn limitadas por una serie de factores externos a l, que parte integral del sistema. La colaboracin, en trminos de una
actan como condiciones necesarias aunque no siempre discusin amplia y franca dirigida a suministrar informacin a las
suficientes y que deben ser abordadas de manera previa. partes interesadas, promover un apoyo general y amplio al
esfuerzo conjunto.
En primer lugar, resulta esencial tener una clara comprensin
del concepto sistmico y de su aplicacin en la administracin Las recomendaciones especficassobre los principios del
pblica en general, y en la gestin de la cooperacin en sistema, su organizacin, la OPE y el ciclo de la evaluacin
particular. El sistema comprende un grupo de entidades son sintetizadas en la Figura 15, que presenta un plan de
administrativas, procedimientos y normas vinculadas y implantacin del sistema de evaluacin. En este plan se
coordinadas, constituyendo una unidad, aunque exista una distinguen las actividades segn dos criterios:
relativa independencia funcional y operativa de cada una de sus
partes, que deben actuar con la orientacin de satisfacer un actor, sealando las recomendaciones que apuntan con
objetivo comn. exclusividad a la OPE y las que implican la participacin de
otros agentes de la Cooperacin Espaola (eje vertical);
En segundo lugar, la voluntad poltica es el factor
fundamental, que no slo sirve para poner en marcha el sistema plazo, representando la urgencia relativa de cada una de las
de evaluacin, sino que tambin contribuye decisivamente al actividades que emanan de las sugerencias que se presentan en
xito o al fracaso del mismo. Debe existir un compromiso slido este informe, segn deban ser emprendidas en el corto, en el
y una estrategia definida para ejecutar un conjunto medio o a largo plazo (eje horizontal).
interdependiente, interrelacionado e interactivo de actuaciones,
que permita mejorar la GCP en su conjunto. Finalmente, en el centro de la Figura se mencionan los
factores externos que han sido descritos en los prrafos
Esta voluntad poltica debe existir en los niveles ms altos de anteriores.
la administracin, destinando el tiempo y los recursos necesarios
Pgina 35
INFORME EJECUTIVO

Recomendaciones sobre los principios del sistema 6. Asegurar que las Cortes Generales y los diferentes rganos
colegiados del sistema espaol de cooperacin (CICI,
1. Adoptar una normativa o regulacin que fije los principios CIFAD, CCD, Comisin Interterritorial) sean puntual y
del sistema de evaluacin, respondiendo a los criterios de completamente informados acerca del seguimiento del Plan
organismos internacionales con el fin de homologar la de Evaluaciones, sus resultados y las diversas actividades
Cooperacin Espaola a la de sus pares y dar respuesta a que se emprendan.
los compromisos asumidos en su seno.
7. Establecer un Comit de Evaluacin presidido por el
2. Dar la mayor transparencia posible al sistema a travs de la SECIPI (en su caso, delegando en el Jefe de la OPE) e
publicacin y amplia difusin de estos principios y de las integrado por el Secretario General y el Vicesecretario
bases conceptuales, polticas y organizativas sobre las que General de la AECI, los Directores Generales de los dos
se asienta la evaluacin. Institutos y el Jefe del Gabinete, cuyas funciones seran:
participar en la seleccin de intervenciones a evaluar, velar
Recomendaciones sobre la organizacin del sistema por el cumplimiento del Plan de Evaluaciones, promover el
desarrollo de estudios temticos tendentes a mejorar la
3. Limitar, en un primer momento, la cobertura del sistema de
calidad de los trabajos de evaluacin y verificar que las
evaluacin propuesto a las actividades del Ministerio de
enseanzas obtenidas son internalizadas en la gestin de las
Asuntos Exteriores, a menos que otros rganos de la
intervenciones de la AECI.
administracin central o descentralizada soliciten
explcitamente su colaboracin. 8. Designar una persona encargada de los temas de evaluacin
en cada una de los Institutos y en el Gabinete
4. Al mismo tiempo, potenciar los mecanismos de
(preferentemente algn Consejero Tcnico), cuyas
coordinacin entre las clulas de evaluacin existentes en
funciones seran: facilitar el proceso de obtencin de
distintos Ministerios, en el seno de la CICI y,
informacin, actuar como contacto en el momento de la
eventualmente, de la Comisin Interterritorial.
redaccin de trminos de referencia y servir de punto focal
5. Mantener la situacin de la OPE dentro de la organizacin, para los consultores externos encargados de realizar la
ya que responde correctamente a la necesidad de asegurar evaluacin.
la externalidad funcional y la integracin estructural.
9. Otorgar a la OPE la responsabilidad sobre las evaluaciones
intermedias y ex post, tanto en lo que se refiere a su
Pgina 36
INFORME EJECUTIVO

programacin como en lo que respecta a su ejecucin. Esto Recomendaciones sobre el ciclo de la evaluacin
no pretende ir en detrimento de las iniciativas de
evaluacin que pudieran surgir desde otras instancias; en 12. Impulsar un procedimiento de abajo hacia arriba en lo
este caso, la OPE podr actuar como foro de asesoramiento que concierne a la iniciativa de acciones a evaluar,
metodolgico y tcnico. En una segunda etapa, una vez que involucrando as a los Coordinadores de las OTC, a los
se haya consolidado una cultura de la evaluacin en la responsables de pas y a los Subdirectores Generales en la
AECI, descentralizar las evaluaciones intermedias hacia las elaboracin de listas de alternativas posibles.
unidades operativas (Subdirecciones Generales).
Posteriormente, podra tambin delegarse la ejecucin de 13. Dejar a la SECIPI un margen de discrecionalidad para
las evaluaciones ex post de intervenciones puntuales, incluir sus propuestas en el Plan de Evaluaciones.
manteniendo la OPE la responsabilidad sobre las
14. Contemplar la posibilidad de que la iniciativa surja de las
sectoriales, de programas (excepto la ayuda alimentaria,
contrapartes de la Cooperacin Espaola en el terreno o de
que tambin se descentralizara), geogrficas, temticas y
los propios beneficiarios, aprovechando esta ltima
de instrumentos.
posibilidad para realizar evaluaciones con mtodos
Recomendaciones sobre la Oficina de Planificacin y participativos.
Evaluacin
15. En el caso de la evaluacin de proyectos derivados de
10. Dotar a la OPE de los recursos humanos, financieros y convocatorias de ONGD, otorgar el poder de iniciativa a la
tcnicos suficientes para hacer frente a las unidad responsable, que elevar la propuesta al Jefe de
responsabilidades derivadas del funcionamiento del Gabinete Tcnico de la AECI. Para becas, pasantas y otros
sistema de evaluacin, intentando garantizar la correcta instrumentos horizontales, permitir la iniciativa de los
especializacin de los responsables y la acumulacin de responsables de programas.
saber hacer en este campo.
16. Establecer de manera explcita los criterios adoptados para
11. Establecer como funciones de la OPE las que se mencionan la decisin de las intervenciones a evaluar, ya sean stos de
en el captulo 4.1. (pgina 29) de este informe ejecutivo. orden prctico (existencia de informacin) o poltico
(prioridades de la Cooperacin Espaola).
Pgina 37
INFORME EJECUTIVO

17. Depositar la decisin acerca de las evaluaciones a realizar 24. Promover la realizacin de un Plan de Trabajo por parte del
en el Comit de Evaluacin; como excepcin, para el equipo evaluador en el que se describan las labores a
primer periodo, la decisin podr recaer en la SECIPI. realizar para la recopilacin y el anlisis de los datos, y en
el que la administracin tenga un espacio para introducir
18. Permitir a la SECIPI un margen de discrecionalidad en la sus criterios y llegar a consensos sobre la programacin de
decisin acerca de ciertas evaluaciones que sean las actividades de la evaluacin contratada.
consideradas de alta prioridad poltica.
25. Establecer un formato estandarizado para los informes
19. Elaborar anualmente, a partir de la decisin, un Plan de finales de evaluacin, que tambin debern ser discutidos
Evaluaciones, que se elevar a las Cortes Generales, a la con los involucrados antes de su redaccin definitiva.
CICI y al CCD, y que contendr una descripcin ordenada
y priorizada de las intervenciones, sectores, pases o 26. Definir como canales de retroalimentacin y difusin de las
instrumentos que se pretende valorar en el perodo, as enseanzas:
como un calendario tentativo.
la edicin de los informes finales y/o informes ejecutivos
20. Difundir el Plan de Evaluaciones hacia todos los actores de alrededor de diez pginas, de ser posible en una serie
implicados en la Cooperacin Espaola. estable;
la realizacin de seminarios y talleres;
21. Negociar todas las evaluaciones con las contrapartes en los
pases en desarrollo; si no se llega a acuerdos, abandonar la la incorporacin de los resultados a la base de datos
idea de realizar la evaluacin. informatizada que se establecer en la AECI;
la redaccin de una memoria anual de evaluaciones;
22. Preparar trminos de referencia a partir de modelos
normalizados para cada uno de los enfoques de evaluacin la puesta en marcha de estudios sectoriales, temticos o
propuestos. geogrficos a partir de las enseanzas surgidas de varios
informes;
23. Adaptar las convocatorias y concursos a la Ley de
Contratos del Estado y a toda la normativa aplicable. la elaboracin de manuales de gestin.
Pgina 38
INFORME EJECUTIVO

Actividades de Actividades de
realizacin inmediata realizacin futura con
con responsabilidad de responsabilidad de
otras organizaciones otras organizaciones
Mp Creacin de un Comit de Descentralizacin de evaluaciones Lp

Evaluacin entre AECI - SECIPI intermedias hacia unidades
Mp Coordinacin entre clulas de operativas
Descentralizacin de evaluaciones
Voluntad poltica
evaluacin en CICI
Cp Designacin en AECI de ex post de intervenciones puntuales Lp
interlocutores sobre evaluacin hacia unidades operativas
Cp Dotar a la OPE de recursos
necesarios para nuevas funciones
A
C
T Coordinacin Colaboracin
O
Adoptar normativa que fije los Dar transparencia al Sistema
Concepto sistmico
R Cp Mp
principios del sistema
Cp Establecer funciones en la OPE Establecer formatos de informes Mp
Cp Limitar a intervenciones del MAE Definir canales de retroalimentacin
Cp Incluir evaluaciones discrecionales Asumir iniciativas de contrapartes y
Mp
Cp
Establecer criterios para la decisin otros actores en la evaluacin Mp
y decidir "primer ao"
Cp Planes
Establecer, difundir y negociar
de Evaluacin y TR
Cp
Adaptar y difundir convocatorias
Cp Discutir planes de trabajo
Actividades de Actividades de
realizacin inmediata realizacin futura
responsabilidad de la responsabilidad de la
OPE OPE
- PLAZO (corto, medio y largo) +

Fig. 15: Plan de implantacin del sistema de evaluacin
Pgina 39

Metodologia Evaluacion Cooperacion

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Metodologia Evaluacion Cooperacion

Enviado por

Direitos autorais:

Formatos disponíveis

2ILFLQDGH3ODQLILFDFLyQ\(YDOXDFLyQ

METODOLOGA DE EVALUACIN DE LA COOPERACIN ESPAOLA

INSTITUTO UNIVERSITARIO DE DESARROLLO Y COOPERACIN

Oficina de Planificacin y Evaluacin

NDICE DE SECCIONES NDICE DE SECCIONES

Fig. 14: El flujo de informacin en el ciclo de evaluacin 31

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

INTRODUCCIN para que el esfuerzo de sistematizacin emprendido tenga xito.

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

principales en funcin de las clasificaciones ms habituales sobre Sensibilizacin Impacto

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

3 El seguimiento: que se lleva a cabo de manera continua

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

Los datos que se producen a lo largo de la vida de la

Finalizacin to Pero qu se entiende por evaluacin? La definicin asumida

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2.1. LOS CRITERIOS DE EVALUACIN

FACTORES ECONOMICO - FINANCIEROS

FACTORES SOCIO - CULTURALES

esquema de anlisis (Figura 3).

en un periodo temporal determinado, sin

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

La pertinencia es la adecuacin de los resultados y los 2.2. LOS FACTORES DE DESARROLLO

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

- Facilidad para la valoracin de costes y beneficios en unidades monetarias

Los beneficios identificados Compara costes en trminos Expresa costes y beneficios

Fig. 4: Anlisis econmico - financiero

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

3. DISEO DE LA EVALUACIN realizado la intervencin, acudiendo a un estudio de tipo

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

Una vez establecido el diseo ms adecuado a los recursos Formulacin de Objetivos de

En la evaluacin ex post se utilizarn los indicadores definidos

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

iv) los indicadores que se utilicen deben reflejar estos

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

Si bien el significado de los criterios 1. DONACIONES

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

En las evaluaciones puntuales no resulta tan relevante la

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

investigacin, la organizacin en el caso de asesora tcnica, 4.2. EVALUACIONES SECTORIALES

La ayuda alimentaria de emergencia est ms cerca de la 4.3. EVALUACIONES GEOGRFICAS

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

desincentivador sobre la produccin

4.6. EVALUACIONES TEMTICAS

Segn la En general, en En general, en Anlisis indivi- Secundaria Secundaria,

manejo de recursos naturales; fortaleci-

Finalmente, es preciso tener en Fig. 7: Criterios y enfoques de evaluacin

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

se acerca ms a la investigacin acadmica en ciencias sociales

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

3. La estructura organizativa de la evaluacin; esto es, la

instituciones existentes, que se estructuran en cuatro niveles: Programacin

ACTORES COOPERACIN ESPAOLA

evaluacin se enmarca. La evaluacin no puede ser EVALUACIN

2ILFLQD GH 3ODQLILFDFLyQ \ (YDOXDFLyQ

2. ESTRUCTURA INSTITUCIONAL DE LA 4. Existe adems un nivel de rganos colegiados, con dos