CUADERNO DE ESTUDIO SEMIPRESENCIAL

Fuente plaza central San Andrs Itzapa, Chimaltenango

TALLER 7: PROYECTOS SOCIALES III

Lic. Otto Edvin Arenales Callejas oearenales@yahoo.com 2013

INTRODUCCIN
Actualmente es creciente la preocupacin existente en el sector pblico, privado y de la Cooperacin Internacional en relacin a conocer la eficiencia y eficacia de los resultados u objetivos obtenidos en los proyectos sociales; situacin que a partir de la dcada de los aos noventa ha llevado a todos a orientar y centrar esfuerzos ya no slo en la formulacin de los programa y proyectos sociales sino, tambin, en los aspectos de evaluacin formativa y sumativa de los mismos. Desde sta perspectiva, muchos organismos internacionales han dedicado esfuerzos en generar concepciones, metodologas para la implementacin de estos procesos. La evaluacin esta dirigida a contribuir en la toma de decisiones en la gestin de proyectos, para mejorar las intervenciones, superar las limitaciones y aprender de las lecciones y experiencias que nos dejan. Su importancia radica en ello y no debe confundirse con los procesos de informacin, rendicin de cuentas y auditoria. Son cosas muy distintas, aunque la mayor parte de las veces, complementarias. La evaluacin tambin es una forma de brindar componentes esenciales para un buen desarrollo de las actividades comunitarias que se llevan a cabo a travs de proyectos que buscan el mejoramiento de la calidad de vida de un gran nmero de personas, Se presenta a continuacin un cuaderno de estudio semi presencial sobre la evaluacin de programas de gestin social, de manera prctica, para que el lector y estudioso del tema, pueda navegar con orientacin dentro del mar de informacin disponible en relacin con el tema. Se trata de proporcionar elementos para hacer una evaluacin no solo cuantitativa, sino cualitativa, adems de los logros obtenidos y el impacto causado por cualquier tipo de proyecto social. El presente cuaderno se construye de una forma sencilla y gil para que todas aquellas personas que trabajan o estudian la forma de realizar una evaluacin de proyectos, cuenten con herramientas que les faciliten su labor y aprendizajes. Este cuaderno fue preparado, pensando en las personas que desean aprender ms sobre el control y la evaluacin de su trabajo. Est fundamentado en un trabajo de recopilacin bibliogrfica, as como en aos de experiencia facilitando procesos de evaluacin de proyectos sociales. Muchos y muchas utilizan ya mtodos de seguimiento como parte de su trabajo en el rea de desarrollo. Otros muchos utilizan mtodos de evaluacin y realizan levantamientos, principalmente antes de iniciar un nuevo proyecto o programa, o de ampliar o mejorar uno que ya se encuentra en marcha. Por otro lado, muchas personas tienen poca preparacin o poca experiencia en lo que a control y evaluacin se refiere. Lo que todas estas personas tienen en comn es que estn involucradas en los ms diversos programas de desarrollo rural y urbano; trabajan, por ejemplo, en el campo de la salud, del desarrollo comunitario, de la educacin de adultos o de agricultura. Participan en esos programas personas con diferentes niveles de educacin y experiencia. Se pueden encontrar personas con poco o ningn nivel de escolaridad. Se pueden encontrar personas altamente calificadas. Sin embargo, tienen algo en comn: trabajan juntas en un mismo programa y necesitan brindar seguimiento y evaluar un trabajo conjunto. Muchos, principalmente los que trabajan directamente en contacto con una comunidad, manifiestan la urgente necesidad de un apoyo como la presente herramienta gerencial. Creen que gran parte de las tcnicas de seguimiento y evaluacin existentes complejas, caras e inadecuadas a las condiciones reales en las que viven y trabaja, por lo que ac se presentan una serie de tcnicas participativas que se espera faciliten esa labor de seguimiento y evaluacin. Otto Edvin Arenales C.

CRDITOS BIBLIOGRFICOS
Es importante indicar que la compilacin de las lecturas del presente cuaderno de trabajo, han sido tomadas de los documentos y pginas Web, descritas a continuacin:

Referencias bibliogrficas
1. Aguilar Idez, M. J. y E. Ander Egg. 1,985. Diagnstico Social. Argentina: Lumen. 2. Berum Milburn, Jaqueline. Monitoreo y evaluacin de proyectos. Cuadernos de cooperacin para el desarrollo. Escuela Latinoamericanda de cooperacin y desarrollo. Colombia 2,010-.Cohen Ernesto, Martnez Rodrigo. Formulacin, monitoreo y evaluacin de proyectos sociales. CEPAL. 3. INDES. Banco Mundial. Material curso monitoreo y evaluacin. 2,008. 4. Stockmann Reinhard. Evaluacin y desarrollo de la calidad. Costa Rica. 2,006. 5. Vsquez, Enrique Arambur, Carlos E. Figueroa, Carlos. Gerencia Social. Diseo, Monitoreo y Evaluacin de Proyectos Sociales. Lima, Per. 2006.

Webgrafa
http://www.unfpa.org/monitoring/toolkit.htm http://www.siempro.gov.ar/ http://www.paho.org/spanish/hpp/hpf/adol/monitoreo.htm http://www.observacoop.org.mx/docs/Dec2009/Dec2009-0027.pdf http://www.impactalliance.org/ http://www.comminit.com/es/node/309740 http://www.stepstoolkit.org/

PRIMERA SEMANA UNIDAD I: Fundamentos conceptuales TEMA 1 Un marco conceptual para la evaluacin de programas y proyectos sociales Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes. Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluacin de polticas, programas y proyectos sociales.

LECTURA
Tomada de: http://escuelahistoria.fcs.ucr.ac.cr/contenidos/ http://bibliotecavirtual.clacso.org.ar/ar/libros/secret/capital/08cap6.pdf

Conceptos bsicos para el xito o fracaso de proyectos de desarrollo.

El xito o el fracaso de los proyectos de desarrollo, rara vez puede ser explicado por una sola causa. Las condiciones estructurales de un proyecto y los factores que pueden ser influenciados por las decisiones y actuaciones de los grupos involucrados en su ejecucin, juegan un papel de gran importancia. Entre los instrumentos ms importantes en materia de planificacin y ejecucin de proyectos, se encuentra el M&E, que es un instrumento de gestin de proyectos que proporciona los elementos indispensables para llevar a cabo la conduccin del mismo, basndose en la planificacin del proyecto.

Gestin
El concepto de Gestin sera el de dirigir personas en un sistema dinmico de anlisis, decisin y comunicacin de manera que se logren objetivos por la actuacin planificada, organizada y controlada (Definicin del Comit Europeo para la Capacitacin en gestin). El sistema de gestin equivale al trmino en ingls: "Management". Otro trmino relacionado conceptualmente, pero con otras connotaciones es la "Gerencia". Cuando se habla del "sistema de gestin", se refiere a un conjunto de elementos que constituyen funciones institucionales y se inter-relacionan entre s de manera dinmica. Los "sub-sistemas" de un sistema de gestin son: definicin de objetivos, planificacin, organizacin, direccinejecucin y monitoreo (seguimiento) y evaluacin, adems de los procesos de comunicacin-anlisis-decisin. (Ver grfico No.1) Algunos conceptos que se enuncian a continuacin pueden ser de apoyo para la comprensin del sistema de gestin y como partes del sub-sistema de M&E: a) Seguimiento: Es el examen continuo de la ejecucin de las actividades para asegurar que progresen de acuerdo con la planificacin trazada, analizando, la aplicacin de insumos; los cronogramas trabajo y el logro de los productos esperados conforme a los indicadores establecidos y otras acciones necesarias que permitan medir los efectos. b) Control de Actividades: Del ingls: "Controlling" - trmino utilizado en la administracin de empresas, que implica: "la comparacin permanente entre la norma, por

ej. de una planificacin (pauta de la planificacin) y de su realizacin/ejecucin prctica; el anlisis de divergencias y la introduccin de medidas de correccin". c) Monitoreo: En instituciones de fomento al desarrollo, el monitoreo corresponde al "controlling" de la administracin. Es la observacin continua, tanto del funcionamiento de las actividades de la institucin en el contexto del calendario de implementacin, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Dentro de las funciones de la gestin institucional, es tarea interna de la instancia superior normativa, definida internamente como la responsable para la ejecucin. (si es externo: "Supervisin"). Esta informacin es recogida peridicamente y se dirige a los responsables superiores de la ejecucin del proyecto con dos finalidades: suministrar informacin procesada o retroalimentada a la direccin o gerencia para perfeccionar los planes operativos y adoptar correctivos en la ejecucin; as como para establecer las referencias para la evaluacin. En el Monitoreo se califica lo siguiente: Comparacin de las actividades y productos reales en relacin a lo pretendido. Oportunidad de las operaciones. Relacin entre actividades, insumos y productos. Efectos e impacto. Todo esto se logra, siempre y cuando: La planificacin sea correcta y vlida. Los indicadores son precisos en la planificacin La ejecucin de las actividades se trabaja en equipo y con sinergias. Se puede observar, sistematizar, documentar la relacin entre actividades, insumos y productos. Monitoreo financiero Los programas o proyectos implican el uso de insumos y recursos humanos con costos establecidos. En la fase de planeacin se determina el presupuesto base del programa que incluye rubros como personal, equipos y materiales, espacios e instalaciones, viajes, entre otros. Para el control presupuestal existen herramientas financieras como los flujos de caja, ingresos y egresos mensuales. El monitoreo financiero, al igual que otros sistemas de monitoreo puede ser analizado segn su capacidad de respuesta o adaptacin, por cuatro criterios centrales: Existencia de datos: En esta rea abunda la informacin ya que es la ms controlada y sometida a sanciones administrativas e incluso legales. Periodicidad: El control se expresa en ingresos y egresos con base en cuentas anuales, mensuales e incluso diarias. Tipos de datos: Es una informacin de carcter secundario, registrada con fines administrativos, centrada en el control de caja, tem usual de todo seguimiento de presupuesto. Influencia en la toma de decisiones: El monitoreo financiero es muy sensible a la toma de decisiones, por la dependencia central que tiene un programa o proyecto de la disponibilidad oportuna de recursos. Monitoreo administrativo Es importante evaluar el contexto institucional y las regulaciones o trmites de la organizacin que acoge el programa. La evaluacin conlleva el cumplimiento de los criterios administrativos racionales (pasos internos) de ajuste de desempeo a la descripcin del cargo, niveles de productividad aceptables o mnimos, sujecin a estatutos administrativos o de contrato. El monitoreo administrativo permite detectar las posibles necesidades de cambio organizacional. Existencia de datos: Los datos del monitoreo administrativo son los que generalmente registra la oficina de personal de las instituciones: descripcin de cargos, cumplimiento de funciones, asistencia, tareas realizadas y evaluacin de cargos.

Periodicidad: Es continua en el control de deberes y discontinua en mediciones de autoevaluacin de cargos. Tipos de datos: Son de carcter secundario (control de asistencia, de tareas entre otros).

e) Inspeccin y Auditora: La inspeccin y la Auditora son tambin formas de examen organizativo; pero las llevan a cabo personal "externo" u rganos independientes. Inspeccin y Auditoria significan: control y comprobacin, por parte de niveles ms altos en qu medida se ajustan los procesos ejecutados a los procedimientos y normas predeterminadas e informar sobre el grado de conformidad o la existencia de cualquier irregularidad en la ejecucin de proyectos, programas o planes. La inspeccin se refiere ms a la ejecucin correcta de las actividades, la auditora a las formas de utilizacin de los recursos/insumos. f) Desarrollo organizacional: Como parte del desarrollo organizacional, el sistema de M&E debe tener una planificacin detallada, al margen de cualquier mtodo de planificacin que se utilice. Existe un alto grado de dependencia entre la calidad de la planificacin y el sistema de M&E, pues obviamente no es posible disear un buen sistema de M&E si la planificacin de base no es precisa; pero tambin no es posible modificar o ajustar la planificacin sin un monitoreo y una subsiguiente evaluacin de las actividades, resultados y objetivos.

Esta funcin en proyectos implica dos tareas bsicas: Monitorear y evaluar el desempeo del proyecto y las condiciones externas que son importantes para su ejecucin exitosa. Definir las acciones correctivas, para restaurar la consistencia con la planificacin del proyecto, cuando sea necesario. Entre los atributos de la gestin tenemos dos la eficacia y la eficiencia: EFICACIA: Comparacin de los objetivos con los resultados; apreciacin de las diferencias entre lo que se realiz y lo que estaba previsto. EFICIENCIA: Comparacin de los resultados objetivos con los medios empleados; anlisis de los "costos" con lo "realizado". g) Generalidades e influencia en la toma de decisiones Los programas o proyectos son una organizacin formal que activa procesos interactivos que tienen una dinmica especfica, no siempre bien prevista en la etapa de diseo. Hay que evaluar: Las relaciones entre quienes toman las decisiones y grupos tcnicos y entre estos y el personal de apoyo. Estas relaciones se pueden analizar a travs de los procesos de liderazgo, motivacin y comunicacin. Existencia de datos: Se deben hacer evaluaciones de los problemas presentados entre los grupos, especificando la frecuencia de los mismos, ya que estos retrasan la ejecucin del proyecto. Periodicidad: No hay datos sistemticos, aunque se debe recurrir a evaluaciones mensuales o anuales. Tipos de datos: La informacin es de tipo primario y se recoge mediante cuestionarios semiestructurados, entrevistas dirigidas o grupales. La sensibilidad en la toma de decisiones est dada por la relacin a nivel local y la autogestin del programa. Organizacionalmente se deben compatibilizar tres instancias que implican diferentes alternativas de roles: Tomador de decisiones: Toma de decisiones, segn la lgica administrativa, poltica o profesional. Grupo tcnico: Conflicto de roles, estereotipos profesionales, estilos burocrticos Vrs. democrticos

En los tomadores de decisiones pueden darse distintos tipos de liderazgo: por eleccin, por tradicin, por imposicin autoritaria. La comunicacin es, tambin, de distintos tipos: Formal, expedita, difcil y abierta. En el grupo tcnico son frecuentes los conflictos ideolgicos, como tambin los celos profesionales. El grupo tcnico y su destreza profesional influyen mucho en el desarrollo y en la estrategia de intervencin del proyecto.

Actividades de la primera semana Individuales

1. Ingrese al portal docente utilizando su password proporcionado por la universidad, descargue el programa del curso, luego revselo y analcelo para definir sus expectativas sobre el mismo. Registre este producto en su diario de aprendizaje. 2. Realice la lectura de la semana. 3. Inicie su diario de aprendizaje. 4. Descargue el libro Teora de cambio del enlace http://www.rootchange.org/about_us/resources/publications/DemistificandolaTeoriadeCambio. pdf haga su lectura y prepare una sntesis del mismo para entregar a su docente en la cuarta semana.

Grupales
1. Trabajando en grupo, elaboren un cuadro comparativo entre los distintos conceptos de la lectura, identificando sus similitudes y diferencias. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos concretos han llegado a su mente? 3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta primera semana? Enumrelos en orden de importancia y justifique su respuesta.

SEGUNDA Y TERCERA SEMANAS Tema Las Polticas, Programas y Proyectos Sociales Objetivos de la semana
Al finalizar el estudio de la segunda semana las y los estudiantes. Definen lo que es una poltica, programa o proyecto social.

LECTURA Las polticas, los programas y los proyectos

Poltica Pblica: Se entiende como el conjunto de objetivos, decisiones y acciones que lleva a cabo un gobierno para solucionar los problemas que, en un momento determinado, tanto los ciudadanos, como el propio gobierno consideran prioritarios (Tamyo Sez, 1997).

Programas y proyectos: Las polticas pblicas, se desagregan o hacen operativas a travs de los programas y proyectos sociales, a los que se les asignan recursos para su puesta en prctica. Mientras que una poltica pblica se refiere a procesos polticos y sociales que se desarrollan en el tiempo, un programa remite a una construccin tcnica (que no niega el componente poltico) con mayor o menor capacidad de expresar la complejidad del problema. Los programas se conforman de un conjunto de proyectos que persiguen los mismos objetivos, son los responsables de establecer las prioridades de la intervencin, ya que permiten identificar y organizar los proyectos, definir el marco institucional y asignar recursos. Los proyectos pueden ser definidos como la unidad mnima de asignacin de recursos para el logro de un objetivo especfico. De forma agregada, constituyen el punto de partida ms adecuado para formular apreciaciones sobre los programas. Los proyectos deben tener una poblacin objetivo definida en funcin de la necesidad que se pretende satisfacer, una localizacin espacial y tiempos de inicio y finalizacin predefinidos (Cohen y Franco, 2005).

Evaluacin y monitoreo de polticas, programas y proyectos sociales

La evaluacin puede definirse como la emisin de un juicio de valor acerca de una poltica, programa o proyecto y puede ser entendida como: una actividad programada de reflexin sobre la accin, cuya realizacin puede proponerse antes, durante o despus de la implementacin de una poltica, programa o proyecto. La evaluacin se lleva a cabo mediante procedimientos sistemticos de recoleccin, anlisis e interpretacin de informacin y a travs de comparaciones respecto de parmetros definidos. Su finalidad es emitir juicios valorativos fundamentados y comunicables, sobre las actividades y los resultados () de las intervenciones sociales y formular recomendaciones que permitan decisiones orientadas a ajustar la accin (Nirenberg, 2009). La evaluacin se compone de: Objeto: la poltica, programa o proyecto sobre el que se emite juicio de valor. Un referente: el criterio o patrn de deseabilidad contra el que se compara el objeto de la evaluacin. Una estrategia o procedimiento sistemtico mediante el cual se recolecta y analiza la informacin.

La evaluacin no debe ser entendida como un proceso aislado. Muy por el contrario, es a la vez un insumo para orientar la accin y proceso permanente de aprendizaje y mejora que acompaa toda la vida de una poltica social. En otras palabras, es una herramienta para la toma de decisiones. Como cualquier producto de un proceso de investigacin aplicada, los resultados de una evaluacin constituyen un nuevo conocimiento prctico. La evaluacin busca conocer para hacer, para actuar, para construir, para modificar (Padrn, 2006), y as nos ayuda a construir un futuro deseado en relacin con una determinada poltica, programa o proyecto social. El monitoreo es uno de los instrumentos que tambin colabora en la construccin de ese futuro. Ambos son fundamentales para la toma de decisiones a mediano y largo plazo y constituyen una fuente primordial de aprendizaje. (Subirats, 1995)

En la evaluacin se combinan distintos tipos de informacin. Por un lado, el propio proceso produce informacin; por el otro, se basa en la informacin que se produce. La construccin de un futuro deseado, es decir, hacia dnde queremos ir, est mediada entre otros factores por los insumos que proveen el monitoreo y la evaluacin, para la toma de decisiones estratgicas, operativas y tcticas en el marco del desarrollo de una poltica, programa o proyecto. Estas decisiones pueden ser: De tipo preventiva: nos anticipamos a los riesgos potenciales que se detectaron en una evaluacin. De tipo correctiva: reorientamos procesos, estrategias o tcnicas para corregir efectos no deseados, ineficacias o ineficiencias de nuestras acciones

El monitoreo: un instrumento para la toma de decisiones

A diferencia de la evaluacin, el monitoreo es el seguimiento que se realiza durante la ejecucin de una poltica, programa o proyecto. Aunque incluye una dimensin tcnica, no se agota en ella. Por el contrario, es un instrumento de gestin y de poltica, que permite revisar en forma peridica los aspectos estratgicos. Monitoreo y evaluacin son actividades fuertemente interrelacionadas, pero no son sinnimos El monitoreo es un proceso continuo y permanente; la evaluacin se realiza en perodos establecidos y es de corte transversal. El monitoreo constituye un proceso continuo de anlisis, observacin y elaboracin de sugerencias, de ajustes que aseguren que la poltica, programa o proyecto, est encaminado hacia el resultado propuesto. Por su parte, la evaluacin permite la formulacin de conclusiones acerca de lo que se observa a una escala mayor, aspectos tales como el diseo del proyecto y sus impactos, tanto aquellos previstos, como no previstos (Cerezo y Fernndez Prieto, 2011). Ms all de estas diferencias, ambos son procesos interconectados y complementarios. Por ejemplo, el monitoreo permite, adems de poner de manifiesto soluciones problemticas y de aportar pistas para identificar causas y posibles soluciones, detectar seales de alarma que sern insumo para la evaluacin.

El plan de monitoreo y evaluacin forma parte de la planificacin o diseo de una poltica, programa o proyecto, que debe adecuarse a las caractersticas del destinatarios de la informacin que se producir y a los indicadores e instrumentos que se utilizarn para su recoleccin, registro y procesamiento. Durante el monitoreo se recolecta informacin sobre: La ejecucin de las actividades planificadas, para apoyar la gestin cotidiana de los proyectos sobre el terreno. Los resultados conseguidos a travs de la realizacin de las actividades y la respuesta de los/las titulares, para comprobar los avances y revisar el plan de trabajo. La consecucin de los objetivos del programa y sus impactos para revisar la lgica de intervencin y la resolucin de problemas.

Un meten

sistema de monitoreo se construye a partir de los indicadores. Los indicadores son didas directas o indirectas de un evento, condicin, situacin o concepto y permiinferir conclusiones apreciativas acerca de su comportamiento o variacin.

Los indicadores son el resultado de operacionalizar los objetivos a alcanzar en el marco de una poltica, programa o proyecto. Se suele expresarlos en metas a partir de las cuales se disean los indicadores que permiten medir el grado en el que se fueron alcanzados (Cohen y Franco, 1988). La seleccin de indicadores es un paso clave para construir un buen sistema de monitoreo. Su eleccin requiere tener en cuenta criterios como independencia, verificabilidad, validez y accesibilidad. S a travs de la consulta con los actores involucrados es posible definir los indicadores y acordar su importancia y caractersticas especficas, quiere decir que los objetivos de la poltica, programa o proyecto, son claros, compartidos y estn consensuados entre los actores responsables de su implementacin.

10

Los indicadores tienen dos funciones principales: Ayudar a monitorear los avances en la consecucin de los objetivos. Aclarar la lgica de intervencin del proyecto al indicar lo que se desea lograr, la duracin, la calidad requerida y la poblacin objetivo.

Sin una correcta definicin de los indicadores, se dificulta la recoleccin de datos y disminuye la posibilidad de monitorear o evaluar en forma adecuada la relacin entre lo previsto y lo realizado. Existen diferentes categoras de indicadores, los ms comunes son: Indicadores de impacto: Son los impactos que se espera generar con el logro del objetivo general de la poltica, programa o proyecto. Indicadores especficos. Dan cuenta del grado de alcance del objetivo especfico y de su contribucin al logro del objetivo general. Indicadores de cobertura. La cobertura es la proporcin de la poblacin objetivo que efectivamente recibe los servicios que brindan una poltica, programa o proyecto. Estos indicadores reflejan la relacin entre la poltica, programa o proyecto y los titulares o potenciales de sus prestaciones.

11

Indicadores de producto: Son los resultados concretos que orientan las actividades a ejecutar, a partir de los insumos disponibles. Indicadores de proceso. Los procesos estn constituidos por el conjunto de actividades que se realizan para tratar de alcanzar el objetivo buscado. Estos indicadores se relacionan con los insumos que se proveen para concretar las actividades y con los productos que se obtienen durante dichos procesos. Facilitan el seguimiento de la implementacin de la poltica, programa o proyecto y pueden alertar sobre su desempeo.

Todo indicador debe cumplir con cuatro requisitos bsicos: Independencia. Cada indicador debe ser utilizado para medir un solo objetivo. Verificabilidad. Cada indicador debe ser empricamente constatable. Validez. Cada objetivo debe contar con, al menos un indicador. Accesibilidad. La medicin de los indicadores debe ser accesible.

12

Quin monitorea) quin evala?

El monitoreo y la evaluacin pueden ser realizados por distintos actores. Segn quines los realicen, se puede identificar distintos tipos, cada uno con ventajas y desventajas. En tanto proceso de evaluacin interna, el monitoreo suele estar a cargo de los miembros de la organizacin que implementa la poltica, programa o proyecto a evaluar. Esta evaluacin puede ser realizada por actores no directamente vinculados, o bien por actores directamente vinculados. En este ltimo caso, los evaluadores sern tambin evaluados, por lo que la evaluacin interna es tambin una autoevaluacin. Al ser interna este tipo de evaluacin minimiza la reactividad de los actores de la organizacin y es menos costosa en trminos econmicos y de recursos humanos. Algunos autores sostienen que este tipo de evaluacin facilita que sus resultados tengan mayor influencia en la intervencin. En relacin con las desventajas, la ms destacable es que la evaluacin interna pone en riesgo la objetividad del proceso de evaluacin y de sus resultados y, en consecuencia, afecta directamente la credibilidad social de la evaluacin. En relacin con la evaluacin externa, en general, la interna no utiliza estndares o alta tecnologa para su diseo. Algunos autores sealan que no necesariamente por ser interna, este tipo de evaluacin elimina el choque de intereses entre los diferentes actores involucrados.

13

La evaluacin externa es llevada a cabo por actores ajenos a la organizacin que implementa la poltica, programa o proyecto a evaluar. En general, se recurre a investigadores, consultores independientes. Cabe aclarar que la evaluacin externa no es siempre deseada por los actores de la organizacin ejecutora, muchas veces parte de los requisitos de las agencias financiadoras. Entre las ventajas que posee este tipo de evaluacin se encuentra la supuesta objetividad, porque los evaluadores no pertenecen a la organizacin ejecutora y, en consecuencia, maximizan la credibilidad de la evaluacin realizada. Entre las desventajas, se seala que este tipo de evaluacin minimiza las posibilidades de mejorar la poltica, programa o proyecto (ya que los evaluadores no estn directa o indirectamente vinculados en la ejecucin del proyecto) y, en relacin con lo anterior, podra maximizar tambin la reactividad de los actores internos, que quedan afuera del proceso evaluativo.

La evaluacin mixta trata de combinar ambas perspectivas bajo el supuesto de que su conjuncin potencia los aspectos positivos de cada una (Neirotti y Poggi, 2004). Este proceso permite incluir distintas posiciones desde el punto de vista de los actores involucrados. No obstante, para implementarla es necesario lograr un trabajo conjunto y acompasado entre los actores internos y externos. Y esto alarga los tiempos de la evaluacin. Finalmente, la evaluacin participativa incorpora a los titulares de la poltica, programa o proyecto, sujeto de la evaluacin; adems, considera que todos los que, de un modo u otro, se vinculan con el tema evaluado, porque tienen intereses involucrados o pueden verse afectados por l, deberan tener protagonismo durante el proceso (Nirenberg, 2009) En general, esta estrategia se utiliza en polticas, programas y proyectos ya diseados de manera participativa, donde los titulares ya estn involucrados en el diseo de la intervencin y siguen participando durante su implementacin.

14

Importancia y funcin del monitoreo y la evaluacin Es bien sabido que la implementacin de un programa o proyecto social o de desarrollo, de atencin humanitaria, de fortalecimiento de capacidades o de incidencia no garantiza por s mismo la consecucin de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de; por s solos no garantizan resultados positivos. Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseo y una planeacin cuidadosos, MyE apropiados. Si bien la planeacin adecuada inalterable: si nuestro proyecto no est funcionando o si las circunstancias han cambiado, los planes deben cambiar tambin. El MyE permite darnos cuenta si los planes estn fallando o si hay oportunidad de analizar y tomar decisiones sobre El monitoreo y la evaluacin, generan informacin para mejorar la accin, reorientarla o hacer una planeacin futura mucho ms asertiva y efectiva. Sin un monitoreo y una evaluacin efectivos, no encaminando en la direccin correcta, si el progreso o los cambios logrados se deben a nuestra accin especfica, o si es necesario hacer cambios en la planeacin a futuro. El monitoreo y la evaluacin sirven para: Mejorar el desempeo: permiten la deteccin de problemas de un proyecto en etapas iniciales de la implementacin, y de esta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopcin oportuna de medidas correctivas. Fortalecer la toma de decisiones y la planeacin: permiten aprender de los logros y las de decisiones y al diseo de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables. Contribuir al aprendizaje: permiten a la organizacin y a los involucrados en el proceso aprender de la experiencia, con lo cual no slo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social. Avanzar hacia el empoderamiento: el monitoreo y la evaluacin permiten fortalecer las capacidades de la poblacin involucrada, de los socios locales, del equipo encargado de la ejecucin y de la misma organizacin, ya que favorece el conocimiento de la problemtica, de los procesos y de las estrategias. Mejorar la rendicin de cuentas: permiten a las organizaciones responsables informar a de los recursos y el impacto de los proyectos. Esto puede tambin fomentar el apoyo pblico y poltico de las iniciativas. Contribuir al conocimiento general: el anlisis de la evaluacin permite compartir con otros, difundir los aprendizajes y las mejores prcticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo.

Esto puede servir tanto a la misma organizacin como a otras organizaciones o instituciones gubernamentales y acadmicas.

Los procesos de monitoreo y de evaluacin son complementarios: la evaluacin depende en gran medida de la informacin reportada y recolectada de forma peridica a travs de los sistemas de monitoreo. Sin embargo, cada proceso tiene funciones especficas y existen algunas diferencias fundamentales, como puede apreciarse en la grfica siguiente:

15

Otros instrumentos
Existen otras actividades de revisin de proyectos, qu tienen una funcin especfica y un enfoque particular, y por lo tanto no deben confundirse con el monitoreo y la evaluacin. Estas son: Auditora: valoracin de los procesos y procedimientos administrativos para asegurar el respeto a las polticas, normas y criterios previamente establecidos. El objetivo de la auditora se limita a examinar la conformidad con las obligaciones contractuales. La pregunta gua de la auditora es: Estamos siguiendo los procedimientos adecuados? Estudio de factibilidad: es una valoracin crtica de una propuesta de proyecto con el fin de tomar una decisin sobre su eventual financiamiento e implementacin. La valoracin est encaminada a determinar la pertinencia, la viabilidad tcnica, financiera, institucional y socioeconmica, as como la sostenibilidad prevista de la propuesta. Revisin: es una valoracin peridica de todo el diseo metodolgico del proyecto para retroalimentar la planeacin y la gestin y hacer recomendaciones de acciones correctivas. Una revisin puede devenir en una evaluacin sobre la marcha, si se llega a un nivel suficiente de profundidad y de anlisis. Investigacin: una bsqueda y un anlisis profundo y sistemtico para desarrollar un tema especfico o contribuir a su conocimiento. Generalmente la investigacin documental sirve de insumo para la evaluacin, pero por s sola, no es suficiente para la toma de decisiones.

16

Por qu son necesarios el seguimiento y la evaluacin? En primer lugar, veamos una denicin de los trminos seguimiento y evaluacin. El seguimiento se reere al examen y acopio de datos, lo que ayudar a determinar si se estn alcanzando los objetivos jados. El seguimiento es una parte fundamental de la evaluacin y los datos recopilados se integran en el proceso general de evaluacin. La evaluacin se reere por lo tanto al acopio sistemtico de informacin realizado durante la ejecucin de un proyecto o despus, a n de emitir un juicio acerca de la ecacia respecto de los resultados anticipados y ofrecer bases para las decisiones relativas a intervenciones futuras. Las actividades de seguimiento y evaluacin ayudan a determinar si un programa ha logrado los resultados esperados, de modo que se pueda dar cuenta de los recursos gastados y utilizarlos con la mayor ecacia posible. Las fuentes de nanciacin suelen solicitar evaluaciones para vericar que el dinero ha sido utilizado apropiadamente, pero sigue siendo preciso asegurar que el personal del proyecto y la poblacin que lo apoya reconozcan la utilidad del seguimiento y evaluacin continuos y los aprovechen para mejorar la ecacia y calidad de sus programas. El seguimiento debe realizarse de manera continua para que se alcancen las metas y los objetivos del proyecto y para reajustar la programacin sobre la base de las lecciones aprendidas hasta el momento. Las evaluaciones internas son importantes para medir la ecacia, la eciencia y los avances del proyecto, as como para estimular entre el personal y los grupos beneciarios del proyecto el sentido de apropiacin de ste. La evaluacin externa, que es onerosa y que la mayor parte del tiempo est fuera del alcance de las iniciativas de las comunidades pequeas, ofrece sin embargo una posibilidad de examen independiente que a veces puede ser apropiado. Monitoreo y evaluacin en el ciclo del proyecto El proceso de diseo y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre s y acomodados por el orden en que se desarrollan; la identificacin del problema, la planeacin del proyecto, su ejecucin y seguimiento, y la evaluacin que normalmente alimenta el anlisis y la identificacin de futuros proyectos. En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseo y formulacin, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La eta-

17

pa de planeacin y diseo es crucial para todo el desarrollo del proyecto, pues es este momento cuando se define el sistema de MyE, estableciendo claramente la informacin disponible antes de la intervencin (lnea base) y determinando las necesidades de informacin (a travs de la formulacin de indicadores) que permitan ir midiendo avances, efectividad e impacto. Antes de la ejecucin del proyecto, se define el plan de MyE, proponiendo de manera especfica, cmo se debern organizar las actividades, responsabilidades y recursos, para realizar el monitoreo, durante el desarrollo del proyecto. Este monitoreo se realizar peridica y sistemticamente durante todo el tiempo de implementacin del proyecto. Esto implica el seguimiento de las actividades y revisin de los objetivos, as como la recoleccin, sistematizacin y anlisis de datos. Posteriormente se lleva a cabo el proceso de evaluacin, como una etapa misma del ciclo del proyecto. La evaluacin producir informacin que es fundamental para la rendicin de cuentas, la implementacin de recomendaciones y mejorar el desempeo. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulacin del mismo proyecto o para ser considerados en la formulacin de otros proyectos. El Monitoreo y la Evaluacin en la etapa de formulacin del proyecto Los primeros pasos de MyE se toman desde la etapa de formulacin del proyecto. En esta etapa, las personas que formulan el proyecto tienen la responsabilidad de asegurar que su diseo lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseado, con una cadena de efectos clara, ser fcilmente monitoreado y evaluado. Un proyecto que no cumpla con esta caracterstica muy probablemente fallar en la consecucin de sus objetivos (o en la demostracin de los mismos). Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulacin de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseo: 3. Que la lgica de intervencin sea coherente y clara, que el diseo de los resultados, los objetivos, las actividades y las estrategias est definido adecuadamente. 4. Que el marco de MyE sea factible y significativo con relacin a los resultados y objetivos del proyecto y que existan los medios para verificar el avance y el resultado de la accin. 5. Que los planes del proyecto prevean actividades de monitoreo y evaluacin adecuadas, y que exista un plan de monitoreo y evaluacin con mtodos, procedimientos y personas responsables claramente definidos. 6. Que las lecciones y las buenas prcticas aprendidas de los proyectos anteriores se incluyan en el proyecto actual. Actividades de la segunda y tercera semana Individuales 1. Realice la lectura de la semana. 2. Ingrese a google y busque los trminos monitoreo y evaluacin, con lo que debe preparar el editorial de su diario de aprendizaje. 3. Responda a la pregunta Cul es la relacin entre el monitoreo y la evaluacin con el diseo de un proyecto?. 4. Resuelva Para qu sirve el monitoreo? 5. Cul es la diferencia entre monitoreo y seguimiento? 6. Actualice su diario de aprendizaje Grupales 1. En grupos, identifiquen las principales razones para llevar a cabo el monitoreo, justificndolas.

18

Autoevaluacin 1. Qu conocimientos previos tena usted acerca de lo que es el monitoreo? 2. Qu aplicaciones encuentra para el concepto de monitoreo en el mbito del trabajo social? 3. encuentra similitud, cules entre el concepto descrito por la lectura para el monitoreo y lo que usted conoca? 4. Despus de leer, apunte las ideas nuevas, que usted ha encontrado en la lectura y escriba en sus propias palabras qu quieren decir. 5. Luego, regrese al texto con la meta de encontrar todos los conceptos que eran nuevos para usted y que no record, o que record pero cuyo significado no entendi bien. Relea y apunte todos los que vaya encontrando, aadindolos a la lista generada en el numeral 4. 6. De las definiciones de monitoreo, encontradas en la lectura de la semanas, cules cree usted que son las ms importantes y por qu? 7. Qu recomendaciones hara usted a otra estudiante, para disear un proceso de monitoreo? 8. Considera usted que a veces se fracasa en el monitoreo, por no seguir ciertos criterios como los enumerados en la lectura? 9. En una escala de 1 a 5, en dnde 1 es no estoy listo o lista para usar estas ideas y 5 es estoy listo o lista para usar estas ideas, cun preparado est usted, para utilizar en un proceso de monitoreo, las presentadas en la lectura? 10. Cmo se considera usted para iniciar el diseo de un proceso de monitoreo, considerando lo anterior en una escala de 1 a 5, dnde 1 es No estoy preparado y 5 es Si estoy preparado?

19

CUARTA Y QUINTA SEMANAS La evaluacin Objetivos de la semana

Al finalizar el estudio de la cuarta semana las y los estudiantes. Comprendern en qu consiste el la evaluacin de un programa o proyecto social. Reconocen la diferencia entre monitoreo y evaluacin.

LECTURA
La evaluacin es una apreciacin, lo ms sistemtica y objetiva posible, de un proyecto en curso o ya realizado, de su planeacin, ejecucin y resultados. Su propsito es determinar la pertinencia, el cumplimiento de los objetivos, la eficiencia en la realizacin del proyecto, la eficacia, el impacto y la sostenibilidad (OECD/DAC, 2002). La evaluacin se construye a partir del monitoreo peridico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso aos despus de completada la accin (en el caso de evaluaciones de impacto o sustentabilidad) (Ortegon et al., 2005). Una buena evaluacin se caracteriza por: Ser imparcial y transparente Tener credibilidad: ofrece informacin confiable y de calidad y existe una clara relacin entre resultados, conclusiones y recomendaciones. Ser til: contribuye oportunamente al proceso de decisin de aprendizaje organizativo y de los involucrados. Tener elementos participativos: refleja intereses, necesidades y percepciones de las partes involucradas. Ser eficiente: relacin equilibrada entre el costo y el beneficio. Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a travs del anlisis de la informacin y la difusin de los resultados.

Cules son los problemas bsicos de la evaluacin de iniciativas comunitarias? Las iniciativas comunitarias no son fciles de evaluar. No existe una tcnica predeterminada y concluyente que pueda extraerse de un libro y ser adaptada para su uso en cada proyecto. El personal del proyecto debe ser innovador, aplicar el sentido comn y utilizar los conocimientos que posee sobre la poblacin de apoyo, el entorno y el contexto poltico y cultural para lograr que las preguntas adecuadas se formulen de manera adecuada. Las iniciativas comunitarias suelen consistir en mltiples intervenciones complejas, que tienen lugar en diferentes niveles, a menudo diseadas para obtener distintos resultados. Hay generalmente una combinacin de estrategias, dirigidas tanto a nivel de los individuos como de la comunidad. Las iniciativas van del propsito de modicar el comportamiento individual mediante la educacin y la autonoma, a proyectos de base ms amplia centrados en la equidad, la justicia social y las intervenciones intersectoriales. El uso de marcos tericos ha tenido por objeto introducir ms rigor en la manera de recopilar e interpretar los datos de las diferentes variables. Al mismo tiempo, las nuevas consideraciones acerca de la evaluacin reconocen la multiplicidad de las interacciones que tienen lugar en la mayor parte de los contextos

20

comunitarios y ponen en tela de juicio las relaciones lineales, ms simplistas, entre causa y efecto. Habida cuenta de la compleja forma en que se realiza la mayor parte de las intervenciones, es preciso construir y poner a prueba correctamente las preguntas que hay que formular para saber si esas intervenciones son ecaces. Es importante tener conciencia de que los resultados no siempre pueden preverse y que pueden ser beneciosos o perjudiciales para la comunidad. Quienes participan en el seguimiento y la evaluacin deben mostrar audacia y conviccin para destacar tanto los resultados positivos de un proyecto como los negativos. Existen numerosas tcnicas y mtodos diferentes para evaluar programas. Esta diversidad es lo que convierte a la evaluacin en un instrumento tan poderoso. Los mtodos pueden depender de las cuestiones de inters, del contexto, de los propios principios tericos del evaluador y de las caractersticas de las dems personas participantes en el programa. Los evaluadores pueden recurrir a cualquier combinacin de sistemas para aadir profundidad y calidad a la evaluacin. Los diseos demasiado complicados y costosos pueden constituir un despilfarro de recursos si la pregunta puede responderse por medios ms sencillos. Los evaluadores que utilizan herramientas excesivamente complejas y que no las comprenden cabalmente, no producirn resultados tiles y vlidos. En la actualidad, la mayor parte de la gente acepta que los enfoques cuantitativos y cualitativos desempean una funcin til en la evaluacin de programas y a menudo se sugiere que una evaluacin pluralista, es decir, que recurre a una serie de mtodos de evaluacin cuantitativos y cualitativos, es la mejor estrategia para abordar problemas complejos sobre lo que constituye un resultado positivo o satisfactorio (Beattie, 1995). En la evaluacin de la mayor parte de las intervenciones comunitarias convendr utilizar diversas tcnicas de evaluacin para evaluar el proyecto en las distintas etapas. Esas etapas son las siguientes: la determinacin de las metas, objetivos y procedimientos del programa, comprendida la evaluacin inicial de las necesidades (evaluacin formativa) el proceso de ejecucin del programa (evaluacin de proceso) la medicin de los resultados y los impactos (evaluacin de resultados)

A qu debe aspirar la evaluacin? Una evaluacin de una intervencin comunitaria tiene por objeto: Disear el proceso para obtener la informacin necesaria mediante diversos mtodos. Estimular la elaboracin de indicadores, puntos de referencia e iniciativas claros. Acopiar y analizar datos durante todo el ciclo del proyecto en relacin con los objetivos y resultados deseados. Determinar los fallos, en caso de no haberse alcanzado algunos objetivos (o ninguno). Hacer los ajustes necesarios sobre la base de la experiencia y de las lecciones aprendidas. Retroalimentar con informacin a todos los participantes en el programa y a las comunidades locales. Demostrar los resultados y las lecciones aprendidas a las organizaciones nanciadoras y a los proveedores de servicios. Utilizar los resultados nales para contribuir a la planicacin y ejecucin de iniciativas futuras en las comunidades beneciarias.

Criterios bsicos de la evaluacin La evaluacin sirve para revisar si un proyecto est funcionando y si se estn logrando los objetivos planteados. Esta valoracin del avance y la calidad del proyecto se fundamenta en cinco criterios bsicos (OECD/DAC 2002): Pertinencia: est relacionada con la formulacin del proyecto, esto es, qu tanto el diseo de la intervencin responde a las necesidades de los beneficiarios y con la medida en la cual, busca avanzar hacia la solucin de los problemas identificados.

21

Puede evaluarse con relacin a la consistencia de diseo, de acuerdo a la situacin local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la accin son: Identificacin y seleccin de grupos meta o beneficiarios Participacin de las partes interesadas locales en la fase de formulacin y en el ciclo del proyecto en general. Calidad del Marco Lgico, incluyendo las hiptesis y los riesgos identificados. Realismo en la seleccin de los objetivos y de los servicios que se pretende ofrecer. -Grado de flexibilidad en el proyecto. Apreciacin de las capacidades locales de absorcin y de ejecucin. Coherencia con otras iniciativas de desarrollo en el mismo pas, regin o sector.

Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y estos permiten lograr el objetivo especfico del proyecto. Se valoran: Los factores que influyen en la consecucin del objetivo especfico, incluyendo los factores externos. La capacidad de gestin para asegurar que los resultados conseguidos, permitan lograr el objetivo especfico. La reaccin y apropiacin de los beneficiarios. Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos, podr ser, por ejemplo, temas de gnero, medio ambiente, fortalecimiento de capacidades, etc.)

Eficiencia: se refiere a la medida en la cual se brindan y gestionan los servicios y se realizan las actividades previstas del modo ms apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados esperados. El anlisis de la eficiencia se concentra en la calidad de la gestin del proyecto y en el uso de la alternativa econmicamente ms efectiva para conseguir los mismos resultados. Este anlisis se puede hacer a partir de: Gestin del presupuesto. Oportuna prestacin de los servicios segn el cronograma establecido. Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. Calidad de los procedimientos y las prcticas. Anlisis comparativo del costo beneficio en relacin con otros proyectos similares. Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos) sobre los grupos meta o beneficiarios, as como sus efectos globales sobre un mayor nmero de personas, en un sector o un rea geogrfica determinada. El impacto es un cambio durable y significativo, puede se tcnico, econmico, sociocultural e institucional El impacto est vinculado a la relacin entre el objetivo especfico y el objetivo general o global del proyecto. Es importante tener en cuenta que en este nivel el proyecto es slo una de muchas variables que contribuyen a un resultado ms amplio. As el impacto se evala, considerando el contexto general en el que se inscribe el proyecto, es decir tomando en cuenta el papel de otros actores y variables sociales, econmicas, polticas y medioambientales, nacionales o globales. El anlisis de impacto, normalmente se concentra en: La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecucin. Los factores externos que han influido sobre el impacto global. El impacto no planeado del proyecto. Los posibles efectos a largo plazo del proyecto y su sostenibilidad. El impacto del proyecto sobre temas transversales. Sostenibilidad: se refiere a la medida en la cual, los impactos de la intervencin tienen la posibilidad de continuar despus del cierre del proyecto. Del mismo modo, evala si los grupos meta, o beneficiarios quieren y pueden dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun despus de la salida del personal del proyecto.

22

Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relacin con el contexto local. Los anlisis de sostenibilidad pueden centrarse en: Sentido de apropiacin de los objetivos por parte de las personas involucradas depender en parte de su participacin en el diseo y la ejecucin del proyecto). Sostenibilidad institucional la medida en la cual el proyecto respeta e influye en las caractersticas de las organizaciones o instituciones locales y en la capacidad de stas de desempear su papel despus del cierre del proyecto. Sostenibilidad financiera, si los servicios pueden seguir funcionando cuando se agoten los fondos externos, y si se genera una capacidad local para sostener los gastos de operaciones despus del cierre del proyecto. Sostenibilidad sociocultural si el proyecto, tiene en cuenta el contexto social y cultural, as como la percepcin local de las necesidades. Tambin valora si los beneficiarios y las otras partes interesadas han aceptado y adoptado los cambios producidos por el proyecto. Sostenibilidad tcnica, si la tecnologa y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos brindados se concilian con las tradiciones, capacidades, conocimientos y herramientas existentes y si los beneficiarios pueden mantener la tecnologa adquirida sin asistencia externa. Tipos de evaluacin En el marco de un proyecto, programa, sector o pas se pueden hacer diversos tipos de evaluaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son evaluaciones intermedias y peridicas sobre el desempeo del proyecto, se consideran formativas porque su objetivo bsico es mejorar el desempeo del proyecto. La evaluacin sumativa o postproyecto examina el impacto del proyecto, una vez que este ha finalizado. Se examina el diseo original, con las modificaciones introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto. Tambin existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes: Por etapas en el ciclo del proyecto

Evaluacin Ex ante: es un anlisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la factibilidad o mejorar el diseo del proyecto que se pretende implementar.

Evaluacin sobre la marcha: se realiza durante la ejecucin del proyecto para evaluar las actividades del proceso mientras estas se desarrollan, e identificar los aciertos, errores y dificultades, para brindar recomendaciones, para la introduccin de ajustes. Evaluacin al cierre: se realiza al final del proyecto con el fin de analizar y registrar los resultados y efectos tempranos de la intervencin. Tambin puede dar recomendaciones para intervenciones futuras. Evaluacin ex post: se realiza despus (desde meses hasta varios aos despus) de concluido el proyecto, evaluando los resultados con la intencin de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

23

Por agente Autoevaluacin: la realizan personas involucradas directamente en la ejecucin del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluacin asistida, en la que un externo apoya las acciones de evaluacin, pero sta es realizada por los actores locales, fomentando su empoderamiento. Evaluacin interna: la realizan personas que forman parte del equipo de la organizacin, pero que son externas al proyecto. Evaluacin externa: La realizan personas externas al proyecto y a la organizacin (sin ningn inters o relacin en los resultados). Las evaluaciones que efectan personas externas, a menudo se consideran ms objetivas y se llevan a cabo con fines de trasparencia y responsabilidad.

Planeacin de la evaluacin Es fundamental que el mbito de la evaluacin sea claro desde un inicio, para asegurar resultados y recomendaciones precisas y realmente tiles. Si bien las evaluaciones pueden enfocarse en distintos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones de una organizacin. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables tambin para otros mbitos. Tambin se debe tener claro cul ser el propsito de la evaluacin, ya sea que est en funcin de las necesidades de la agencia implementadora, de la organizacin matriz o del donante. Las finalidades de la evaluacin pueden estar relacionadas con la gestin del proyecto, para introducir medidas correctivas; con el aprendizaje, para fortalecer el conocimiento de las organizaciones y mejorar el desempeo, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto y los beneficiarios. La evaluacin requiere asignacin de tiempo y recursos para un trabajo especial, que puede involucrar la participacin de profesionales especializados no asignados al proyecto. En este caso, la organizacin que solicite una evaluacin debe tener claro los objetivos y metodologas, lo cual se puede facilitar mediante la elaboracin de trminos de referencia y la seleccin adecuada del evaluador.

24

Trminos de referencia Los trminos de referencia (TdR) son elaborados por la organizacin que est solicitando la evaluacin, sea sta interna o externa. Sirven para guiar toda la evaluacin al determinar su enfoque y propsito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinacin cercana con los beneficiarios del proyecto. Describen el objetivo ( por qu se realiza la evaluacin; el alcance (qu se debe evaluar), y los parmetros generales para llevarla a cabo (actividades y metodologa). Los trminos de referencia de una evaluacin por lo general incluyen: informacin bsica sobre el proyecto (datos, antecedentes, alcance, caractersticas, e informacin bsica de la organizacin que lo implementa); propsito y enfoque de la evaluacin (objetivo general y objetivo especfico); metodologa (parmetros generales para realizar la evaluacin: qu metodologas se necesita emplear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participacin de beneficiarios, formatos de informe de evaluacin, e c.) y condiciones del contrato de evaluacin (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos). Seleccin del evaluador Una vez que se tengan los trminos de referencia, se puede seleccionar al evaluador o al equipo de evaluacin. Tanto en una evaluacin interna como en una externa, es recomendable que el equipo de evaluacin est formado por personas externas y personas involucradas directamente en la ejecucin del proyecto. En la seleccin del evaluador es importante considerar la combinacin de cualidades, habilidades (de evaluacin o de conocimiento tcnico especfico) y experiencia necesaria. Las capacidades requeridas pueden variar, segn las caractersticas del proyecto, el objetivo de la evaluacin y los mtodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluacin, experiencia tcnico sectorial y conocimiento del contexto local. Plan de trabajo El primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluacin, que representa su propuesta para realizar el trabajo, teniendo en cuenta los trminos de referencia. Es importante que dicho plan de trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiacin del proceso de evaluacin. El plan de trabajo es fundamental, ya que ser un punto de referencia para todo el desarrollo de la evaluacin. Se recomienda incluir: Visin general del proyecto y del contexto: comprensin del evaluador del contexto y los antecedentes, del proyecto y de la organizacin. Esto se desarrolla a travs de la revisin de los documentos y de la consulta con el equipo del proyecto. Diseo metodolgico indicativo: el enfoque de la evaluacin, los objetivos (general y especfico) de acuerdo a las demandas de la organizacin contratante y a la propuesta del evaluador, y las preguntas de evaluacin o hiptesis. Matriz de evaluacin: reformulacin de las preguntas especficas vinculadas a los criterios de evaluacin, los indicadores, las fuentes de datos y los mtodos para su recoleccin Metodologa: es la estrategia para conseguir los objetivos de la evaluacin, teniendo en cuenta la informacin disponible, los tiempos y los recursos. Aqu se incluyen los mtodos de recoleccin de datos, actividades y explicacin de los pasos previstos para la evaluacin. Si hay sistemas de MyE ya diseados y adecuados a las necesidades de evaluacin, se recomienda que el evaluador los emplee para aprovechar la informacin existente.

25

Cronograma de actividades: tareas y fechas lmite de las fases de evaluacin (fase de preparacin, visitas sobre terreno, elaboracin del informe, presentacin de los resultados al equipo y a los beneficiarios, etc.) Composicin del equipo de evaluacin: composicin (evaluadores, coordinador sobre terreno, asistente de evaluacin, etc.) y responsabilidades de cada uno. Perfil del informe: ndice indicativo de los contenidos del informe de evaluacin y la estructura de la presentacin. En este apartado se incluyen tambin la extensin, el tiempo de la evaluacin y las entregas especficas de reportes.

Implementacin de la evaluacin Una vez que la organizacin gestora de la evaluacin haya aceptado el plan de trabajo y se haya seleccionado y conformado el equipo de evaluacin, se puede comenzar la evaluacin. Como acciones previas, se recomienda: Reunir y revisar la informacin disponible sobre el contexto y sobre el proyecto (propuesta inicial, reportes intermedios y finales, informacin de lnea base, estadsticas oficiales, investigaciones y documentos sobre la problemtica o el contexto, etc.).

Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar informacin que no est disponible, y para asegurar una contextualizacin adecuada si el evaluador es externo. En esta visita puede haber una reunin con las personas que estarn involucradas en la evaluacin (responsables de la ejecucin del proyecto, y quienes darn la informacin). Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluacin. Considerar aspectos logsticos y organizativos antes de la salida, y planear agendas alternas a partir de un anlisis de riesgos. Seleccionar y revisar las tcnicas para la recoleccin de datos y los distintos mtodos de evaluacin, de acuerdo a los resultados de las visitas y reuniones preliminares.

Durante el desarrollo de la evaluacin se recomienda la participacin activa de diversos actores: beneficiarios, socios, autoridades, equipo del proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluacin deber decidir sobre el nivel de inclusin de los beneficiarios o, en su caso, si es pertinente y existen las condiciones necesarias para realizar una evaluacin participativa. Para guiar el trabajo de la evaluacin se puede partir de los criterios bsicos (pertinencia, eficiencia, eficacia, sostenibilidad e impacto), aplicando cada uno a los objetivos y estrategias generales y especficas del proyecto. Otra posibilidad es el enfoque de la evaluacin se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluacin (por ejemplo, en la eficiencia del proyecto).

26

Al desarrollar la evaluacin, es posible que el evaluador se enfoque en: Aspectos tcnicos y de proceso del proyecto (relacionados con las actividades y la eficiencia en el uso de los recursos). Nivel de cumplimiento con la lgica de intervencin del proyecto, analizando la eficacia y la eficiencia, al producir los resultados, objetivo especfico y objetivo general. Los resultados o impactos que se generaron en relacin con las intenciones del proyecto.

Tambin es posible que el evaluador establezca puntos de anlisis ms pertinentes o alternativos a los diseados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una problemtica especfica (como una evaluacin de nivel de cumplimiento con parmetros de equidad de gnero, o una evaluacin para medir el impacto ambiental). Durante el desarrollo de la evaluacin quiz sea necesario incluir nuevos parmetros de medicin, si se identifican problemas importantes no considerados anteriormente y no incluidos en el diseo del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluacin e indicadores que respondan a las necesidades de informacin que considere ms importantes. Una vez identificado claramente el enfoque que tendr la evaluacin, se pueden seleccionar y desarrollar los instrumentos necesarios para la recoleccin de datos que permitan reunir la informacin necesaria. Esta etapa del proceso de evaluacin es la que requiere ms tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Despus de la recoleccin de datos, es necesario hacer una recopilacin y anlisis de los datos obtenidos y evaluarlos en relacin con los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclusiones y lecciones aprendidas. Informe final de evaluacin El resultado de todo el proceso de evaluacin se refleja en el informe de evaluacin. Este debe ser coherente con los requisitos de contenido de los trminos de referencia y la propuesta del Plan de Evaluacin. Si bien los informes son extensos, basados en informacin diversa a partir de las mltiples fuentes de datos e informacin, el texto del informe debe ser lo ms claro y conciso posible, e incluir solo la informacin ms relevante de la evaluacin y las recomendaciones a futuro. Esta claridad es importante para que la evaluacin pueda ser realmente una herramienta de aprendizaje para las organizaciones y los beneficiarios. Algunos elementos esenciales que debe considerar un informe de evaluacin son: Resumen ejecutivo: en esta seccin se responden brevemente las preguntas definidas en los trminos de referencia y en la matriz de evaluacin, y se exponen las principales conclusiones y recomendaciones de la evaluacin. Metodologa: descripcin de la metodologa usada durante la fase preparatoria de la evaluacin y de la misin sobre el terreno, los mtodos de recoleccin de datos y de anlisis de la informacin. Resultados de la evaluacin: es el texto principal del informe. Esta seccin debe responder los objetivos y las preguntas concretas e hiptesis definidas en los trminos de referencia y en la matriz de evaluacin. Aqu se desarrollan al detalle los resultados de la evaluacin y las recomendaciones, incluyendo evidencia concreta de la informacin y las conclusiones.

27

Conclusiones y recomendaciones: puede ser til separar las conclusiones de acuerdo a los criterios de evaluacin y las recomendaciones en trminos del objetivo general del proyecto, objetivo especfico, resultados y las estrategias, o cualquier tema en particular que haya surgido como importante en los hallazgos de la evaluacin. Anexos: Trminos de Referencia (TdR), currculum del evaluador, figuras y tablas. Referencias bibliogrficas

La evaluacin participativa Es una dimensin participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los beneficiaros del programa o proyecto en el anlisis colectivo y la evaluacin del mismo. Est centrada en las personas: las partes interesadas y los beneficiarios del proyecto son actores clave del proceso de evaluacin, y no solamente un objeto de esto (PNUD, 1997). La experiencia ha demostrado que los proyectos sociales tienen ms posibilidades de xito cuando la poblacin local se apropia del proyecto y se involucra en los procesos de diseo, implementacin, monitoreo y evaluacin. Ya se ha mencionado la importancia de que los proyectos sean diseados e implementados en respuesta a una necesidad expresada por los propios implicados. Si las iniciativas responden a una necesidad planteada por la poblacin local, necesariamente las mismas personas debern determinar tambin, qu es lo que significa un avance o mejora sustancial en cuanto a dicha problemtica. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parmetros del monitoreo y la evaluacin. As, la participacin debe ser una parte fundamental y natural del proceso de evaluacin, tanto en los procesos de diseo, como en las actividades de recoleccin de datos, el anlisis y la evaluacin de los resultados y la formulacin e implementacin de recomendaciones. Algunas de las ventajas de un proceso de evaluacin participativo son: Promueve la definicin de parmetros compartidos de resultado y desempeo. Fomenta la corresponsabilidad. Facilita la confianza entre las partes Crea compromiso entre los involucrados. Fomenta el aprendizaje, la gestin y otras capacidades locales de los beneficiarios. Al incluir a las partes involucradas en el anlisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiacin. Esto genera mayor apertura a las recomendaciones de la evaluacin y facilita la introduccin de cambios.

Principios bsicos de la evaluacin participativa Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios bsicos que los distinguen de los enfoques de evaluacin convencionales: Intervencin: el mismo diseo del proyecto lo abre a la participacin e intervencin de las personas directamente afectadas por un problema y beneficiarias de la intervencin. La poblacin debe estar involucrada en todas las etapas de la implementacin del proyecto, incluso en el seguimiento de las actividades y en la evaluacin. Negociacin: se negocia y acuerda con los beneficiarios, qu ser monitoreado y evaluado, as como los mtodos y las herramientas de recoleccin de datos. Por otro lado, las estrategias y los procedimientos pa-

28

ra el anlisis de informacin y la difusin de los resultados tambin deben retomar los aportes de la poblacin local. Aprendizaje: se acuerda con las personas involucradas cmo se retomarn las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener claramente definido cmo se difundirn las buenas prcticas y su promocin, de manera que el aprendizaje permanezca y sea apropiado por los beneficiarios. Flexibilidad: los proyectos de desarrollo se afectarn por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de ser flexibles y adaptarse a cambios inesperados.

La evaluacin participativa se distingue de las evaluaciones convencionales en diferentes aspectos.

Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opcin ms adecuada con relacin al proyecto, a las necesidades de evaluacin y al contexto. As, puede ser que en ciertas circunstancias sea mucho ms til una evaluacin convencional y en otros participativa. Al no haber ningn enfoque definitivo para la evaluacin participativa, esta puede ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales. La evaluacin participativa tiene la desventaja de que suele requerir ms tiempo y recursos para llevarse a cabo, y por lo general exige mayor capacitacin y preparacin por parte del facilitador de la evaluacin. Existen lmites a la viabilidad de la evaluacin participativa. A veces es demasiado ambicioso esperar involucrar a los beneficiarios en una evaluacin, ya sea por el contexto, su disponibilidad o una limitada apropiacin del proyecto (al no haber estado involucrados en todas las etapas de diseo, implementacin y seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participacin en los procesos de MyE del proyecto (UNESCO, 2009): No todos los beneficiarios del proyecto querrn involucrarse en el proceso de MyE. Esta participacin requiere tiempo y energa que no todas las personas estarn preparadas o dispuestas a dar. Es necesario adaptarse al contexto y a las necesidades de la poblacin. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes tcnicas y herramientas participativas de obtencin de datos y de evaluacin.

29

La participacin de la poblacin en la recoleccin de datos puede, por s misma, empoderar a los involucrados al asignarles una responsabilidad en el proyecto y fortalecer su formacin en las tcnicas y habilidades necesarias (investigacin, entrevistas, etc.). Las evaluaciones participativas pueden contribuir a la construccin social de aprendizaje. El proceso de anlisis colectivo sobre un tema en particular puede resultar en una comprensin y un aprendizaje mucho ms profundos, a travs de cuestionamientos, dilogos y generacin de ideas.

Actividades de la quinta semana Individuales 1. Realice la lectura de la semana. 2. Elabore un mapa conceptual sobre la planificacin y su relacin con el monitoreo. 3. Actualizar su diario de aprendizaje. Grupales 1. Comparta con su grupo de trabajo en clase, su mapa conceptual elaborado en casa, luego construyan uno en grupo para compartir con el resto de la clase. Autoevaluacin 1. 2. 3. 4. 5. Qu esperaba encontrar en la lectura acerca de la evaluacin? Qu ideas tena usted acerca de la evaluacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca de la evaluacin? Para usted, cul de las fases o etapas de una evaluacin, es la ms importante y por qu? A qu le motiva la lectura anterior?

30

SEXTA SEMANA Quines necesitan la informacin del monitoreo y la evaluacin? Objetivos de la semana
Al finalizar el estudio de la quinta semana las y los estudiantes. Identificarn a los usuarios de la informacin del monitoreo y la evaluacin.

LECTURA Usuarios de la informacin

Uno de los primeros pasos ms importantes al desarrollar un sistema de informacin consiste en identificar quines son los usuarios de la informacin relacionada con el proyecto. Una vez identificados los usuarios, es entonces cuando se puede y se tiene que determinar qu tipo de informacin se necesita y para qu fines, qu preguntas o preocupaciones tienen los usuarios respecto a la informacin y qu es lo que constituye una informacin de calidad. Un gran nmero de personas y organizaciones estn interesadas en cada uno de los proyectos. Todas estas personas pueden denominarse "usuarios de la informacin". Algunos estarn interesados en los resultados obtenidos y las lecciones aprendidas en un proyecto dado, por ejemplo, otras organizaciones no gubernamentales que trabajan con poblaciones objetivos similares en otra regin o departamento. Otros podran desear la informacin para poder participar en varias decisiones relacionadas con el proyecto. A este ltimo grupo se los suele llamar frecuentemente "partes interesadas" o presuntos "propietarios" del proyecto. Las partes interesadas del proyecto son todas las personas o grupos que tienen capacidad para tomar o influir decisiones que tienen un impacto en el diseo o la ejecucin del proyecto. Por ltimo, todas las partes interesadas pueden participar en la fase de ejecucin de un proyecto y, por lo tanto, debern ser consultadas e informadas regularmente sobre la planificacin de proyectos y sus progresos. El hacer participar a los presuntos usuarios (sobre todo, los administradores y el personal de los proyectos y la poblacin beneficiaria) en el diseo del monitoreo y la evaluacin no slo contribuir a aclarar los requisitos de informacin, sino tambin a asegurar su apoyo para el sistema de monitoreo y evaluacin y la utilizacin de sus resultados. Preocupaciones sobre el contenido Entre las numerosas personas diferentes que estn interesadas y participan activamente en el monitoreo y la evaluacin de proyectos figuran la poblacin beneficiaria de los proyectos, el personal encargado de la recopilacin y gestin rutinarias de datos (por ejemplo, sobre finanzas y productos), los equipos de evaluacin internos y externos encargados de las evaluaciones peridicas (como, por ejemplo, de los resultados y el progreso de los proyectos). Las diferencias que existen entre estos grupos consistirn en: Sus percepciones del fin del Monitoreo y la Evaluacin Sus razones para la recogida de los datos. Sus intereses en la informacin obtenida como resultado del Monitoreo y la Evaluacin

Otro grupo de personas que influye en el sistema de monitoreo y evaluacin de proyectos son los especialistas que participan en el proyecto, tales como economistas, eclogos, agrnomos, socilogos, trabajadores de salud, etc. Muchas de sus necesidades de informacin (y el tipo de informacin que creen que necesita el proyecto) sern determinadas en gran medida por su formacin profesional (por ejemplo, los economistas que tienen tendencia a buscar informacin relacionada con el ingreso). Como consecuencia, aun cuando su experiencia y formacin pueden aportar unos puntos de vista valiosos al sistema de monitoreo y evaluacin, estos grupos pueden introducir tambin un elemento de "sesgo" profesional. Deber, por lo tanto, tenerse cierta cautela para asegurar que los puntos de vista de los profesionales no influyen desmedidamente el diseo del sistema de monitoreo y evaluacin.

31

Preocupaciones sobre la calidad Los usuarios de la informacin tienen muchas preocupaciones sobre la calidad de la informacin que estn buscando. Consideracin de las cuestiones de la calidad Exactitud Cmo podemos asegurar que la informacin es exacta y confiable?

Planear por adelantado; ser especfico respecto a la informacin requerida y los procesos para obtenerla. Simplificar las necesidades y los sistemas de informacin para su recogida y anlisis. Ser selectivo en cuanto a la informacin recogida, las muestras, los mtodos, etc. Elaborar lineamientos y normalizar el proceso de cmo recoger y analizar la informacin. Triangular las fuentes de informacin y los mtodos de recogida siempre que sea posible (por ejemplo, utilizar ms de un mtodo o fuente para los mismos elementos de datos). Promover el compromiso a la recogida de informacin exacta o precisa. Cuando sea procedente, adquirir y utilizar un equipo moderno, por ejemplo, computadoras (pero recuerde que todo lo que se entre y no valga, fuera). Cmo podemos asegurar que la informacin es pertinente para las necesidades del usuario?

Relevancia

La "relevancia" vara en funcin de los distintos usuarios de la informacin. Obtener el punto de vista de las poblaciones objetivo del proyecto, hacindolas participar en la recogida y el anlisis de la informacin. Evitar una orientacin hacia el donante, satisfaciendo al mismo tiempo los requisitos de ste. Ser selectivo y establecer un orden de prioridades respecto a las necesidades de informacin. Averiguar de antemano quin necesita qu informacin y cmo se va a utilizar. Asegurar que el proyecto pueda analizar la informacin y presentar los resultados de una forma accesible para los diversos usuarios o pblicos (por ejemplo, no utilizar un informe escrito con miembros de la comunidad analfabetos o un informe de 200 pginas con un funcionario de la organizacin donante que est muy ocupado).

Oportunidad Cmo podemos asegurarnos de que la informacin est disponible a tiempo? Utilizar instrumentos o medios sencillos para la recogida y el anlisis. Planear de antemano: consultar con los que proporcionan la informacin. Tratar de conseguir el compromiso de las organizaciones aliadas de contraparte y comunidades. Preparar un calendario con plazos establecidos. Delegar y compartir las responsabilidades relacionadas con la recogida, el anlisis y la presentacin de la informacin; sensibilizar a los participantes sobre la necesidad de la oportunidad.

Credibilidad Cmo podemos promover la credibilidad de la informacin? Disear los mtodos de recogida de informacin con cuidado. Ser congruente (utilizando mtodos repetibles que puedan indicar tendencias). Ser objetivo al recoger, analizar e interpretar la informacin. Ser transparente sobre los procesos empleados. Explicar los mtodos utilizados para obtener datos y sacar conclusiones (incluidos supuestos, enlaces estadsticos entre las fuentes, mtodos de recogida, anlisis y resultados). Tratar y debatir las cuestiones de la atribucin (si los resultados pueden ser reclamados por el proyecto).

32

Mantener la reputacin personal y de la organizacin. Por qu se necesita la informacin? Para qu fines? Qu decisiones o acciones van a verse afectadas?

Fines de la informacin Las dos aplicaciones principales de la informacin producida por los proyectos y sobre los mismos son: a) Informar a quienes tengan que tomar decisiones (sea dentro o fuera del proyecto), y b) ofrecer una descripcin a aqullos que desean aprender del proyecto (incluidos resultados obtenidos, limitaciones y fracasos). Entre ejemplos corrientes de esos dos fines se pueden citar los siguientes: Seguir el progreso fsico y financiero, con el fin de que puedan tomarse (o revisarse) decisiones sobre los gastos y la asignacin de recursos que mantengan el proyecto funcionando y dentro de sus lmites presupuestario. Seguir la distribucin de los beneficios del proyecto. Por ejemplo, algunas personas podran beneficiarse ms que otras. Esta informacin es de gran utilidad para los grupos que desean vigilar la equidad y el rendimiento de cuentas del proyecto. Examinar las respuestas de la poblacin beneficiaria, a los servicios e insumos que est proporcionando el proyecto. Tal informacin podra ayudar a asegurar la aceptabilidad y utilidad de las actividades del proyecto. Estudiar problemas especficos de ejecucin que afronta un proyecto, para que puedan identificarse la causa o causas y recomendarse soluciones prcticas. Determinar cul es el impacto sobre la poblacin beneficiaria, sobre todo, en la calidad de vida y los niveles de vida (ingreso, salud, adquisicin de poder, relacin con el medio ambiente, etc.) como un resultado directo del proyecto, o sea, evaluar el impacto atribuible del proyecto. Cuando los beneficios del proyecto son identificables, la informacin sobre su impacto puede ser de gran utilidad para el cometido de la defensa o promocin de los intereses de ciertos grupos. Cumplimiento y rendimiento de cuentas, o sea, cumplir con los requisitos de los donantes.

33

Actividades de la sexta semana Individuales

1. Realice la lectura de la semana. 2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la informacin en su sistema de monitoreo y evaluacin. 3. Descargue el libro Modelos lgicos del enlace http://www.idt.pt/PT/Prevencao/Documents/PIF/guia_ml_es.pdf realice la lectura del mismo y entregue a su docente una sntesis en la sptima semana. 4. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego elabore una propuesta comn para compartirla con el resto de la clase.

Autoevaluacin
1. 2. 3. 4. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos? Qu ideas tena usted acerca del uso que puede hacerse de la informacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin? A qu le motiva la lectura anterior?

34

SEPTIMA SEMANA TEMA Uso de la evaluacin como herramienta gerencial Objetivos de la semana
Al finalizar el estudio de la sexta semana las y los estudiantes. Comprender cul es el uso gerencial que puede hacerse de los resultados de una evaluacin

Comprender el rol de la evaluacin para una buena gestin gerencial

Las organizaciones bien administradas y los programas efectivos son aquellos que pueden demostrar que han logrado resultados. Los resultados provienen de una buena gestin gerencial. Una buena gestin gerencial se basa en la toma de decisiones adecuadas. Este proceso de toma de decisiones depende de una buena informacin. La buena informacin requiere que se recopilen buenos datos y que stos sean analizados cuidadosamente. Todos estos constituyen elementos crticos dentro del proceso de evaluacin. La evaluacin es un proceso peridico de recopilacin y anlisis de datos o el ordenamiento de los mismos de manera que la informacin resultante pueda ser utilizada para determinar si su organizacin o programa est llevando a cabo en forma efectiva las actividades programadas, y la medida en la que se estn logrando los objetivos y resultados anticipados. Los administradores pueden y deberan efectuar evaluaciones internas para obtener informacin acerca de sus programas con el objeto de estar en condiciones de tomar decisiones adecuadas con respecto a la implementacin de sus programas. Las evaluaciones internas deberan realizarse en forma constante y los administradores deberan aplicarlas concienzudamente en todos los niveles de una organizacin y en todas las reas del programa. Adicionalmente, todos los participantes del programa (administradores, personal y beneficiarios) deberan tomar parte en el proceso de evaluacin en una forma apropiada a la funcin de cada uno. Esto ayuda a asegurar que la evaluacin sea plenamente participativa y logre un mayor compromiso y dedicacin de parte de todos los participantes en lo que se refiere al uso de los resultados para lograr mejoras crticas a nivel del programa. A pesar de que la mayor parte de las evaluaciones se llevan a cabo a nivel interno y son realizadas por los administradores y el personal del programa, todava es necesario que individuos ajenos al programa u organizacin realicen peridicamente evaluaciones externas. La evaluacin es una de las herramientas ms importantes a disposicin de los administradores. El proceso de evaluacin ayuda a los administradores a tomar decisiones crticas acerca de la forma de mejorar la implementacin de sus programas y/o la administracin de su organizacin. La evaluacin ayuda a los administradores a: Determinar si estn logrando los resultados anticipados y qu modificaciones deberan efectuarse para mejorar la eficiencia y/o la efectividad de las actividades de su programa; Determinar si las estrategias actuales del programa son apropiadas y efectivas; Determinar qu tipo de personal se necesita; Decidir a qu cargos se debera asignar al personal; Supervisar y guiar al personal en la realizacin de su trabajo; Efectuar un seguimiento de los insumos (dinero, recursos humanos, tiempo) y los resultados (productos, servicios, gente capacitada, clientes); Determinar dnde ubicar los servicios; Decidir cundo es necesario adquirir equipo nuevo y qu tipo(s) de equipo se debe comprar; Verificar si los clientes tienen otras necesidades que no estn siendo cubiertas o si existen clientes potenciales que no han sido alcanzados por el programa. Como administrador, usted es responsable de tomar este tipo de decisiones. La evaluacin, cuando se emplea regularmente, constituye una herramienta gerencial poderosa que le puede reportar buena informacin para

35

ayudarle a tomar las decisiones correctas en cuanto a la mejor forma de administrar su programa de modo que pueda continuar prestando servicios de calidad y cubrir las necesidades de sus clientes. A travs del proceso de recopilacin, anlisis e interpretacin de datos que usted ha llevado a cabo, la informacin que usted obtiene de una evaluacin le permite escoger entre varias opciones y cursos de accin alternativos as como comprender y considerar las consecuencias de cada una de las acciones propuestas. Por ejemplo, al evaluar su programa o parte del mismo usted debera ser capaz de reconocer qu cambios deberan realizarse y cmo se est administrando el programa, qu nuevos servicios o actividades deberan llevarse a cabo para mejorar la calidad del programa o de los servicios, o si se debera implementar una nueva campaa de mercadeo o de recaudacin de fondos.

Vincular la evaluacin con el ciclo de planificacin e implementacin del programa

Los pasos que sigue una organizacin o programa para implementar sus actividades pueden ser presentados como un ciclo continuo de acciones administrativas que van desde la evaluacin de las necesidades, a la planificacin e implementacin de actividades y la medicin de los resultados finales del programa, los cuales son retroalimentados a la etapa de planificacin con el objeto de volver a empezar el ciclo. Ya sea que la evaluacin sea llevada a cabo internamente por el personal del programa o por un consultor externo, hay tres elementos principales en cualquier evaluacin: la planificacin de la evaluacin; la conduccin de la evaluacin; la utilizacin de los resultados.

Como se muestra en el diagrama a continuacin, estos elementos de evaluacin estn directamente vinculados a los pasos que debe seguir para llevar a cabo la planificacin e implementacin de su programa o proyecto. La evaluacin es parte de y se relaciona con cada etapa del ciclo, y como se hizo notar anteriormente, todos los participantes del programaadministradores, personal y la poblacin objetivo (beneficiarios) deberan participar a lo largo de todo el proceso. De esta manera, los participantes involucrados en diferentes aspectos del programa comprendern la necesidad que existe de implementar cualquier cambio necesario indicado por la evaluacin y estarn motivados para trabajar juntos con el objeto de lograr los resultados deseados.

36

37

Utilizacin de la informacin proveniente de la evaluacin Todo el tiempo y la energa que se invierten en la evaluacin seran intiles si los resultados no se usan para planificar, apoyar, cambiar, corregir y/o mejorar su programa. Por consiguiente, para beneficiarse de una evaluacin usted debe formular las siguientes preguntas referentes a la manera en que se utilizar la informacin. Qu lecciones se aprendieron de la evaluacin? Qu se debera hacer en forma diferente a raz de los hallazgos de la evaluacin?

Cmo vencer la resistencia a la evaluacin A menudo los administradores y encargados de formular polticas ven la evaluacin como una amenaza en lugar de una herramienta til. Al realizar cualquier tipo de evaluacin, se debera pensar con anticipacin acerca de las reas de resistencia potencial y tratar de solucionarlas antes de comenzar la evaluacin. Generalmente se pueden encontrar soluciones relativamente fciles para estos problemas potenciales. La siguiente tabla proporciona algunas sugerencias con respecto a la manera de evitar cualquier resistencia potencial a la evaluacin.

38

Cmo decidir si se debe realizar una evaluacin interna o externa

La presente edicin ha tomado como punto central la importancia de realizar evaluaciones internas, participativas por usted en su calidad de administrador as como por el personal a su cargo. Sin embargo, existen oportunidades en las que es til e importante realizar una evaluacin externa, como cuando usted desea aprender acerca del impacto de su programa en el largo plazo, en relacin con la poltica y el programa nacional ms amplio. A continuacin se resumen algunas de las ventajas y desventajas de realizar evaluaciones internas y externas.

39

Para asegurarse de que la evaluacin se convierta en una actividad regular y aceptada en su organizacin y sea un instrumento participativo y til para su personal y organizacin, es importante seguir unos cuantos pasos simples. Primero, la planificacin de las evaluaciones debera convertirse en un elemento regular del proceso de planificacin e implementacin de programas a nivel de su organizacin. La evaluacin debera considerarse como parte esencial de este proceso, de modo que al igual que se elaboran planes para implementar sus programas, tambin se elaboran planes para evaluar el proceso y el impacto de las actividades del programa. Segundo, cuando usted planifica y realiza una evaluacin, debera emplear todos los datos disponibles primero, antes de siquiera considerar llevar a cabo cualquier esfuerzo especial de recopilacin de datosa menudo caro y que requiere de mucho tiempo, como ser la realizacin de cualquier tipo de encuestas especiales. Finalmente, al llevar a cabo evaluaciones internas es importante recordar que se deben enfocar las soluciones y acciones que mejorarn sus servicios y la administracin del programa, en lugar de solamente centrar su atencin en revelar y responder a los problemas inmediatos identificados en la evaluacin. Es su responsabilidad asegurarse de lograr que los hallazgos de una evaluacin sean bien utilizados, para mejorar tanto las actividades especficas de su programa como los aspectos administrativos en general, as como la efectividad y eficiencia de su organizacin y sus programas.

40

Actividades de la sptima semana Individuales 1. Realice la lectura de la semana. 2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la informacin en su sistema de monitoreo y evaluacin. 3. Actualizar su diario de aprendizaje. Grupales 1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego elabore una propuesta comn para compartirla con el resto de la clase.

41

Autoevaluacin 1. 2. 3. 4. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos? Qu ideas tena usted acerca del uso que puede hacerse de la informacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin? A qu le motiva la lectura anterior?

42

OCTAVA LECTURA Herramientas para el monitoreo y la evaluacin Instrumentos y tcnicas para construir evidencia emprica
La construccin de la evidencia emprica supone recolectar informacin que nos permita responder las preguntas de la evaluacin y cumplir con los objetivos de la investigacin evaluativa. Para eso, el/la evaluador/a tiene que seleccionar y disear los instrumentos que utilizar para recolectar informacin sobre su objeto. En esta instancia, existe un amplio abanico de instrumentos y tcnicas a disposicin del evaluador o evaluadora. Una de las claves es reconocer cul es la ms apropiada. Para la eleccin de los instrumentos y herramientas deben tenerse en cuenta los objetivos de la evaluacin, los recursos disponibles y los tiempos establecidos para su desarrollo. En este sentido resulta til preguntarse: Cul es el mejor instrumento de recoleccin para cada indicador? Cules de esos instrumentos son factibles de ser aplicados en esta evaluacin particular?

A continuacin, se presenta una ficha que describe cada uno de los formatos propuestos.

Ficha 1. Encuestas Qu son y para qu se utilizan? Las encuestas son un instrumento para recolectar informacin. Puede aplicarse a cualquier tipo de evaluacin (Cohen y Franco, 1988). Proporciona datos cuantitativos y permite su comparacin. Adems, facilita la sistematizacin de la informacin proporcionada por un gran nmero de actores. En este caso, el cuestionario cuenta con un nmero fijo de preguntas y, muchas veces, las respuestas deben ajustarse a una cantidad prefijada de opciones. Este factor facilita la organizacin de la informacin, pero tambin puede generar que se pierdan de vista otras respuestas posibles. Pasos para disear e implementar una encuesta: 1. Esclarecer qu informacin se espera obtener. 2. Determinar quines sern los/as encuestados/as. Para eso es necesario definir tanto el universo como la muestra. El universo es el conjunto de todos los actores que son objetivo de la encuesta; la muestra es el pequeo grupo al que el/la evaluador/a decide encuestar. En un grupo pequeo, la muestra y el universo son iguales. Pero en grupos grandes puede ser necesario elegir a partir de criterios que garanticen que la totalidad del universo estar representado. 3. Redactar el cuestionario. Puede tener preguntas abiertas y/o cerradas. Las preguntas abiertas permiten al/la encuestado/a desarrolla sus opiniones; las cerradas habilitan una cantidad limitada de respuestas posibles. Una pregunta cerrada se utiliza, por ejemplo, para obtener informacin factual, valorar el acuerdo/desacuerdo respecto de una propuesta o conocer la postura del encuestado o encuestada respecto a un determinado juicio. 4. Aplicar el cuestionario. Para aplicarlo es necesario contar con un tiempo y un espacio apropiado para que los/as encuestados/as puedan responderlo. Adems, se necesita un/a aplicador/a que distribuya el cuestionario entre los/las encuestados/as. Los cuestionarios pueden realizarse tambin en lnea, a travs de aplicaciones gratuitas.

43

5. Sistematizar los resultados. Finalmente, el evaluador o evaluadora deber sistematizar los resultados para poder utilizar la informacin. Las herramientas en lnea que permiten hacer encuestas suelen incluir tambin modalidades para sistematizar la informacin y la opcin de sistematizar y descargar los resultados. Encuestas o entrevistas? Para redactar un cuestionario es necesario conocer, al menos, el contexto en el cual ser implementado y algunas de las hiptesis sobre la potencial informacin que se desea obtener. En este sentido, en contextos exploratorios se recomienda optar por la realizacin de entrevistas a los actores. La planificacin y organizacin de una encuesta insume, en general, mayor cantidad de tiempo que las entrevistas y el proceso puede extenderse ms de lo previsto. Preguntas tiles para revisar un cuestionario Una vez terminado el cuestionario, quien lo construya debe preguntarse. Las preguntas permitirn generar toda la informacin buscada?, son necesarias todas las preguntas del cuestionario?, todos/as los/as encuestados/as comprendern cada una de las preguntas?, los/as encuestados/as aportarn informacin exacta?, la extensin del cuestionario es adecuada para los/as encuestados/as. Se sugiere hacer una prueba piloto: aplicar el cuestionario a actores con un perfil similar a los de nuestra muestra para detectar potenciales obstculos o errores en su construccin.

Ficha 2 Entrevistas individuales Qu son y para qu se utilizan? La entrevista es una forma especial de encuentro cara a cara entre el evaluador o evaluadora y el entrevistado o entrevistada. Es una herramienta no tan compleja, que requiere recursos moderados. Sin embargo, para obtener la informacin pretendida, es necesario interiorizarse antes sobre el tema y planificar el encuentro. A travs de las entrevistas es posible recabar informacin cualitativa que recupere la perspectiva de los actores sobre distintos tipos de cuestionarios, hechos especficos, procesos, anlisis, propuestas, reacciones a las primeras hiptesis de los evaluadores o evaluadoras, entre otras. La entrevista es un instrumento flexible, ya que la persona que entrevista, puede indagar sobre varias reas problemticas a travs de la seleccin de informantes y mediante preguntas diversas, que se muevan de lo planificado. Las principales limitaciones de est mtodo radican en el peligro de una eleccin sesgada de informantes, que atente contra la validez de los resultados. Pasos para el diseo e implementacin de una entrevista 1. Esclarecer qu informacin se espera obtener. 2. Determinar quines son los actores clave que brindarn la informacin que se necesita. 3. Construir la gua de entrevista. La entrevista puede ser dirigida o semidirigida. En el primer caso, se aplica la gua de entrevista de manera estricta. La persona que hace la evaluacin, ser responsable de realizar las preguntas, una tras otra y no se pueden proponer de una u otra parte- temas imprevistos. Este tipo de entrevistas permite optimizar el uso del tiempo y focalizar a los/as entrevistados/as en cuestiones puntuales, predefinidas por el/la entrevistador/a. La evaluacin semidirigida, por su parte, cuenta tambin con una gua de entrevista, pero este guin es flexible y est abierto al surgimiento de temas imprevistos en ambas partes. Esta gua puede complementarse tambin con preguntas aclaratorias o profundizadoras de los temas que el/la entrevistador/a considera ms importantes.

44

La entrevista semidirigida requiere mayor experiencia por parte de la persona que realiza la entrevista. El listado de preguntas est compuesto por todos los temas y las preguntas que se desean abordar durante la entrevista. 4. Aplicar las entrevistas. A la hora de realizar una entrevista, debe destinarse un primer momento a la generacin de confianza entre los entrevistados y entrevistadores. All el entrevistador/a puede compartir con su interlocutor/a los objetivos de la entrevista y el tiempo aproximado de duracin. Si se desea grabar la conversacin, es esencial pedir permiso antes de encender el dispositivo de grabacin. Luego el entrevistador comienza a preguntar con mayor o menor nivel de flexibilidad, segn si se plane una entrevista semidirigida o dirigida. La entrevista finaliza con un agradecimiento al interlocutor/a. Adems de la grabacin o las notas de la entrevista, el entrevistado o entrevistadora puede recolectar informacin sobre la situacin de la entrevista, reacciones del interlocutor no identificables a travs de la grabacin, etc. Encuestas, entrevistas o grupos focales? A diferencia de la encuesta, las entrevistas permiten indagar la perspectiva de los actores y recuperar la diversidad de puntos de vista. Adems, constituyen la opcin ms adecuada si el evaluador tiene poco conocimiento sobre el contexto. En contraste con los grupos, la entrevista es personal y, en este sentido, permite abordar cuestiones conflictivas o menos explicitas a nivel grupal. En algunos casos, se ve limitada por la capacidad de expresin de la persona entrevistada.

Ficha 3 Grupos focales Qu son y para qu se utilizan? Es un tipo de entrevista particular en la que se trabaja con un grupo en simultneo. Se organiza la interaccin entre un conjunto determinado de personas y sobre un tema especfico de inters para la persona evaluadora. Esta discusin es guiada por la persona entrevistadora, ya que se busca recolectar la informacin producida durante la interaccin y el debate, adems de perspectivas y experiencias grupales. Cuando se agrupa a actores con posturas diferentes, se habilita la expresin y la posibilidad de explicar los distintos puntos de vista y tambin la profundizacin de sus opiniones. Est dinmica grupal es registrada y luego sistematizada para su anlisis. El grupo focal es la nica herramienta que sirve para analizar y confrontar la informacin con varios actores clave en simultneo. Pasos para el diseo e implementacin de un grupo focal 1. Seleccionar el tema y los sub temas que iniciarn y guiarn el grupo focal. 2. Seleccionar y convocar a los actores que participarn. Se debe prestar especial atencin a este punto ya que, si bien es recomendable que el grupo de participantes sea homogneo en trminos de cdigos culturales y categoras socio profesional, no es til tener muchas experiencias parecidas. Se recomienda que el grupo focal se organice con un mnimo de ocho y un mximo de quince participantes, para que todos y todas puedan participar. 3. Realizar una gua que oriente las intervenciones de la persona moderadora. Esta gua es un listado de interrogantes o temas problemticos a ser tratados durante la discusin. Las preguntas deben ser abiertas, promover la diversidad de opiniones y la justificacin de posturas para abrir la discusin. Tambin se pueden utilizar otros elementos para motivar el debate como videos, imgenes, fragmentos de documentos o situaciones ficticias creadas para la ocasin. Para la gua, se recomienda prever momentos recreativos, es decir, lapsos en los que se espera que los y las participantes reaccionen frente a estmulos propuestos por la persona moderadora y otros proactivos, en los cuales los participantes

45

sern quienes promueven un tema o discusin. En este sentido, la gua debe ser flexible y permitir estos momentos, siempre que sean pertinentes y relevantes. 4. Implementar el grupo focal. Durante la implementacin se debe prever un primer momento destinado a presentarles la actividad a los y las participantes y explicarles su dinmica y objetivos; un segundo momento para realizar la discusin guiada y un momento final para las conclusiones y reflexiones finales. 5. Sistematizar la sesin de grupo focal. Nombrar a una persona para que documente, registre y luego sistematice lo realizado durante el grupo focal.

Grupos focales o entrevistas? La principal diferencia entre las entrevistas y los grupos focales, es la cantidad de personas involucradas. No obstante, el grupo focal no es la suma de entrevistas individuales, sino que se centra en un tema nico, a partir del cual se busca profundizar, confrontar y justificar posiciones, adems de estimular nuevas ideas. En esta herramienta, el foco est puesto en la interaccin y el debate. Con respecto a los actores principales, se recomienda entrevistarlos en forma individual. A la hora de confrontar hiptesis sobre problemas relevantes, los grupos focales pueden proporcionar informacin muy relevante. Sin embargo, est tcnica tiene algunas desventajas: por ejemplo, las discusiones pueden reflejar normas sociales ms que comportamientos reales, precisamente porque los participantes estn respondiendo en pblico.

Ficha 4 Datos secundarios Qu son y para qu se utilizan? Los datos secundarios son la fuente ms econmica para conseguir informacin. En este caso, se utiliza la informacin construida por otros. Al no estar diseados para el objetivo de la evaluacin, los datos pueden resultar insuficientes o inadecuados; sin embargo, muchas veces es la mejor opcin para acercarse a un tema con pocos recursos. En general las fuentes secundarias son datos cuantitativos, pero tambin puede tratarse de datos cualitativos. Las fuentes secundarias pueden ser de tres tipos. Datos que existen, pero que no estn publicados. Muchos son recolectados regularmente por organismos pblicos y otros ad hoc para una poltica, programa o proyecto. Por ejemplo pueden ser datos recolectados por centros de salud, escuelas, centros comunitarios o antroplogos entre otros. Informes publicados por agencias del gobierno, organismos internacionales, universidades, organizaciones sin fines de lucro o empresas. Informes previos de la poltica, programa o proyectos a evaluar. Informes del proyecto, pero tambin otros documentos (como artculos, actas de reuniones, etc.). El propsito de la revisin de la documentacin es comprender mejor la historia y la evolucin del proyecto.

Pasos para el correcto uso de datos secundarios 1. Es necesario detectar, primero, qu tipo de datos estn disponibles y, entre ellos, seleccionar los que ms se acercan a la informacin que se busca recopilar. 2. Detectar el objetivo para el cual fue producida la informacin. Esto permite tener en cuenta cun cerca o lejos se encuentra de lo que se busca. 3. Recolectar y, de ser necesario, volver a sistematizar los datos obtenidos para el objetivo que se busca.

46

Se sugiere tener en cuenta la antigedad de los datos y la escala del anlisis. Es decir, si los datos fueron producidos en el nivel nacional, regional, departamental, municipal o local y cuanto se acercan o alejan de la escala donde se implementar la poltica, programa o proyecto a evaluar.

Ficha 5 Observacin participante Qu es y para qu se utiliza? La observacin es uno de los principales modos de conocer y acercarse a una cuestin. Su propsito es obtener informacin sobre lo que las personas hacen, formularse nuevas preguntas, plantear hiptesis explicativas, verificar datos y priorizar cuestiones clave que puedan ser luego profundizadas, por ejemplo, a travs de entrevistas o grupos focales. En la evaluacin, la observacin participante se enfoca en la implementacin de una poltica, programa o proyecto dentro de su contexto de aplicacin. Aunque uno de los beneficios principales de la observacin es la posibilidad de acceder a los hechos de manera directa (y no a travs del discurso de otros actores), es cierto que la presencia de un agente extrao siempre altera, en alguna medida, las interacciones y los comportamientos de los actores observados. Pasos para el diseo e implementacin de una observacin directa 1. Definir el objeto a observar, as como el momento propicio para realizar la observacin. 2. Desarrollar una gua de observacin que funcione a modo de checklist e incluya una columna que permita realizar comentarios y desarrollar temas relevantes. 3. Pactar con los actores a observar los tiempos de la observacin. 4. Realizar la sesin de observacin. 5. Sistematizar la informacin recabada y elaborar conclusiones. Observaciones u otros instrumentos? La observacin es una tcnica que requiere menos tiempo y capacidades especficas que otros instrumentos. Puede ser utilizada por cualquier persona evaluadora. Una de las principales ventajas es que se puede obtener informacin independientemente del deseo de proporcionarla y de la capacidad y veracidad de las personas que integran el grupo o comunidad a estudiar. De esta manera, se evitan posibles distorsiones. Se trata de un procedimiento que permite estudiar los hechos dentro de una situacin contextual. Como contraparte, quien observa no es una mquina que registra de manera neutra, asptica y desapasionada todo lo que se pone bajo su mirada. Es necesario, entonces, adquirir la capacidad para distinguir entre los hechos observados y su interpretacin. Otra de las dificultades de esta tcnica es la posible influencia de quien observa sobre la situacin que es motivo de investigacin. Se recomienda que las observaciones sean complementadas con otros instrumentos de recoleccin, tanto para corroborar las hiptesis realizadas como para contraponer percepciones de los actores a los hechos observados.

Ficha 6 Lista de control con preguntas Qu es y para qu se utiliza? Una lista de control (por lo general, con preguntas) es un instrumento sencillo que puede ser utilizado para apoyar la difusin de prcticas de monitoreo estructuradas y estandarizadas. Dichas listas pueden ser utilizadas y comparadas en momentos diferentes y representan un instrumento prctico para ayudar al equipo a familiarizarse con los temas del proyecto y, por lo tanto, a volverse ms rpido y efectivo.

47

Estas listas suelen ser diseadas segn necesidades especficas, aunque pueden ser adaptadas y usadas para proyectos diferentes en contextos similares. En todo caso, deben ser preparadas por personas con un profundo conocimiento de los temas especficos. El equipo del proyecto puede utilizarlas como una gua para las entrevistas o conversaciones informales y no debe tener ningn tipo de restriccin para investigar o plantear temas no incluidos desde el principio. Las listas de preguntas pueden prever respuestas a preguntas cerradas (si/no) o a preguntas con respuestas abiertas. Pasos para la realizacin de una lista de control 1. Detallar los tems que sern monitoreados. 2. Redactar preguntas que puedan ser respondidas con s o no para cada uno de los tems. 3. Consensuar los tems seleccionados con todos los actores que harn uso de la lista de control.

Por qu utilizar una lista de control? La principal ventaja de esta herramienta es su sencillez. Es fcil de confeccionar y utilizar. Adems, si el monitoreo es realizado por distintos actores, permite estandarizar la informacin y procesarla con mayor facilidad.

Ficha 7 Anlisis de las partes interesadas Qu es y cmo se utiliza? El anlisis de las partes interesadas puede ser fundamental a la hora de identificar a aquellos actores que se deban involucrar en el proceso monitoreo y evaluacin o para definir la mejor manera de formalizar la informacin relevada. Puede ayudar tambin a identificar los conflictos potenciales o en curso y evidenciar las vas para enfrentarlos. Se suele utilizar en procesos de evaluacin ex ante, ya que permite el juego de actores en el que se ejecutar la poltica, programa o proyecto. Hay varias partes interesadas que pueden tener un papel importante en un ejercicio de monitoreo y evaluacin, entre ellas, el equipo del proyecto, los o las titulares o grupos meta del proyecto, los grupos excluidos de los beneficios del proyecto, los informantes clave, los donantes, etc. Pasos para realizar el anlisis de las partes interesadas 1. Utilizar las herramientas necesarias para obtener la informacin sobre los actores vinculados al proyecto y sus intereses y expectativas sobre la poltica, programa o proyecto. Para eso, se pueden utilizar documentos de la intervencin, entrevistas a actores relevantes u observaciones participantes. 2. Realizar una matriz donde se incluyan todos los actores detectados, su vinculacin con la poltica, programa o proyecto, sus intereses y expectativas (explicitas o implcitas) y una jerarquizacin de su poder. Esta ltima columna implica destacar la capacidad del actor para obstaculizar o vetar la ejecucin del proyecto (Estvez, 1999) 3. Realizar inferencia a partir del anlisis de la matriz. Cun complejo es el espacio social en el que se implementar la poltica, programa o proyecto? qu dificultades podran interponer los actores para su implementacin? qu cuestiones deben tenerse en cuenta para cumplir con las expectativas de los actores ms relevantes? Por qu realizar un anlisis de las partes interesadas? En toda decisin pblica hay grupos e instituciones con demandas, intereses y capacidades polticas y econmicas diferenciadas. Segn el tema del que se trate, los intereses que se diriman y cmo se organicen y relacionen los grupos interesados, se producirn alianzas o conflictos (Estvez 1999).

48

Por eso, durante la evaluacin ex ante resulta fundamental el anlisis de los actores interesados. Sin embargo, como toda esquematizacin, puede tener sesgos y limitaciones. Por eso, cuando se utiliza esta herramienta es importante triangular la informacin, hacer presentes las voces de los actores diversos, con distintas vinculaciones e intereses respecto de la poltica, programa o proyecto.

Ficha 8 Tcnica Delphi/panel de expertos/as Qu es y para qu se utiliza? La tcnica Delphi o panel de expertos busca respuestas consensuadas a cuestiones especficas, es decir que potencia la generacin de acuerdos entre diversas subjetividades. Los informantes deben ser expertos en los temas a indagar. Por eso, la condicin sine qua non para que se pueda realizar este proceso es la calidad y pertinencia de los profesionales que se convoca.

Pasos para la realizacin de un panel de expertos/as 1. Seleccionar a los expertos. Es el paso que prcticamente determina el xito o el fracaso de la tcnica. Se sugiere que los expertos convocados tengan una combinacin de experiencia profesional, independencia respecto del programa que se va a evaluar y capacidad de trabajo en equipo. El nmero ideal de expertos/as oscila entre 10 y 30, pero puede realizarse tambin con 5. 2. Pactar modelo de trabajo del panel. No existe un nico modo de trabajo, puede ser presencial, semi presencial o a distancia. Lo ms importante es que la metodologa de trabajo sea acordada con todos los participantes y presentada de manera explcita a cada uno. 3. Construir consensos. El resumen de los juicios de los expertos (en las formas de evaluaciones cuantitativas e informes escritos) se provee, como retroalimentacin, a los mismos expertos, quienes evalan sus opiniones a la luz de esta nueva informacin. En ese marco, tiende a emerger un consenso de grupo. Tcnica Delphi u otros instrumentos? La principal ventaja de esta herramienta es la credibilidad de las conclusiones, asociada a la experiencia de los profesionales, pero tambin su independencia con respecto al programa evaluado. Sin embargo, esta tcnica tiende a omitir las opiniones minoritarias y a suavizar las conclusiones.

Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados? Los resultados de una evaluacin o monitoreo son relevantes tanto para los actores involucrados en la poltica, programa o proyecto como para aquellas personas interesadas o implicadas de formas menos directas. Existen muchos canales posibles para presentar los resultados del M&E. Como en cualquier tipo de comunicacin, estos deben estar muy relacionados con las caractersticas de los destinatarios de la informacin. Por tanto, a la hora de elaborar un informe de evaluacin es importante definir: A quin estar dirigido? Para algunas audiencias, un solo enfoque puede ser suficiente. En otros casos, ser necesario elaborar distintos informes para asegurar que el mensaje llegue a toda la audiencia objetivo.

49

Cul es el objetivo de esta comunicacin? Los objetivos pueden ser: informar, convencer, rendir cuentas o promover el aprendizaje y la discusin entre los actores. De acuerdo con los objetivos, se disear el mensaje para que cumpla con alguna o varias de estas funciones: funcin informativa; funcin preventiva y correctiva; funcin de autoevaluacin o funcin de intercambio. Con qu recursos se cuenta? Es necesario considerar los recursos disponibles: presupuesto, personas que pueden desempear la tarea y tiempo para hacerlo. La comunicacin puede ser desarrollada por el personal involucrado en la poltica, programa o proyecto, o se puede hacer en colaboracin con expertos externos.

A partir de las respuestas a estas preguntas, ser preciso disear la difusin de los resultados de la evaluacin. Actividades de la octava semana Individuales 1. Realice la lectura de la semana. 2. Seleccione los instrumentos que propondr a su grupo para su utilizacin al realizar una evaluacin, indicando las razones del por qu? de su eleccin. 3. Actualizar su diario de aprendizaje. Grupales 1. Comparta con su grupo de trabajo en clase, los resultados de su propuesta de herramientas a utilizar en el proceso de evaluacin. Autoevaluacin 1. 2. 3. 4. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos? Por qu es importante elegir las herramientas adecuadas? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin? A qu le motiva la lectura anterior?

50

NOVENA Y DCIMA SEMANAS El uso de modelos lgicos para una evaluacin de programas sociales Lectura Por qu son tiles los marcos y modelos?
Cuando se planica un programa, puede ser til trabajar dentro de un modelo o marco estructurado. Los marcos son bsicamente herramientas de planicacin, que pueden ser usados para ayudar a congurar las ideas y la estructura en que se apoyan la planicacin y evaluacin de proyectos. Los marcos ayudan a crear y aclarar las teoras, los supuestos y las actividades del proyecto, garantizando as que el proceso de evaluacin sea ms ecaz, transparente y directo.

Qu caracteriza a una evaluacin bien hecha?

Las evaluaciones bien hechas demostrarn los siguientes aspectos: Metas, objetivos y plazos claros. Participacin de los beneciarios del proyecto en la planicacin y el seguimiento y evaluacin del mismo. Entendimiento y apropiacin comunes de los objetivos del proyecto, y la manera en que se han de alcanzar por parte de los interesados y copartcipes. Proceso de acopio y anlisis de datos manejable y realista. Mientras ms complejos sean los instrumentos y mtodos utilizados, mayores son las probabilidades de que fallen. La armonizacin de las herramientas y recursos para el acopio de datos con otros sistemas existentes. Los recursos nancieros y humanos apropiados para llevar a cabo el seguimiento y evaluacin en los niveles necesarios. Cuando la capacidad tcnica no es adecuada, el diseo del programa debe comprender formacin y asistencia tcnica. Pertinencia y transparencia. El seguimiento de los programas debe ser realizado de forma transparente y los datos deben ser generados y posedos por la comunidad. Retroinformacin adecuada para apoyar los procesos de planicacin y proyectos futuros. El seguimiento y evaluacin deben ser culturalmente apropiados y corresponder a las normas ticas establecidas en las directrices locales y nacionales.

Etapas de establecimiento y planicacin del proyecto y su evaluacin

Elaboracin de un marco de evaluacin El presente manual recomienda planicar e iniciar el seguimiento y la evaluacin desde el comienzo del proyecto
Se recomienda usar el marco de modelo lgico (presentado en la Seccin 3) para ayudar a planicar y llevar a cabo las etapas siguientes. Las principales etapas son: 1. Determinar los resultados Determinar los resultados a corto y largo plazo a partir de las metas y objetivos del proyecto. En este punto debe recordarse la necesidad de actuar con realismo. Al tratar de obtener fondos puede caerse en la tentacin de ambicionar ms de lo que se puede hacer. Ello puede dar lugar ms tarde a una percepcin de fracaso, en tanto que una gran parte del trabajo positivo y bene ioso se pierde debido a que se han jado objetivos inapropiados.

51

2. Indicadores Para cada uno de estos resultados, determine los indicadores que se pueden utilizar para demostrar si se han obtenido esos resultados. 3. Mtodos de evaluacin? Establezca estrategias para asegurar que el proyecto est sometido continuamente a evaluacin y examen. 4. Quin realizar la evaluacin? Decida quin realizar la evaluacin; puede ser conveniente que diversos grupos de personas lleven a cabo distintas partes de la evaluacin. Por ejemplo, el personal del proyecto puede encargarse de un aspecto del trabajo y los miembros de la comunidad, de otro. Considere la manera en que la comunidad ser incorporada al anlisis. 5. Herramientas de evaluacin Determine las herramientas de evaluacin apropiadas para recopilar los datos necesarios. 6. Lista de control de la evaluacin Aplique la lista de control de la evaluacin que gura al nal de la presente Seccin, y asegrese de que se ha contemplado cada punto. 7. Establecimiento de prioridades Establezca prioridades y sea realista. Asegrese de que todo lo que hace es til y tiene un propsito, y de que el personal del proyecto comprende cabalmente los motivos de la evaluacin.

El modelo lgico de programa Qu es?

Qu son los modelos lgicos de programa? Los modelos lgicos han sido descritos de diversas maneras y con distintos nombres: un marco lgico una herramienta de planicacin un marco para ayudar a explicar y registrar cmo funciona el programa y las teoras y supuestos que lo sustentan un modelo sensible que muestra la manera en que se supone debera funcionar el proyecto un modelo para sealar las relaciones lgicas entre los diferentes componentes del proyecto; ayuda a ofrecer un panorama simplicado de toda la intervencin El modelo vincula los resultados (a corto y largo plazo) con los procesos y las actividades y con los supuestos tericos en que se basa el programa. El modelo proporciona un marco de planicacin, que subraya la manera en que se espera que se desarrolle el programa, y en qu orden escalonar las actividades, y observa la forma en que se logran los resultados. Incluye un anlisis de los insumos necesarios para mantener el proyecto en funcionamiento, y puede contribuir a la elaboracin de los indicadores que se utilizarn para seguir los avances del proyecto hacia las metas y resultados previstos. Los componentes habituales de un modelo lgico de programa se indican en el siguiente diagrama.

52

Cules son las ventajas de la utilizacin de un modelo lgico de programa?

Utilizar este tipo de sistema tiene muchas ventajas, que van ms all de la elaboracin de un marco de evaluacin coherente. Entre los benecios observados guran: Planicacin y diseo del programa Elaborar un modelo lgico ayuda a aclarar el razonamiento y a examinar las actividades y los resultados respecto de las metas y objetivos del proyecto. Una vez que el proyecto est en curso de ejecucin, el modelo puede utilizarse como herramienta para garantizar que las actividades estn correctamente orientadas y proceder a las recticaciones necesarias. Fomentar la apropiacin conjunta y el compromiso con las metas del proyecto Lo ideal, es que las primeras etapas de la elaboracin del modelo lgico se aborden como un ejercicio conjunto, con la participacin de todos los protagonistas fundamentales del diseo y la ejecucin del proyecto. Entre ellos se cuentan el personal del proyecto, los nanciadores, los representantes de la comunidad interesada y otros agentes clave de la infraestructura comunitaria local. El trabajo conjunto desde una etapa temprana ayudar a establecer relaciones de trabajo productivas y nociones comunes entre los diferentes interesados. Adems, permite promover una visin y comprensin compartidas de las teoras y supuestos en los que se basa el proyecto.

53

 Revisar los supuestos en que se basa el proyecto En proyectos comunitarios complejos destinados a producir cambios mediante diversos cauces entre los participantes del proyecto, los mecanismos que intervienen en el logro de cada resultado previsto y las teoras que subyacen al proyecto, son a menudo oscuros para el personal del proyecto. El modelo lgico debera ayudar a todos los que intervienen en el proyecto (particularmente su personal y la poblacin interesada) a comprender los mecanismos previstos para inducir el cambio. Un anlisis detallado, que examine cada aspecto de la actividad del proyecto y de los impactos previstos, dar lugar a intervenciones ms ecaces y dirigidas apropiadamente. Esta etapa es adems una buena oportunidad para aclarar deniciones bsicas que pueden prestarse a confusiones y equvocos, tales como la autonomizacin y la participacin. Evaluacin permanente El modelo ayuda a centrarse en cada componente de la actividad del programa. Las partes individuales pueden desglosarse en actividades y vinculadas a resultados que puedan evaluarse independientemente, registrando los avances hacia los resultados provisionales y a largo plazo. De esta manera se establecen mecanismos slidos para medir los resultados. Qu ocurre? Qu es lo que surte efectos? Para quin? El modelo permitira al equipo del proyecto detectar los obstculos que impiden que el proyecto funcione de manera ptima. Tambin le brinda la posibilidad de valorar la facilidad con la que se podrn medir los indicadores seleccionados. Adems, el proceso debera ayudar a encontrar las maneras de medir los resultados ms intangibles (por ejemplo, niveles de participacin, grado de autonomizacin, cohesin de los grupos, etc.). Esto permite registrar el progreso de iniciativas ms complejas e introducir mejoramientos, en base a la nueva informacin que va surgiendo. Participacin El proceso de elaboracin del modelo se basa en tcnicas participativas que requieren el trabajo conjunto de los interesados para claricar los fundamentos del programa y las condiciones en las cuales el xito es ms probable. De esta forma hay ms posibilidades de elaborar los cambios sobre la base del consenso, despus de un proceso abierto y transparente, y menos sobre la base de personalidades, poltica e ideologa. Se fomenta as entre los interesados un sentido de pertenencia al proyecto ms fuerte. Recuerde que el modelo lgico es slo un MODELO. Con el n de simplicar y presentar todo en una sola pgina, usted puede producir modelos lgicos que muestren de modo abreviado las complejidades del programa. Lo ms importante es que el modelo lgico sea claro y completo para quienes lo utilicen. Para aprehender la teora del programa, el modelo lgico debe demostrar los vnculos entre los elementos. Un modelo lgico es un instrumento para mejorar los resultados de un programa. Con frecuencia, el proceso de elaboracin del modelo lgico es ms importante que el resultado nal. Reexionar sobre las etapas del proyecto, de manera lgica y sistemtica, a menudo ayuda a detectar las insuciencias (estructurales, econmicas o tericas). El uso que se piensa dar al modelo lgico determina su nivel de detalle y la informacin que se incluye. Cuando un modelo lgico se utiliza especcamente con nes de evaluacin, puede adaptarse para hacer ms hincapi en los resultados. La presentacin y el nivel de detalle pueden ser muy diferentes. Las personas que trabajan en las comunidades y necesitan medir los resultados pueden desear mostrar ms detalles en la cadena de resultados y anar los componentes de insumos y productos.

54

Aspectos clave Considere quines sern los usuarios del modelo lgico. Quin necesita comprender la utilidad y/o el propsito del modelo: usted, su personal, la comunidad, los nanciadores, los administradores, los servidores pblicos. Elija la representacin grca que ms convenga al usuario y al uso. Tenga en cuenta que decidir acerca de una imagen nica que exponga la teora del programa es a menudo la parte ms difcil de la elaboracin y el uso de un modelo lgico. Probablemente, el proceso de elaboracin de la imagen nal sea ms importante que sta.

Terminologa
Familiarizarse con los trminos que siguen le ayudar a estructurar un modelo lgico. Visin y meta del proyecto La visin ms amplia y general es: qu est tratando de hacer por la comunidad? Puede tratarse directamente de mejorar los niveles de salud y bienestar (que se reejan en ndices ms bajos de morbilidad y mortalidad). Tambin puede tratarse de educacin o de fortalecimiento de capacidades: elevar los niveles educativos, la formacin o el bienestar. Los proyectos comunitarios suelen estar basados en una serie de valores bsicos (por ejemplo, equidad, justicia social, libertad, participacin). Puede ser interesante discutir sobre los principales obstculos para alcanzar las metas en el seno del grupo beneciario. Pueden intervenir algunos de los siguientes factores: desigualdad de ingresos situacin y clase social nivel de exclusin social y de justicia social redes de apoyo social educacin empleo y condiciones de trabajo entorno fsico prcticas personales de salud y estrategias de adaptacin problemas de desarrollo infantil servicios de salud nutricin funcin de los nanciadores (posible imposicin de limitaciones)

Esta lista puede ser tan larga como quiera. El ejercicio es importante porque pone en perspectiva el gran nmero de variables que pueden tener repercusiones en el proyecto, lo que ayuda a comprender la complejidad de las intervenciones en la comunidad y el limitado impacto que pueden tener las intervenciones a pequea escala. Al tiempo que considera su meta ms amplia, es importante centrarse ms especcamente en las prioridades del proyecto. Para un buen seguimiento de la ecacia del proyecto es fundamental contar con metas y objeti-

55

vos claramente articulados. stos demostrarn cmo se est alcanzando el objetivo general o la visin. Si la meta, por ejemplo, es reducir la incidencia de la infeccin por el VIH, los propsitos y objetivos pueden referirse a un mejor conocimiento de los modos de transmisin, modicar la percepcin del VIH, informar sobre el cambio de comportamiento o aumentar la autoestima. Las metas y objetivos pueden tambin referirse simplemente a establecer la infraestructura necesaria para alcanzar objetivos futuros a ms largo plazo (proporcionar locales, capacitar al personal, etc.). Las metas y objetivos deben estar directamente relacionados con los indicadores. Es importante claricar desde el principio la funcin de los nanciadores. Han impuesto obligaciones especcas, como por ejemplo, actividades de seguimiento, reuniones, participacin en el proyecto? Estas condiciones alterarn el desarrollo oportuno de las actividades del proyecto?

Insumos
Los insumos son los recursos y contribuciones que usted y otros aportan a la iniciativa. Puede tratarse de tiempo, personas (personal, voluntarios, beneciarios, si participan), la comunidad, el dinero, los materiales y el equipo, los asociados, entre otras cosas. Los insumos son exibles y pueden variar en estilo y contenido, en funcin del tipo de proyecto emprendido. Por ejemplo, un proyecto de educacin sobre las drogas necesitar distintos tipos de insumos, segn que tenga su base en entornos formales (escuelas, centros de jvenes) o est dirigido ms generalmente a muchachos de la calle o a grupos transitorios (trabajadores migrantes o de temporada). Es imposible determinar la importancia relativa de los insumos. Sin embargo, hay un mbito que a menudo se pasa por alto por causa de las actividades ms tangibles: el establecimiento de relaciones de colaboracin slidas y apropiadas. Los asociados pueden ser organizaciones locales directa o indirectamente relacionadas con la actividad del proyecto, proveedores de servicios, nanciadores (nacionales e internacionales), autoridades y grupos de usuarios.

Productos
Los productos son las actividades, servicios, eventos y otros elementos que llegan a las personas (individuos, grupos, organismos) que participan en el proyecto o a quienes est destinado. Los productos son lo que hacemos u ofrecemos. Comprenden talleres, servicios, conferencias, encuestas comunitarias, facilitacin, asesoramiento local, etc.

Esos productos deben llevar a resultados concretos.

56

Resultados

Los resultados son los efectos, benecios, ventajas o desventajas directos para individuos, familias, grupos, comunidades, organizaciones o sistemas. Son ejemplos los cambios en el conocimiento, el mejoramiento de las habilidades, las modicaciones del comportamiento, las capacidades o la toma de decisiones, y la elaboracin de polticas. Los resultados pueden ser a corto plazo, a medio plazo y a largo plazo. Pueden ser positivos, negativos, neutros, deliberados o involuntarios, y pueden medirse a lo largo del ciclo de vida del proyecto. En este modelo los impactos se reeren a las consecuencias o efectos nales del programa. Por ejemplo, una mayor seguridad econmica, menores ndices de tabaquismo entre los jvenes, o una mejor calidad del aire. En este caso los impactos son sinnimo de resultados a largo plazo de su meta. Se encuentran en el extremo derecho del diagrama del modelo lgico. Se re eren a los cambios nales, a largo plazo, de las condiciones sociales, econmicas, cvicas o ambientales. En el lenguaje comn, los trminos efectos y resultados suelen ser intercambiables. Al considerar los impactos se deben tener en cuenta no slo los que se procuraba obtener sino tambin los inesperados. Un ejemplo de ello son los proyectos relacionados con las diferencias entre hombres y mujeres, destinados a elevar la autoestima y mejorar las posibilidades de estas ltimas para obtener medios de sustento. Los impactos a largo plazo tendrn relacin con el mejoramiento de la condicin econmica y social de las mujeres. El resultado de la autonomizacin de stas y el fortalecimiento de su situacin puede ser importante en trminos de redenicin del equilibrio del poder y la situacin en el hogar, lo que a su vez puede modicar los supuestos locales acerca del statu quo.

57

Examinar los supuestos (teora)

Los supuestos son los principios, creencias e ideas que tenemos acerca del programa y las personas interesadas, y sobre la manera en que pensamos que el programa funcionar. Los supuestos conducen a la creacin de creencias subyacentes al respecto; son validados gracias a la evaluacin y la experiencia. Los supuestos subyacen tras las decisiones que hacemos acerca del programa y a su vez inuyen sobre ellas. Pueden tener relacin con: El problema o la situacin Los recursos y el personal La manera en que funcionar el programa Lo que el programa espera lograr La base de conocimientos El contexto externo El contexto interno Los participantes: cmo aprenden, su comportamiento, motivaciones, etc. Al elaborar un modelo lgico queremos explicitar todos los supuestos que hacemos intervenir. Aun si no se explicitan todos en el grco, es importante explorarlos y discutirlos. Considere y aclare sus supuestos relativos a todas las dimensiones de su modelo lgico. Qu es lo que sabe? Qu es lo que est suponiendo? Siga vericando y aclarndolos a medida que avanza. Los supuestos errneos o que se han pasado por alto son a menudo una de las razones que explican la falta de resultados. Puede ser til incorporar un ciclo de reexin en el proceso. En otras palabras, el modelo lgico puede disearse desde el origen del proyecto y ser revisado a intervalos regulares, a n de reevaluar los supuestos utilizados y examinar lo que ha cambiado y por qu.

Enlaces teora de la accin

Las echas direccionales pueden ser utilizadas en el modelo lgico para indicar la manera en que se vinculan los diferentes elementos del modelo. Las conexiones pueden ser verticales y horizontales, unidireccionales o bidireccionales, e indicar los circuitos de retroinformacin.

Son los enlaces, y no solamente los insumos, los productos y los resultados, lo que conere su poder al modelo. Disear las conexiones es a menudo una tarea larga y engorrosa, pero necesaria. Es lo que nos garantiza que hemos establecido todas las conexiones lgicas. A veces, a n de simplicar, incluimos solamente los enlaces primarios, ya que de otro modo el modelo lgico sera muy difcil de leer.

58

Al cabo del proceso, el resultado nal nos remite tericamente al comienzo. Se anticipa que, al concluir el proyecto, la situacin inicial habr sido transformada. La gran echa de retroinformacin que gura en la parte superior derecha del modelo lgico tiene por objeto ilustrar esta conexin y la dinmica de la programacin. Algunos preeren indicar el ujo circular del modelo lgico que conecta explcitamente el nal con el principio. En la prctica, los contextos de programa son dinmicos y cambian constantemente, de manera que el comienzo rara vez es el mismo. Muchos calican estos enlaces de relaciones si... entonces.... Leyendo de izquierda a derecha, un modelo lgico muestra una serie de relaciones si... entonces.... Al elaborar un modelo lgico hay que tener en cuenta los supuestos implcitos, es decir, cmo se han hecho los enlaces? Son los supuestos realistas y consistentes? En qu pruebas o hechos fundamentamos los supuestos?

Factores externos
Un programa no existe aislado, fuera o lejos de su entorno. Un programa est bajo la inuencia de factores externos, sobre los que a su vez inuye. Se trata por ejemplo del medio cultural, el clima, la estructura econmica, las pautas de vivienda, los parmetros demogrcos, el entorno poltico, los antecedentes y la experiencia de los participantes en el programa, la inuencia de los medios de comunicacin, las polticas y prioridades cambiantes. Todos ellos pueden tener importantes efectos en el logro de los resultados, y no pueden ser ignorados. Entre los elementos que pueden ser afectados guran: la ejecucin del programa la velocidad y el grado de los cambios los participantes y los receptores las pautas de personal y de recursos disponibles

Un ejemplo simple es la migracin masiva tras la apertura de una fbrica en la ciudad, que ofrece oportunidades de empleo; en ese proceso se puede perder tanto al personal del proyecto como a sus beneciarios. Inversamente, un proyecto exitoso que promete el desarrollo de medios de sustento sostenibles para los ms vulnerables puede alentar a ms personas a migrar hacia la zona del proyecto, planteando tal vez ms demandas a los recursos del proyecto. Un ciclo de reexin, podra constituir un foro adecuado para estimar el impacto de los factores externos (tanto esperados como imprevistos).

Explicar la diferencia entre productos y resultados

Es importante comprender la distincin entre productos y resultados. Los productos designan lo que hacemos. Los resultados y los impactos se re eren a lo que constituye una diferencia entre la situacin anterior al proyecto y la situacin posterior al proyecto.

59

Anteriormente se haca hincapi en la columna relativa a los productos: lo que hacemos y a quines llegamos. Registrar los productos ayuda a informar a los clientes, nanciadores e interlocutores de la comunidad acerca de la ndole de la actividad del proyecto. La mayor parte de los proyectos se ocupan en grado razonable de la descripcin y el recuento de actividades y del nmero de personas atendidas. La cuestin ms difcil se reere a: Cul es la diferencia?. Se trata de una cuestin de RESULTADOS e impactos. En algunos modelos lgicos se pueden ver las actividades separadas de los productos, algunas de ellas presentadas a menudo antes de stos. En esos modelos, los productos se designan generalmente como los logros o el producto de la actividad. Por ejemplo, el nmero de talleres efectivamente realizados o el nmero de personas que escucharon el mensaje de comunicacin. El supuesto es que es preciso realizar la actividad tal como estaba previsto antes de que puedan ocurrir los resultados esperados.

Qu es la teora programtica?
Un modelo lgico indica la serie de conexiones o relaciones lgicas que se espera lleven con el tiempo a los resultados deseados. El modelo es bsicamente un marco o instrumento de planicacin; sin embargo, en el marco hay una serie de supuestos lgicos que constituyen las bases tericas de la labor del proyecto. Esta base lgica ha sido denominada teora de accin del programa (Patton, 1997) o teora del cambio (Weiss, 1998). Una teora del cambio es una descripcin de cmo y por qu se espera que un conjunto de actividades (que pueden ser parte de un programa muy especco o una iniciativa general) lleven a resultados tempranos, intermedios y a largo plazo en un periodo determinado. Algunos pueden considerar que la nocin de teora es demasiado acadmica, pero en realidad se re ere slo a lo siguiente: Expectativas

60

 Creencias Experiencia Sabidura tradicional

Por ejemplo, la teora en que se basa un programa de intervencin sobre drogas puede consistir en que, si se da autonoma y educacin a los jvenes sobre el mal uso de las drogas, el proyecto les dar conocimientos y conanza para decidir no usarlas o para consumirlas de manera menos perniciosa, dndoles as capacidades y estrategias para seguir distintos rumbos. Ejemplos de enlaces de un programa de educacin sobre drogas

Un anlisis ms detallado de esas relaciones ayuda a establecer una impresin acerca de su solidez. Por ejemplo, en la medida en que un taller sobre drogas sea bien planicado, estructurado y orientado (sus supuestos), no es irrealista esperar un mayor nivel de conocimiento sobre las drogas al nal de la actividad. Sin embargo, es un poco ms dudoso esperar que los resultados de los talleres educativos previstos a plazo medio y largo lleven

61

a modicaciones comportamentales o a una salud o situacin econmica mejores. Son numerosos los factores externos que pueden intervenir, y que se podran sealar como echas que salen del modelo lgico. Por ejemplo, algunos factores externos que podran dicultar a los individuos la adopcin de un comportamiento ms seguro en materia de drogas son los siguientes:

Cmo disear un modelo lgico

El comienzo Etapa 1: Determinar el propsito del modelo lgico: quin lo utilizar, y para qu? Por qu est formulando un modelo lgico? Su objetivo es cumplir un requisito administrativo? Mostrar a sus nanciadores lo que est haciendo? Rellenar una propuesta de subvencin? Denir un plan de trabajo? Evaluar su programa? Mejorar la calidad de su trabajo? Incorporar a todos los interesados en un proceso participativo para obtener comprensin y compromiso acerca del proyecto? Asegrese de que todos los que trabajan en el modelo comprenden su utilidad.

Etapa 2: Incorporar a otros Quines deberan participar en la elaboracin del modelo lgico? Quines deberan facilitar este proceso?

Etapa 3: Establecer los contornos del modelo lgico Qu expresar el modelo lgico?: una actividad nica, especca (por ejemplo, un simple espectculo de tteres para educar sobre el VIH y el SIDA en un contexto determinado), o una iniciativa ms amplia consistente en actividades diferentes, pero complementarias? Por ejemplo, una serie de espectculos de tteres, junto con una distribucin de octavillas y trabajo de difusin en la comunidad a lo largo de varios meses. Qu nivel de detalle se necesita? Quin utilizar el modelo lgico? Cmo?

Etapa 4: Comprender la situacin La informacin necesaria para esta etapa puede obtenerse de la evaluacin de necesidades.

Etapa 5: Escribir un anlisis de la situacin Ese texto ser el cimiento de su modelo lgico. Estar basado en las siguientes preguntas: De qu problema o cuestin se trata? Por qu es un problema? (Cul es la causa del problema?) A quin se plantea este problema y en qu niveles (individual, domstico, grupal, comunitario, de la sociedad en general)? Quines tienen inters en el problema? (Para quin es importante que se resuelva?) Qu sabemos acerca del problema, la cuestin o la gente de que se trata? De qu experiencia e investigaciones disponemos?

62

El anlisis de la situacin puede ser un texto anexo del modelo lgico. Es conveniente incluir algunas palabras a la izquierda del modelo lgico, que expresen la esencia del proyecto. Cul es el problema o situacin? Con frecuencia diseamos y ejecutamos programas sin considerar y comprender plenamente la situacin. Mientras mejor comprendamos la situacin y analicemos el problema, ms fcil ser elaborar modelos lgicos e caces. El anlisis de la situacin constituye la base del resto de su trabajo y sobre la cual se elaborar el modelo lgico. El contexto social del proyecto est abierto a ujos y cambios constantes y por lo tanto debe ser actualizado cuando sea preciso. El anlisis de la situacin establece un punto de referencia para comparaciones durante la ejecucin del proyecto y para la nalizacin del programa. Una descripcin del problema y sus sntomas proporciona una directriz que permite seguir el avance del proyecto. Describir a los afectados por el problema ayuda a determinar quines son los beneciados. Fijacin de prioridades Del anlisis de la situacin se deriva la jacin de prioridades. Una vez analizados la situacin y el problema en su totalidad, se pueden jar prioridades. Rara vez es posible hacer todo, de modo que es necesario priorizar. En este caso intervienen varios factores: su cometido, valores, recursos, competencia, experiencia, historia, lo que sabe acerca de la situacin y de lo que otros hacen en relacin con el problema. Las prioridades conducen a la determinacin de los insumos y resultados deseados.

Etapa 6: Examinar las investigaciones y conocimientos de base La manera en que produce su modelo depender de la etapa en que se encuentra su proyecto y de sus conocimientos. Es ms conveniente utilizar un modelo lgico de programa como herramienta para ayudar a planicar el proyecto (ejecucin, entrega y evaluacin), aunque tambin puede ser til si se introduce en una etapa ulterior de la ejecucin del proyecto.

Etapa 7: Comenzar a rellenar las casillas vacas Cul es la diferencia a la que aspira al nal del programa con relacin a la situacin anterior? Al escribir su modelo lgico debe expresar claramente lo que desea conseguir con el proyecto:

63

Conviene dedicar uno o dos das a reunirse con todos los miembros del equipo del proyecto y las partes interesadas. El proceso puede exigir tiempo, pero ser provechoso. Prepare una hoja de papel de gran tamao, hojas para tomar notas, muchos lpices marcadores de colores, cinta adhesiva para unir listas y diagramas a medida que desarrolla sus reexiones. Dibuje varios grandes crculos en la hoja y rotule cada uno con los componentes clave del proyecto que desea examinar. Puede tratarse de: 1. Meta o visin 2. Metas y objetivos del proyecto 3. Actividad: cul es su intervencin proyectada? 4. Productos del proyecto 5. Resultados del proyecto 6. Metodologa de evaluacin 7. Supuestos sobre la meta del proyecto Cada crculo estar unido de algn modo a todos los dems; usted debe formular los enlaces y conexiones. A medida que reexiona y discute, anote en su diagrama la nueva informacin. Recuerde! No hay una manera correcta o incorrecta de disear un modelo lgico. Experimente y encuentre el proceso que mejor funciona para usted y su grupo. Para planicar un programa se recomienda el mtodo de empezar por el nal. Un modelo lgico es dinmico: modifquelo a medida que cambian su programa, el entorno o la gente. Dedique intervalos peridicos a la revisin de su modelo lgico, esto es, ciclos de re exin.

64

 En gran parte, la utilidad de un modelo lgico reside en el proceso de su creacin, vericacin y modicacin. En este proceso, de carcter iterativo, los interesados trabajan conjuntamente para claricar los supuestos de base, las expectativas y las condiciones en las cuales el xito ser ms probable. Recuerde que las principales partes interesadas son los destinatarios del proyecto. Los dems interesados pueden ser el personal, los nanciadores, las organizaciones no gubernamentales y organizaciones anes, y las autoridades locales.

Estructurar y denir su evaluacin En qu punto se inserta la evaluacin en un modelo lgico? El modelo lgico describe su programa o iniciativa, los resultados esperados y el modo de lograrlos. La evaluacin le ayuda a saber qu tan satisfactoriamente funciona en la prctica su programa o iniciativa. Qu funcion bien, qu fall y por qu? Cmo hacerlo mejor? De qu manera el modelo lgico facilita la evaluacin? Tal vez se pregunta: Por qu dedicar tanto tiempo a modelos lgicos cuando lo nico que necesito es evaluar medir resultados y contar mi historia? En ese caso, recuerde: Efectuar una evaluacin de un programa mal concebido es una utilizacin inecaz de recursos. Los modelos lgicos pueden ayudar a mejorar la concepcin del programa de modo que la evaluacin sea ms til y ecaz. Realizar una evaluacin de programas que no estn listos para ser evaluados tambin supone un malgasto de recursos. Los modelos lgicos pueden ayudar a determinar cules datos sern tiles y cundo es ms oportuno el acopio de datos. Para organizar una evaluacin que ponga razonablemente a prueba la teora programtica, debe tener una idea clara de la reexin terica que sustenta la iniciativa (Weiss, 1998). Un modelo lgico incita a emprender ese proceso reexivo. En sntesis, los modelos lgicos facilitan las siguientes tareas: Qu evaluar? El objetivo Una de las principales ventajas del modelo lgico es que clarica qu es el programa. Al determinar lo que se debe evaluar, pregntese: Qu desea evaluar en particular? Se centra la evaluacin en la totalidad o el conjunto del programa, o en un componente del programa? Tal vez preera concentrarse en la campaa meditica de su programa de extensin o en un determinado grupo destinatario. Los programas son a menudo complejos. Puede que no disponga de recursos sucientes para examinarlo todo, o no necesite hacerlo. Utilice el modelo lgico para elegir el aspecto especco, el alcance, el componente o las partes que desea evaluar. A qu procurar responder la evaluacin? Las preguntas Evaluar consiste en hacer preguntas acertadas y crticas, para ayudarnos a aprender y a responder adecuadamente. Encontrar las preguntas apropiadas es un aspecto importante de la elaboracin de evaluaciones tiles. Qu es importante medir? A qu dedicar tiempo y recursos? Elementos clave para reexionar sobre las preguntas de la evaluacin:

65

 No podr medirlo todo, y no lo har. Encontrar respuestas correctas a unas pocas preguntas es mejor que contestar inadecuadamente a muchas. Recuerde las palabras de Einstein: No todo lo que se puede contar, cuenta. Ni todo lo que cuenta, se puede contar. Con frecuencia una evaluacin cobra vida propia. Surge la tentacin de pensar que necesitamos ms y ms datos. Es importante, empero, mantener la evaluacin lo ms centrada y simple posible. De otro modo, se corre el riesgo de intentar hacer demasiado y terminar con informacin con la que no se sabe qu hacer. Por ejemplo, si est evaluando un programa de educacin sobre el VIH y el SIDA, cercirese de que los datos que acopia guardan relacin con una serie de objetivos muy concretos relativos a los conocimientos, las actitudes y los comportamientos relacionados con el tema. Incluir otros tipos de informacin, por ejemplo, sobre otros comportamientos saludables (dieta, consumo de medicamentos, pertenencia a grupos comunitarios, etc.), es tentador, pero puede complicar excesivamente el anlisis nal. Lo que decida medir depende de quin utilizar los resultados, y con qu nes. Tambin inuyen el tiempo, el dinero y las competencias disponibles. Recuerde que es importante evaluar resultados no previstos (esto es, cosas que no previ que sucederan) as como resultados esperados. Se pueden producir algunos cambios que no se consideran positivos: es tan importante tomar nota de stos como de los cambios que han sido beneciosos. Recuerde que la evaluacin debe ajustarse a la etapa en que se encuentra el programa. Por ejemplo: Puede ser inadecuado evaluar un cambio de comportamiento cuando el programa slo consiste en un nico seminario o una iniciativa meditica limitada; por ejemplo, no es pertinente intentar medir cambios en la autoestima de personas que slo miraron un dibujo animado educativo o asistieron a una clase destinada a padres. Es preciso saber con la mayor claridad posible lo que usted REALMENTE quiere saber, a n de concentrar sus esfuerzos. Las preguntas de la evaluacin que son amplias y vagas, tienden a generar respuestas igualmente vagas que son difciles de interpretar y poco tiles para la adopcin de decisiones relativas al programa. Sac usted provecho de la sesin educativa sobre el uso indebido de drogas a la que asisti? es un ejemplo de pregunta amplia de evaluacin. Se le podra conferir ms precisin descomponindola en unidades ms pequeas. Por ejemplo: Han cambiado las ideas que tena sobre las personas que consumen drogas? De qu modo? Piensa que una persona que consume drogas es condenable? Ha cambiado su comportamiento (o es probable que cambie) como resultado de su participacin en el curso? Aprendi usted nuevas estrategias que puedan ayudar a modicar comportamientos? Obtuvo alguna otra cosa del curso? (Esto puede no tener que ver con la educacin sobre drogas).

Ejemplo de un modelo lgico con preguntas para la evaluacin El modelo lgico puede ayudarle a denir preguntas apropiadas para su evaluacin.

66

Indicadores. Cmo sabr si se han alcanzado las metas y los objetivos?

Un indicador es la prueba del fenmeno sobre el que est haciendo preguntas, o informacin que lo representa. Por ejemplo: Los indicadores le ayudan a evaluar los progresos en curso del proyecto (indicadores de proceso) y a determinar si se han logrado o no resultados previstos (indicadores de resultados). Los indicadores de nen los datos que se acopiarn y deben estar directamente relacionados con las metas y los objetivos esenciales del proyecto. Pueden ser vistos (observados), odos (respuestas de participantes), ledos (archivos de una organizacin), sentidos (clima de la reunin), tocados u olidos. Es la prueba que responde a las preguntas. Algunos indicadores pueden ser explcitos y fciles de medir; otros son ms complejos. Las evaluaciones deben incluir siempre una combinacin de indicadores de proceso e indicadores de resultados.

Los indicadores de proceso se reeren a una actividad en curso del proyecto y pueden incluir: el nmero de personas que asisten a los actos pblicos del proyecto la nalizacin de la infraestructura vinculada al proyecto (edicios, publicaciones, espectculos, cursos de formacin, etc.) el grado de conciencia de la comunidad y la respuesta a las iniciativas en curso Entre los ejemplos de indicadores de resultados a corto plazo en un programa educativo sobre las drogas pueden gurar: un mayor conocimiento de los efectos del consumo de drogas en la salud una mayor conanza para encontrar nuevas estrategias para evitar consumir drogas

67

Los indicadores a ms largo plazo pueden comprender: una disminucin del consumo de drogas una mejora de salud comprobada una mayor integracin en la comunidad

Son necesarias consideraciones similares al tratar la transmisin del VIH, cuando es igualmente importante diferenciar los indicadores a corto y a largo plazo. Los cambios en los indicadores a largo plazo, como la incidencia de la infeccin del VIH, no sern perceptibles en el plazo en que se realizan las intervenciones a corto plazo en la comunidad (y son sumamente difciles de medir). Si bien es importante vigilar la incidencia del VIH, es tambin fundamental ser realista en cuanto al posible efecto de la intervencin programada. Por esta razn, es imprescindible denir indicadores a corto plazo realistas para lograr una evaluacin efectiva. En el caso de los proyectos encaminados a reducir la transmisin del VIH, posibles indicadores a corto y mediano plazo pueden incluir mediciones como las siguientes: un cambio en las percepciones relativas a las personas con VIH un aumento de los conocimientos sobre la transmisin del VIH el nmero de personas que piden pruebas de deteccin del VIH en clnicas locales el nmero de personas que utilizaron preservativos en el ltimo acto sexual

Los indicadores a corto y mediano plazo en los proyectos educativos sobre drogas pueden incluir: los cambios en el peligro percibido con respecto al consumo de drogas un aumento de los conocimientos sobre los efectos secundarios de la droga

Entre los indicadores relativos a la participacin de la comunidad pueden gurar mediciones como el nmero de grupos de autoayuda existentes en la zona, el nmero de personas que asisten a reuniones de la comunidad, y otros. Cabe sealar que los datos correspondientes a los indicadores slo deben acopiarse si tienen un valor y una utilidad reales para el proyecto. Por ejemplo, slo vale la pena contar el nmero de personas que asisten a un espectculo de tteres si este ltimo tiene algn efecto signicativo. Puede consistir en un cambio en los conocimientos o el comportamiento de las personas que se cuentan. Es necesario que en los proyectos se comprenda el valor de los indicadores que se estn recolectando, pues de otro modo stos podran convertirse en una carga que genera complicaciones suplementarias. En el caso de indicadores ms abstractos como el aumento de autonoma, estar libre de un uso indebido o control/eleccin de sustancias, habr que procurar denir criterios antes que efectuar mediciones ms precisas y cientcas. Al intentar evaluar grados de autonoma, por ejemplo, el primer paso puede consistir en explorar por qu la autonoma es importante en relacin con los objetivos del proyecto. En un proyecto educativo sobre las drogas esto puede referirse a dar a las personas los medios para elegir formas diferentes de utilizar su tiempo libre; evitar reunirse con usuarios de droga conocidos como tales; o modicar los hbitos de consumo de drogas, pasando a sustancias menos dainas. Determinar el nivel de conanza y la frecuencia de cambios de comportamiento como stos puede ayudar a estimar el grado de autonoma alcanzado. Sea realista en cuanto a lo que puede hacer! Se pueden emplear diversas tcnicas para vericar la informacin (triangulacin) con el n de descubrir los cambios que ha ocasionado el proyecto en las vidas de los beneciarios.

68

Los indicadores deberan tener las siguientes caractersticas: ser directos ser especcos ser tiles ser prcticos ser adecuados ser apropiados desde el punto de vista cultural no ser demasiado numerosos!

Calendario, programacin y recoleccin de datos

Examine su modelo lgico y las preguntas de la evaluacin y decida en qu punto de la trayectoria desear acopiar datos. El programa deber haber llegado a una etapa en que esa operacin es a un tiempo posible y e caz. Por ejemplo, la informacin de la evaluacin sobre quin est participando debe recogerse en cada reunin, mientras que los datos que responden a preguntas relativas a cambios de comportamiento deberan obtenerse, en funcin de los indicadores que est midiendo, en la mitad del programa o en algn momento despus de que haya concluido. El acopio de datos puede efectuarse en varios momentos: los datos se examinan durante el ciclo de reexin al comienzo del programa o durante un evento o actividad especcos durante la ejecucin a mediados de la ejecucin del programa al nal del programa, el evento o la actividad segn un periodo determinado (cada mes, cada trimestre o anualmente) despus del programa, para determinar los resultados a un plazo ms largo

Actividades de la novena y dcima semanas

Individuales 1. Realice la lectura correspondiente 2. Busque a un estudiante de Prctica Profesional Supervisada y coordine con el la realizacin del modelo lgico de su proyecto de intervencin. 3. Actualice su diario de aprendizaje.

Grupales 1. En grupo comparta el avance en la construccin de su marco lgico.

69

2. Presente a su docente un informe semanal del avance.

Autoevaluacin
1. Qu cosas que no saba aprendi con la lectura? 2. Qu aportes hara usted para complementar la lectura y el aprendizaje? 3. Puede sealar al menos tres aspectos que considere importantes, a considerar en la construccin de un modelo lgico? 4. Qu relacin le encuentra al uso de un modelo lgico y un proceso de evaluacin?

70

DCIMA PRIMERA SEMANA TEMA Los pasos de una evaluacin Objetivos de la semana
Al finalizar el estudio de la sptima semana las y los estudiantes. Identificarn los principales pasos para realizar una evaluacin.

LECTURA
Paso 1: Identificar y empoderar al gerente de evaluacin
El Rol del Gerente de Evaluacin
El primer paso para llevar a cabo una evaluacin bien planificada consiste en designar una persona como gerente de la evaluacin. Esta persona suele ser el gerente del proyecto o el responsable de monitoreo y evaluacin (M&E), pero podra ser cualquier otra persona con un claro compromiso hacia el proyecto. El gerente de evaluacin es responsable de garantizar que se cumplan de manera oportuna las tareas especficas previas a la evaluacin. En proyectos ms grandes, con equipos mltiples y varios cronogramas, las responsabilidades de un gerente de evaluacin se pueden distribuir entre varias personas. Sin embargo, cuando esto sucede, es necesario definir claramente la nueva distribucin de funciones, y es fundamental que exista una buena comunicacin entre las personas involucradas.

Ubicacin del Gerente de Evaluacin

Algunas organizaciones desean que el gerente de evaluacin est ubicado en la oficina sede, otros en la oficina regional, o en la oficina principal del programa de pas donde se implementa el proyecto. Pero mientras la comunicacin sea confiable (Internet, telfono, etc.), la ubicacin no es tan importante como la capacidad de la persona para organizar, coordinar y cumplir el trabajo. Sin embargo, si el gerente de evaluacin no se encuentra en el mismo pas en el que se llevar a cabo la evaluacin, es necesario entonces que un miembro del personal local respalde el proceso, a fin de garantizar una adecuada representacin desde el terreno y una ptima coordinacin de campo durante toda la evaluacin. Esto ayudar a facilitar la comunicacin entre el equipo de evaluacin y el personal del proyecto.

Paso 2: Clarificar los lineamientos y expectativas

Determinar los Requerimientos
Generalmente los donantes tienen estndares para las evaluaciones. Las organizaciones implementadoras tambin tienen estndares que a menudo son ms rigurosos. Antes de redactar los trminos de referencia, investigue cules son los requerimientos para la evaluacin. Esto proporcionar la informacin necesaria para el proceso de evaluacin, incluyendo el calendario de actividades y las destrezas requeridas para el equipo de evaluacin. Existen dos documentos donde se pueden encontrar los estndares de evaluacin: la gua original de la propuesta del donante y el plan de M&E aprobado para el proyecto. Existen adems otros recursos que pueden brindar informacin sobre aquellos indicadores que los evaluadores necesitarn medir directamente, y aquellos que requerirn la recoleccin complementaria de datos (tales como encuestas). El personal del proyecto puede brindar insumos sobre quin puede responsabilizarse de los diferentes elementos (por Objetivo Estratgico, por ejemplo).

71

Necesidades de Comunicacin
El siguiente paso es convocar a una reunin entre el gerente de evaluacin, el gerente del proyecto y los gerentes senior para analizar los requerimientos para la evaluacin. Esta reunin brindar informacin anticipada a los gerentes senior sobre la asignacin de recursos y una resea de antecedentes, antes de invitarles a revisar los trminos de referencia de la evaluacin (TdR). Tambin los prepara para otras tareas organizacionales ms importantes del proyecto.

Paso 3: Elaborar el Borrador de los Trminos de Referencia y el Plan de Trabajo para la Evaluacin
Desarrolle un Calendario
Establezca el calendario para la preevaluacin, retrospectivamente desde la fecha de inicio de la evaluacin. Para los proyectos, el gerente de evaluacin debe reservar 15 das de trabajo, mientras algunos miembros del personal del proyecto debern planificar 19 das. El gerente a nivel de la oficina de pas y de campo probablemente requerirn alrededor de 4 das en cada caso. Esto puede implicar una inversin total de 42 das por parte del personal, antes de la evaluacin, repartidos generalmente de manera no consecutiva entre los diferentes miembros del personal (vea la seccin 2 del mdulo completo para ms sugerencias sobre el calendario). El nmero de das podra ser mayor o menor dependiendo de la complejidad del proyecto y la organizacin de los materiales existentes.

Elabore el Borrador de la Propuesta de Trminos de Referencia y el Plan de Trabajo de la Evaluacin

Cul es la diferencia entre los Trminos de Referencia y un plan de trabajo para una evaluacin? Los TdR proporcionan detalles sobre lo que se har y el por qu es necesaria la evaluacin, mientras que el plan de trabajo describe quin har qu, cundo y cmo. Ambos son necesarios para organizar una evaluacin de forma eficaz. El borrador de los TdR proporciona al equipo del proyecto la oportunidad de enfocarse en las preguntas ms importantes a realizar durante la evaluacin y en los mtodos a utilizarse. El gerente de evaluacin puede modificar un TdR ya existente para adaptarlo a las necesidades de la evaluacin. El gerente necesita asegurar que el personal de campo y los actores involucrados cuenten con tiempo suficiente para revisar el borrador del TdR, formular observaciones, y analizar los requerimientos de la evaluacin. El plan de trabajo ayuda a organizar la evaluacin paso a paso, incluyendo la logstica; y ayuda al personal de campo a administrar su tiempo en preparacin para la evaluacin.

Factores a Considerar
Existen muchos factores a considerar cuando se prepara los TdR y el plan de trabajo. Si se requiere mucho tiempo en el campo, quin organizar este proceso? Existen permisos especficos por parte de las autoridades locales que deberan obtenerse con anticipacin? Existen preguntas de evaluacin especficas que respondan a los criterios de diseo, tales como fortalecimiento de la capacidad del socio o la gestin del proyecto, que deberan incluirse dentro de un formato plantilla existente? Obtenga la mayor cantidad de respuestas posibles antes de avanzar al paso 4. En este momento una comunicacin y organizacin adecuadas significan una correcta coordinacin ms adelante.

Un Evaluador Interno o Externo?

Un desafo adicional es determinar si quienes conduzcan la evaluacin sern evaluadores internos o externos. Hay ventajas y desventajas en cada opcinel mdulo completo analiza este tema en ms detalle pero la decisin final bsicamente depende de tres factores: la curva de aprendizaje, el nivel de objetividad y la facilidad de acceso. Los evaluadores internos tienden a tener curvas de aprendizaje ms cortas y un mejor acceso. Los evaluadores externos tienden a ser ms objetivos, ya que ven los eventos sin el contexto institucional y aportan una perspectiva nueva. Establecer un equipo que combine las ventajas y minimice las desventajas de cada opcin puede ser lo ms eficaz.

72

Paso 4: Identificar al Equipo de Evaluacin y Finalizar los Trminos de Referencia

Seleccione Alguien Experimentado para Liderar el Equipo
Un buen lder para un equipo de evaluacin debe haber demostrado experiencia en la evaluacin de este tipo de proyectos o tener experiencia con proyectos similares. Este antecedente es importante para garantizar que la evaluacin cumpla con las expectativas del donante. Los lderes de equipo tambin deben tener una capacidad demostrada para manejar y sintetizar los insumos y la participacin de los principales miembros del equipo de evaluacin, y equipos de trabajo del donante. Cada una de estas personas o grupos tienen una meta o agenda diferente. El trabajo del lder del equipo es involucrar a las diferentes personas y grupos para que cada miembro clave del equipo pueda encontrar respuestas a algunas de sus preguntas especficas de evaluacin, mientras continua aportando a la meta comn de una evaluacin constructiva. Es esencial una alta capacidad de comunicacin verbal y escrita. Tome en cuenta que la comunicacin no significa slo hablar, sino que tambin implica escuchar de manera activa. Esta es una habilidad clave que no se puede evaluar mediante ensayos escritos. Obtener referencias es importante!

Elegir al equipo de evaluacin

El primer paso para contratar a un equipo de evaluacin especialmente al lder del equipo es identificar un adecuado grupo de candidatos. Las organizaciones a menudo tienen una lista de personas con quienes han trabajado anteriormente y a quienes desean contratar nuevamente. Inicie con esa lista institucional, luego solicite recomendaciones a otras organizaciones aquellas ubicadas en el mismo sector y pas. Inicie con un nmero moderado de candidatos, no ms de cinco. Una vez que se han identificado los candidatos, enve a todos el borrador de los Trminos de Referencia y solicite a los candidatos que manifiesten su inters y presenten sus ensayos escritos. A continuacin, elija un lder de equipo de entre los candidatos. Esta persona debe estar disponible para toda la evaluacin, incluyendo tiempo adicional antes y despus de la misma. El tiempo extra es necesario para que el lder del equipo discuta con el gerente de evaluacin respecto a la metodologa de evaluacin y respecto a los otros miembros del equipo y la logstica, a fin de garantizar que la evaluacin est debidamente organizada y asegurar que el informe de evaluacin se presente a tiempo. El aporte del lder del equipo de evaluacin es clave para finalizar los trminos de referencia con el gerente de evaluacin. Pueden existir metodologas de recoleccin de datos especficas que son preferibles en funcin de la estacionalidad u otros temas locales (por ejemplo, si es temporada de lluvias y muchas de sus comunidades estn inaccesibles, el muestreo aleatorio en visitas de campo ser inferior al de un muestreo aleatorio completo). El lder del equipo debe incluir estas variables en los TdR finales.

Un Equilibrio de Experiencias
Asegrese que el equipo de evaluacin aporte un equilibrio de experiencias, en especial, experiencia a nivel del pas, experiencia sectorial y otra experiencia especfica de orden tcnico. Una vez que se ha seleccionado al equipo, finalice los TdR con los aportes de este equipo, coloque la versin final en el manual informativo, y enve una copia al donante y a la gerencia senior. Ahora que la decisin es an reciente, el gerente o lder del equipo de evaluacin tambin podra tener inters de adjuntar un memo sobre el razonamiento que fundamenta algunas de las opciones metodolgicas seleccionadas. El donante y la organizacin implementadora pueden preferir determinados mtodos de evaluacin y, en algunos casos, requieren enfoques particulares. El lder del equipo de evaluacin podr recomendar alternativas, pero es importante respetar los requerimientos. En ltima instancia, el lder del equipo es responsable de la seleccin de los mtodos de evaluacin.

73

Paso 5: Organizar la Documentacin del Proyecto

Definicin de la Documentacin del Proyecto
La documentacin del proyecto se refiere al archivo existente de los documentos del proyecto, empezando con las evaluaciones iniciales. En el paso 5 se producirn dos productos: una bibliografa y un manual informativo del proyecto.

La Bibliografa y el Manual Informativo

La bibliografa del proyecto es el listado de los principales documentos del proyecto clasificados por categora. El manual informativo del proyecto incluye slo los documentos ms importantes. Agregue una bibliografa del proyecto actualizada dentro del manual informativo. Organice todos los archivos del proyecto. Elimine los archivos que ya no se utilizan. Muchos documentos tambin estarn disponibles electrnicamente indique cules son esos archivos en la bibliografa del proyecto. Grabe un CD (o coloque los archivos en una unidad extrable) con los documentos ms importantes del proyecto. El gerente de evaluacin debe asegurar que el personal de campo organice sus archivos para el equipo de evaluacin, antes de la llegada del equipo. Organizar todos los documentos del proyecto clasificados es algo que nadie quiere hacer despus de 20 horas de vuelo, y no es algo por lo que el proyecto deba pagar a un consultor! He aqu una oportunidad de oro para que todos organicen y limpien sus estantes y archivos electrnicos. Si se conoce con anticipacin la ejecucin de una evaluacin, esto significa que esta tarea se puede programar poco a poco, en lugar de hacerlo de prisa antes de que el lder del equipo de evaluacin llegue. Con el gerente de evaluacin supervisando y coordinando, todos en la oficina pueden asumir la responsabilidad de organizar los documentos ms importantes, por lo general en revisteros o en alguna especie de cajas de cartn pequeas que puedan guardarse en los estantes. Mantenga un suministro de etiquetas a la mano para organizar los documentos por caja.

Paso 6: Organizar la Informacin del Proyecto

La informacin del proyecto no es lo mismo que la documentacin del proyecto. La informacin comprende las piezas clave del proyecto, figurativamente hablaramos de las tuercas y tornillos, y requiere esfuerzo adicional organizarlo. La mayor parte de la informacin puede encontrarse en los informes anuales, pero por lo general no se la ha trasladado a cuadros sinpticos. En el recuadro de texto a la derecha, sobre Informacin Clave del Proyecto, se describen los principales elementos de la informacin de un proyecto. A continuacin algunos elementos ilustrativos:

Cronologa y Patrones para Dotacin de Personal

Conocer la cronologa de los acontecimientos del proyecto y los patrones para contratacin de personal es muy til al evaluar los resultados del proyecto. Por ejemplo, si tres gerentes de proyecto fueron contratados durante los dos primeros aos del proyecto y esta informacin es revisada de la mano de algunos otros eventos en la historia del proyecto, tales como un disturbio civil, (vea la Tabla #2) se puede crear una imagen de los eventos externos que afectaron la permanencia del personal. Se requiere una visin global, o las conclusiones podran ser errneas. Que el personal contribuya a establecer este recuento histrico o cronolgico es un ejercicio de grupo til; este proceso puede incluir al personal de apoyo administrativo y financiero. Sus contribuciones al xito del proyecto, con frecuencia son componentes ignorados en una evaluacin, an cuando esos funcionarios

74

tienen por lo general la mejor memoria institucional, y no tienen un sesgo tcnico. El equipo de salud puede hacer su propia cronologa sectorial y el equipo de agricultura lo propio se deben incluir factores relativos a la gestin general y factores externos, para no perder conexiones e interacciones clave.

Tabla de Seguimiento de los Indicadores de Desempeo

La mayora de los evaluadores notarn que la tabla de seguimiento de los indicadores de desempeo (IPTT) es una herramienta muy til para obtener una perspectiva general del proyecto. Sin embargo, muchos proyectos no mantienen esta tabla actualizada, y con frecuencia cada ao se genera un arduo y alocado trabajo para obtener las cifras actualizadas antes de la fecha de vencimiento de presentacin del informe anual, pese a ser un requerimiento de un proyecto Ttulo II. Esto no es un buen proceso ni para una evaluacin de medio trmino ni durante la evaluacin final. Y lo que es peor, los proyectos con frecuencia esperan que el evaluador llene, no slo las cifras ms actuales, sino todos los datos faltantes. Recolectar muchos de los indicadores que se requieren para la IPTT a mediados de la implementacin es por s mismo un desafo. El personal puede haber rotado y nadie ms podra saber cmo volver a recolectar esa informacin. O el proyecto pudo cambiar de enfoque y un conjunto de actividades particulares pudieron suspenderse. Todas estas pueden ser buenas excusas para posponer la oportuna actualizacin de la IPTT.

Paso 7: Planificar la Logstica de la Evaluacin

Una buena planificacin logstica es clave para el xito de una evaluacin. Al igual que el ejrcito avanza sobre sus coordenadas, tambin lo hacen los equipos de evaluacin. Si la logstica est mal planificada y financiada, incluso el mejor diseo de evaluacin fracasar. El resultado del sptimo, y ltimo, paso de la evaluacin debe ser un plan de logstica bien detallado y claramente coordinado. Los Principales Elementos de una Pre-planificacin incluyen: Disponer de una persona clave que reporte al gerente de evaluacin responsable de la logstica. Negociar las fechas preliminares y objetivos de las visitas de campo con las PVOs, organizaciones, funcionarios de gobierno y lderes comunitarios; y finalizar el calendario y horarios de visitas in situ, una a dos semanas antes de que el equipo de evaluacin llegue al lugar del proyecto. Identificar las fechas en que los funcionarios del distrito sern notificados por los evaluadores sobre el cronograma de visitas a comunidades especficas. Elaborar un anuncio de una pgina, que deber ser firmado por un representante de la pastoral anfitriona del proyecto, informando a las comunidades sobre la prxima visita. El anuncio debe incluir una breve descripcin del propsito de la visita, las fechas previstas para las visitas de campo y los nombres de los miembros del equipo de evaluacin (en el idioma local). Organizar temas logsticos como alimentacin, transporte, espacio fsico, facilidades de acceso a computadoras e impresin y alojamiento para el equipo.

Actividades de la dcima primera semana

Individuales 1. Realice la lectura de la semana. 2. Elabore un mapa conceptual para los pasos de una evaluacin. 3. Actualizar su diario de aprendizaje. Grupales 1. En grupo los y las estudiantes proceden a identificar una poltica, programa o proyecto social, para realizar un proceso de evaluacin.

75

Autoevaluacin 1. Qu saba o conoca usted acerca de los pasos de una evaluacin, antes de realizar la lectura? 2. Qu nuevas ideas aprendi? 3. Explquese a usted mismo o misma, cul es la lgica que siguen los pasos de una evaluacin.

76

DCIMA SEGUNDA SEMANA TEMA

Preparando la evaluacin
Objetivos de la semana
Al finalizar el estudio de la octava semana las y los estudiantes. Reconocen la importancia de preparar la evaluacin.

LECTURA
Tarea 1: Por qu quiere realizar una evaluacin?
Es importante saber por qu quiere comenzar el proceso de MyE ahora porque le ayudar a definir por dnde comenzar y cmo enfocar el proceso. Por ejemplo, si quiere usar el proceso de MyE para entender por qu un programa no funciona como se esperaba, lo primero que se puede hacer es hablar con el personal que implementa el programa y revisar algunos datos bsicos de monitoreo. Si, en cambio, un financiador ha preguntado qu impacto tuvo un programa recin terminado, entonces se debe clarificar primero con el financiador cules son sus preguntas y necesidades respecto a la evaluacin. Algunas razones comunes de querer realizar una evaluacin: 1. Un programa existente tiene problemas y se quiere averiguar cules son los problemas y cmo resolverlos. 2. Se quiere entender qu es lo que un programa existente ha logrado o est logrando. 3. Se est desarrollando un programa y se quiere que el plan de MyE sea parte del plan del programa desde un principio. 4. Una persona u organizacin externa, probablemente un financiador, quiere saber el impacto del programa.

Tarea 2: Revisar objetivos, actividades e implementacin del programa - Es ahora el momento de invertir en el proceso de MyE?
Sin importar sus razones por empezar un proceso de MyE, es un buen momento para revisar la lgica detrs de sus objetivos y actividades de programa. Esto es, esencialmente, una mini-revisin de su trabajo para determinar si su programa est preparado para un proceso completo de MyE. Es muy importante tener claridad sobre lo que se quiere lograr con su programa para disear una evaluacin efectiva. Por ejemplo, si se revisa la razn por cada actividad y se descubre que algunas actividades no estn bien conectadas a un objetivo, quizs quiera considerar cambiar esa actividad. O quizs si revisa su curriculum de capacitacin, descubre que algunos mensajes ya no se relacionan a su actual forma de pensar. Entonces, a lo mejor querr hacer los cambios a su curriculum antes de seguir con el proceso de MyE. Hay que saber si el programa generalmente se est implementado como se haba planeado antes de completar el proceso de MyE. Por ejemplo, si se descubre que las mujeres y los hombres a los que ms se quiere llegar no asisten sus talleres, entonces quizs se debe enfocar en esfuerzos de reclutamiento para los talleres antes de empezar la evaluacin. Si no es as, entonces ya se habr logrado algo con su proceso de evaluacin.

Tarea 3: Evaluar su programa: Manejar el riesgo

Realizar una evaluacin de programa puede ser especialmente difcil para las personas que han desarrollado y estn implementando el programa. Es importante abordar desde el principio lo que puede pasar con los hallazgos, particularmente qu pasar si los hallazgos no son los que se esperaban. Si se descubre que el programa no logr sus objetivos, qu pasar? Se usarn estos hallazgos para modificar el programa? Se afectar el financiamiento del programa? Se pondr en riesgo algn empleo?

77

Paso 2: Formar un equipo de Monitoreo y Evaluacin

Fundamento Se necesita un grupo principal de personas que son responsables para crear e implementar el monitoreo y evaluacin (MyE) de su programa. Un equipo con experiencia y perspectivas diversas le ayudar a entender y medir mejor el impacto de su trabajo. Debe haber 3 o 4 personas en el equipo de MyE y debe haber otros actores interesados claves que participan cuando sea posible y necesario.

Tarea 1: Elegir un lder del equipo de MyE

Alguien tiene que dirigir el proceso de monitoreo y evaluacin. Lo ideal es que esa persona tenga las siguientes caractersticas: una visin de lo que el MyE puede hacer para la vida de un programa; un entendimiento profundo del programa; autoridad para realizar de verdad el MyE; una buena relacin de trabajo con el personal del programa.

Tarea 2: Identificar a los actores interesados que quiere invitar a participar y en qu momento quiere que participen
Los actores interesados o implicados (tambin conocidos como stakeholders en ingls) tienen un inters o compromiso fuerte en su programa y/o el problema al que quiere impactar. Por ejemplo, el personal del programa, financiadores/donantes, clientes y lderes comunitarios son actores interesados. Hay que tener participacin de los actores interesados en su proceso de MyE; algunas deben formar parte del equipo de MyE y otras deben participar solo en ciertos momentos del proceso de MyE. Sin embargo, probablemente no ser posible que todos los actores interesados participen en el proceso de MyE.

Los actores interesados deben tener por lo menos una de las siguientes caractersticas:
un conocimiento profundo del problema que el programa aborda un entendimiento completo del impacto deseado del programa un conocimiento profundo de la implementacin real del programa Alguien que pueda y est dispuesto/a a manejar el proceso de MyE de principio a fin Personal que est involucrado en implementar el programa Personas que tengan un conocimiento profundo de los objetivos y actividades del programa y cmo se implementa en realidad. Incluya a personal que realice el programa adems de personas que participen en el programa. Algunas personas, como personal clave del programa y participantes siempre deben ser una parte principal del equipo de MyE, mientras otros deben incluirse solamente cuando se necesiten y cuando sea factible. Lo ideal es que los tomadores de decisin de su organizacin, cuya participacin puede legitimar el proceso de MyE y proporcionar recursos adicionales, se incluyan en alguna capacidad. Si es posible, el/la director/a de la organizacin debe participar en cierto nivel. Quizs no pueda participar en todas las reuniones del equipo de MyE, pero debe considerarse un miembro del equipo y estar presente en reuniones importantes si es posible. Alguien que entienda las implicaciones de una perspectiva de justicia social basada en derechos para la implementacin y evaluacin de programas. Alguien que tiene por lo menos un poco de conocimiento de monitoreo y evaluacin y/o investigacin. Si nadie de las categoras previas tiene esa especialidad o conocimiento. Pero si no puede encontrar a nadie, no se preocupe! Este juego de herramientas ser su acompaante en cada paso del proceso de MyE y recomendar referencias de las cuales puede aprender ms cuando es necesario.

Para su equipo de MyE, considere a personas que tengan las siguientes caractersticas:

78

Cundo y cmo involucrar a los actores interesados que no forman parte del equipo de MyE?
Decida cules personas de inters quiere tener como participantes ocasionales y en qu punto del proceso quiere incluirlos. Explique el proceso de MyE que se est realizando y cmo la participacin de ellas cabe dentro de ese proceso. Sea claro sobre los detalles de su participacin, por ejemplo: cuntas reuniones, cmo tendrn que participar ellos, las opiniones y recomendaciones que se les pedir, la importancia de mantener la confidencialidad, etc. Establezca si van a recibir alguna remuneracin por su tiempo, gastos de viaje u otros, particularmente si viajan desde lejos y/o tienen que pasar la noche. Establezca la autoridad final de tomar decisiones. Si el equipo de MyE tiene esa autoridad, deje entender que es as, pero tambin que sus consejos se considerarn y se los agradecer.

La participacin de actores interesados que no son personal de su organizacin puede:

Ayudar a mantener una relacin importante con la comunidad y las personas con las que se quiere trabajar Contribuir a hacer el programa y la evaluacin responsables a las personas que se quiere servir Dar a los involucrados una voz y un rol en el proceso de realizar el programa Asegurar que se entienden y se toman en cuenta perspectivas diversas sobre el programa y sus objetivos Aumentar el involucramiento de la comunidad Ayudar a comprender cmo hablar sobre temas muy ntimos con clientes Asegurar que se tomen en cuenta normas locales, culturales, y de clase y gnero para facilitar un plan de accin sensata Ayudar a apalancar recursos adicionales y crear coaliciones Crear destrezas entre los actores interesados que les permite a influir la evolucin del programa Crear un lenguaje comn para hablar y pensar en los objetivos y actividades del programa

Las realidades:
Hay que ser sensible a los que se invita a participar y los que no. Las personas no incluidas pueden sentirse ofendidas o las que se invitan pueden sentir que es una obligacin que no pueden cumplir pero no quieren decir que no. Algunas personas tomarn una invitacin a participar como un acuerdo implcito de que se respondern y se incorporarn sus sugerencias en el proceso de planificar, monitorear y evaluar el programa. Incluir a las personas y escucharlas de verdad requiere una inversin. Si se incluyen las personas y no se toman sus perspectivas en cuenta, el resultado puede ser peor que si no se hubieran incluido. Adems, no siempre es factible, ni tiene sentido, invitar a todos los actores interesados en el proceso de MyE para cada reunin. Use su tiempo, y el tiempo de Ud., sabiamente; enfoque su participacin en momentos claves del proceso. Las organizaciones que tienen una misin parecida pueden ser participantes interesados de mucho valor. Sin embargo, invitarlos a participar puede ser difcil porque, de alguna forma, a lo mejor son sus competidores (compiten para la misma financiacin y apoyo).

79

Hoja de trabajo: Herramienta para seleccionar a actores interesados

Categoras de actores interesados para considerar

Nombres de posibles candidatos y sus afiliaciones*

Especialidad, caractersticas que contribuiran al proceso de MyE Caractersticas para considerar:

Personal del programa

Participantes del programa

Otro personal

Lderes comunitarios

Donantes/Financiadores

Otras organizaciones

1. Familiarizado/a con los temas relacionados a los objetivos del programa. 2. Familiarizado/a con las problemticas que sern medidas. 3. Disponible durante el tiempo planeado para el proceso de evaluacin. 4. Cuyos gastos caben dentro de los recursos que tienes disponibles. 5. Conocen a la comunidad y tienen el poder de fomentar apoyo para la comunidad. 6. Grupos que han sido marginados e ignorados histricamente por los lderes de la comunidad, tienen alto riesgo para el problema que se est abordando y tienen acceso limitado a los servicios y programas.

Otros

80

Tarea 3: Nombrar a los miembros de su equipo de MyE

Puede utilizar la hoja de trabajo para generar su equipo de MyE. Hoja de trabajo: La hoja de trabajo para el equipo de MyE puede ayudar a decidir a quin va a incluir.

Nombre

Posicin/Departamento de la Organizacin o Tipo de Persona Interesada

Especialidad (por ejemplo: conoce a la comunidad, tiene experiencia en anlisis, etc.) Escoja de 3 a 4 personas. Incluya a alguien con experiencia en MyE. Incluya a alguien familiarizado con la perspectiva de justicia social basada en los derechos. Si es posible, incluya a un representante de su organizacin que tiene autoridad para tomar decisiones. Asegure la representacin de todas las partes relevantes de su organizacin o el programa. Nombre a una persona responsable para coordinar el equipo.

81

Tarea 4: Crear una perspectiva de aprendizaje en su equipo de MyE Asegrese de que el/la director(a) enfatiza a todo el personal que considera el proceso de MyE una activi
dad de alta importancia para la organizacin. Si los lderes apoyan el proceso de MyE ser ms fcil que los participantes inviertan el tiempo necesario y sean honestos respecto a buscar las verdaderas respuestas. Ayude a los miembros del equipo de MyE a expresar sus preocupaciones sobre el proceso de MyE. El proceso de MyE requiere la disponibilidad de examinar de verdad el impacto que el programa ha tenido; por eso tensiones y hasta luchas de poder pueden surgir. Ayude a los miembros del equipo a expresar sus preocupaciones. Aborde sus preocupaciones como grupo y busque llegar a un acuerdo sobre cmo manejarn los aspectos del proceso que tienen potencial a ser incmodos. Clarifique que los hallazgos no sern usados en contra de nadie. Cree un ambiente seguro y asegure que los hallazgos no sern usados para medir desempeo o penalizar al personal de ninguna manera. Enfatice que los hallazgos del proceso de MyE sern usados para mejorar el programa y podrn atraer financiacin adicional. Hablen de lo que puede pasar si se encuentra que el programa no ha tenido el impacto esperado.

Actividades de la dcima segunda semana Individuales

1. Realice la lectura de la semana. 2. Elabore un diagrama de flujo para los pasos de una evaluacin. 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, inicien la elaboracin de la matriz de la evaluacin. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos concretos han llegado a su mente? 3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta semana? Enumrelos en orden de importancia y justifique su respuesta.

82

DCIMA TERCERA SEMANA TEMA Identificacin del pblico y las preguntas de la evaluacin Objetivos de la semana
Al finalizar el estudio de la novena semana las y los estudiantes. Reconocen la importancia de la identificacin del pblico y las preguntas de la evaluacin.

LECTURA
Paso 3: identificar al pblico y las preguntas para la evaluacin
Las opciones para disear su evaluacin sern formadas por los interesados en sus hallazgos (el pblico) y tambin las preguntas principales que hay que contestar. Uno de nuestros principios gua (los valores que nos motivan) del proceso de MyE es que el personal del programa debe ser una parte principal del pblico de la evaluacin; debern realizar el proceso por y para su personal mismo para aprender de los hallazgos y mejorar su trabajo. Sin embargo, reconocemos que son los financiadores en particular, adems de otros pblicos, que querrn ver, o quizs exigirn ver los hallazgos de la evaluacin.

Determinar los diferente pblicos principales de la evaluacin Determinar qu preguntas quieren que se contesten Averiguar qu tipos de informacin ser ms til para ellos

Renanse con su equipo de MyE y hagan las Tareas 1 y 2. (Incluya a actores interesados claves que no son parte del equipo si es factible y apropiado)

Tarea 1: Determinar el pblico y comprender sus necesidades

Piense en los diferentes miembros de su pblico las personas que querrn ver los hallazgos de su evaluacin. Cules son las preguntas que ms quieren contestar? Algunos miembros de su pblico (como los oficiales de gobierno o directores de programas pblicos, asesores econmicos y algunos financiadores) quizs tengan ms inters en preguntas enfocadas en la magnitud del cambio, antes y despus del programa y sern ms convencidos por los nmeros o datos cuantitativos. Otros (como periodistas y organizaciones colegas) buscarn preguntas enfocadas en cmo ocurri el cambio y qu significa para los participantes y sern ms convencidos por los datos cualitativos como las historias personales y las palabras de las personas involucradas. Su equipo de MyE y su organizacin probablemente querrn ambos tipos de informacin. Debe tratar de recibir aporte de algunos actores interesados, especialmente su personal y financiadores del programa, para pensar en los miembros de su pblico para el proceso de MyE y sus necesidades. Quizs quiera utilizar la hoja de trabajo Necesidades de informacin de su pblico para categorizar a los miembros de su pblico y su inters en la evaluacin.

83

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) del pblico

potencial(es)

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios

1. Identifique quin necesita enterarse

de sus hallazgos.

Lderes comunitarios

2. Cun importantes son? El nmero 1 3. 4.

corresponde al pblico principal de los hallazgos de su evaluacin. Sea claro sobre qu quiere Ud. que se haga con los hallazgos. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qu tipo de informacin sera ms til y convincente para ellos.

Polticos

Otros de la comunidad o de otras instituciones

5. 6.

Financiador(es)

Periodistas y lderes de opinin

Miembros directiva

de

su

junta

84

Personal de la organizacin fuera del programa evaluado

Otros

Tarea 2: Definir las interrogantes de la evaluacin: Monitoreo y Evaluacin

Hay que contestar preguntas que tienen que ver con monitoreo y tambin evaluacin: Las preguntas de monitoreo se enfocan en el proceso cmo su programa se realiza/fue realizado. Las interrogantes de la evaluacin se enfocan en el impacto el cambio que el programa ayud a crear o el que produjo en la poblacin objetivo.

Cuando se escriben las interrogantes de la evaluacin, tenga en mente: El problema de enfoque Los objetivos y actividades del programa Los diferentes miembros de su pblico

85

Algunas preguntas comunes para una evaluacin:

Monitoreo (Proceso): o Cules estrategias fueron implementadas en realidad? o Fueron implementadas las actividades cmo se pretenda? o Hubo factores que cambiaron o hicieron ms difcil la realizacin del programa? o Quin particip? Los participantes que queran? Otros? Evaluacin (Cambio): o Qu impacto tuvo el programa? Tuvo el impacto deseado? Hubo algn impacto no esperado? Hubo algn impacto negativo? Cul fue la diferencia cuando se hace una comparacin antes y despus de la participacin en el programa? Hubo alguna diferencia entre los que recibieron la intervencin y los que no? o A qu nivel tuvo impacto el programa? Individuo Pareja Familia Comunidad Institucional (por ejemplo, fomentar capacidades o cambiar polticas) o Cules aspectos del programa tuvieron el impacto deseado? Cules actividades produjeron el cambio deseado? o Cul fue la experiencia de los participantes del programa? Desde su perspectiva, cul fue el aspecto ms importante del programa? Si los participantes experimentaron un cambio, lo atribuyen al programa? Si as es, cul fue el cambio ms importante para ellos? o Fueron ms beneficiados ciertos participantes en comparacin con otros? Cules factores formaron el impacto del programa respecto a los participantes? Hubo alguna diferencia de impacto entre mujeres y hombres? adultos y jvenes? personas de diferente estatus socioeconmico? Personas de diferentes grupos tnicos? Hubo alguna diferencia en la experiencia o impacto del programa para los que son marginalizados de alguna forma y los que no?

Tarea 3: Identificar un enfoque para su evaluacin

Ahora hay que determinar cules de las necesidades del pblico y cules interrogantes de la evaluacin deben y pueden ser contestadas. o Cules son las preguntas que ms quieren contestar el personal del programa y los actores interesados? o Cmo puede el equipo de MyE priorizar las diferentes necesidades para informacin dados el tiempo, los fondos y los recursos humanos disponibles en este momento? Haga la lista de preguntas que se contestarn y comprtala con los miembros principales de su pblico para aporte y retroalimentacin. Podr encontrar que este esfuerzo ayude a recaudar ms fondos para el proceso de MyE, particularmente si el financiador es su pblico principal.

Actividades de la dcima tercera semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Preparen el paso 3 del plan de evaluacin. 2. Actualicen su matriz de evaluacin. 3. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu nuevo ha aprendido durante esta semana? 3. Qu cree que debe investigar ms, para una mejor comprensin del tema?.

87

DCIMA CUARTA SEMANA TEMA Seleccin de informacin para una evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima semana las y los estudiantes. Seleccionan la informacin a considerar en una evaluacin.

LECTURA
El monitoreo y la evaluacin no han sido pensados para espiar tu trabajo, sino para reflejar las marcas de tu desarrollo - Mr. Casius Chuma Durante esta semana, veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluacin. El diseo del sistema de MyE se realiza desde el inicio del proyecto (con posibles modificaciones sobre la marcha) y consiste en la identificacin y la seleccin del tipo de informacin que ser necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos: 1. 2. 3. 4. 5. 6. Identificacin de las preguntas de desempeo. Identificacin de las necesidades de informacin e indicadores. Conocer la informacin base que se requiere. Seleccionar los mtodos de recoleccin de datos Identificar el apoyo prctico necesario para la recoleccin de datos. Organizar el anlisis, la retroalimentacin y el cambio.

Las necesidades especficas de informacin se pueden identificar reflexionando sobre las preguntas que se quieren responder (preguntas de desempeo clave) con el MyE; la identificacin de los cambios que se espera observar (indicadores); la comparacin de la situacin inicial (lnea base) con la situacin intermedia y final (metas) y los medios para verificar los logros (medios de verificacin).

Preguntas de desempeo
Comnmente, cuando comenzamos a disear el sistema de MyE, se pasa directamente de elaborar los objetivos de la intervencin a la formulacin de los indicadores. Esto puede ser problemtico, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseo, y no nos detenemos a pensar por qu los indicadores que proponemos son de utilidad y de qu forma podran apoyar el proceso de adopcin de decisiones. Formular preguntas de desempeo claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboracin de indicadores, puede ayudar de manera significativa a guiar el MyE de tal forma que realmente sirva a nuestras necesidades y permita mejorar el desempeo del proyecto. (Guijt y Woodhill, 2002).

88

En la siguiente tabla, se presentan ejemplos de preguntas de desempeo (generales y especficas) para cada nivel de intervencin y los indicadores que se desprenden de ellas.

Una vez formuladas las preguntas, el siguiente paso consiste en identificar la informacin necesaria para responderlas. Con este fin, se definen indicadores para cada nivel de intervencin.

Indicadores objetivamente verificables

Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicacin) de los objetivos de un proyecto (Comisin Europea, 2002). Los indicadores permiten especificar la forma en que se verificar el grado de cumplimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lgica de intervencin. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios. De manera general, los indicadores sirven para: Clarificar la lgica entre las actividades, los resultados y los objetivos del proyecto. Focalizar de forma ms especfica la intencin del proyecto, al indicar qu se quiere lograr, con qu caractersticas, en dnde, en qu tiempo, para qu poblacin, etc.

89

Medir el avance y los logros permiten saber si efectivamente se est realizando lo planeado y conocer el impacto de nuestra accin. Informar la toma de decisiones para hacer cambios en el curso de la accin. Revisar el desempeo del proyecto y del equipo encargado de su ejecucin, as como los tiempos y recursos disponibles.

Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulacin correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como mapa para guiar las actividades, al definir claramente las necesidades y el enfoque para la recoleccin de datos.

Categoras de indicadores
Por sus caractersticas Cuantitativos: son medidas estadsticas que miden los logros en: Nmero Porcentaje Frecuencia Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000) Proporcin (por ejemplo, proporcin de mujeres del total de la poblacin) Cualitativos: Reflejan un comportamiento, una situacin o una descripcin de cmo se hacen o perciben las cosas. Pueden ser opiniones, actitudes, prcticas y comportamientos de la poblacin hacia una situacin o en relacin con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensin, conocimiento, sensibilizacin o empoderamiento. Miden los avances en trminos de: Cumplimiento con. Calidad de. Las caractersticas Grado en el que Nivel de. Percepcin acerca de. Indicadores sustitutos o Proxy: para aquellos casos en los que no hay datos disponibles para los indicadores ideales, o que es muy difcil o costoso obtener estos datos, se pueden emplear indicadores sustitutos o proxy para medir el objetivo. No es una medida directa de la situacin sino una forma paralela de obtener la informacin con base en una relacin conocida entre ambas variables. Por ejemplo, ante la falta de datos sobre la corrupcin en algunos pases, muchas agencias de cooperacin emplean informacin de encuestas sobre la percepcin del nivel de corrupcin en el pas como un indicador alternativo. De forma similar, la medicin del ndice de Desarrollo Humano por agencias de la ONU emplea el indicador de expectativa de vida al nacer como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlacin entre el nmero de aos que vive la gente y las condiciones de vida y de servicios de salud en un pas) (PNUD, 2009).

Por el nivel de intervencin

Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarqua de intervencin. As, en el enfoque de marco lgico, se pueden identificar tres tipos de indicadores:

90

Indicadores de Proceso para las Actividades Indicadores de Efecto (o impacto) para los Resultados Indicadores de Impacto para el Objetivo general y el objetivo especfico.

Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarqua de intervencin, la informacin del MyE tiende a perder concrecin. En el nivel de las actividades y los resultados es mucho ms fcil de medir y mostrar avances en los indicadores al ser informacin sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general ms difcil de determinar y ms complicado de medir (Guijt y Woodhill, 2002).

Indicadores de Proceso
Son indicadores sobre la realizacin de las actividades, enfocados en medir eventos importantes que puedan reflejar el resultado de la ejecucin de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que conducen a los resultados, por s mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos bsicos del proceso de MyE. Las fallas o el mal desempeo de resultados u objetivos muchas veces dependen de fallas en la implementacin de las actividades, y estos indicadores permiten identificarlas. Los indicadores de proceso permiten adems precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la participacin de la poblacin involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso. La matriz de marco lgico no prev la inclusin de indicadores de proceso (en la seccin de actividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el monitoreo de los avances. Ejemplos de indicadores de proceso: Nmero de participantes en un taller. Nmero de talleres de capacitacin impartidos Nmero de beneficiarios de la entrega de ayuda alimentaria

Indicadores de Efecto
Son indicadores para medir el progreso y los cambios generados a nivel de resultados y objetivo especfico. Para el caso de la medicin de los resultados, los indicadores de efecto emplean descripciones especficas (de cantidad, calidad y tiempo) de los productos generados. Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos indicadores reflejen la calidad del efecto que se produce, se recomienda considerar: Descripcin de la calidad: no basta con que algo se produzca, se modifique o se cambie. Es necesario que este cambio o logro tenga las cualidades que consideramos adecuadas. As, los indicadores cuantitativos deben ir acompaados de especificaciones cualitativas que describan el cambio ideal y la utilidad para los beneficiarios. Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun despus del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptacin cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad econmica y financiera; capacidades y conocimientos adquiridos; variables organizativas y participacin de la poblacin involucrada en el diseo y la ejecucin del proyecto. Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central el fortalecimiento de capacidades locales, es importante considerarlo y reflejarlo en la medicin, pues est directamente vinculado con el empoderamiento de la poblacin local y la sostenibilidad de los resultados.

91

Participacin: en la medida en que los grupos meta y beneficiarios del proyecto participen en su diseo y en su implementacin, el proyecto tendr ms pertinencia con relacin a las necesidades de la poblacin local y tendr ms posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indicadores sobre el nivel de participacin que se ha logrado a raz de la intervencin.

Ejemplo de indicador de efecto: Resultado - Servicio mejorado: al final del cuarto ao de ejecucin del proyecto, 23 pueblos rurales de Sacatepquez, cada uno con una poblacin de 2.500, estn servidos con 115/litros/persona por da de servicio continuo de agua potable.

Indicadores de Impacto
Son indicadores que miden el cambio logrado en el mediano o largo plazo, al final del proyecto o incluso despus de su cierre. Estn directamente relacionados con la medicin de nuestro objetivo general (en algunos casos con el objetivo especfico) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, econmico, poltico, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto ms amplios, de contribucin a un objetivo general a nivel regional o nacional, su medicin puede ser ms complicada, debido a que involucra datos y estadsticas macro sobre niveles de bienestar social y econmico que en algunos pases o en ciertos momentos no estn disponibles. Adems porque al ser problemticas ms amplias, es muy complejo determinar el impacto de nuestra accin especfica en una situacin sobre la cual pueden influir mltiples factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos.

El proceso de MyE se basa primordialmente en la comparacin. Los indicadores que definamos nos permitirn obtener informacin sobre la situacin generada por la intervencin del proyecto. Para conocer el nivel de impacto de nuestra accin esta informacin debe ser comparada, y esta comparacin puede hacerse de tres formas (Guijt y Woodhill, 2002):

92

1. Comparar la situacin inicial o anterior a la del proyecto con la situacin despus de la intervencin. 2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares. 3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia). Para hacer una comparacin de los indicadores y medir nuestro impacto, es recomendable emplear informacin de lnea base, ya sea que haya sido recopilada antes de la intervencin, en la primera medicin de avances, o a travs de fuentes secundarias (documentacin existente: encuestas nacionales o estudios e investigaciones).Tambin se debe definir las metas por alcanzar, estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009).

Actividades de la dcima cuarta semana Individuales

1. Realice la lectura de la semana. 2. Elabore un flujograma para describir el proceso a seguir en la seleccin de la informacin. 3. Actualice su diario de aprendizaje.

Grupales
1. Comparta con sus compaeros y compaeras de grupo, en la clase su flujograma, luego construyan uno de manera grupal.

Autoevaluacin
1. Qu sentimientos concretos han llegado a su mente al realizar la lectura anterior? 2. Est usted de acuerdo con los criterios enumerados por la lectura para la seleccin de la informacin? 3. Con cules criterios no est de acuerdo y por qu? 4. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cules? 5. Cun bien cree usted que ha comprendido esta parte? En una escala del 1 al 10, en la que 1 es "no la he comprendido" y 10 es "he comprendido todo muy bien", dnde se ubicara usted? Explique sus razones.

93

DCIMA QUINTA SEMANA TEMA Identificacin de las fuentes de informacin para la evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima segunda semana las y los estudiantes. Identificarn las fuentes de informacin, para su plan de evaluacin.

LECTURA
Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pblico. El monitoreo se asocia con indicadores. Y, a su vez, la seleccin de indicadores idneos para el monitoreo no resulta completa hasta cuando se identifiquen las fuentes de informacin que brindarn los datos necesarios para construir los indicadores. Tratndose de un proceso que se realiza continuamente durante la ejecucin de un programa, el monitoreo requiere de fuentes de datos e informacin que podrn ser actualizados (y monitoreados) a travs del tiempo, en plazos que brindarn informacin pertinente y oportuna para los gestores. As, el monitoreo requiere de fuentes de informacin que se actualizan continuamente o que brindan actualizaciones con una periodicidad idnea para verdaderamente generar informacin til para los que toman decisiones con respecto al programa, sus actividades y sus inversiones. En la unidad 3.2 propusimos que la identificacin de indicadores debe incluir la definicin de las fuentes de informacin o los mtodos de recopilacin de datos para su elaboracin. En esta unidad, vamos a proponer unas pautas para contemplar posibles fuentes de informacin o mtodos de recopilacin.

Fuentes primarias y fuentes secundarias

Iniciamos la reflexin con una distincin bsica entre dos tipos de fuentes de informacin: Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que estn gestionando el proceso de monitoreo, por medio de procesos de recopilacin que ellos mismos disean y gestionan. Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a mtodos de recopilacin de datos. Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera que resulten tiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de informacin del proceso. El cuadro que se presenta a continuacin propone resumir posibles fuentes primarias y fuentes secundarias, para los procesos de monitoreo de programas sociales. Vern que se presentan primero las fuentes secundarias. Esto, porque en general, se recomienda que los procesos de investigacin y anlisis tomen las fuentes secundarias, pues se pueden economizar los esfuerzos y los recursos de recopilacin de datos. A su vez, se reconoce que las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del anlisis o investigacin a los mtodos de recopilacin de datos ya aplicados. El cuadro intenta caracterizar cada posible fuente de informacin con ejemplos, una identificacin preliminar de ventajas y desventajas que podran presentar para los procesos de monitoreo y una identificacin de algunas

94

fuentes de informacin impresa y de acceso electrnico. Cabe anotar que la mayora de los links electrnicos llevan a referencias redactadas en ingls. Las fuentes impresas son, en su mayor parte, disponibles en espaol.

95

96

97

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo: Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las organizaciones ejecutoras del programa. Resulta apenas lgico que la mayora de los datos van a resultar de fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditora, entre otros. Evidentemente, los datos de registros administrativos se podran complementar y cualificar con datos de entrevistas con diversos actores de estas organizaciones. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores se pueden construir con datos recopilados por los establecimientos o los mbitos donde se entregan los productos o servicios del programa. Para estos datos, lo ms comn sera utilizar registros administrativos y, en algunos casos, fichas de atencin a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como fuentes primarias, pues se recopilaran directamente por los gestores del programa, para fines de monitoreo. Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la generacin de los efectos. La construccin de estos indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuentes secundarias de informacin. Se podra utilizar datos de encuestas -- bien sean recopiladas primordialmente para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (encuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pueden utilizar datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones que interactan con la poblacin objetivo del programa.

98

Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Estos indicadores requieren de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y tambin de datos internos de la organizacin. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de informacin: fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la actividad empresarial o de los indicadores macroeconmicos) y fuentes que monitorean la gestin de estrategias de manejo del riesgo (que muy probablemente se tratarn de datos internos).

Factores que se deben tomar en cuenta para la seleccin de fuentes de informacin

Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el criterio primordial para la seleccin de las fuentes de informacin. Una fuente de informacin secundaria solo va a ser til si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenmenos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisin de levantar los datos primarios, hay que ser fiel a los fenmenos que se proponen monitorear. Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizaciones o grupos. Si se propone realizar una recopilacin de datos primarios, es necesario preguntar si se va a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una muestra representativa del mismo. De la misma manera, la viabilidad del uso de datos de una fuente secundaria depende de la cobertura del mismo: los datos cubren las poblaciones, los grupos, los procesos o las organizaciones que proponemos monitorear? Cubren una muestra representativa de ellos, de forma que podramos proponer generalizar a partir de los datos recopilados? Periodicidad: Por definicin, el monitoreo va a requerir de datos que se recopilan con cierta periodicidad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al disear un mtodo de recopilacin y/o juzgar la idoneidad de una fuente secundaria de informacin. Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestral, etc.) de datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales, etc.) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de actualizacin de datos (por la exigencia de los mtodos de su recopilacin), conviene definir unos indicadores intermedios o unos indicadores proxy para poder hacer un seguimiento de evidencias que sugieran que pueda (o no) estar presentando evidencias de posibles efectos e impactos. Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los diferentes datos particularmente de los efectos e impactos tiene que ver con el tiempo necesario para que se produzca una varianza en el indicador. Una tasa de escolaridad de la poblacin mayor de 10 aos, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayores de 25 aos solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta naturaleza en el proceso de monitoreo, tambin podra convenir incluir en el monitoreo unos indicadores intermedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce hacia ese logro. Costos: Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en la definicin de fuentes de informacin. Es importante tener en cuenta los recursos necesarios (recursos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas alternativas de fuentes de informacin.

99

Hoja de trabajo: Seleccionar fuentes de datos

Indicador Fuentes potenciales de datos Criterios para la seleccin de fuentes de datos Completitud, precisin, pertinencia Facilidad en el acceso y factibilidad Falta de riesgos para las personas que responden

Si se comienza la evaluacin de un programa nuevo:

Construir una lnea de base quiz constituya el paso ms importante para asegurar que se llegue a hallazgos tiles. Es necesario recolectar al menos algunos datos de base acerca de las interrogantes ms importantes de la evaluacin. Cundo recolectar datos de base: 1. antes del inicio del programa. Si se realiz un diagnstico de necesidades (evaluacin de necesidades) que incluy la recoleccin de datos sobre los indicadores, habr que utilizar dichos datos como la lnea de base. Aplicar el instrumento para la recoleccin de datos cuando las personas se apuntan para el programa. Revisar los documentos antes del comienzo del programa. 2. al inicio del programa En los casos en que las personas se inscriben o comienzan a participar a partir de un momento especfico, se puede aplicar un instrumento pre-prueba con las mismas preguntas que se utilizar en las valoraciones medias y/o finales. En los casos en que los y las participantes en el programa no son un grupo cautivo, aplicar el instrumento pre-prueba a una muestra de personas, eventos o documentos, que estarn expuestos al programa. 3. en una etapa temprana del programa, antes de poder esperar resultados. Cmo mantener los gastos bajos: 1. utilizar datos del diagnstico de necesidades, si a. son aptos para los indicadores que se han determinado como necesarios para la evaluacin

100

b. se recolectaron de la misma fuente de datos que se utilizar en la lnea media y/o final c. se recolectaron de la misma manera en que se recolectarn en la lnea media o final 2. priorizar las preguntas ms importantes a. centrarse en los objetivos especficos y en las actividades ms importantes respecto al equipo del programa, los actores interesados y los donantes b. enfocarse en los subgrupos ms importantes dentro de la poblacin potencial, como seran las madres solteras, los nios menores, los polticos o la prensa ms conservadora, las personas ms estigmatizadas, es decir, las personas ms importantes para los resultados del programa.

Si se evala un programa ya en marcha:

Es un desafo comn evaluar un programa que no cuenta con una lnea de base adecuada.

Si existe una lnea de base:

Aunque no es muy comn, es posible encontrar que se ha realizado algunas mediciones iniciales. Se podr hacer uso de dichos datos, si: la lnea de base existente incluye informacin acerca de los indicadores que ya se han determinado como necesarios para evaluar los cambios respecto a los objetivos inmediatos e intermedios los datos existentes pueden ser analizados de nuevo o reagrupados, con el fin de proveer la informacin necesaria para medir el cambio respecto a los objetivos inmediatos e intermedios del programa se aplic la lnea de base en personas que participan en el programa, o muy similares a ellas se recolectaron los datos de formas similares a las que se utilizar para recolectar los datos postprueba

Icono de punto importante: Es mejor no tener una lnea de base, que llegar a conclusiones errneas de una lnea de base mal construida.

Si no existe una lnea de base:

Esta constituye la situacin ms comn. Utilizar un grupo de comparacin. Si no hay un grupo de comparacin disponible o apropiado, construir una comparacin de lnea de base retrospectiva, mediante: o La creacin de versiones retrospectivas de las preguntas medias o finales, por ejemplo, antes del programa o en tal ao, cmo era la situacin respecto a X, Y o Z? o La utilizacin de percepciones cualitativas de los cambios, al preguntar a las personas que responden cmo perciben la diferencia entre la situacin antes del programa y el momento actual. o La utilizacin de diferentes maneras de indagar sobre cmo eran las cosas antes del programa, por ejemplo, las percepciones de las personas, ms los registros municipales. Ello es otro ejemplo de cmo puede ayudar la triangulacin. o Siempre habr que incluir una pregunta respecto a si los y las participantes en el programa perciben cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, este tipo de pregunta complementar los datos y puede llevar a conocimientos significativos.

Cmo ayudar a la gente a recordar?

Siempre existe un riesgo al preguntar a las personas cmo estaban las cosas antes del programa. Quiz se hayan olvidado, u otros eventos hayan causado que recuerden las cosas de otra manera. Con el fin de ayudarles a recordar, habr que ubicarles en el perodo de tiempo de inters para la evaluacin. Por ejemplo, en la introduccin a la entrevista o la seccin, pedir que recuerden dnde vivan, con quin vivan, a qu se dedicaban. Una vez ubicadas en el perodo de tiempo, se les puede plantear preguntas especficas respecto a la lnea de base.

101

Cundo constituye la lnea final el fin?

En qu momento despus del fin del programa se desea medir la lnea final? Si se espera varios meses o aos: o Es ms probable que se detecte cambios que han persistido e incluso que se han vuelto ms marcados con el tiempo. o Puede ser ms difcil y costoso encontrar a las personas o los registros necesarios para evaluar. o Es posible que las personas ya no recuerden nada o lo que recuerdan est distorsionado. o Otros factores pueden haber aumentado o reducido los resultados que se intenta evaluar. Si se mide inmediatamente despus del cierre del programa: o Se puede medir cambios inmediatos (objetivos). Los cambios pueden ser de corta duracin, y no se podr demostrar resultados ms duraderos. o La evaluacin podr ser ms fcil y menos costosa.

El escenario ideal es hacer ambos, pero con recursos limitados, habr que realizar las mejores comparaciones posibles, en el momento en que se cuenta con los recursos.

De qu tamao debe ser la muestra?

El asunto puede reducirse a cuestin de tiempo y dinero. o Determinar cunto tiempo, dinero y personas estn disponibles para recolectar los datos. o Determinar cunto tiempo y dinero se necesita para cada tipo de recoleccin (una vez diseados los instrumentos de recoleccin de datos, en el Mdulo 6), y proceder a la inversa. o Equilibrar el tipo de instrumento con el nmero de fuentes a incluir. Por ejemplo, quiz se pueda aplicar una encuesta breve a todas las personas, pero si se quiere realizar entrevistas a profundidad, probablemente se tendr que elegir una muestra pequea. o Tener en mente el tipo de interrogante de la evaluacin, al que se pretende dar respuesta. A veces ser mejor una recoleccin de datos ms profunda en una muestra ms pequea, que muchos datos superficiales de una muestra ms grande. Si se utiliza instrumentos de recoleccin de datos cualitativos (vase el Mdulo 6), habr que planear la inclusin de al menos 3, pero de preferencia 5 personas para cada categora que se utiliz para seleccionar la muestra. Ejemplo: Si la muestra debe incluir hombres que tienen relaciones sexuales slo con hombres, hombres que tienen relaciones sexuales slo con mujeres, y hombres que tienen relaciones sexuales con ambos, habr que intentar formar una muestra de 3 a 5 hombres para cada una de estas categoras.

Evitar sesgos en las comparaciones

Comparaciones de lnea de base versus lnea final: Es importante establecer la confianza durante la valoracin de base, a fin de evitar el sub-registro de conductas o actitudes que son criticadas socialmente, y evitar el sobre-registro de conductas o actitudes populares o de mucho status. o Al recolectar datos para la lnea de base, quiz sea necesario explorar temas sobre los cuales es difcil hablar. Las personas entrevistadas que an no ingresan al programa, quiz subregistren conductas o actitudes delicadas o polmicas, o bien, se jacten de sus hazaas. o Por medio de la participacin en el programa, donde probablemente se desarrolle la confianza, quiz se encuentre niveles ms elevados de conductas respecto a las cuales no se pudo hablar cuando se realiz la lnea de base; asimismo, es posible encontrar niveles reducidos de jactancia acerca de actitudes o conductas de mucho status. En ambos casos, se alterarn las comparaciones. o Preguntar a los y las participantes si se sienten bien al hablar de temas delicados, y en la valoracin post-prueba, si se sintieron ms o menos cmodos/as que antes, hablando de dichos temas. o En la lnea media o final, preguntar si las personas participantes percibieron cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, una pregunta de esta ndole complementar dichos datos y puede llevar a importantes conocimientos nuevos.

102

Planear y utilizar los datos de monitoreo para medir cambios en el desarrollo u otros eventos o intervenciones que alteran la vida, mismos que pueden ocurrir entre la valoracin de base y la final. o Las personas jvenes pueden haber cruzado umbrales en su desarrollo durante su estancia en el programa, como sera el inicio de la actividad sexual. Si el programa buscaba reducir la actividad sexual insegura, ello no significa que el programa no tuvo efecto. Su conducta an podra ser mucho ms segura en comparacin con jvenes similares que no tuvieron contacto con el programa (un grupo de control). o Pudieron haber ocurrido eventos externos que afectan los hallazgos, como seran disturbios polticos, escndalos, desastres naturales, la transmisin de programas educativos en televisin o radio, etc. o Si se est haciendo uso de registros pblicos, el personal pudo haber recibido nuevos incentivos o capacitacin para redondear su preparacin, o bien, un nuevo gerente o un nuevo sistema de evaluacin les pudo haber intimidado en cuanto al registro de cierta informacin. Revisar la composicin de los grupos reales que se estn comparando. o La desercin durante el programa o la incorporacin tarda de personas (despus de haberse aplicado la pre-prueba), puede llevar a que los grupos pre-prueba y post-prueba ya no sean iguales en algunas caractersticas esenciales, como la motivacin, la escolaridad, el apoyo familiar, etc. Al revisar los datos de monitoreo continuamente, ser posible percatarse de esta situacin, y ojal evitar sesgos en las comparaciones. o Decida si se van a utilizar solamente encuestas apareadas, en las cuales se ha diseado una forma de identificar a las personas en la pre-prueba y post-prueba aun manteniendo su anonimato, para saber el impacto del programa en el individuo. Planear la forma de realizar comparaciones persona por persona en los momentos de pre-prueba y post-prueba. Aun si se cuenta con un subgrupo pequeo, cuyos integrantes se pueden aparejar con personas que responden, se puede obtener informacin valiosa acerca del cambio a nivel individual, de tal forma que si los grupos terminan variando, an se podr saber si el programa tuvo impacto o no. o Si el anonimato constituye un asunto a manejar, asegurar la inclusin de un identificador nico (Un grupo reducido de preguntas que la persona respondedora recordar y contestar de la misma manera cada vez que se le entreviste, sin revelar su identidad, como sera el nombre de la hermana o el hermano ms cercano en edad, el color favorito, el nmero de hermanos y hermanas) en el instrumento de recoleccin de datos, a fin de aparejar las personas que responden sin revelar su identidad.

Ms vale prevenir que lamentar

Siempre es algo riesgoso depender de una lnea de base reconstruida despus del hecho. Siempre es mejor recolectar datos base al comienzo del programa. Sin embargo, si no existe un grupo lgico de comparacin, y se necesita estimar una lnea de base, se obtendr mejores resultados si se hace lo siguiente: enfocarse en eventos ms concretos, y pedir que se den ejemplos pedir a la persona que responde que d las razones o explicaciones de sus percepciones captar datos de diversas fuentes y compararlos para corroborar los hallazgos, por ejemplo, el personal adems de los registros del hospital hablar con personas que tienen diversos grados de identificacin con el programa

Se puede confiar en los registros?

En muchos casos, los registros existentes y disponibles en archivo, habrn sido plasmados en condiciones no ptimas. Ser conveniente entrevistar a las personas que registran los datos, e indagar sobre el nivel de confiabilidad de estos, antes de depender de registros que pueden ser muy engaosos. Si la valoracin final depender de esos mismos registros, habr que evitar cualquier influencia que pudiera afectar la precisin con la que se asientan durante el perodo de la evaluacin, entre la pre-prueba y la post-prueba. Las influencias podran ser por ejemplo, un mayor inters en el tema, o una nueva poltica que requiere que el personal dedique tiempo a la diligencia de los formularios.

Seleccionar fuentes de datos

Para cada fuente potencial de datos, plantearse las siguientes preguntas: Qu fuente o fuentes proporcionarn la informacin ms completa, precisa y pertinente?

103

La fuente estar libre de sesgos importantes y responder con honestidad? La persona que responde ser capaz de, y estar dispuesta a proporcionar respuestas completas y honestas? Si la fuente es un documento, como la minuta de una reunin, expedientes clnicos, etc., es probable que la informacin est bien registrada y que se haya registrado sistemticamente? La observacin directa puede proveer informacin que no se podra obtener de otra manera, y puede llevarse a cabo de tal forma que se evite cualquier cambio innecesario en el comportamiento de las personas?

Se tiene acceso fcil a esta fuente de datos? Qu tan difcil ser encontrar a las personas con las que se necesita hablar? Qu tan difcil ser lograr que las personas hablen o diligencien el cuestionario? Los documentos estn disponibles y accesibles al equipo o a ciertos/as integrantes del equipo? El/la lder del equipo o ciertos/as integrantes particulares del equipo pueden asistir a los eventos que se desea observar, sin alterar lo que se desea observar? La recoleccin de datos representa un riesgo potencial para la fuente de datos? El hecho de que se intenta encuestar/entrevistar a ciertas personas les causar algn dao o incomodidad, por ejemplo, al identificarles como pertenecientes a una categora estigmatizada? Cmo se podra protegerles de dicho dao o incomodidad? Ser posible proteger el anonimato, la confidencialidad y la privacidad de las personas involucradas? Se pedir que las personas cuenten experiencias cuya discusin pueda perturbarlas? Anonimato condicin en la que nadie jams pueda identificar a la persona o el tem por su nombre. Confidencialidad condicin en la que nadie jams pueda identificar a la persona o el tem, excepto la persona recopiladora de datos, incluidos los dems integrantes de los equipos de evaluacin y del programa. Privacidad condicin en la que nadie pueda escuchar a la persona proveedora de datos, o de alguna manera incomodarla por proporcionar respuestas honestas. Diligenciar la siguiente tabla para cada indicador y sus posibles fuentes. Elegir las fuentes de datos que renen mejor los criterios. Se incluye un ejemplo despus de la tabla:

Actividades de la dcima quinta semana Individuales

1. Realice la lectura de la semana. 2. Responda a la pregunta Desde su punto de vista por qu es importante hacer una buena identificacin de las fuentes de informacin? 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las fichas u hojas de trabajo de la semana, de acuerdo a las indicaciones de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos concretos han llegado a su mente? 3. Puede sealar al menos tres nuevos aprendizajes?

104

4. En una escala de 1 a 10 como se catalogara en la identificacin de las fuentes de informacin, considerando 10 como el valor ms alto, 5 valor intermedio y 1 como valor ms bajo.

105

DCIMA SEXTA SEMANA TEMA Recopilacin de datos e informacin para la evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima tercera semana las y los estudiantes. Identifican los datos e informacin a recolectar para la evaluacin.

LECTURA
Paso 1: determinar el tipo de datos a recolectar y con qu instrumentos
Fundamento Como existen varias maneras de recolectar datos sobre un indicador, hay que determinar la manera que funcionar mejor para la evaluacin en cuestin, esto con base en la experiencia, la eficacia y el costo (tiempo y dinero). Las siguientes son dos preguntas importantes para plantear en cuanto a cada indicador: Recolectar datos cualitativos o cuantitativos? Qu mtodo habr que utilizar para recolectar los datos? Aun cuando los recursos sean escasos, siempre hay manera de medir un indicador. Tarea 1: Determinar el tipo de datos a recolectar para indicadores especficos Este paso depender de lo siguiente: El tipo de preguntas a las que los datos deben dar respuesta La familiaridad que se tiene con las posibles categoras de respuestas Los datos cuantitativos indican quin(es), qu, dnde y cunto. Utilizan categoras fijas ligadas a definiciones y cifras Tienen categoras de preguntas y respuestas, predeterminadas por quienes han desarrollado el instrumento de recoleccin de datos Son ms estructurados y estandarizados (significa que se utiliza exactamente el mismo procedimiento para cada persona) que los mtodos cualitativos Presentan el desafo de organizar los datos numricos, de manera que tengan sentido y significado Aplican a un mayor nmero de fuentes de datos ms econmicamente que los datos cualitativos Los datos cualitativos indican por qu y cmo, y usualmente implican hablar con, u observar a las personas, leer textos o ver imgenes. Utilizan palabras en lugar de cifras Se centran en los significados, los patrones en las relaciones y las percepciones No requieren tener conocimiento de categoras predeterminadas de respuestas Presentan el desafi de organizar en temticas o tipologas los pensamientos y las creencias de los y las participantes Normalmente implican un nmero menor de fuentes de datos (ej., personas o documentos) que los datos cuantitativos Pueden ser usados para formular preguntas (cerradas) ms efectivas en encuestas a travs de proporcionar una comprensin del lenguaje, significado y experiencia de los encuestados. Casi siempre es buena idea recolectar ambos tipos de datos. Para ver un ejemplo de diversas preguntas relacionadas con diferentes tipos de datos:

106

Si se intenta mostrar que se dieron cambios en la manera en que los hombres jvenes entienden el significado de la masculinidad, despus de participar en una serie de talleres de sensibilizacin, quiz se desee saber lo siguiente: Cuntos hombres jvenes cambiaron su actitud hacia la violencia y su necesidad de tener varias parejas sexuales? Los cambios fueron marcados y predecibles? En este caso, se recolectara datos cuantitativos. Alternativamente, quiz se desee saber lo siguiente: Cmo visualizan los hombres jvenes la nueva forma de masculinidad que han asumido, y qu significa para sus relaciones con mujeres y su imagen de ellos mismos? En este caso, sera mejor recolectar datos cualitativos, al captar las palabras de los propios jvenes. Para cada indicador y fuente de datos, habr que considerar lo siguiente: Cmo se dar mejor respuesta a las preguntas Qu enfoque coincide con el presupuesto Qu enfoque tiene ms sentido en el contexto local Si se podr utilizar ambos tipos de datos provechosamente, y cmo se hara No hay que tomar la decisin respecto al enfoque a utilizar slo con base en experiencias o conocimientos previos. Habr que tomar la decisin con base en qu enfoque, o qu combinacin de enfoques, arrojar el tipo de informacin necesaria para dar respuesta a las preguntas necesarias. Ello se logra al contar las categoras que se encuentran en los datos originales. Ejemplo: Si no est claro por qu, en el contexto local, las mujeres con complicaciones en el embarazo tardan mucho en acudir al hospital, primero sera conveniente recolectar datos cualitativos mediante el dilogo con ellas y sus familiares. Si el director de la clnica desea saber con qu frecuencia se mencionan ciertas razones, por ejemplo las razones relacionadas con la discriminacin por parte del personal de salud, se podra crear categoras con base en las razones mencionadas en cada entrevista. Al contar el nmero de mujeres con evidencias de discriminacin en su historial, se tendra un indicador numrico (un porcentaje o una tasa) de la frecuencia con la que se reporta dicho problema. Para elegir qu tipo de datos se necesita recolectar, vase Hoja de trabajo: Elegir el tipo de datos que dar respuesta a las preguntas

Hoja de Trabajo: Elegir el tipo de datos que dar respuesta a las preguntas
Indicador Qu tipo de pregunta se plantea? Por qu? Cunto? Etc. Por tanto, deben ser los datos El indicador ser (puede ser ambos, en el caso de datos cualitativos)

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

107

Tarea 2: Determinar los mtodos a utilizar para la recoleccin de datos Independientemente de que se utilice indicadores numricos o no numricos, ser necesario elegir entre una variedad de mtodos de recoleccin de datos. Cada mtodo tiene sus ventajas y desventajas, y es ms til en ciertas circunstancias que en otras. Elegir los mtodos que: Sern ms respetuosos de las personas que proporcionarn los datos Sean pertinentes y apropiados para el contexto local Ayuden a obtener, en lo posible, los datos ms precisos y completos Eviten los sesgos innecesarios Aspectos clave que habr que considerar:

Los requisitos o las limitantes relacionadas con el tamao de la muestra Lo apropiado de los mtodos, tomando en cuenta las caractersticas particulares de ciertas personas
que responden, ej., su nivel de alfabetizacin, si estn dispuestas a hablar en grupo o no El conocimiento que se tiene de las potenciales categoras de respuestas respecto a temas no explorados La necesidad del anonimato, la confidencialidad, o la relacin personal que se necesitara para obtener informacin delicada. Los recursos con los que se cuenta: dinero, tiempo y experiencia del personal

Para cada mtodo, se puede utilizar varios tipos de instrumentos. La evaluacin ser ms rigurosa si se utiliza ms de un mtodo de recoleccin de datos para los indicadores clave. El uso de varios mtodos de recoleccin de datos (y/o fuentes de datos) para un mismo tema (llamado triangulacin), puede ayudar a validar los datos y puede llevar a una comprensin ms rica de los temas explorados.

Tarea 3: Desarrollar los instrumentos de recoleccin de datos Una vez que se haya decidido sobre los mtodos a utilizar (ej., grupo focal, observacin directa, entrevista corta, encuesta), habr que disear los formularios en los que se registrar los datos. Se puede hacer lo siguiente:

Utilizar instrumentos que otras personas han usado en situaciones similares. Adaptar instrumentos existentes a la situacin particular. Disear instrumentos propios.

En los instrumentos, incluir secciones para 3 tipos de informacin: Informacin descriptiva acerca de la fuente de los datos y el evento de recoleccin de datos La recoleccin de datos acerca de los indicadores El registro de apuntes de campo u observaciones

Verificar que los instrumentos de recoleccin de datos sean entendibles, apropiados y pertinentes a nivel cultural. Habr que reunirse con las partes interesadas, con el fin de que revisen los instrumentos existentes, los que se han adaptado, los que se pretende adaptar y los que estn en proceso de desarrollo. Las partes interesadas pueden: Aportar insumos cualitativos acerca de las categoras ms relevantes en el contexto local; Sugerir preguntas importantes, y ayudar a pensar en cmo plantearlas; y

108

Ayudar a probar los instrumentos, ANTES de comenzar a recolectar los datos. Se les puede plantear las preguntas ms difciles, a fin de ver si las entienden, o si dan el tipo de respuesta que se espera. Contribuir a detectar problemas con anterioridad y realizar los cambios necesarios, antes de comenzar a recolectar los datos. Ser conveniente aplicar los instrumentos con dichas personas, preguntarles cmo llegaron a sus respuestas y qu significan esas respuestas.

Con el fin de asegurar que los instrumentos sean apropiados para el contexto local.

Una vez diseado el instrumento de trabajo: Asegurar que el instrumento de recoleccin de datos incluya elementos (preguntas, observaciones, listas de verificacin, etc.) especficos para cada indicador que se haya identificado con base en los objetivos que le incumben a la organizacin, agencia o programa (es decir, los resultados inmediatos y posiblemente intermedios) Asegurar que el instrumento est diseado para recolectar algunos datos acerca de las brechas que se identificaron en la Ruta Causal Reconsiderar si se puede utilizar el instrumento para la lnea de base, la lnea media (si es relevante), la lnea final y/o el grupo de comparacin. Recordar que las mismas preguntas sern planteadas en diferentes momentos o a diferentes grupos para medir el cambio. Asegurar que el instrumento est diseado para recolectar informacin que sirva para medir los cambios que pueden ocurrir realsticamente, entre la primera aplicacin y la siguiente.

Paso 2: Desarrollar el plan de recoleccin de datos

Ahora que se cuenta con los instrumentos de recoleccin de datos, es necesario determinar lo siguiente: Quines aplicarn cada instrumento Cundo se recolectar los datos Dnde se aplicar el/los instrumento(s) Cmo se recolectar los datos

Cada uno de estos aspectos tiene importantes implicaciones para la calidad de los hallazgos. Utilizar la Hoja de trabajo: Formulario para la recoleccin de datos, conforme se avance en las Tareas 1 3 del presente Paso 2. Hoja de Trabajo Formulario para la recoleccin de datos
Posibles personas que recolectan los datos

QUINES

COMENTARIOS/NOTAS/POR QU/POR QU NO

En quines confiarn las personas que responden?

Quines podrn ser objetivos/as y estar libres de sesgos?

Quines no tienen una relacin de poder con las personas que responden?

109

Quines estn suficientemente familiarizadas con los temas?

Quines tienen buenas habilidades interpersonales y saben escuchar?

CUNDO

Posibles momentos para la recoleccin de datos

COMENTARIOS/NOTAS

Cundo estarn disponibles las personas que responden?

Se darn variaciones estacionales no deseadas en su comportamiento?

Se llegar con diferentes tipos de personas en diferentes momentos?

DNDE

Opciones respecto a dnde recolectar los datos

COMENTARIOS/NOTAS

Dnde es probable encontrar a las personas que responden?

Es posible establecer una buena relacin ah, sin demasiadas distracciones, suficiente tiempo, etc.?

El lugar estar libre de presiones sociales en el sentido de someterse a la norma (es decir, lejos de la pareja/cnyuge, figuras de autoridad, amistades, parientes)?

Los derechos de las personas sern respetadas, y su identidad ser confidencial en caso necesario?

110

Tarea 1: Determinar quines recolectarn los datos Si se hace uso de mtodos que implican contacto directo con las personas, es fundamental elegir a las personas idneas para la recoleccin de datos que puedan obtener las respuestas y hacer, en lo posible, las observaciones ms completas y honestas. Personas que: Entiendan y sean sensibles a los temas que se discutir No juzgarn a las personas participantes Puedan ganarse la confianza de estas ltimas Les har sentir cmodas Las caractersticas podran incluir personas que: No tengan un inters creado en los resultados, puedan ser objetivas y libres de sesgos No tengan una relacin de poder con las personas que responden, especialmente si stas ltimas son muy vulnerables o marginadas Tengan las cualidades en las que las personas que responden probablemente puedan confiar dentro de una situacin social y cultural especfica; en algunos casos ellos significa una persona similar a la que responde, pero en otros casos significa una persona respetada pero diferente; en algunos entornos, para hablar del sexo, la persona entrevistadora debe ser casada y del mismo sexo que la entrevistada. No tengan prejuicios que podran interferir con la recoleccin de datos Tengan buenas habilidades interpersonales y puedan lograr que otras personas se relajen Conozcan y tengan la suficiente confianza para hablar del tema en cuestin Sepan escuchar bien Sean confiables, tengan un alto estndar tico y una tica de trabajo responsable Hayan respondido bien a la capacitacin y hayan demostrado que acatarn las instrucciones relacionadas con la recoleccin de datos y el protocolo de aplicacin Tarea 2: Determinar cundo se recolectarn los datos Muchos factores pueden afectar el tiempo en que se puede recolectar datos. Los aspectos estacionales incluyen la temperatura y el clima, el trabajo de temporada, la cosecha, la poca de lluvias, los niveles de delincuencia o las fiestas; cualquier cosa que altere el comportamiento de las personas y su disponibilidad. La hora del da puede afectar el acceso a los y las participantes. Por ejemplo, quiz las personas que trabajan slo estarn disponibles a la hora de su descanso o al final de la jornada. Las personas que llegan temprano a un sitio pueden diferir de las que llegan tarde. Tal vez slo se encuentre a las personas en casa en ciertos momentos del da, pero no estarn dispuestas a participar en esos momentos. Los das del mes o de la semana tambin pueden cambiar las conductas y la disponibilidad, por ejemplo, en relacin con el da de pago, de mercado o de asistencia a las ceremonias religiosas. Dichos factores varan segn la poblacin en diferentes lugares, por lo que habr que estar consciente de las barreras locales a la recoleccin de datos, y adaptarse a ellas. Tarea 3: Determinar dnde se recolectarn los datos El lugar donde se recolecta los datos puede influir en lo siguiente: El acceso a los datos La calidad de los datos (qu tanto se completan, franqueza) Los riesgos que tienen las personas proveedoras de los datos El grado en que la muestra refleja la poblacin prioritaria de la evaluacin Algunos aspectos comunes a tomar en cuenta en el trabajo de SDSR, incluyen los siguientes: Dnde es ms probable encontrar al tipo de persona o documento que se busca? Por ejemplo, para encontrar a los y las jvenes que no asisten a la escuela quiz se tenga buscarlas a ellas en su casa, pero a aqullos en las calles, clubes o las instalaciones militares. Hay suficiente tiempo para recolectar los datos con la persona que responde, o la situacin es demasiado apresurada? El entorno fsico provee suficiente privacidad? Por ejemplo, hacer preguntas ntimas en una sala de espera abierta puede limitar mucho la franqueza de las respuestas. Dnde se puede diligenciar un cues-

111

tionario de autoevaluacin, de tal forma que no se tenga que temer que alguien vea las respuestas? Las mujeres probablemente no muestren apertura si estn cerca de sus hijos/hijas, sus amistades o la pareja. Los hombres quiz no se sientan cmodos al hablar de temas delicados en lugares pblicos. En una clnica u otros servicios es importante aclarar que, las respuestas no afectarn de ninguna manera la calidad de los servicios que recibir la persona; las personas deben confiar en que no perdern su derecho a la atencin u otros beneficios si critican el programa. Las reuniones comunitarias son buenos lugares, si la informacin que se busca no es demasiado delicada; pero se necesita un enfoque ms personalizado, si las respuestas pueden causar conflictos en el grupo o incomodidad a algunas personas. Asegurar que el simple hecho de buscar a cierta persona o de que otras personas puedan ver la entrevista, no pondr en riesgo a la persona que responde, al revelar una identidad secreta, despertar suspicacia entre los vecinos, etc.

Tarea 4: Asegurar la correcta recoleccin de datos Aun si los instrumentos son excelentes, la manera en que se recolectan los datos puede afectar la calidad de los datos obtenidos. Asegurar lo siguiente: Claridad en las instrucciones sobre cmo aplicar los instrumentos La adecuada capacitacin y supervisin de las personas que recolectan los datos Que se aliente a las personas que recolectan los datos a reflexionar crticamente, con el fin de aclarar los procedimientos y evitar que se repitan los errores Que existan oportunidades para que las personas que recolectan los datos se junten a discutir los retos, las preocupaciones y los xitos con las personas recientemente reclutadas, as como respecto al uso de los instrumentos Desarrollar una gua para la recoleccin de datos Antes de capacitar a las personas que recolectarn los datos, establecer el protocolo o conjunto de reglas de cmo hacer las cosas, esto debido a que se necesitar capacitar a dichas personas sobre estos mismos aspectos, as como asegurar que sepan cmo facilitar o entrevistar adecuadamente. La gua debe incluir lo siguiente: Indicaciones claras respecto a cmo se obtendr el consentimiento informado. Es muy importante obtener el consentimiento informado de las personas que responden, as como proteger su privacidad, anonimato y/o confidencialidad. En el caso de entrevistas individuales o grupales o encuestas, es preciso obtener el consentimiento verbal o escrito. En el caso de la observacin, normalmente la persona que da acceso al sitio es la que da el consentimiento, adems del adulto responsable de los y las menores de edad. Sin embargo, la persona observadora tambin debe ganarse la confianza de los y las participantes, y obtener su permiso mediante su manera de construir relaciones en el lugar. Para realizar observaciones en lugares pblicos, no hay nadie de quien obtener el consentimiento. La manera en que la persona recolectadora de datos debe presentarse a las personas que responden o a las personas observadas: o cmo saludar a las personas que responden o cmo vestirse o la explicacin de por qu estn ah y cmo se utilizar la informacin o cmo deben representar al programa o a la organizacin ante la comunidad Instrucciones respecto a si la entrevista o el evento ser grabado, filmado o fotografiado Qu procedimientos habr que seguir cuando no es posible recolectar datos, debido a que no se encuentra la persona o el documento. Es importante asegurar que las personas que recolectan los datos sigan los procedimientos y registren los casos faltantes. Procedimientos especficos para salvaguardar los derechos de las personas, el anonimato, la confidencialidad y la privacidad. Directrices para terminar un evento de recoleccin de datos prematuramente, si las condiciones, la calidad de la interaccin, la seguridad o el estado de la persona que responde indican que est en alto riesgo la validez de la recoleccin de datos

112

Capacitar a las personas que recolectarn los datos Si no se aplica bien el instrumento, las personas posiblemente no querrn responder, o se termine con datos que no se puede utilizar, o que no son tan precisos como se requiere. Con el fin de asegurar que ello no suceda, es necesario realizar lo siguiente: Proveer la capacitacin correcta Establecer reglas claras y aplicadas acerca de cmo recolectar los datos Brindar apoyo continuo a las personas que recolectan los datos, y entablar discusiones con ellas de manera continua Todas las personas que recolectan datos deben recibir capacitacin sobre el proyecto y su papel en l, aun si son integrantes del personal o personas con experiencia en la recoleccin de datos o el MyE. Qu hacer si nunca se ha capacitado a personas que recolectan los datos? Como mnimo, la capacitacin debe incluir lo siguiente: Los objetivos de la evaluacin Una revisin de las tcnicas para la recoleccin de datos Una revisin a fondo de los instrumentos Ensayos en el uso de los instrumentos Ejercicios para fortalecer las capacidades relacionadas con la conduccin de entrevistas y la comunicacin interpersonal. Una discusin acerca de los aspectos ticos (incluyendo la privacidad, la confidencialidad, el anonimato y el consentimiento informado) Consideraciones en torno a los lmites profesionales (ej., si la persona que responde comienza a llorar, es aceptable que la persona entrevistadora la abrace?; si la persona que responde le pregunta a la entrevistadora si experiment X en su embarazo; si la persona que responde invita a la entrevistadora a pasar a su casa a tomar un caf despus de terminar la entrevista) Una discusin acerca de cmo se sienten con su participacin en la evaluacin, ej., abordando temas delicados; si forman parte del personal, cmo se sentirn si descubren que el programa no es tan bueno como se imaginaban La importancia de seguir las instrucciones y el protocolo de aplicacin Ejercicios que les ayuden a convertirse en observadores/as analticos/as, y a hacer observaciones de campo tiles y que reflejen un conocimiento adquirido Una vez que se haya capacitado a las personas que recolectan los datos: Hacer que practiquen sus habilidades nuevas, mediante dramatizaciones o juegos de roles Observar a cada persona recolectadora de datos aplicando una verdadera encuesta, o realizando una entrevista, sesin de grupo focal u observacin (el o la lder de la evaluacin tambin debe aplicar uno o algunos de dichos mtodos, aun si no va a recolectar datos ms adelante) Revisar la trascripcin de las primeras entrevistas a profundidad o grupos focales, y proveer una retroalimentacin especfica Utilizar una lista de verificacin sobre lo que se busca, con base en lo que aprendieron en la capacitacin Reforzar buenas conductas y proveer capacitacin correctiva si las cosas no se hacen como debe ser No utilizar personas que recolectan los datos que no cumplen con las expectativas mnimas establecidas al inicio de la capacitacin Tarea 5: Realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos Antes de invertir tiempo y recursos en la recoleccin de datos, habr que pilotear o probar los instrumentos creados o elegidos, con las siguientes personas:

las partes interesadas personas similares a las de la muestra, pero que en realidad no formarn parte de la misma

Es preciso realizar la prueba piloto con personas, eventos o documentos similares a los de la verdadera recoleccin de datos.

113

Una prueba piloto contribuir a descubrir lo siguiente: Cunto tiempo realmente lleva la recoleccin de datos Si se puede recolectar los datos, dnde y cundo se haba planeado Si existen problemas con la manera en que funcionan los instrumentos en el mundo real Probar el plan de recoleccin de datos Con dos o tres personas de cada uno de los subgrupos principales de la muestra. O bien, con dos o tres personas de las diversas subcategoras de la muestra. Para ver un ejemplo. Si la muestra es de jvenes que no asisten a la escuela, y las subcategoras incluyen a las nias versus los nios, empleados/as y desempleados/as, que viven en la calle o en casa, pero los recursos son muy limitados, se puede probar el plan de recoleccin de datos con los grupos ms difciles de contactar. La prueba piloto podra incluir: dos jvenes varones que viven en casa, dos nias jvenes, y dos jvenes varones que viven en la calle. Asegurar que: Las personas que recolectan los datos midan su tiempo, con el fin de ajustar el plan segn la necesidad Las personas que recolectan los datos reporten cualquier pregunta confusa o los problemas que tuvieron con entender cmo completar la aplicacin del instrumento El o la lder de la evaluacin tambin realice algn ensayo de recoleccin de datos, con el fin de detectar cualquier problema que podra seguir presente Se observe a los y las entrevistadoras en accin Se revise sus apuntes de campo Se verifique que hayan diligenciado el instrumento correctamente Se invite a las personas que recolectan los datos a que den retroalimentacin acerca de cmo funcionaron las cosas y cualquier observacin que tengan acerca del instrumento y su aplicacin Crear un ambiente de trabajo colaborativo, a fin de que las personas que recolectan los datos se sientan cmodas compartiendo con el Equipo de MyE. Sus observaciones y la calidad de su trabajo son fundamentales para el xito del proceso de MyE. Verificar que los instrumentos sean confiables y vlidos Estos conceptos son muy importantes para la evaluacin, pero con frecuencia intimidan a las personas a tal grado que ni siquiera intentan evaluar conceptos sociales complejos. Probablemente no se cuente con recursos para probar los instrumentos a profundidad, pero se puede hacer lo siguiente: Para verificar la confiabilidad: Programar que dos personas que recolectan los datos colecten datos de la misma persona Hacer que la misma persona recolectadora de datos repita la recoleccin de datos en la misma persona, documento o evento al da siguiente Revisar los pares de instrumentos para ver si se llega a las mismas conclusiones. Ejemplo: En un instrumento que contempla las actitudes de las y los polticos respecto a la legalizacin de los derechos de herencia de las mujeres, el instrumento no sera confiable si una vez mostr que una persona estaba completamente de acuerdo, y al da siguiente mostr que no tena opinin o estaba en desacuerdo.

Para verificar la validez:

Asegurar que se haya desmenuzado los conceptos sociales complejos abordados, en componentes medibles (si no, habr que regresar al Mdulo 4).

Asegurar que las preguntas no tengan varias respuestas. No use y u o porque no se sabr a qu
parte de la pregunta se est respondiendo.

Asegurar que las personas que responden a un instrumento, entiendan las preguntas. Asegurar que las preguntas u observaciones coincidan con la realidad del contexto local. Se puede plantear ms de una pregunta sobre el mismo tema en diferentes momentos de la entrevista,
a fin de ver si coinciden.

114

 Se puede pedir a la persona entrevistada, su valoracin cualitativa de qu opina sobre algn aspecto
que se intenta evaluar. Ejemplo: Si se aplica una lista de preguntas sobre la toma de decisiones en el hogar (como un componente de la equidad de gnero), preguntar si la persona que responde siente que se toma las decisiones en el hogar con igualdad entre ella y su cnyuge. Utilizar ms de una fuente de datos, a fin de obtener informacin acerca de aspectos clave de la evaluacin. Ejemplo: Si la evaluacin busca evaluar el nivel del empoderamiento de las nias en la toma de decisiones vitales, se podra aplicar una lista de verificacin de decisiones en que cada nia tiene confianza, pero tambin pedir que la o el maestro de las nias las califique en cuanto al nivel de empoderamiento que demuestran; incluso hablar con sus amistades o familiares para preguntarles acerca de los mismos aspectos de empoderamiento

Adaptar los instrumentos a la situacin del programa

Si se ha encontrado un instrumento, como una escala o lista de verificacin, apto para el indicador, pero que se desarroll en otra cultura o entorno socioeconmico, qu se debe hacer? Es necesario encontrar el equilibrio entre la seguridad de que el instrumento es apto para el contexto local del programa, y el hecho que modificar el instrumento puede alterar su capacidad para funcionar bien. Elegir instrumentos que sean muy aptos para el indicador que se intenta medir Elegir instrumentos relativamente sencillos y que no requirieron de anlisis complejos para desarrollarlos Aplicar el instrumento con un grupo de partes interesadas, pedir que expliquen lo que significa cada elemento para ellas, y preguntar cul fue su respuesta Ajustar los elementos que no se entendieron o que parecieron estar fuera de lugar en el contexto local; pero ser conveniente sustituir los elementos que se refieren al mismo tema o componente, con una terminologa adecuada para el contexto local Reaplicar la escala modificada a un grupo de personas similares a la muestra que se utilizar en la evaluacin. Cuando hayan contestado, plantearles preguntas acerca del significado de sus respuestas, de tal forma que se confirme si sus respuestas tienen sentido. Por ejemplo, si se aplic una escala sobre la comunicacin entre la pareja, y la persona obtuvo un puntaje muy alto en cuanto a la comunicacin equitativa, preguntarle cmo siente la comunicacin con la pareja. Verificar que no existan elementos que rinden resultados confusos: ya sea que todas las personas respondieran de la misma manera o que respondieran de maneras muy diferentes respecto a otras preguntas. Preguntar a las personas por qu respondieron as. Una vez que se entienda el problema con la pregunta, hacer las modificaciones necesarias. Reaplicar la escala para ver si las respuestas coinciden mejor con las expectativas Al reportar los resultados de la escala, habr que describir el proceso mediante el cual se modific la escala original. No se podr aducir el mismo nivel de confiabilidad y validez que se report con la escala original, pero se sabr que el instrumento probablemente fue til para la evaluacin

Algunas consideraciones a tener en mente, al desarrollar o elegir las preguntas y categoras

Asegurar que las personas que responden entiendan el lenguaje de las preguntas: Entienden los trminos que se utilizan, de la misma manera que se pretende? Habr que considerar el lenguaje local. La formulacin de la pregunta, las palabras que quedan fuera, el doble sentido y los modismos (especialmente respecto a las prcticas sexuales), pueden variar de una comunidad o barrio a otro, y pueden surgir prcticas respecto a las cuales no se haba formulado preguntas. Asegurar que se entienda los conceptos de la manera en que el Equipo pretende que se entiendan. Asegurar que los conceptos tengan el mismo sentido para la persona que responde, respecto a lo que se espera. Ejemplos: Quiz se le pregunte a los y las maestras acerca de la autoestima de las nias. Si se obtiene muchos tipos de respuestas, quiz se tenga que trabajar sobre un entendimiento compartido o una definicin de las palabras o las frases clave. Si se desconoce los significados locales, es mejor utilizar datos cualitativos primero para indagar, antes de crear categoras cerradas que no tienen sentido en el contexto local.

115

Quiz se pregunte Tienes relaciones sexuales? Qu significa eso? En algunos lugares, las personas no consideran que el sexo oral o anal constituya relaciones sexuales, aunque la persona entrevistadora s. Los y las jvenes exploran mucho antes del coito; cmo se puede asegurar la captacin de dichas actividades? Como las conductas sexuales son temas tabes, y las personas a menudo suponen que saben lo que significa el sexo y quines tienen relaciones con quines, es buena idea explorar la realidad mediante datos cualitativos primero, para posteriormente poder disear una herramienta cuantitativa que incluya categoras reales y pertinentes a nivel local. Asegurar que el instrumento sea aplicable a las caractersticas especficas de la poblacin/el entorno. Las personas que recolectan los datos no deben tener supuestos innecesarios acerca de las personas que responden. Ejemplo. Si se est aprendiendo acerca de las relaciones sexuales de la poblacin meta, se aplicar la herramienta slo a mujeres heterosexuales? Algunas mujeres habrn tenido o tienen relaciones con otras mujeres? Todas estarn en una relacin con un solo hombre a la vez? Algunas tienen mltiples parejas en el mismo perodo de tiempo? Algunas parejas casadas no tienen relaciones sexuales? Mantener en mente cuestiones de gnero (y edad). Las preguntas son apropiadas tanto para las nias como los nios, para las mujeres como para los hombres? Si se plantea las mismas preguntas a diferentes sub-poblaciones, posiblemente se deje de captar informacin, o se capte diferente informacin de cada grupo Las situaciones son suficientemente realistas como para que las personas puedan responder? Ejemplo. Si se busca evaluar la calidad de las relaciones de pareja, con base en la toma de decisiones respecto a la anticoncepcin, quiz se podra preguntar si la pareja de una mujer se pondra violento si se le pidiera que usara un condn. En algunas culturas, ello no sera apropiado, ya que pedir que se use un condn realmente no constituye una causa de violencia. Casi todas las respuestas obtenidas seran No. Por tanto, esta pregunta no dira mucho acerca del poder en la relacin de pareja. El contexto social o de las polticas hacen que la pregunta sea inapropiada, aunque fuera apropiada en otro entorno? Ejemplo. Las preguntas acerca de la toma de decisiones sobre el nmero de hijos/hijas a tener, son apropiadas en muchos entornos donde las parejas lo deciden libremente. Sin embargo, en China, donde durante muchos aos ha existido en zonas urbanas, la poltica de tener un solo hijo/hija, dichas preguntas seran inapropiadas, ya que la decisin es restringida por la poltica social y el contexto. Quiz sean apropiadas en zonas rurales o en otros pases.

Formular buenas preguntas

Las preguntas deben ser precisas: Hacer uso de un lenguaje sencillo que todo mundo pueda entender, especialmente los grupos con niveles ms bajos de escolaridad y los grupos que hablan diferentes dialectos o idiomas o Mantener el nmero de palabras en 20 o menos, y el nmero de comas en menos de 4 o Evitar el uso del negativo, especialmente el doble negativo Evitar la ambigedad. El Equipo se debe preguntar qu significa una respuesta a la pregunta. Si se obtiene diferentes respuestas, aun dentro del propio Equipo, definitivamente falta especificidad! Asegurar que no existan mltiples interpretaciones de lo que se pregunta o de lo que significan las respuestas Plantear las preguntas con neutralidad. Evitar preguntas que tengan una respuesta socialmente correcta, y no inducir que la persona que responde conteste de cierta manera Cada pregunta debe preguntar una sola cosa. Evitar preguntas que incluyan y u o, ya que no se sabr a qu elemento se responde Evitar opciones que coincidan en algn aspecto, si se pide que la persona que responde elija una respuesta Las preguntas no deben contener supuestos acerca de las personas que responden: Incluir una opcin de no aplica, por si la persona realmente no puede dar respuesta a la pregunta

116

Plantear preguntas filtro que aclaren los supuestos e identifiquen a las personas que responden en cuanto a ciertas preguntas, por ejemplo, preguntar Tiene hijos o hijas?, Estn vivos o vivas? antes de preguntar acerca del comportamiento de los nios y las nias. Ha tenido relaciones sexuales?, Ha incluido la penetracin vaginal? antes de preguntar acerca de la prevencin del embarazo.

Las preguntas deben ser planteadas de manera equilibrada: Presentar ambos lados de una actitud dentro de la propia pregunta Proporcionar un conjunto equilibrado de respuestas, tanto negativas como positivas Preguntar acerca de una gama completa de conductas, incluyendo las que son tabes o estigmatizadas, a fin de reducir el efecto de hablar de stas ltimas Asegurar que la persona entrevistadora no sesgue las respuestas mediante gestos o el tono de voz. Las preguntas deben tener una secuencia lgica, como en una conversacin: Agrupar las preguntas por temas Introducir cada tema nuevo con una breve explicacin de las preguntas que se plantear a partir de ese momento Las preguntas no deben leerse de manera rgida, sino que deben fluir como en una conversacin Las preguntas no deben contener la respuesta Las pregunta no deben incomodar a la persona que responde o hacerle sentir culpable Al abordar conductas ilegales o no aceptadas a nivel social, asegurar la legitimacin de la discusin. Posiblemente se decida preguntar acerca de lo que hacen otras personas, si no se logra que las personas hablen de s mismas respecto a algo ilegal o estigmatizado. Ejemplo: En una evaluacin de un programa dirigido a hombres reclusos, centrado en la prevencin del VIH, posiblemente sea demasiado difcil lograr que los hombres reporten que tienen relaciones sexuales con otros hombres, y de manera particular, que reporten la violencia relacionada con dichos encuentros. Quiz se tenga que pedir que reporten si han odo de encuentros sexuales entre los hombres reclusos y/o con los guardias, y si dichos encuentros fueron violentos. Cmo dar con las preguntas correctas? El primer paso es hablar con las personas en sus propios entornos y aprender su propio lenguaje. Preguntarle a una persona de confianza si ciertas preguntas tienen sentido y qu significan. Una vez que se cuente con las preguntas a utilizar, aplicarlas en un grupo pequeo de personas, que pueden retroalimentar el proceso. Preguntarles si las preguntas tienen sentido, en qu pensaron para contestarlas y cmo les hicieron sentir las preguntas.

Cmo salvaguardar los derechos de las personas? Es preciso implantar ciertos procedimientos, a fin de asegurar la confidencialidad, el anonimato, la privacidad, etc. que se prometieron a las personas que responden. Establecer los cdigos necesarios para identificar la fuente de los datos sin revelar la identidad de la persona Asegurar que las personas que recolectan los datos tomen muy en serio la importancia de no chismear o tomar a la ligera la informacin que oyen durante las entrevistas Asegurar que existan procedimientos para ofrecer ayuda a las personas que revelan algn problema crtico o algn riesgo durante la entrevista, sin violar la confidencialidad o alguno de sus derechos Si una persona no puede responder debido a que hay alguien cerca que pueda or, habr que concertar una cita en otra parte para continuar la conversacin. Cul es la diferencia entre preguntas abiertas y preguntas cerradas? Las preguntas abiertas son interrogaciones que permiten que la persona que responde conteste como guste, sin categoras determinadas de respuestas. Por ejemplo, Qu opina usted de la atencin en salud que ha recibido de la clnica durante el ltimo ao? Las peguntas cerradas tienen un conjunto fijo de respuestas posibles, y la persona que responde elige entre una o varias opciones. Por ejemplo, Usted siente que la atencin en salud que ha recibido de

117

la clnica durante el ltimo ao ha sido: a) excelente; b) buena; c) regular; o d) deficiente? o bien, Cmo lleg a la clnica hoy da? a) autobs, b) taxi, c) carro propio, d) ped prestado un carro o alguien ms me trajo, e) camin, f) bicicleta, g) combinacin de ms de una respuesta, h) otro medio Cuando el personal se recolecta los datos Cuando integrantes del personal del programa se convierten en recolectadores de datos, necesitarn ayuda para mantener separados sus diferentes papeles: Para evitar que sus expectativas del programa influyan en los datos que recolectan Para evitar que ayuden a las personas durante la recoleccin de datos Para asegurar que las personas que responden confen en que pueden responder honestamente, sin perder los servicios o el acceso como resultado de sus respuestas o conductas Tomar en cuenta las siguientes sugerencias: discutir las cuestiones ticas desde el inicio de la capacitacin, y asegurar que todos y todas entiendan la necesidad de separar sus roles o asegurar que el personal entienda que no se utilizar la evaluacin como una evaluacin del desempeo, y asegurar que ello se cumpla o hacer hincapi en la importancia de la evaluacin para aprender nuevas maneras de mejorar el programa y volverse an ms eficaces en su papel programtico o ensearles respuestas estndares que puedan dar cuando las personas que responden les pidan consejos o ayuda, como sera eso lo podemos discutir ms tarde, esto con el fin de que no respondan improvisadamente ni interrumpan la entrevista; al mismo tiempo asegurar que demuestren empata, que sean compasivos/as y que brindan alguna respuesta til o realicen la canalizacin necesaria al trmino de la entrevista establecer directrices muy claras respecto a su papel como recolectadores/as de datos o decirles lo que pueden y lo que no pueden hacer en el sentido de ofrecer ayuda o consejo a las personas que responden o asegurar que puedan brindar ayuda al final de la entrevista o sesin de observacin o asegurar que registren exactamente qu consejo o informacin se brind o ofrecer un folleto o un conjunto fijo de informacin al trmino de la recoleccin de datos hacer todo lo posible por evitar que el personal recolecte datos con personas de las que se hace responsable dentro del programa o de ser posible, asignar al personal la recoleccin de datos con personas de otra rea u otro sitio del programa o asignar al personal a recolectar los datos de personas que no conozcan personalmente o evitar decir al personal si la persona que entrevistan u observan est en el programa o forma parte de un grupo de comparacin incluir explicaciones claras para todas las personas que responden y que participan en el programa o explicar cmo se utilizar los datos o explicar que no se espera una respuesta especfica o asegurar que se sientan cmodas al proporcionar informacin precisa, sin tener que preocuparse por ofender a alguien o por perder el acceso a los servicios utilizar cuestionarios auto-aplicables (si estos son adecuados para captar el tipo de datos necesarios) o asegurar que las personas que responden puedan depositar el cuestionario sin tener que preocuparse de que el personal sepa quines son o cmo respondieron en la seccin de limitantes en el informe final, incluir una referencia sobre quines del personal fueron recolectadores de datos o explicar las precauciones que se tomaron para reducir el posible impacto de dicha prctica o hacer hincapi en los beneficios observados o presentar con honestidad cualquier cuestin o preocupacin persistente Cundo es mejor ser diferente? Frecuentemente se supone que las personas iguales a las que responden sern las ms confiables y por tanto, obtendrn las respuestas ms honestas. Pero a menudo no es el caso. En ocasiones, las personas se sienten ms cmodas al confiar en alguien que consideran diferente y que no les juzgar, como posiblemente lo hara alguien de la comunidad propia. A veces las personas externas a un grupo cultural o social

118

pueden ver las cosas con mayor claridad. Lo importante es la capacidad de la persona de no emitir juicios, lograr que la que responde se sienta cmoda y escuchar abierta y compasivamente.

Cundo obtener solamente el consentimiento verbal? Evite pedir una firma (consentimiento escrito) si piensa que hacerlo har que la persona no participe, la pondra en una posicin riesgosa o de alguna manera la incomodara tanto que se comprometera la honestidad de sus respuestas. Si trabaja con una poblacin que podra ser iletrada, debe tener un proceso de consentimiento verbal usted explica la naturaleza de la participacin y los derechos del participante y consigue su consentimiento [verbalmente]. Cundo hay que cuidar el lenguaje? Si se analiza el mismo concepto con diferentes subgrupos, estos pueden entender las palabras utilizadas de diferentes maneras, por ejemplo, los y las adolescentes y sus padres y madres. Es ms importante que las personas que responden entiendan la pregunta, que utilizar exactamente las mismas palabras con todas las personas. Alternativamente, se puede utilizar ambos lenguajes para todas las personas que responden, ej., Estoy entendiendo el concepto X como (insertar la definicin), aunque a veces se conoce como (insertar el modismo). Si se ajusta las palabras de las preguntas para los diferentes grupos, Habr que adelantar cmo se tendr que analizar los hallazgos, probablemente como comparaciones, en lugar de poner todas las respuestas juntas Dejar claro en el informe final, cmo se plantearon las preguntas Explorar el significado de cualquier diferencia encontrada Cuando uno no es suficiente Con el fin de que la recoleccin de datos sea ms rigurosa, se debe recolectar ms de un elemento de informacin sobre cada concepto, especialmente los conceptos que causan mayor incertidumbre. Ello se puede hacer mediante lo siguiente: varias preguntas acerca de un mismo componente de un concepto social complejo una lista de diferentes ejemplos que corresponden a una pregunta; por ejemplo, diferentes mbitos de la vida domstica, en la que una mujer tiene o no tiene autoridad para tomar decisiones autnomas Tener cuidado al reportar lo anterior como un solo indicador. Existen ventajas y desventajas de hacerlo: Ventajas: o si las respuestas realmente deben ir juntas, se puede tener mayor seguridad de que realmente se est midiendo el concepto que se pretenda medir o se podr presentar menos hallazgos Desventajas: o es posible que las respuestas realmente no reflejen el mismo concepto o algunas respuestas pueden tener mucha ms importancia que otras y al juntarlas, se puede perder informacin o uno o ms elementos de la informacin puede contrarrestar los dems y ocultar los resultados verdaderos Para evitar los errores comunes: Siempre considerar los segmentos de datos por separado primero. Todos indican lo mismo? Cuando uno est alto o bajo, los dems estn altos o bajos? Habr que hacer esto durante la prueba piloto del instrumento, as como durante la etapa del anlisis en s. Averiguar qu piensan las partes interesadas de la medicin de las diferentes preguntas u observaciones. Consideran que todas se refieren al mismo concepto? Pero quiz convenga acudir de nuevo a las partes interesadas, una vez que se cuente con los instrumentos reales de recoleccin de datos, a fin de asegurar que las partes interesadas concuerden en que las preguntas realmente reflejan un cierto concepto.)

119

Reportar segmentos de datos separados de manera separada, a menos que exista un antecedente creble o una justificacin claramente vlida para combinar los datos.

Cuntas personas se necesitarn para recolectar los datos? Ello depender de lo extenso de la recoleccin de datos, cuntas personas/eventos/documentos sern valorados y el grado de dificultad del proceso de recoleccin de datos Determinar cuntas sesiones de encuesta/entrevista/observacin puede manejar cada persona con precisin en el mundo real, con base en la prueba piloto del instrumento y del plan de recoleccin de datos Si no se cuenta con los recursos para que suficientes personas entrevistadoras apliquen bien el instrumento, habr que reducir el nmero de entrevistas y/o el tamao y complejidad del instrumento Siempre es mejor recolectar pocos datos bien, que recolectar muchos datos mal. Grabar o no grabar? Siempre es tentador grabar las entrevistas o algunos eventos, pero tiene sus ventajas y desventajas. ventajas o es la mejor manera de saber que se ha captado los detalles de eventos o entrevistas complejas o otras personas pueden verificar los datos respecto a la confiabilidad o permite hacer diversos conjuntos de codificacin y anlisis una y otra vez o la mayora de las personas se siente bien y acta con naturalidad, a pesar de la grabacin desventajas o puede afectar negativamente la libertad con la que se comportan las personas o comparten informacin o es necesario tomar precauciones, a fin de mantener la confidencialidad y el anonimato, incluyendo el almacenaje y el borrado de las cintas despus del anlisis o puede ser muy costoso revisar las cintas, en trminos de dinero y tiempo o crea un adicional elemento fsico de informacin que debe ser protegido en virtud del plan de confidencialidad Hay suficiente tiempo para tener un impacto? Anteriormente, en la planeacin de los indicadores, se hizo hincapi en la importancia de establecer indicadores de los cambios que realmente pudieran ocurrir como resultado del programa. Si se ha tenido que recurrir a una lnea media en lugar de una lnea de base, y si se realizar la lnea final en un corto lapso de tiempo despus del fin del programa, habr que considerar qu tipos de cambios pueden darse en el tiempo disponible. Si la lnea media y la lnea final tienen lugar dentro de un perodo de slo tres meses, y se busca cambios en aspectos como la equidad de gnero, habr que asegurar que las preguntas reflejen aquellos antecedentes o elementos especficos que podran cambiar en ese perodo de tiempo. Alternativamente, considerar si conviene recolectar los datos al final del programa y dar seguimiento ms adelante. La confidencialidad y el anonimato Como es muy ntima la informacin personal acerca de la sexualidad, las relaciones personales, las conductas y la salud, es preciso que todas las personas que proporcionan informacin confen en que no se compartir su informacin personal con cualquiera. En los pueblos pequeos donde todo mundo conoce a todo mundo, las personas pueden estar especialmente temerosas de que se dar a conocer los detalles de su vida personal. Respetar la confidencialidad y el anonimato puede ser clave para asegurar la obtencin de informacin precisa, as como para proteger la privacidad de los y las participantes. Algunas cosas que se puede hacer para asegurar la confidencialidad y el anonimato incluyen lo siguiente: Garantizar que las respuestas individuales de los y las participantes no se compartan con nadie excepto el Equipo de evaluacin, a menos que quien responde presente un inminente intento de daarse a s mismo/a o a otras personas. Explicar que se reportar sus respuestas de manera resumida junto con las de otras personas, de tal forma que no se podr identificar a nadie. Recolectar los datos annimamente, y no pedir los nombres de las personas. Si se necesita aparejar encuestas con personas que responden, habr que utilizar cdigos secretos o numricos u otra identifica-

120

cin nica en lugar de los nombres. Asimismo, se puede pedir que la persona elija un nombre para s mismo/a. Jams decir que la encuesta es annima y luego registrar la identidad en secreto. Si es absolutamente necesario utilizar los nombres de las personas, asegurar que se salvaguarde muy cuidadosamente cualquier material que contenga informacin personal. Almacenar dichos materiales bajo llave en una gaveta o cuarto, y controlar el acceso al mismo. Tener cuidado con los materiales, aun al deshacerse de ellos. Si se tiran a la basura, las personas de la oficina los podrn ver, o el viento se los puede llevar y pueden terminar en otras manos. Es mejor triturarlos o quemarlos. Similarmente, los datos electrnicos deben ser desordenados. Enfatizar claramente al personal y a las personas que recolectan los datos que se considera de suma importancia la confidencialidad de los y las participantes. Comunicar a todas las personas con las que se trabaja, cunto se valora su confianza. En un entorno en el que todas las personas se conocen, se puede cuidar el anonimato y la confidencialidad al reportar nicamente los datos agregados, es decir, slo los hallazgos grupales y no los individuales.

Una nota sobre el anonimato Siempre que sea posible, recolectar los datos de tal forma que cada participante pueda ser annimo/a. Sin embargo, si se busca medir los cambios en los y las participantes a travs del tiempo (ej., la lnea de base comparada con la lnea final), quiz se tenga que cotejar las respuestas del puntaje obtenido en la lnea final de un individuo especfico. Con el fin de emprender algn tipo de anlisis estadstico, quiz tambin sea necesario poder identificar cada caso en diferentes momentos. Por tanto, si se necesita proteger el anonimato, ser necesario incluir algn identificador nico cada vez. Ello puede ser el cdigo que la persona aprende a proporcionar cada vez, o la respuesta a algunas cuantas preguntas que no revelan la identidad, aunque son nicas a l o ella, esto para poder aparejar los datos. Por ejemplo, el lugar de nacimiento de la madre o su color favorito. NOTA: Si se piensa utilizar fotos o citas en los informes o las presentaciones, ser indispensable obtener el permiso de las personas involucradas. A veces no es apropiado dar los nombres verdaderos, sino utilizar un nombre que las personas han elegido y slo identificadores generales, como edad, estado civil y escolaridad, dependiendo de lo que sea pertinente para el informe.

121

Mtodos para la recoleccin de datos

Mtodo: Discusin de grupo focal
Descripcin Los grupos focales son discusiones de grupos conformados por una muestra de personas que han sido cuidadosamente seleccionadas, y que se renen con el fin de contribuir sus opiniones sobre temas especficos. Un grupo focal tpico rene de 4 a 12 individuos, normalmente similares en al menos una dimensin (ej., mujeres casadas u hombres VIH positivos) y seleccionados segn el tema a explorar (uso del condn entre parejas casadas, o acceso al tratamiento antirretroviral). La discusin es dirigida por una persona moderadora o lder del grupo, y se centra en temas preseleccionados. Gua para la discusin: Una lista de preguntas y temas a discutir. La discusin puede ser estructurada o no estructurada; la primera cuenta con una lista de preguntas ms desarrollada, mientras que la discusin no estructurada sigue un boceto o una gua, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La persona moderadora coordina la discusin, mientras que otra persona toma apuntes y diligencia una lista de verificacin de las observaciones. A menudo se graba la conversacin para su trascripcin y codificacin posteriores. Pericia necesaria

Instrumentos

Habilidades relacionadas con la facilitacin de discusiones grupales Habilidades relacionadas con la observacin cualitativa y la toma de apuntes Habilidades relacionadas con el anlisis de datos cualitativos La capacidad de cuantificar las respuestas en caso necesario Para recolectar informacin cualitativa y cuantitativa de varias personas con caractersticas similares Para obtener retroalimentacin de las percepciones que se tienen respecto al programa, o para captar una idea de un pblico particular (ej., los y las clientes de una clnica, nias adolescentes) Para identificar las normas, los valores y las creencias socialmente aceptadas, respecto a temas o aspectos especficos Para identificar qu lenguaje se utiliza para entender ciertos conceptos, ej., para identificar los componentes de conceptos sociales complejos, como la equidad de gnero y el empoderamiento Para probar el lenguaje y/o los conceptos que se consideran pertinentes en ciertos grupos y/o el programa Para dar retroalimentacin a cuestiones como los avisos de servicio pblico o carteles de sensibilizacin Es una forma rpida de obtener informacin (los grupos focales duran de 1 a 2 horas) Es una manera til de obtener informacin (ej., modismos, normas conductuales) antes de disear las preguntas y las opciones de respuesta de una encuesta Recolecta datos ricos y descriptivos Tiene una alta tasa de respuesta, si coincide con el horario de los y las participantes La logstica relacionada con organizar entrevistas grupales lleva mucho tiempo (ej., la necesidad de programarlas en torno al tiempo de los y las participantes, no el propio; la posibilidad de tener que ofrecer cuidado de los nios y las nias o algn alimento ligero, etc.) Tiende a dar con las normas en lugar de la gama entera de experiencias o conductas, especialmente si stas son delicadas o estn estigmatizadas Los grupos mixtos pueden inhibir la participacin de las mujeres. Aun en grupos de un solo sexo, una o dos personas pueden dominar la discusin. No debe utilizarse para suplir un nmero grande de entrevistas individuales Posiblemente sea necesaria la trascripcin (escuchar y registrar), lo que puede llevar mucho tiempo Posiblemente las personas slo den respuestas socialmente aceptables Una persona o unas cuantas personas pueden establecer una tendencia, o dirigir la discusin, de tal forma que quedan suprimidas las ideas de los dems

Cundo utilizarla

Ventajas

Desventajas

Consideraciones para el anlisis (errores comunes, sesgos)

122

Mtodo: Ejercicios participativos basados en la comunidad

Descripcin Se puede utilizar varios mtodos participativos para generar datos. Los mtodos principales incluyen los siguientes: mapeos, tarjetas ilustradas, juegos de roles anlisis FODA, anlisis del poder, anlisis del campo de fuerzas Hojas de codificacin, listas de verificacin, apuntes y conclusiones escritas o grabadas; hojas de tabulacin de datos Habilidades para ejecutar programas participativos y para facilitar procesos grupales Mapeos, tarjetas ilustradas, juegos de roles con poblaciones con bajo nivel de alfabetizacin; dentro de proyectos participativos para demostrar los cambios en la distribucin de atributos, problemas comunitarios y conductas interpersonales percibidas Anlisis FODA, anlisis del poder, anlisis del campo de fuerzas son ms pertinentes en los programas de abogaca y otros programas que trabajan para cambiar el entorno poltico y de polticas; para demostrar los cambios en el contexto sociopoltico ms amplio Ventajas Si se aplica sistemticamente en situaciones de pre- y post-prueba o en grupos de comparacin, pueden proveer datos ricos provenientes de una amplia gama de poblaciones El grado en que se pueda comparar depender mucho de la composicin de los grupos y de qu tan sistemticamente se realiza la aplicacin Se puede contar las categoras o proveer descripciones cualitativas

Instrumentos Pericia necesaria Cundo utilizarlos

Desventajas Consideraciones para el anlisis (errores comunes/sesgos)

Mtodo: Encuesta
Descripcin En una encuesta, se plantea una serie de preguntas de manera igual a todas las personas que responden (personas que diligencian el cuestionario). Se puede aplicar encuestas de las siguientes maneras: por medio de una persona entrevistadora en un entorno de persona a persona (una persona entrevistadora lee el cuestionario a la persona que responde y la primera marca las respuestas), por telfono o por Internet. autoaplicada: (la persona que responde diligencia el cuestionario sola, sin la entrevistadora) Las encuestas frecuentemente utilizan preguntas cerradas, y se aplican a nmeros grandes de personas. Algunas encuestas tambin pueden incluir unas cuantas preguntas abiertas. Instrumentos Gua de la entrevista: Un documento que orienta a las personas entrevistadoras respecto a qu preguntas plantear y en qu orden. Introduccin: Un texto que la persona entrevistadora lee en voz alta o que lee la persona que responde, el cual proporciona informacin acerca de la naturaleza y el uso de la encuesta, incluyendo instrucciones generales para responder a las preguntas; asimismo, explica cmo se proteger la confidencialidad/el anonimato. Cuestionario: un conjunto de preguntas planteado a cada participante o persona que responde, de manera exactamente igual, ya sea de manera verbal o escrita. Pericia necesaria Diseo de la encuesta

123

 Cundo utilizarla

Habilidades relacionadas con la conduccin de una entrevista de persona a persona (en el caso de este tipo de aplicacin) Diseo de una base de datos computarizada, si se utiliza terminales de computadoras en encuestas autoaplicadas Suficiente conocimiento para poder distribuir sistemticamente Habilidades relacionadas con el anlisis de datos (cuantitativos y/o cualitativos, dependiendo de los datos recolectados) Para recolectar datos cuantitativos (preguntas cerradas) o cualitativos (preguntas abiertas) Cuando se desea recolectar datos de grandes nmeros de personas, haciendo uso de preguntas cerradas Las encuestas autoaplicadas y las entrevistas de persona a persona son ms apropiadas en el MyE a pequea escala, que en encuestas a grande escala

Ventajas

De la encuesta en general: Es fcil comparar las respuestas Es relativamente fcil analizar Permite tener una muestra relativamente grande Es fcil presentar y entender los resultados La aplicacin requiere menos habilidades que la entrevista abierta De la encuesta autoaplicada: Puede ser annima; baja en costo Sirve para valorar conductas, actitudes y creencias difciles de reconocer en presencia de otra persona, como las conductas ilegales o muy estigmatizadas

De la encuesta aplicada de persona a persona: Faltan menos datos, se puede asegurar la diligencia de todas las preguntas a las que la persona que responde est dispuesta a contestar; se puede aclarar la terminologa y las respuestas de manera sistemtica Se puede adaptar al contexto y a las personas especficas, incluyendo la instruccin de saltarse preguntas que no aplican Permite canalizar los casos en los que se detecta alguna crisis o un problema Desventajas De la encuesta en general: Si las preguntas o las opciones cerradas son inapropiadas para el contexto local, incorrectas o estn sesgadas, pueden faltar datos o estos pueden ser engaosos. Se puede dificultar el diseo que evite sesgos y que sea apropiado a temas delicados No capta informacin espontnea Slo arroja respuestas predeterminadas que posiblemente no sean las mejores para entender el aspecto en cuestin Impone opciones predeterminadas a la persona que responde A menudo no se sabe lo que una respuesta realmente significa A menos que se acompae de preguntas abiertas, no habr oportunidad para aclarar las respuestas

De la encuesta autoaplicada o telefnica: Faltan datos debido a que no hay oportunidad para aclarar el significado de una pregunta (autoaplicada) No es posible aplicarla en poblaciones analfabetas o de bajo nivel de alfabetizacin Requiere una computadora y programas especializados en el caso de grupos grandes; un sistema confiable de correo si se enva el cuestionario por este medio; o acceso amplio al telfono Presenta la posibilidad de obtener una baja tasa de respuesta, si se realiza por correo/Internet/telfono

De la encuesta aplicada de persona a persona

124

 Consideraciones para el anlisis (errores comunes, sesgos)

Falta de anonimato Requiere de mucho tiempo del personal La presencia de la persona entrevistadora puede afectar las respuestas

De persona a persona: Los sesgos y las expectativas de la persona entrevistadora pueden alterar las respuestas La persona entrevistadora debe evitar mostrar aprobacin o desaprobacin de las respuestas

Autoaplicada o telefnica: Es necesario realizar un seguimiento para lograr una tasa de respuesta aceptable, si se enva por correo o se aplica va telefnica

Mtodo: Entrevista a profundidad

Descripcin Una entrevista a profundidad es un tcnica utilizada para recolectar datos cualitativos y/o cuantitativos, mediante una discusin detallada y personalizada entre la persona entrevistadora y la entrevistada; permite que la primera entienda las percepciones, actitudes y pensamientos que tiene la segunda acerca de varios temas. La persona entrevistadora utiliza una gua o un protocolo de la entrevista: una lista de preguntas y temas a abordar. La entrevista puede ser estructurada o no estructurada; la primera conlleva una lista de preguntas ms estandarizada y especfica, mientras que la entrevista no estructurada sigue un boceto o gua del tema, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La entrevista puede abordar la historia de vida de la persona, o puede estar organizada en torno a temas especficos. Pericia necesaria Cundo utilizarla Buenas habilidades para conducir entrevistas, de tal forma que propicien que la persona que responde proporcione informacin completa y precisa acerca de una amplia gama de temas, algunos de los cuales pueden ser bastante delicados Sensibilidad respecto a las diferencias culturales y lingsticas en el significado de las palabras; comprensin del lenguaje corporal Habilidades relacionadas con el anlisis de datos cualitativos y/o cuantitativos Para obtener informacin acerca de temas que no se prestan a entrevistas grupales (i.e., aspectos delicados e historias de vida) Para entender las variaciones y los puntos comunes en la experiencia, la comprensin y el lenguaje Cuando se necesita comprender cmo elaboran las experiencias las personas Cuando se est explorando temas desconocidos y se necesita utilizar preguntas abiertas Para indagar sobre una amplia gama de temas respecto a los cuales la persona que responde comparte sus opiniones, actitudes y percepciones, y reporta la ocurrencia de ciertas conductas o eventos Permite obtener informacin profunda, detallada y desde adentro de una situacin o entorno Una persona entrevistadora capaz puede obtener informacin excelente y brindar apoyo o hacer la canalizacin a otros servicios en caso necesario La presencia de la persona entrevistadora y su posicin pueden sesgar las respuestas y limitar la espontaneidad de la que responde La persona entrevistadora puede transmitir sus opiniones sutilmente, lo que influira en las respuestas Se obtiene opiniones de pocos individuos a un costo relativamente alto Requiere de habilidades bien desarrolladas para evitar sesgar las respuestas Tiene una alta tasa de respuesta, si la entrevista se acomoda al horario de los y las participantes Requiere de habilidades para poder aprovechar los datos Es necesario evitar la sobre generalizacin de los hallazgos y los datos recolectados de un grupo reducido de personas

Instrumentos

Ventajas

Desventajas

Consideraciones para el anlisis (errores comunes/sesgos)

125

Mtodo: Observacin (participativa, no participativa)

Descripcin La observacin es un proceso sistemtico mediante el cual se registra los patrones de conducta de las personas, objetos y ocurrencias, de maneras que difieren del planteamiento directo de preguntas y de la comunicacin directa (aunque frecuentemente se realiza la observacin en conjunto con una entrevista). Las personas que evalan pueden utilizar tcnicas de observacin con el fin de observar componentes o actividades del programa, as como el comportamiento de individuos y grupos. Las observaciones normalmente quedan registradas en un escrito, en forma de apuntes de campo. En ocasiones, tambin se utiliza el video o la pelcula. La observacin participativa implica que la persona observadora participa en la actividad, grupo u ocurrencia bajo investigacin. La observacin no participativa significa que la persona observa la actividad, el grupo o la ocurrencia desde fuera. El cliente simulado es una forma de observacin en la que la persona hace creer que es un/una participante o cliente, y no revela su verdadera identidad. Con el fin de evitar problemas ticos, el personal debe saber que se presentar un cliente simulado en momentos indefinidos, esto ltimo con el propsito de evaluar ciertas caractersticas de la prestacin del servicio. Es necesario obtener el debido consentimiento de las personas con autoridad en el entorno en cuestin. Se hace uso frecuente de entrevistas in situ junto con la observacin. Aqullas son entrevistas informales con participantes que se encuentran en el lugar, donde la interaccin es mucho ms natural y conversacional. Los instrumentos que se puede utilizar en las observaciones incluyen listas de verificacin, cuestionarios con preguntas abiertas y formularios (descriptivos o narrativos), que permiten que la persona observadora registre sus apuntes y observaciones. Habilidades para hacer entrevistas que dejan que el observador hable con los participantes de una manera discreta, respetuosa y efectiva. Sensibilidad a las diferencias culturales y lingsticas en los significados de las palabras y el entendimiento del lenguaje corporal Conocimiento de cmo escribir apuntes de campo para grabar observaciones Conocimiento de cmo desarrollar un formulario para recolectar datos Cuando se necesita ver conductas observables en el momento en que se dan en la vida real, especialmente las relacionadas con temas o conductas muy delicadas, as como actitudes tabes, debido a que la observacin permite ver cmo suceden las cosas en realidad, no cmo estn dispuestas las personas a reportarlas Cuando se necesita entender cmo sucede algo en un contexto social y en la vida real, tal y como se vive Cuando se desea saber cmo actan las personas y no slo cmo hablan de las cosas Cuando se desea entender significados implcitos y no hablados Cuando ciertos eventos, como la interaccin entre el/la paciente y el mdico/la mdica, las reuniones de comits, los debates legislativos, son centrales al programa, y el comportamiento que ocurre en ellos constituye un indicador importante Cuando se necesita evitar que las personas enmarquen sus experiencias, creencias y actitudes dentro de un conjunto predefinido de palabras o valores determinados por la persona que evala, es decir, la encuesta tradicional con preguntas cerradas Cuando se desea valorar con mayor precisin, los cambios en la conducta, evitando los casos en que las personas reportaran lo que consideran que la persona entrevistadora desea saber Permite ver un programa en operacin y obtener informacin acerca de cmo funciona Permite ver conductas y actitudes socialmente indeseables en accin Permite construir confianza entre la persona observadora y los y las participantes Permite captar el silencio que se da en torno a aspectos importantes Los y las participantes pueden portarse bien cuando saben que se les observa Posiblemente no se observe las conductas poco frecuentes dentro del periodo de tiempo disponible

Instrumentos

Pericia necesaria

Cundo utilizarla

Ventajas

Desventajas Consideraciones para el anlisis (errores comunes/sesgos)

126

Mtodo: Revisin documental y de registros, incluido el anlisis de los medios

Descripcin Este mtodo implica revisar documentos como los registros de las actividades del programa, registros mdicos, datos demogrficos, datos oficiales (ej., educativos o municipales), minutas de reuniones, contenidos en los medios, inventarios, estadsticas del servicio y otros registros. Otras fuentes de datos incluyen las estadsticas rutinarias del proyecto, encuestas realizadas en las instalaciones, encuestas de proveedores de clientes, peridicos, programas televisivos, publicidad e informacin de la gerencia.

Dichas revisiones documentales normalmente implican contar la frecuencia de diversos comportamientos u ocurrencias, como el nmero de visitas a la clnica, el nmero de embarazos no deseados, la frecuencia en las visitas prenatales, etc. En muchos casos, el programa ya cuenta con datos recolectados sistemticamente.

En algunos casos, se puede obtener datos cualitativos de estas fuentes y presentarlos de manera no numrica, mediante citas y ejemplos que demuestren las tendencias en los cambios, como por ejemplo, el cambio a travs del tiempo en la cobertura que los peridicos dan a los derechos relacionados con el aborto. Instrumentos Las herramientas que se pueden utilizar para la revisin documental incluyen listas de verificacin o formularios en los que se registra apuntes y se tabula la frecuencia de la ocurrencia encontrada en los registros. Es necesario contar con un esquema claro de codificacin para tabular con eficacia. Ventajas Conocimiento de cmo desarrollar un esquema de codificacin Familiaridad con el medio a revisar (ej., crticas de los medios, anlisis de datos oficiales) Cuando ya existen sistemas para la recoleccin de datos, sta es relativamente sistemtica, los sistemas estn bien estructurados y recolectan datos confiablemente Cuando de otra manera no se tendra acceso a la informacin Para estudiar tendencias en el pasado Para documentar la provisin del servicio como se da actualmente o como se daba anteriormente Para reconstruir datos de base Cuando los objetivos se centran en cambios en los medios, en la provisin del servicio, en los comits entre organismos, etc. Es una fuente objetiva de datos Los datos pueden existir con anterioridad, lo que elimina algunos costos de la recoleccin de datos Ciertos datos recolectados con regularidad tienen en marcha un mecanismo congruente para la recoleccin de los mismos Permite estudiar tendencias en el pasado Puede proporcionar informacin acerca de poblaciones grandes, incluso acerca de resultados finales, ej., registros de salud Los datos no siempre estn completos, no siempre son confiables y pueden tener sesgos indeterminados Puede ser difcil la interpretacin, sin el contexto apropiado sobre el programa/la ocurrencia que se est investigando Puede llevar mucho tiempo si es difcil encontrar los registros y si son extensos Tiende a contener grandes categoras de datos sin mucha atencin al detalle Frecuentemente no contiene todas las categoras posiblemente requeridas por el proceso de MyE en cuestin Las categoras de los datos pueden ser similares en apariencia a las del MyE, pero no lo suficiente para permitir comparaciones reales Posiblemente fueron insuficientes las definiciones utilizadas y la capacitacin impartida para la diligencia de los registros, de tal forma que se desconoce las condiciones bajo las cuales se ingresaron los mismos Posiblemente los datos estn falsificados, si las personas que los registraron estaban bajo presin para registrar altos niveles en indicadores de desempeo

Pericia necesaria Cundo utilizarla

Desventajas

Consideraciones para el anlisis (errores comunes/sesgos)

127

Por qu convertir datos cualitativos en indicadores numricos? Porque puede ser muy eficaz. Posiblemente se tenga que recolectar datos cualitativos si se desconoce cmo se presenta algn fenmeno en el contexto local. Pero una vez que se conoce la gama de conductas que describen dichos datos y los tipos de significados que expresan, quiz se quiera reportar cuntas personas de las observadas o entrevistadas hicieron o dijeron algn elemento de inters. Al transformar los datos cualitativos no numricos en datos numricos, se podr cuantificar y graficar las cifras (va grficas, histogramas, etc.) y se lograr identificar tendencias. Qu es lo que realmente significa consentimiento informado? Es necesario tomar en serio ambas partes de este concepto: Informado significa que las personas tienen que haber recibido y entendido la naturaleza del estudio y su participacin en l, cmo se utilizar la informacin y cmo se proteger su privacidad y/o la confidencialidad. No es suficiente presentar una descripcin escrita o verbal; es preciso asegurar que la persona entienda la explicacin. Ello constituye un desafo especial cuando las personas que responden son analfabetas, hablan un idioma o dialecto diferente, tienen un nivel muy bajo de escolaridad, o son tmidas o reservadas en el sentido de hacer preguntas. Consentimiento la persona que responde realmente tiene que tener la posibilidad de negar su participacin, sin presin, coercin o sentimientos de culpa. Pueden existir tambin consideraciones de ndole jurdico, por ejemplo, si la persona es menor de edad, o en algunas situaciones, una mujer sin autoridad para otorgar el permiso autnomamente. Si bien este tipo de situacin violenta el anonimato, an se podra garantizar la privacidad y la confidencialidad de los datos realmente recolectados. Qu habilidades habr que fortalecer? De ser posible, elegir personas que: Puedan ser objetivas al escuchar y registrar, as como en las interacciones con las personas que responden Se sientan cmodas al hablar con el tipo de personas de quienes recolectarn datos Estn motivadas para indagar sobre qu tan bien funciona el programa, no slo mostrar lo bueno que es. Ello significa que las personas que recolectan los datos deben ser capaces de distanciarse de la retroalimentacin negativa que puedan recibir respecto al programa, y de saber que a la larga, dicha informacin contribuir al mismo. Pedir al educando que haga apuntes de campo. Revisarlos conjuntamente y discutirlos. Asegurar que sean pertinentes y objetivos, y que estn completos.

La capacitacin para fortalecer habilidades debe incluir lo siguiente: Tcnicas de observacin y de escucha, haciendo uso de los juegos de roles entre las y los educandos Cmo evitar preguntas que inducen una respuesta: o Ser conveniente dar muchos ejemplos de este tipo de preguntas o Desarrollar un guin detallado para cada persona entrevistadora, con elementos especficos de sondeo, para cuando se necesite ms informacin Cmo evitar sesgar las respuestas y reforzar conductas: o Cuidar los gestos y ademanes o Cmo ser neutral pero compasivo/a o Lo que hay que evitar y lo que se puede hacer Tcnicas tendientes a legitimar la discusin de temas tabes o muy delicados; por ejemplo, posiblemente los hombres necesiten que se legitimen algunos temas para que puedan hablar de sus sentimientos. o Incluir una introduccin a cada seccin o sub-seccin que aborda aspectos delicados. Explicar qu tema ser abordado y las partes que pueden ser difciles, pero que es ms comn que lo uno cree; o bien, algn enunciado preciso que legitime el tema, por qu es importante la informacin y cmo se utilizar. o No emitir juicios de valor

128

Si se utiliza respuestas cerradas, quiz convenga poner las preguntas ms estigmatizadas primero, para que se consideren ms aceptables. De esta manera, la persona que responde no tiene que descartar lo que no es, antes de llegar a lo que es. Sensibilidad a respuestas atpicas y cmo manejarlas o Sensibilizar a las personas entrevistadoras respecto a las posibilidades atpicas, y ensearles a evitar los supuestos o Asegurar que sepan que en sus reuniones regulares, pueden reportar si ciertas preguntas les incomodan, y que obtendrn ayuda para manejar dichas situaciones Captar informacin acerca de conductas inseguras o peligrosas o Tener claras las directrices legales aplicables en el contexto local. Si la persona entrevistadora tiene la obligacin por ley de reportar cierta informacin, debe comunicar dicha situacin a la persona que responde antes de comenzar la entrevista o Aun si no existe la obligacin por ley, el Equipo de MyE debe establecer un protocolo claro, con el fin de que las personas entrevistadoras sepan qu hacer en caso de enterarse de conductas inseguras o ilegales o El protocolo debe incluir una manera sistemtica de ofrecer ayuda o de canalizar a la persona que responde Las normas culturales de las personas que responden (cuando la subcultura tiene normas diferentes) o Evitar situaciones en las que la persona entrevistadora no pueda obtener la informacin debido a algn prejuicio cultural, como sera que las mujeres casadas sientan que no pueden hablar de relaciones sexuales con una mujer ms joven y soltera o Asegurar que las personas entrevistadoras sepan que pueden reportar los dilemas culturales que enfrenten o

Qu hacer cuando no hay nadie en casa? No slo en el caso de las visitas domiciliares sino en cualquier recoleccin de datos, posiblemente no se encuentre a las personas o los documentos donde y cuando se esperaba. Asegurar el establecimiento de reglas claras para el seguimiento, y que las personas que recolectan los datos las acaten; asimismo, que se registre los datos faltantes y los intentos por encontrar dichos datos, en un formulario preestablecido.

seguimiento determinar reglas claras respecto a lo que deben hacer las personas que recolectan los datos para dar seguimiento, a fin de obtener los datos necesarios o suplir fuentes de datos, esto para evitar que se filtren los sesgos. Habr que decidir lo siguiente: o cuntas veces las personas que recolectan los datos visitarn el sitio para obtener los datos o cuntas llamadas telefnicas se realizar para fijar un cita o qu debe hacer la persona recolectadora de datos cuando falta un documento o cuando una persona se rehsa a dar informacin tasas de rechazo las variaciones en el nmero de personas que se rehusaron a participar en la recoleccin de datos, segn los diferentes subgrupos o grupos de comparacin, pueden afectar el significado de los hallazgos. Habr que monitorear lo siguiente: o el nmero total de participantes dentro de cada subgrupo o el nmero de rechazos en cada grupo cuestiones de ausentismo - algunos grupos pueden ser ms difciles de localizar, y posiblemente se presenten con menos frecuencia en el sitio acordado para la recoleccin de datos. La tasa de desercin en valoraciones de segunda y tercera vuelta puede ser el resultado de factores tanto internos como externos. Es necesario monitorear lo siguiente: o las veces que se acudi al sitio para la recoleccin de datos y que no se encontr a la persona necesaria o cuntas personas de ciertos grupos o cuntos documentos de cierto tipo faltaron, ej., en clase o en los archivos. Ejemplo. Si la lnea de base empez con un nmero igual de nios y nias, pero los nios no se presentaron para la lnea media o final, los hallazgos quedarn fuertemente alterados y pueden indicar la necesidad de hacer cambios en el programa o bien, pueden reflejar algn evento externo que impidi que los nios asistieran, como sera un nuevo club de ftbol en el pueblo.

129

Qu pasa si esta informacin es muy delicada? Siempre es indispensable respetar el nivel de comodidad de la persona. Jams presionar a nadie a contestar una pregunta respecto a la cual parecen ser reacios/as a contestar. Recordar que las personas pueden rehusarse a contestar cualquier pregunta, y pueden terminar la entrevista/encuesta en cualquier momento. Una buena introduccin y un buen proceso de consentimiento ayudarn si se explica claramente por qu se necesita la informacin y cmo se utilizar. Habr que hacer el esfuerzo por conseguir el apoyo de la persona. Asimismo, habr que explicar cmo se proteger el anonimato y/o la confidencialidad. Si an as la persona se rehsa, habr que respetar su derecho de hacerlo. Si un nmero inesperadamente alto de personas quiere saltarse una pregunta o se rehsa a participar en la recoleccin de datos del todo, habr que repensar el mtodo, la tcnica de la entrevista y quiz las comparaciones que se necesitan. Preguntarles directamente, de una manera no amenazante, por qu se rehsan a participar, a fin de entender por qu no funciona el plan. Si las respuestas a las preguntas delicadas son indispensables para la utilidad de los datos, ser conveniente incluir dicha(s) pregunta(s) en una etapa temprana de la entrevista; de esta manera, si la persona se rehsa a proporcionar la informacin, se podr terminar la entrevista antes de recolectar la dems informacin. Las personas entrevistadoras deben preguntarse: Estoy contribuyendo a que hable(n) de este tema? Habr que intentar diferentes maneras de lograr que las personas se sientan bien al hablar de temas difciles y delicados.

Qu tipo de informacin deben contener los instrumentos de recoleccin de datos? Informacin descriptiva acerca de la fuente de datos y del evento de recoleccin de datos: Incluir informacin acerca del sitio/la ubicacin, fecha, hora, duracin de la recoleccin de datos, y el nombre de la persona recolectadora de datos. Al recolectar datos directamente de las personas, se debe incluir una seccin de preguntas que recolecten informacin acerca de la situacin social y demogrfica de la persona que responde, como seran edad, raza/etnia/religin, ocupacin y sexo. Se debe recolectar informacin socio demogrfica, independientemente del mtodo utilizado para la recoleccin de datos grupos focales, encuestas, etc. Las preguntas socio demogrficas son importantes porque permiten lo siguiente: Entender de quines se recolecta datos Dividir las personas que responden segn criterios importantes y pertinentes para las preguntas que se pretende contestar Identificar los factores que podran alterar los hallazgos Asegurar que sean comparables las recolectaciones pre- y post-prueba y el grupo de comparacin Qu pasa si esta informacin es muy delicada? Centrarse en los indicadores: El grueso del instrumento de recoleccin de datos estar conformado por preguntas especficas, temas a abordar o sitios donde se observar, que proporcionan informacin relacionada con los indicadores. Cada seccin del instrumento debe tener instrucciones claras de cmo se debe introducir y/o aplicar la seccin. Al desarrollar las partes del instrumento que tienen que ver con los indicadores: Asegurar que se haya convertido cada indicador en una o ms preguntas, temas o categoras de observaciones Asegurar que cada pregunta o categora a codificar corresponda a uno o varios indicadores. Para indicadores complejos, quiz sea necesario utilizar varias preguntas para llegar a un cierto aspecto. Incluso se podra crear una escala o un ndice. No incluir preguntas o categoras de informacin que no correspondan a los indicadores, excepto cuando la informacin permite identificar la fuente de los datos o la persona que responde, cuando la inclusin es necesaria para asegurar que fluyan las preguntas o para identificar qu conjunto de pregun-

130

tas es aplicable a cierta persona, evento o documento. Una excepcin sera cuando se ha decidido con anterioridad, recolectar una cantidad reducida de datos acerca de algunas brechas en la lgica del programa. Pero el nmero de dichos casos debe mantenerse bajo, y habr que anticipar cmo se utilizar esta informacin. No incluir preguntas o categoras de codificacin que son tan ambiguas que ser difcil interpretarlas. Ejemplos: o Cuando mi pareja y yo estamos juntos, yo soy algo callada debe ser Soy ms callada que lo normal, de tal forma que sea relativo al nivel normal de callar. Pero si el indicador se enfoca a la calidad de la relacin de pareja, una pregunta as significa que existe suficiente confianza para estar callada (quiz una seal de una buena relacin), o que la mujer se siente inhibida por la presencia del marido (quiz una seal de una mala relacin)? Sera mejor preguntar: Cundo mi pareja y yo estamos juntos, me siento suficientemente cmoda para estar ms callada que lo normal? O bien,Me siento menos capaz de hablar y me vuelvo ms callada que lo normal. Asegurar que cada pregunta y cada opcin de respuesta estn enmarcadas de tal forma que coincidan con el tipo de datos necesarios. Proveer categoras especficas para las respuestas, si se busca datos cuantitativos. Dejar las categoras abiertas y un espacio para registrar la respuesta completa, si se trata de datos cualitativos.

Observaciones y apuntes en campo: Dejar un espacio para que la persona recolectadora de datos incluya notas u observaciones acerca de circunstancias no anticipadas, as como datos no verbales o espontneos, como los silencios, la incomodidad, las interrupciones; pistas informales que podran alterar el significado de los datos recolectados, incluidas las impresiones subjetivas acerca de lo adecuado de los datos. El que las personas que recolectan los datos hagan apuntes, constituye una verdadera oportunidad, y puede contribuir significativamente a la calidad de los datos.

131

Tipo de datos a utilizar

Datos cuantitativos Datos cualitativos

CUNDO se utiliza

Se pretende medir acciones, tendencias, niveles de conocimiento Para determinar cuntos, cunto y con qu frecuencia Las caractersticas de lo que se est midiendo son bien conocidas y es factible organizarlas por categoras con precisin El Equipo tiene algn conocimiento de las estadsticas bsicas o puede obtener ayuda de expertos en la materia La significancia estadstica es de inters para la evaluacin Ya se ha determinado exactamente de qu preguntas se quiere obtener respuestas, y se requiere que los datos estn completamente estandarizados

Se busca informacin acerca de la explicacin que dan las personas que responden, de sus actitudes, percepciones y motivaciones Se desea entender el contexto del programa y los procesos que tuvieron lugar Se desea explicar por qu o cmo ocurren las cosas Se desconoce cmo se ve en un cierto entorno, un aspecto que se desea medir Se desea abordar brechas en la Ruta Causal y se desea explorar temas no estudiados Se desea saber algo sobre una conducta socialmente indeseable o de alguna manera estigmatizada Se requiere informacin sobre algo que se considera privado y/o indeseable o de alguna manera estigmatizado, por lo que sera mejor entrevistar a las personas y/o observarlas en un entorno social Es algo implcito y difcil de expresar, pero se ve en accin a travs de las observaciones Para contribuir a explicar datos extraos, confusos o aparentemente contradictorios Como un diagnstico de necesidades preliminar Para pedir a las personas que responden, que expliquen las respuestas que dieron a preguntas cuantificables/ cerradas

CMO se recolecta los datos

Algunos de los mtodos e instrumentos ms comunes de recoleccin de datos son los siguientes: Estadsticas del servicio Registros del programa Encuestas a nivel del programa (proveedores, encuestas de satisfaccin del/de la cliente, evaluaciones de las capacitaciones) Encuestas a nivel de poblacin (local, regional o nacional) Preguntas cerradas o datos de conteo en entrevistas o cuestionarios Observaciones de conductas, eventos o nmero de personas, que una persona observadora puede contar Permiten recolectar datos congruentes y comparables, que pueden llevar a conclusiones sobre la dimensin de las diferencias entre grupos o a travs del tiempo. Es ms eficaz en cuanto al costo, recolectar y analizar datos provenientes de un nmero relativamente grande de personas que responden. Permiten proteger la privacidad de las personas que responden, mediante encuestas autoaplicadas. Permiten generalizar los hallazgos hacia poblaciones ms grandes, si se hace bien el muestreo. Se puede medir el cambio, al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. Es posible realizar anlisis bsicos ante la falta de habilidades y

Algunos de los mtodos e instrumentos ms comunes de la recoleccin de datos son los siguientes: Entrevistas a profundidad Preguntas abiertas en encuestas o entrevistas Grupos focales Tcnicas de observacin Anlisis de textos pesados o imgenes, como son programas televisivos, artculos periodsticos, minutas de reuniones

VENTAJAS

Permiten recolectar datos congruentes y comparables, si se plantea las mismas preguntas a todas las personas relevantes. Permiten explorar dimensiones sociales y culturales. Permiten identificar trminos locales y su significado. Revelan resultados no intencionados del programa. Propician que las personas que evalan aprendan de la recoleccin de datos y exploren nuevas pistas hacia la comprensin de los significados. Permiten evaluar los objetivos del programa cuya cuantificacin se dificulta. Permiten entender y documentar por qu y cmo un programa tuvo impacto, lo cual cobra importancia en el sentido de que aporta maneras de mejorar y/o replicar el programa. Permiten documentar no slo que algo ocurre, sino tambin cmo y por qu ocurre. Se puede medir el cambio al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. No requieren programas especiales de estadsticas o de otra ndole, aunque s requieren

132

software especializados. DESVENTAJAS Se limita uno a categoras predeterminadas, que pueden coincidir con la realidad o distar de ella. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por las opciones de respuesta o la manera en que se plantea las preguntas.

otras habilidades. No se puede generalizar los hallazgos hacia una poblacin ms grande. Los hallazgos atpicos posiblemente no queden contrarrestados por los hallazgos tpicos en un conjunto ms grande de datos. Requieren muchas habilidades de observacin y gran sensibilidad, que posiblemente requieran capacitacin especial. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por la manera en que se plantea las preguntas o las caractersticas de la persona recolectadora de datos.

Utilizar ambos tipos de datos

A menudo es buena idea utilizar ambos tipos de datos en la misma evaluacin, ya que con enfoques cuantitativos se podr responder a las preguntas qu? y cunto?, mientras que con enfoques cualitativos se podr responder a las preguntas por qu? y cmo?. Frecuentemente, los datos cualitativos permitirn el desarrollo de mtodos cuantitativos con pertinencia local contribuirn a explicar los hallazgos cuantitativos Asimismo, con frecuencia, los datos cuantitativos darn legitimidad a los datos cualitativos demostrarn la dimensin de los hallazgos que se han descrito cualitativamente

Algunos consejos generales

La calidad y confiabilidad de la informacin obtenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos bsicos para asegurar la calidad en la informacin se enlistan a continuacin: Recoger nicamente la informacin que ser til y que podr emplearse. Comnmente se cae en el error de reunir demasiados datos de baja calidad y formulamos un sistema de MyE demasiado complejo, lo cual dificulta un anlisis adecuado. Menos datos (de mayor calidad) pueden ofrecer informacin mucho ms til, sin complicarnos demasiado en etapas posteriores del proceso de manejo de informacin.

133

Realizar una planeacin adecuada: como se mencion anteriormente, un diseo adecuado del proyecto as como del sistema de MyE es esencial para obtener informacin de calidad, esto incluye: formulacin de indicadores adecuados y variados, identificacin clara de las necesidades de informacin de lnea base, diseo cuidadoso del plan de monitoreo, seleccin de los mtodos y las tcnicas de recoleccin de datos ms convenientes. Reunir datos fiables, vlidos y crebles: aunque no sea un enfoque riguroso o cientfico, necesitamos recolectar datos que sean confiables, precisos y consistentes recopilados con una metodologa rigurosa y pertinente de acuerdo a las necesidades de informacin. Los datos confiables dependen asimismo de la seleccin de una muestra representativa y de la unidad de anlisis adecuada. Validacin de la informacin: los datos obtenidos con un mtodo de seguimiento, se verifican con la informacin obtenida con otro mtodo. Triangulacin de las fuentes: para asegurar la calidad de la informacin, es muy importante contar con diferentes fuentes, con distintos tipos de mtodos e informantes diversos, para obtener una visin completa de la situacin. Combinar datos cuantitativos con informacin cualitativa: esto facilita el anlisis, pues permite explicar, a travs de la informacin cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos. Participacin de beneficiarios: eso es fundamental para asegurar la pertinencia de los mtodos y de la informacin obtenida. Capacitacin y preparacin de quienes participan en la recoleccin: los encuestadores y entrevistadores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recoleccin de informacin, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guardar la informacin) y de capacitacin, asegurando que todos tengan las herramientas necesarias y suficientes recursos financieros. Flexibilidad en la revisin de indicadores: conforme se desarrolle el proyecto, ser necesario revisar las necesidades de informacin y los indicadores formulados en un inicio. Es necesario ser flexibles e incluir nuevas necesidades o eliminar aquellas que ya no sean relevantes.

Actividades de la dcima sexta semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Despus de realizar la lectura, cules conceptos estn claramente comprendidos por usted y cules no? 2. Qu conoca antes de realizar la lectura acerca del tema o temas tratados en la lectura de la semana? Es distinto a lo planteado por la lectura, por qu? 3. Para usted, qu importancia tiene el hacer una buena seleccin de las fuentes de informacin? 4. Qu desafos le presenta la lectura realizada? 5. Cules son los conceptos que debe ampliar o profundizar en la seleccin de las fuentes de informacin?

134

DCIMA SPTIMA SEMANA TEMA Anlisis y empleo de la informacin Objetivos de la semana

Al finalizar el estudio de la dcima cuarta semana las y los estudiantes. Comprendern la forma ms adecuada de realizar el anlisis y empleo de la informacin generada con una evaluacin.

LECTURA Analizar e interpretar los datos

Paso 1: Desarrollar el plan de anlisis
Fundamento Aun si se plane bien la evaluacin y se disearon excelentes instrumentos y un plan de recoleccin de datos es necesario prestar mucha atencin a la planeacin del anlisis de los mismos,

Antes de comenzar a recolectar los datos Durante la recoleccin de los datos Nunca debe comenzarse la recoleccin de los datos hasta que se sepa cmo se analizarn dichos datos, y se

haya probado los instrumentos de recoleccin y el plan de anlisis. Tarea 1: Desarrollar el plan de anlisis Si tiene acceso a alguien con experiencia en el anlisis de datos, con suerte ya se habr invitado a dicha persona a formar parte del Equipo de MyE (ver el Mdulo 1), aun cuando esa persona no haya estado involucrada en todo el proceso. Si se va a entrar en contacto con una persona experta en evaluacin, no debe esperarse hasta que los datos hayan sido recolectados. El equipo debe asegurarse de planear el anlisis cuidadosamente, ya sea por s mismo o con el apoyo de una persona experta, antes de empezar la recoleccin de los datos. Hay dos tipos de interrogantes para el anlisis de datos: uno se enfoca en entender cmo se realiz el programa y el otro se enfoca en el impacto del programa. Usted se enfocar el anlisis de datos en entender o evaluar el impacto que ha tenido el cambio que se realiz en la poblacin de enfoque. Para entender el impacto del programa tambin hay que poner atencin en cmo se realiz el programa los datos de monitoreo. Revisar las interrogantes de la evaluacin y los objetivos del programa. Centrarse en las comparaciones que darn respuesta a las interrogantes de la evaluacin y que indicarn si el programa alcanz sus objetivos o no lo hizo.

Las comparaciones bsicas son: Pre-programa versus a medio programa y/o post-programa Post-programa versus grupo de comparacin

135

Dentro de cada una de las filas de la siguiente tabla, puede haber subgrupos cuya exploracin puede ser deseable, segn las dimensiones relevantes del programa; en particular, puede ser interesante determinar si ciertos grupos de personas se han beneficiado del programa ms que otros. Dentro de cada columna, tambin puede haber variaciones cuya exploracin sea necesaria. Obtuvieron mayor puntaje en la medicin de resultados inmediatos o intermedios, las personas que asistieron al programa con mayor frecuencia, o las que fueron expuestas a sus mensajes de manera ms intensa, quienes percibieron el programa ms positivamente, o las que tenan ms habilidades inicialmente?

Hacer una lista de todas las comparaciones vinculadas a las interrogantes y los objetivos de la evaluacin Verificar el tipo de datos disponible y decidir cul anlisis se puede y debe realizar Recordar que los indicadores sern numricos o no-numricos. Se puede transformar los datos cualitativos en datos numricos o no numricos Los datos cuantitativos sern analizados como indicadores numricos Si se est analizando indicadores no numricos: se podr describir los hallazgos en trminos de temticas y tipologas y demostrar sus hallazgos con citas y testimonios. se deber indicar cuntas fuentes de datos analizadas (ej. personas o documentos) mostraron los hallazgos que se reportan para el grupo estudiado; ej. 5 de 7 peridicos publicaron en forma negativa artculos sobre violencia domstica que denigraban o criticaban a las mujeres y defendan a los hombres. Si se est analizando indicadores numricos, se podr calcular las diferencias en medias, medianas o porcentajes. Para elegir el tipo de anlisis que puede hacerse dependiendo del nivel de los indicadores disponibles o tipo de dato numrico.

136

Decidir cules comparaciones intragrupales son necesarias para abordar las interrogantes de la evaluacin Al utilizar los datos de monitoreo, se podr explorar la manera en que los diferentes aspectos del programa y la asistencia o la exposicin al programa pueden haber afectado los resultados de la evaluacin Al utilizar datos sociodemogrficos que se hayan recolectado y evidencia que utiliz para construir su Teora de Cambio (Mdulo 2) y Senda Causal (Mdulo 3), se puede explorar si hubo resultados diferentes dentro de cada grupo, ya sea por edad, sexo, estado civil, nivel econmico, historia sexual y/o reproductiva, nivel de motivacin, factores de predisposicin, etc. Hay otras comparaciones necesarias, que reflejen mejor una perspectiva de justicia social basada en los derechos? Para cada conjunto de indicadores, diligenciar la Hoja de trabajo: Planeacin del anlisis Tarea 2: Probar el plan de anlisis Por qu es tan importante? Porque mejora las herramientas de recoleccin de datos antes de que sea demasiado tarde Porque determina si se est recolectando o no toda la informacin necesaria, o si se est recolectando informacin que no ser til Porque determina si se est recolectando informacin de las fuentes correctas de datos

Tabular los datos obtenidos de la prueba (piloto) de los instrumentos de recoleccin de datos y del plan de recoleccin de datos, aplicando el mismo sistema que se utilizar para el anlisis de los datos.

Verificar si hay problemas con: o datos faltantes o instrumentos diligenciados de manera incorrecta o respuestas que son drsticamente diferentes a lo que se esperaba, lo cual podra indicar que las preguntas no se entendieron como se esperaba las respuestas no se codificaron correctamente se pregunt a las personas equivocadas

Se debe preguntar a quienes recolectan los datos, acerca de sus impresiones al respecto. Puede ser necesario reformular las preguntas aclarar las instrucciones actualizar la capacitacin de quienes recolectan los datos

Al probar el plan de anlisis, marque cada elemento de informacin que se utiliza en el instrumento de recoleccin de datos. Hay elementos sin marcar despus de haber especificado el anlisis para cada objetivo? De ser as, debe revisarse si son necesarios y, en caso de serlo, determinar por qu no han sido considerados en los objetivos. Ejemplo: En un diagnstico de necesidades sobre derechos sexuales, realizado mediante entrevistas a jvenes, se les pregunt cules derechos eran los ms importantes. Una de las opciones de respuesta era: este derecho es indispensable. Despus de una prueba piloto, el Equipo encontr que muy poca gente marcaba esta opcin. Las personas entrevistadoras haban observado que muchas de las personas entrevistadas parecan confundidas con el trmino indispensable. En este caso, las preguntas haban sido probadas inicialmente con las y los educadores pares, pero no con personas similares a las que seran entrevistadas.

137

Para cada una de las interrogantes de la evaluacin, utilizar los datos provenientes de la prueba piloto para probar las comparaciones que se planea utilizar, segn el plan de anlisis. Marcar cada elemento de informacin que se usa en el instrumento de recoleccin de datos. Habr que preguntarse: Se cuenta con los datos necesarios? Se tienen esos datos en la forma requerida para los anlisis que se planea realizar? Hay algunos elementos de informacin sin marcar, despus de haber especificado el anlisis para cada objetivo o interrogante de la evaluacin? De ser as, son necesarios? Debe determinarse por qu no fueron abordados en las comparaciones y corregir este error. Por el contrario, si no son necesarios, habr que eliminarlos si es posible. Ejemplo. Si existe la expectativa de que el impacto del programa ser diferente en mujeres que han tenido ms de un aborto, que entre aquellas que han tenido un aborto o ninguno, pero solamente se les pregunta si alguna vez han tenido un aborto (s vs. no), no se podr realizar la comparacin. Es ahora el momento de ajustar las opciones de preguntas y respuestas necesarias para el anlisis. Despus de considerar cmo se usar los datos, habr que eliminar los elementos que no son tiles. Realizar las modificaciones segn sea necesario. Consultar a las personas que recolectan los datos, para fundamentar los cambios en sus percepciones y observaciones. Ajustar: o los instrumentos o la manera en que los datos son recolectados y codificados o la manera en que los datos son tabulados Cuando los ajustes son lo suficientemente importantes para cambiar la forma en que la gente podra responder, excluir del anlisis las respuestas obtenidas antes de la revisin.

138

Paso 2: Asegurar un anlisis adecuado de los datos

Fundamento Aun si se planearon bien las cosas, los errores pueden infiltrarse a los anlisis, lo que posiblemente limite el valor de la evaluacin. Con el fin de evitar lo anterior, asegurar que se realice lo siguiente cuidadosamente:

Supervisar la recoleccin de datos y corregir los errores encontrados Procesar los datos conforme van llegando Realizar anlisis sencillos que den respuesta a las interrogantes de la evaluacin

Tarea 1: Supervisar la recoleccin de datos

Reunirse de manera regular con las personas que estn recolectando los datos: Revisar los procedimientos de recoleccin de datos que se han desarrollado y asegurar que todo mundo los siga Solicitar a quienes recolectan los datos que describan cmo va el proceso, tratando de identificar los aspectos que puedan tener un impacto en los datos que se estn obteniendo, pero que no han sido identificados como problemas Escuchar a las y los encuestadores en lo referente a los retos que hayan encontrado y cualquier conocimiento nuevo o sugerencia que hayan desarrollado; Realizar juegos de roles para poner a prueba la manera de superar los problemas que dichas personas hayan encontrado Animar a las personas que recolectan los datos, y hacerles saber que estn haciendo un buen trabajo segn el caso Identificar las diferencias que ocurren entre los resultados obtenidos de las diferentes personas que aplican las encuestas, ya que dichas diferencias podran tener un impacto en la calidad y/o la consistencia de los datos, y realizar los ajustes necesarios Revisar y depurar los datos conforme van llegando: Codificar los datos tan pronto como sean entregados Buscar errores de codificacin, cotejando contra los formularios originales de recoleccin de datos, y tambin verificando que las respuestas codificadas estn dentro del rango esperado y que tengan sentido Revisar datos faltantes y tratar de encontrar la fuente y resolver cada problema. Verificar si hay ms datos faltantes o en ciertos puntos ms que en otros o entre ciertos subgrupos de personas entrevistadas/encuestadas o en los datos provistos por ciertos/as encuestadores/as Asegurar que existan notas de campo tiles y legibles, y discutirlas con las y los encuestadores en reuniones peridicas Todas las notas y datos cualitativos deben transcribirse de inmediato o Si las personas que aplican las encuestas/entrevistas toman notas (en lugar de grabar las entrevistas), deben completar sus notas inmediatamente. o Debe constatarse que se ponga comillas antes y despus de las citas directas, y que se encierre entre corchetes o parntesis los casos de parfrasis, aun cuando sean muy parecidas a lo que se dijo. Estar alerta ante los hallazgos que pudieran sugerir la necesidad de hacer cambios en la forma de recolectar los datos, como seran o respuestas demasiado ambiguas o respuestas que no se refieren al tema que se trata de explorar o diferencias entre los sitios de recoleccin de datos, poblaciones o personas encuestadoras Analizar los datos cualitativos conforme se avanza. Proporcionar capacitacin adicional o de refuerzo en caso necesario: Si hay problemas que surgen de manera persistente Tan pronto como se detecte el problema. No esperar a que se agudicen los problemas.

139

Hacer los ajustes urgentes: Es mejor realizar cambios, que esperar a descubrir que los hallazgos son intiles Considerar las implicaciones de dichos cambios, para el anlisis y los hallazgos Registrar cundo y cules cambios se realizan Informar sobre dichos cambios al presentar los hallazgos

Hoja de trabajo: Lista de verificacin para supervisar la recoleccin de datos

Fecha: Quin asisti a la reunin? Qu nmero consecutivo tiene esta reunin? Verificar que: Problemas observados Correcciones/soluciones adoptadas Procedimiento Las personas que recolectaron los datos hayan expresado libremente sus observaciones, sugerencias e inquietudes constructivas Se halla codificado los datos oportunamente y sin errores Se halla examinado y tabulado los datos con regularidad Se halla examinado las implicaciones de las respuestas inesperadas Se halla realizado chequeos peridicos de confiabilidad Fecha

Tarea 2: Procesar los datos cuidadosamente Para evitar la introduccin de errores y nuevos sesgos en los anlisis, asegurar que los datos sean manejados cuidadosamente, desde el momento en que son recolectados hasta el momento del anlisis. Los datos cualitativos y cuantitativos debern manejarse en forma diferente. Un aspecto importante de procesar los datos es crear y aplicar cdigos. Un cdigo es una regla para convertir un tem de informacin, por ejemplo, los datos que se recolectan, en otra forma. Por ejemplo, todas las mujeres pueden ser codificadas como 1 o todas las mujeres que atendieron todos los talleres pueden ser codificadas como participantes intensivos. Usted puede determinar los cdigos y todos los miembros del equipo deben aplicarlos de la misma forma. Para los datos cualitativos: Asegurar que las y los encuestadores editen y completen sus notas inmediatamente en campo o lo ms pronto posible despus de la recoleccin de datos. Ello significa que necesitarn un lugar en donde registrar de manera oportuna las notas valiosas. Transcribir las grabaciones para contar con una versin escrita de lo que se dijo en la entrevista. Asegurar que las y los encuestadores tomen notas sobre aspectos no verbales de la entrevista, tales como: gestos silencios cualquier sensacin de incomodidad expresiones faciales forma de vestir, el entorno, etc. no Aun cuando una entrevista haya sido transcrita en su totalidad, puede haber situaciones en las que lo dicho tenga sentido o su real significado no pueda apreciarse sin los aspectos no verbales.

140

Empezar a desarrollar un enfoque al anlisis de datos para asegurar que se recolectan los datos que se necesitan. Para mayor informacin acerca de los enfoques bsicos del anlisis cualitativo. Para datos cuantitativos:

Revisar en campo, los formularios de recoleccin de datos Asegurar que estn completos y sean legibles Hacer lo anterior cuando la o el entrevistador an pueda regresar a la fuente de datos para completar o corregir lo necesario (sin violar los acuerdos de confidencialidad/anonimato). Asegurar que los datos faltantes sean codificados en forma separada Codificar los datos faltantes como 9 99 Codificar los datos no aplicables como 8 u 88 A pesar de los mejores esfuerzos, siempre habr algunos datos faltantes.

Habr que tener cuidado en no confundir los nmeros anteriores con datos reales. Hay que separarlos antes de hacer cualquier clculo. Y siempre debe reportarse el porcentaje de datos faltantes para cada indicador.

Asegurar que las reglas para codificar los datos sean muy claras Verificar que cada persona que recopila datos las conozca bien Si surgen preguntas respecto a la codificacin durante el proceso de recoleccin de datos, asegurar que todas las decisiones sean registradas, fechadas y conocidas por las personas que recolectan los datos.

Crear una hoja de trabajo para tabular los datos a mano (a menos que se utilice un programa de computadora) Crear una hoja de trabajo usando un programa como Excel o Lotus Asegurar que cada una de las celdas tenga un nmero, de tal forma que se pueda ver si algo hace falta. Tarea 3: Usar estadsticas descriptivas para resumir las respuestas de los grupos y para realizar comparaciones que den respuesta a las interrogantes de la evaluacin Ahora se utilizar tcnicas analticas sencillas para: describir los grupos principales sobre los que se ha recolectado datos realizar las comparaciones bsicas que se haba planeado explorar las diferencias al interior de los grupos estudiados

Describir los hallazgos para cada grupo. Llevar el conteo de cuntas personas dieron cada tipo de respuesta (por ejemplo, usaron o no usaron condn en la ltima relacin sexual) en cada categora significativa (por ejemplo, hombres antes y despus de participar en el programa, mujeres expuestas al programa y las que no lo estuvieron), haciendo esto a mano o utilizando una funcin del programa de hoja de clculo. Ello deber hacerse para los datos tanto cualitativos como cuantitativos. Puede utilizarse un formulario de recoleccin de datos en blanco para registrar el nmero de respuestas recibidas de cada tipo Aun en este punto, verificar los aspectos que no tengan sentido y que podran ser errores de codificacin. Verificar tambin que los conteos sean consistentes con otras respuestas. Ejemplo: Si 21 mujeres respondieron haber sido vctimas de violencia, se debe asegurar que tambin haya 21 mujeres que dieron respuestas a las preguntas sobre la violencia que haban experimentado. Si el nmero es diferente, puede ser necesario regresar a las entrevistas para revisar si algo fue codificado errneamente o si se necesita codificar algunos casos como datos faltantes. Agrupar los resultados segn temas relacionados de manera lgica. o Observar cuidadosamente los datos recolectados de diferentes fuentes sobre un indicador en particular, a fin de ver de qu forma conducen o no a la misma conclusin o Revisar las respuestas recibidas sobre diferentes aspectos del mismo indicador, para ver si presentan lo mismo Presentar los hallazgos en tablas o grficas sencillas, mostrando conteos, frecuencias, promedios, medianas o porcentajes de respuesta por tema. Consejos: Cundo no debe usarse un porcentaje?

141

Las tabulaciones cruzadas sern un buen mtodo para presentar los datos que comparan dos elementos diferentes, para ver cmo se relacionan, por ejemplo, cuntos hombres y mujeres con alto versus bajo nivel educativo difieren en trminos del puntaje que obtienen al final de un taller.

Se recomienda que se discuta el anlisis con las personas que recolectan los datos, personal del programa y otros actores interesados cercanos.
Es conveniente presentar los hallazgos preliminares antes de preparar los grficos o transparencias finales. Utilizar formatos sencillos para presentarlos y discutirlos, primero con la gente ms estrechamente involucrada con la recoleccin de datos. Se puede escribir las estadsticas descriptivas relevantes directamente en un formulario de recoleccin de datos en blanco, a un lado de los elementos correspondientes. Las personas que recolectan los datos estarn familiarizadas con el formulario, el cual vincula claramente los hallazgos con los datos, y tiene un formato ya creado. En este punto, el propsito de la discusin es: Identificar los hallazgos que no coinciden con las observaciones de quienes tiene una relacin ms estrecha con los datos. Dichas discrepancias pueden estar sealando errores en la codificacin o el anlisis, o pueden ser hallazgos interesantes y valiosos en s mismos. Entender las comparaciones entre diferentes fuentes de datos para el mismo indicador. Cualquier discrepancia entre dichos datos debe ser examinada cuidadosamente para saber qu est sucediendo, antes de concluir que un tipo de fuente de datos es mejor que otro. En realidad, dichas discrepancias pueden conducir a un mayor conocimiento de los instrumentos, del programa o de la gente a la que se est llegando. Determinar si es necesario realizar otros anlisis para comprender los datos a fondo. Las personas que recolectaron los datos o el personal plantea preguntas que se puede contestar mediante un mayor desglose de los datos? Ejemplo: Las personas que recolectaron los datos preguntan si hay diferencias en los hallazgos entre tres diferentes sitios clnicos, puesto que han odo que el director de uno de los sitios tiene actitudes muy negativas hacia el programa. Se decide comparar los hallazgos por clnica, para ver si el aspecto de liderazgo ha tenido algn impacto en la eficacia del programa.

El tiempo dedicado a tratar de comprender lo que dicen los datos es tiempo bien empleado.

142

Paso 3: Interpretar los hallazgos Ahora que se cuenta con los hallazgos derivados del anlisis, se necesitar describir lo que significan. Esto ser especialmente difcil si los hallazgos son diferentes a lo que se esperaba. Habr que realizar ciertas acciones para interpretar los hallazgos, de tal forma que tengan sentido para: los actores interesados el pblico a influenciar el programa Recordar que los hallazgos no significan nada en s mismos! Su significado proviene de la realidad del programa y de la vida de las personas involucradas. Tarea 1: Comprender los aspectos de los hallazgos que sean particularmente inesperados, tanto para la persona lder cmo para el resto del Equipo de MyE. Ellos pueden deberse a: Factores independientes que interfirieron en que el programa tuviera los resultados deseados. Todos los programas ocurren en el mundo real. Ello significa que otros aspectos que no tienen que ver con el programa, tambin pueden influenciar los resultados. Ejemplo: Un programa diseado para ayudar a padres y madres de familia a que se expresen con sus hijos e hijas ms abierta y positivamente acerca de la sexualidad, puede tener resultados menos positivos que los esperados, debido a que una nueva radio novela pudo haber infundido en los padres y las madres vergenza y temor acerca de la sexualidad; o por el contrario, tuvo resultados positivos porque los grupos tanto del programa como de comparacin estuvieron expuestos a un nuevo y bien informado programa de TV que les prepar y predispuso favorablemente a hablar del sexo con sus hijos e hijas. Problemas con los datos recolectados. Las evaluaciones no son infalibles, por lo que puede concluirse que algn aspecto en la recoleccin de datos o el anlisis condujo a resultados falsos. Si este fuera el caso, se necesitara determinar qu fue lo que sali mal en la manera de recolectar los datos. Debe darse marcha atrs y verificar los formularios originales de la recoleccin de datos, discutir la situacin real de la recoleccin de datos con las personas que la realizaron, y verificar si hubo errores en la codificacin. Desde luego, si no se encuentra errores, se necesitar hacer frente al hecho de que los resultados fueron decepcionantes, y se deben utilizarlos para mejorar el programa. Que es demasiado pronto para demostrar resultados. La evaluacin y los hallazgos pueden ser prematuros. Quiz el programa ha estado operando solamente durante seis meses, y se espera encontrar cambios importantes que se vern tiempo despus. Es necesario recordar que los programas de SDSR influyen en procesos sociales complejos que requieren tiempo para cambiar. Habr que asegurar que se contine con el monitoreo del programa y que se mida los resultados inmediatos que puedan conducir a los resultados intermedios que se espera encontrar. Que no se haya especificado los resultados inmediatos correctamente y por lo tanto, no se perciba los cambios anticipados o deseados. Factores que no se tomaron en cuenta en la planeacin del programa. Si la teora del cambio o la senda causal del programa fueron deficientes, pudieron existir brechas importantes que no se tomaron en cuenta, haciendo que el programa fuera menos eficaz que lo esperado. Si se pudo recolectar alguna informacin acerca de dichas brechas, identificadas en el Mdulo 2, ser posible explicar por qu los resultados no fueron tan buenos como lo esperado. Se debe trabajar con el personal del programa para identificar lo que hace falta y realizar los cambios necesarios. La falta de eficacia del programa. Si se analiza los resultados a fondo, y estos no muestran algn beneficio derivado del programa, se deber realizar cambios significativos al programa o dejar de ejecutarlo. La historia de la salud pblica y del desarrollo est llena de ejemplos de programas que terminaron o fueron modificados justamente por esta razn. o Quiz el programa sea bueno pero constituye una intervencin demasiado pequea como para producir el resultado esperado. Por ejemplo, si se intenta combatir la homofobia, la produccin de un slo cartel o un conjunto de mensajes radiales quiz no sean suficientes para tener el efecto esperado, a pesar de que el programa est cumpliendo con sus metas, y los productos sean atractivos y culturalmente re-

143

levantes. La evaluacin tambin debe identificar cambios inmediatos e intermedios que puedan demostrar la eficacia del programa de manera gradual y parcial. Los resultados son demasiado buenos. Aunque resulte difcil hacer esto, si los resultados son mucho ms positivos que lo esperado, debe resistirse la tentacin natural de suponer que todos son debidos al programa. Hay que preguntarse si algo ms sucedi que pudo haber influenciado los resultados. Es mejor ser cauteloso que demasiado confiado, a menos que el anlisis aporte suficiente evidencia para indicar que los resultados son reales y que estn directamente relacionados con el programa. Reunirse con los actores interesados clave Convocar pequeos grupos de discusin con las y los beneficiarios del programa. Preguntarles acerca de sus percepciones del programa y de las preguntas que se les plantearon acerca del mismo. Mostrarles los resultados encontrados y preguntarles si estn de acuerdo o en desacuerdo, as como lo que significan los hallazgos. Ejemplo: El equipo de MyE ha decidido convocar a un grupo focal con algunas de las personas jvenes que participaron en un programa de educacin sexual. Los hallazgos muestran niveles de actividad sexual ms altos despus del programa. Se ha solicitado a las y los jvenes que analicen los instrumentos de la encuesta y que indiquen si hubieran contestado en forma diferente antes y despus del programa. La mayora de jvenes dijo que haba mentido en la encuesta de lnea base por temor a que la informacin fuera utilizada en su contra. En el cuestionario de evaluacin posterior al programa, fueron ms honestos/as, pues el propio programa haba creado un mayor nivel de confianza. Ciertamente, esta informacin debe reportarse para que la gente no piense que el programa fue un fracaso cuando en realidad tuvo xito en ayudar a la gente joven a sentirse ms cmoda al hablar del sexo, lo cual es una clave para tener una sexualidad ms saludable a largo plazo! Es necesario reunirse con el personal que estuvo involucrado en el programa. Preguntarles lo que significan los hallazgos para ellos. Ejemplo: El personal de un programa de educacin sexual puede haberse dado cuenta que originalmente la gente joven haba tenido temor de revelar sus experiencias sexuales al principio del programa, pero que se abri durante las discusiones participativas. El personal tambin puede haber observado que las y los jvenes respondieron el cuestionario de lnea base cuando todava estaban en la escuela primaria, pero que contestaron el cuestionario de evaluacin posterior al programa, cuando ya estaban en la secundaria, cuando el desarrollo y la exploracin sexuales forman parte normal del proceso de desarrollo, y posiblemente cuando las relaciones sexuales son ms aceptables o alentadas por los grupos de pares nuevos y mayores. Tambin es necesario reunirse con otros actores interesados de la comunidad que conocen el programa y sus participantes para comprender lo que significan los hallazgos. Es posible que dichas partes puedan explicar de una manera ms completa, el contexto de los resultados inesperados. Por ejemplo: Aunque se podra pensar que un programa de apoyo social para mujeres embarazadas de alto riesgo tuvo muy poco efecto en la frecuencia con la que las mujeres acudieron a una determinada clnica para la atencin prenatal, los actores interesados pueden saber que las mujeres fueron a una clnica diferente que haba abierto con precios muy bajos, por lo que las mujeres participantes en el programa haban acudido a mayor nmero de consultas que las del grupo sin intervencin, aunque no a la clnica esperada.

Comparar los hallazgos con los que otros grupos han obtenido Revisar la literatura existente sobre programas similares o tratar de encontrar ejemplos de casos similares a los propios o buscar hallazgos ajenos que contrasten con los propios, de tal forma que se haga necesario explicar las diferencias. En dichos casos, analizar cuidadosamente las fuentes de los datos, los instrumentos utilizados, as como las diferencias en los programas y las poblaciones atendidas Presentar los hallazgos a colegas en otras organizaciones que trabajan en reas similares o Dichas personas han observado el mismo tipo de hallazgos inesperados? Qu interpretacin dieron ellas a los hallazgos?

Tarea 2: Realizar anlisis que puedan contribuir a saber si los hallazgos son el resultado del programa. Utilizar los datos de monitoreo para saber si hubo diferentes niveles de exposicin entre los diferentes subgrupos, y cmo se relaciona ese hecho con los hallazgos. Ejemplo. Si los hallazgos de la evaluacin mostraron que las nias y los nios tenan un mayor conocimiento sobre el VIH, pero los datos de monitoreo muestran que muy pocas nias asistieron al centro juvenil, no se podr atribuir los hallazgos positivos al programa. En un grupo focal con jvenes entrevistados/as durante la evaluacin, podra encontrarse que al mismo tiempo que el programa analizado, se transmiti un nuevo programa de TV muy popular que incluy un im-

144

portante componente educativo sobre el VIH, y que las nias lo estuvieron sintonizando fiel y regularmente (puesto que eran retenidas en casa por sus padres/madres despus de la escuela). Utilizar los datos de monitoreo para que revelen si ocurrieron otros factores que pudieron haber influenciado los resultados. Ejemplo. Al revisar los informes de campo, posiblemente se encuentre que las personas que recolectaron los datos observaron aumentos en la violencia domstica entre las mujeres que asistan a las clases de alfabetizacin del programa, esto como un resultado negativo inmediato no planeado. Aunque el programa ya haya incorporado dichas observaciones, y haya tratado de resolver el problema, pudo haber sido demasiado pronto para que los nuevos cursos motivacionales con los esposos de las mujeres en cuestin, tuvieran un impacto positivo en los resultados finales o intermedios. Si los datos de monitoreo son insuficientes, habr que complementarlos, convocando a una reunin con el personal del programa, para discutir las formas en que consideran que los resultados puedan o no relacionarse con las caractersticas del programa. Se necesitar hacer un esfuerzo para hacerles sentir cmodos al hablar de lo que no funciona del programa. Ser mejor si se tiene preparado un conjunto de preguntas, con el fin de concentrarse en la explicacin de los hallazgos. Ello mantendr la discusin alejada de las crticas al trabajo del personal.

Cmo se puede saber si una diferencia o cambio tiene significancia o representatividad estadstica? Aun si el Equipo cuenta con un analista de datos experimentado, quien usar estadsticas inferenciales para valorar si es probable que los cambios o las diferencias observadas se deban al azar o a otro factor, se necesitar determinar si los cambios o las diferencias son lo suficientemente grandes para tener significancia o representatividad. En proyectos pequeos de bajo presupuesto, es muy probable que no se pueda usar el tipo de anlisis que permita calcular la significancia estadstica. Por tanto, cmo se puede saber si los resultados son representativos? Antes de recolectar los datos o realizar los anlisis, determinar lo que se considerara significativo; realizar una lluvia de ideas con el Equipo antes de recolectarlos datos, para determinar qu magnitud de cambio o diferencia sera satisfactoria o notable; as como qu cambios son demasiado pequeos para tomar en cuenta Conviene consultar la bibliografa acerca de otros programas similares, con el fin de saber qu tipo de cambios pudieron lograr y qu podra esperarse demostrar del programa en cuestin; conviene saber qu es tpico y qu es posible, para poder comparar los resultados del programa con dichos estndares.

Cundo no debe usarse un porcentaje? Los porcentajes se calculan dividiendo el numerado entre el denominador y multiplicando el resultado por 100. En el sentido ms estricto del trmino, el porcentaje significa cuntas veces sucedi algo en 100 oportunidades. Los porcentajes frecuentemente se calculan con denominadores menores de 100, pero pueden ser engaosos si el denominador es muy pequeo. Si la muestra es pequea, digamos menos de 20, debe reportarse los hallazgos como el nmero de veces que se obtuvo una respuesta, respecto al nmero total de casos analizados. Por ejemplo, 3 de 5 casos mostraron X resultado, en lugar de decir que el 60% lo hizo, esto debido a que cada caso tiene una engaosamente gran influencia en el porcentaje, cuando el denominador es pequeo. Cundo se puede usar estadsticas inferenciales? El siguiente nivel de anlisis despus de las estadsticas descriptivas, es el de las estadsticas inferenciales. Este es el tipo de anlisis que permite llegar a conclusiones acerca de la poblacin general ms amplia. Sin embargo, para poder utilizar este tipo de anlisis, es preciso: tener una muestra adecuada, algo planeado desde el principio contar con el apoyo de personas expertas tener acceso a programas de cmputo que ayuden a realizar los clculos contar con una cantidad de datos suficientemente grande (normalmente al menos 200 casos) tener indicadores numricos de intervalo sin sesgos Cundo usar la media, la mediana o la moda?

145

Estas son formas de destacar la respuesta tpica en datos a nivel de intervalo. El uso de la media o el promedio (calculndose al sumar todas las respuestas y dividiendo este resultado entre el nmero de elementos), puede llevar a malinterpretar los datos, si estos se inclinan hacia uno lado u otro, i.e. si estn desviados estadsticamente. Por ejemplo, si se pregunta a un grupo de personas cuntas parejas sexuales tienen o han tenido, normalmente respondern con un nmero relativamente reducido, como 1 un nmero entre 5 y 10. Solamente unas cuantas personas respondern con nmeros mayores, como 50 ms. En este caso, la distribucin de las respuestas est desviada (o tiende hacia) los nmeros bajos. Si se reporta el promedio y se tiene una persona que report un alto nmero de parejas, el promedio no ser tpico. En estos casos, sera mejor reportar la mediana (que es el valor en medio de un juego de datos, con la mitad de los valores por arriba, y la mitad abajo). La mediana proporciona el valor tpico aun cuando el grupo de datos est desviado hacia un lado u otro. Cuando los datos no estn desviados (cuando estn distribuidos normalmente) la media y la mediana sern esencialmente el mismo nmero. Tambin puede utilizar la moda los valores ms comunes en un juego de datos. Esto puede ser til, por ejemplo si hay una encuesta que mide el aumento de conocimiento despus de una capacitacin y se quiere saber el puntaje ms comn de los participantes. Estadsticas descriptivas para el anlisis de indicadores numricos Se utiliza estadsticas descriptivas para explicar las caractersticas generales de un conjunto de datos. Se puede utilizar dichos mtodos con cualquiera de los indicadores numricos que se tenga, en cualquier etapa del monitoreo y la evaluacin. Las estadsticas descriptivas incluyen: frecuencias porcentajes conteos promedios (medias y medianas). Una frecuencia representa el nmero de ocurrencias u observaciones de una variable. Por ejemplo, si la variable en cuestin es la persona que responde tiene un hijo/una hija, y se ha encontrado que de las 135 adolescentes entrevistadas que dieron respuestas vlidas, 52 tienen un hijo/una hija, se est estableciendo una frecuencia. Cuando las frecuencias relacionadas con un slo elemento se presentan en una lista, se le llama distribucin de frecuencias. Por ejemplo, si se encontr que de esas 135 adolescentes, 65 no tenan hijos/hijas, 52 tenan un hijo/una hija, 14 tenan dos hijos/hijas y 4 tenan 3 hijos/hijas, se podra presentar la distribucin de frecuencias de estas estadsticas como se muestra a continuacin. Formas de anlisis cualitativo Categoras predeterminadas si se ha determinado de antemano lo que se desea saber, se puede revisar los datos y codificarlos, utilizando categoras referentes a la presencia o ausencia de ciertos eventos, hallazgos, percepciones, etc. Normalmente, se reportan dichas categoras en trminos de la frecuencia con la que las personas o los documentos expresan una cierta actitud, percepcin, etc., o utilizan ciertas palabras o frases. Esta es la forma ms bsica y realista de anlisis para la mayora de las personas sin una amplia experiencia en el anlisis de datos cualitativos. Temtica interpretativa una forma de realizar el anlisis es leyendo y releyendo documentos o transcripciones de entrevistas, con el fin de identificar temticas que aparecen como relevantes para el programa. Dichas temticas provienen de los datos y no estn predeterminadas antes de leer los datos. Muchas veces, las temticas son tiles para explorar nuevas reas y revelar obstculos o problemas que quiz no eran evidentes de antemano para quienes planificaron el programa. Citas o testimoniales constituyen la manera en la que se puede informar sobre los datos en s. Las citas directas provenientes de entrevistas son utilizadas para sustentar algn punto que se plantea respecto a la forma en que las personas entrevistadas perciben la situacin. Las citas o testimoniales deben escribirse entre comillas para distinguirlas de la parfrasis; i.e. cuando alguien condensa la comunicacin de otra persona, usando sus propias palabras, esto sin utilizar comillas. Tipologas o tipos ideales despus de revisar todos los datos, quiz convenga informar que hay uno o ms tipos de personas o experiencias relevantes para el programa. Por ejemplo, puede encontrarse que cuando las

146

mujeres jvenes tienen una hermana de mayor edad con la que mantienen una relacin estrecha, las primeras experimentan su sexualidad de una manera ms positiva, se sienten ms felices y tienen mayor poder de decisin en sus relaciones de pareja. Los tipos ideales se generan a partir de los datos; uno no sabe de antemano que existen. Taxonoma o diagrama de significados una forma de presentar los datos sera con un diagrama de la manera en que las personas entrevistadas vinculan diferentes palabras y significados relacionados con el programa; ello aporta importantes conocimientos sobre cmo las personas realmente entienden los conceptos clave. La manera en que las personas entienden conceptos como la equidad de gnero, la salud reproductiva y la sexualidad sana, puede cambiar a lo largo del programa, por lo que este tipo de diagrama podra revelar efectos importantes. Pasos a realizar en el anlisis de datos cualitativos

Existen mltiples formas de analizar los datos cualitativos, mismas que varan en trminos de: La habilidad requerida de la persona que analiza los datos El tiempo necesario para el anlisis La profundidad y riqueza con la que se quiere comprender los significados que las personas asignan a los temas discutidos

Para desarrollar las categoras analticas: Si se cuenta con personas altamente preparadas en el anlisis de datos cualitativos, se podra hacer lo siguiente: Primero leer cada trascripcin completa sin escribir nada, simplemente como si se leyera una novela. El propsito es lograr una comprensin general de los significados expresados, y comenzar a identificar temticas que puedan surgir Enseguida, leer de nuevo y empezar a escribir cdigos descriptivos, entendindose estos como palabras que describen la esencia de lo que alguien ha dicho, a un lado de las citas o prrafos en la trascripcin Posteriormente, leer las transcripciones de nuevo, prestando particular atencin a los cdigos que se han generado, con lo que se empezar a crear las temticas ms amplias que conectan dichos cdigos Entonces se deber leer de nuevo y codificar los datos con dichas temticas ms amplias Enseguida se deber discutir las temticas con el Equipo y tratar de encontrar referencias a dichos temas en la bibliografa o en los hallazgos de programas similares. Con esto se podr refinar los cdigos. Entonces se leer las trascripciones, codificando cada mencin de las temticas identificadas Finalmente se puede dividir las trascripciones en grupos de personas, documentos o eventos que difieren en caractersticas importantes relacionadas con el programa, esto con el fin de llevar a cabo el tipo de comparaciones contemplado en el plan de anlisis Si el equipo tiene menos experiencia en el anlisis cualitativo, se puede: Analizar por separado, las respuestas obtenidas de diferentes grupos de preguntas Utilizar cdigos determinados con anterioridad, directamente impulsados por, y vinculados a las interrogantes especficas de la evaluacin y los objetivos del programa; o bien, que hayan surgido de una primera lectura de las transcripciones y de la retroalimentacin proveniente de las personas entrevistadoras, respecto a los principales hallazgos observados

Una vez que se haya llegado a un acuerdo sobre las categoras de anlisis: Leer las trascripciones y marcar las veces en que aparecen las categoras analticas o las temticas acordadas Enseguida, ser conveniente separar las trascripciones segn las comparaciones que se ha planeado realizar; ej., las personas que asistieron al programa versus las que no lo hicieron; entrevistas previas al programa versus entrevistas posteriores al programa Tambin ser conveniente revisar cmo pueden diferir los resultados dentro de cada grupo. Existen diferencias en la manera en que respondieron ciertos tipos de personas? Por ejemplo, los hombres jvenes que reconocieron haber golpeado a su pareja, muestran mayores cambios despus

147

del programa, que los cambios ocurridos en los hombres jvenes que reportaron no haber tenido conductas violentas? El decidir qu tipos de comparaciones internas habr que realizar debe: o Haberse planeado con anterioridad o Derivarse de las discusiones con el personal del programa y otras actores interesados Por qu analizar los datos cualitativos conforme se avanza? Una de las virtudes de los datos cualitativos es que permiten adquirir conocimientos sobre nuevos aspectos a explorar y nuevos significados que no se esperaban. Esta flexibilidad permite aadir elementos, revisar y reconsiderar lo que se desea preguntar, o qu eventos se desea observar. Por otra parte, se debe cuidar el punto de saturacin; ello se refiere al punto en que se cuenta con abundantes datos para explicar las variaciones en los tipos de respuestas que se estn obteniendo a las interrogantes o temticas, y en que nuevos datos no aaden soporte adicional a los hallazgos obtenidos, ni a la identificacin de nuevos hallazgos. Es posible llegar al punto de saturacin en un cierto rango de respuestas a una pregunta, o en una temtica, sin que ello ocurra en otras. Esto es aceptable: se necesita identificar los hallazgos ms importantes para que sea precisamente en ellos donde se invierta los recursos para obtener el apoyo adecuado. Sugerencias para la tabulacin manual de datos Crear una hoja de clculo que tenga: Una fila para cada caso, i.e. persona, documento o evento Columnas para identificar el caso, la persona que recopil los datos, la fecha, el sitio / ubicacin de la recoleccin de datos y otra informacin esencial de identificacin Una columna para cada elemento del instrumento de recoleccin de datos Si se compara el mismo caso a nivel de lnea base, media y/o final, codificar los datos subsecuentes a la lnea base, a mano derecha de los datos iniciales, en la misma fila. Idealmente, cada caso tendr todos sus datos en una sola fila. Asimismo, asegurar que: haya un dato en cada celda. Por ejemplo, codificar datos deliberadamente como faltantes o no aplicables se verifique cada dato captado para asegurar que sea correcto. Buscar respuestas improbables como por ejemplo, un 3 respecto a la edad de la primera relacin sexual voluntaria, la cual deba haber sido 23. Para hacer las correcciones, es necesario referirse a los instrumentos originales de recoleccin de datos se registre todos los datos conforme vayan llegando no debe esperarse hasta el final del proceso de recoleccin de datos

Tipo de anlisis segn el nivel de los indicadores numricos Categrico o nominal grupos de datos sin valores numricos reales. No hay que confundir lo anterior con datos identificados por nmeros, como 1 = casado/a, 2 = soltero/a, pues no son valores reales. En estos casos: o informar el porcentaje de personas que dio cada respuesta o repetir lo anterior, pero separando por subgrupos de personas entrevistadas o encuestadas o el denominador debe representar el nmero de personas con datos completos o al mismo tiempo, reportar el # de casos con datos faltantes (Si el nmero de casos con datos faltantes es similar para todos los tems, debe reportarse solamente una vez) Ordinal grupos de datos con valores numricos relativos, pero sin la misma distancia entre los diferentes valores, como sera 1 = alto, 2 = medio, 3 = bajo. En estos casos: o reportar la mediana o el valor medio (que sera el tipo de promedio a utilizar con este tipo de datos) Para calcular una mediana a mano el valor que se encuentra en medio, al ordenar los datos de menor a mayor o calcular con base en el nmero de personas con datos vlidos o tambin se puede presentar el porcentaje de respuestas en cada categora o se puede fusionar algunas categoras similares, ej. totalmente de acuerdo y de acuerdo o para realizar comparaciones de una misma persona con base en el puntaje ordinal obtenido en dos momentos diferentes (como la lnea base y la lnea final), slo se puede identificar la direccin del cambio, i.e., no hay cambio negativo, no hay cambio, cambio positivo; si se cuenta con suficientes datos, es posible desglosar los que iniciaron con valores altos o bajos, para ver si vara la cantidad o la direccin del cambio.

148

Intervalo una serie de nmeros que tienen igual distancia o valor entre cada uno. Es necesario contar con este nivel de datos para poder calcular la significancia estadstica. En estos casos: o usar frecuencia, porcentaje, tabulacin cruzada

Calcular el promedio aritmtico y la mediana para verificar que la distribucin no est desviada (esto es, que se acumulan muchos casos con respuestas muy altas o muy bajas, lo cual puede crear una imagen engaosa cuando se representan los datos solamente con la media); si la media y la mediana son similares, se puede reportar la media aritmtica o el promedio.

Actividades de la dcima sptima semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos ha aprendido acerca del anlisis de datos? 3. Puede diferenciar entre datos e informacin? cules son las principales diferencias?

149

DCIMA OCTAVA SEMANA TEMA Comunicacin y difusin de los resultados de una evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima quinta semana las y los estudiantes. Reconocen la importancia de comunicar y difundir los resultados de una evaluacin.

LECTURA
Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementacin y continua retroalimentacin de aprendizajes. La adecuada difusin de los resultados es fundamental para optimizar el valor agregado del MyE. No existe solo una forma para desarrollar una estrategia eficaz de comunicacin, pero esta puede guiarse por alguna preguntas bsicas: Quin es el pblico meta de los resultados del MyE? Cul es la informacin ms pertinente y til para compartir? Cul es la mejor manera para llegar al pblico meta?

Las estrategias y mensajes de comunicacin, que van desde boletines informativos, reuniones de dilogo y talleres hasta la difusin en materiales impresos, dependern del tipo de audiencia: Equipo responsable de la implementacin Beneficiarios Donantes Donantes potenciales Individuos asociados a la organizacin Otras organizaciones

Utilizar los hallazgos Paso 1: Presentar los hallazgos al pblico interno

Fundamento Mediante la presentacin de los hallazgos a las personas ms cercanas al programa, se logra lo siguiente: demostrar el compromiso que se tiene de informar a quienes han apoyado el proceso de evaluacin establecer un excelente campo de pruebas para experimentar con las presentaciones que se harn o enviarn posteriormente al pblico externo Tarea 1: Compartir los hallazgos con el personal de la organizacin: Incluir al personal de todas las reas de la organizacin, aun aquellas personas que no hayan participado en la evaluacin.

150

Las percepciones de todas estas personas son tiles y se les debe alentar a conocer lo provechoso que ha sido el proceso de evaluacin hasta el momento; en el futuro, esas percepciones continuarn siendo de gran utilidad.

Realizar una reunin con el personal de toda la agencia o circular un boletn de noticias entre todas las reas de la agencia, incluyendo un resumen de los hallazgos Es importante presentar los hallazgos de tal forma que no sean percibidos como crticas a un departamento o grupo respecto a otro Destacar los xitos y logros Sealar las limitaciones y fallas que indiquen las lecciones aprendidas y las acciones que se requieren en el futuro Invitar a las personas a aportar y a entrar en la discusin, de tal forma que se asegure que realmente se les est tomando en cuenta Realizar reuniones individuales con el personal del programa, con el objeto de discutir a mayor profundidad los hallazgos con las personas directamente involucradas en los aspectos especficos del programa, mismos que el equipo ha estado evaluando. Dichas sesiones de retroalimentacin motivan al personal y le ayudan a tener un mayor aprecio por el gran trabajo que ha venido realizando Con demasiada frecuencia, se elabora los informes y se enva slo a los donantes, y las personas que realmente realizaron el trabajo nunca los ven, ni se enteran de todo lo que han logrado. Tarea 2: Compartir los hallazgos con los actores interesados de la organizacin: Ya sea que los actores interesados hayan orientado el proceso y apoyado el programa desde un principio, o que su participacin haya sido relativamente reciente, deben conocer los hallazgos antes que el pblico externo, esto por varias razones: Es muy probable que los actores interesados estn comprometidos con, e interesados en los resultados del programa y por lo tanto, deseosos de conocerlos El hacer una presentacin minuciosa y solicitar retroalimentacin y opiniones, har ms fuerte el compromiso de los actores interesados con el programa, y ser ms probable que continen apoyndolo en el futuro Si los hallazgos no son lo que se esperaba, pregunte a los actores interesados cules creen que fueron los factores que inhibieron el cambio deseado Si se presenta una controversia potencial en torno a los resultados, los actores interesados a quienes se les informa oportunamente pueden apoyar y defender la causa del programa Los actores interesados pueden contribuir a formular los argumentos, el plan de difusin (e incluso ayudar a difundirlo) y a reflexionar sobre los siguientes pasos a seguir Los actores interesados pueden convertirse en voceras del programa El Consenso de El Cairo desafa a todos los programas a que se hagan ms responsables ante las comunidades en las que trabajan. El informar primero a los actores interesados constituye un componente importante del compromiso con la rendicin de cuentas que asumen las organizaciones Tarea 3: Compartir los hallazgos con los donantes actuales: Independientemente de que algn donante realmente haya financiado o no el proceso de MyE, es esencial presentar los hallazgos a todos los donantes actuales. Tomando en cuenta que la retroalimentacin a los donantes es una de las claves del xito del programa, no debe dudarse en presentarles los hallazgos, aun si todava no llega la fecha de presentar un informe formal sobre el donativo correspondiente. Recordar que los donantes actuales pueden ser los ms entusiastas promotores del programa por haber invertido en ello. Si se est presentando un informe parcial o final, asegurar que se entregue oportunamente, de tal forma que los donantes puedan aprovecharlo. Oportunamente significa, en este caso, que el informe sea presentado en el plazo sugerido originalmente por los donantes, y antes de que tomen decisiones sobre las subvenciones para el prximo ciclo de financiamiento.

151

Usar el formato proporcionado por el donante. Sin embargo, si no se proporcion formato alguno, es recomendable que el informe sea corto, idealmente de 10 a 15 pginas, incluyendo: qu es lo que se esperaba obtener del programa? qu se logr? incluyendo: o acuerdos de colaboracin establecidos, fortalecidos o debilitados o retos enfrentados durante la ejecucin y cmo se afrontaron o conclusiones basadas en los hallazgos o implicaciones y/o recomendaciones para: la agencia el tema que abordado el campo del trabajo o los siguientes pasos con base en los hallazgos, incluyendo cmo se puede ajustar el programa (Paso 2). El hacer un excelente trabajo de monitoreo y evaluacin no garantiza que se lograr la continuidad del financiamiento. Los donantes cambian sus prioridades y tambin enfrentan cambios en la cantidad de fondos disponible. Sin embargo, el tener buenos datos de evaluacin colocar a la agencia en una mejor posicin para poder sustentar los argumentos de un apoyo continuo. Si se planea solicitar al donante que contine o aumente el financiamiento, es necesario explicarle lo siguiente claramente: Lo que se tiene pensado para la(s) siguiente(s) etapa(s) del proyecto Por qu el apoyo de este donante ha tenido una importancia particular Algunos donantes desearn continuar financiando el trabajo actual, pero otros probablemente se interesen en llevar el trabajo actual un paso ms hacia adelante. o En este caso, convendr conversar acerca de dnde caben las nuevas ideas del programa en el contexto del campo de trabajo en general; y cmo la agencia puede contribuir a dicho campo, al ampliar el enfoque actual, aplicando enfoques novedosos o promoviendo que el enfoque actual sea adoptado ms ampliamente. Debe pensarse en las razones por las que un donante estara interesado en seguir impulsando los objetivos generales de la agencia, y en las razones que sta tendra para seguir impulsando los del donante o Habr que estar preparados para negociar con el donante, ya que ste puede plantear ideas nuevas que desea poner a prueba a travs de la agencia, o puede proponer elementos programticos que le gustara que fueran incorporados. Por su parte, la agencia tambin puede tener ideas nuevas respaldadas con evidencia, con las que impresionar positivamente al donante. Si los hallazgos son promisorios, puede ocurrir que se desee usarlos para convencer al donante de que contribuya fondos destinados a una evaluacin ms slida y una posible multiplicacin del programa. Debe recordarse que la relacin entre la agencia y el donante es un acuerdo de colaboracin; y que el donante tambin tiene necesidades de informacin que la agencia puede satisfacer, as como l satisface las necesidades de financiamiento de la agencia.

Paso 2: Mejorar el programa

Fundamento La funcin ms importante de los hallazgos es mejorar el programa o desarrollar nuevos programas. Los hallazgos pueden:

indicar si el programa est funcionando a toda su capacidad si se est logrando los resultados deseados

Un anlisis minucioso de los hallazgos remitir al diagnstico de necesidades, a un proceso de autorreflexin organizacional y al mejoramiento del programa.

152

Tarea 1: Refljese en los abordajes de la justicia social basada en los derechos y pregunte qu se aprendi en cuanto a cada uno respecto al programa Qu se ha aprendido acerca de: la proteccin y el cumplimiento de los derechos de las personas, as como los obstculos que deben superarse las maneras de satisfacer las necesidades de salud sexual y reproductiva de las personas, en sus propios trminos y desde una perspectiva holstica las estrategias que funcionaron para modificar la dinmica de poder de gnero, y qu obstculos todava quedan por superar los retos involucrados en promover un enfoque a la sexualidad sana con los grupos de edad con los que se trabaja, y la manera de vencer dichos retos la importancia de la contribucin de los grupos de mujeres y otros grupos de la comunidad, al contenido y la calidad del programa, las estrategias eficaces para trabajar con grupos marginados y/o vulnerables. De qu forma influy este trabajo en otras actividades que realiza la agencia y en los otros grupos con los que trabaja? Tarea 2: Planear cmo hacer modificaciones al programa: Es necesario que el Equipo de MyE y el de planeacin del programa diligencien de manera conjunta la Hoja de trabajo para la mejora del programa, la cual servir de gua para realizar el tipo de cambios que ayudar a que el programa sea an ms eficaz.

Hoja de Trabajo para la Mejora del Programa

Ciclo del programa Comprender el problema relacionado con el proyecto Interrogantes De qu manera alteran los hallazgos la comprensin que se tiene del problema? Hay algunos aspectos de los PPT a los que se deba dar ms atencin, como seran las normas de gnero, la sexualidad y los derechos humanos? Hay cambios que deben aplicarse a la Ruta Causal establecida?

Acciones Discutir estas nuevas formas de comprender el problema con los equipos de planificacin del programa

Construir Causal Definir general el

una

Ruta

Completar una Ruta Causal nueva o modificada, con base en los hallazgos del MyE Elegir un nuevo objetivo general Modificar la forma en que el actual objetivo general est redactado Reafirmar el objetivo general

objetivo

El objetivo general sigue siendo el mismo? Se le entiende de manera diferente? Hay nuevos objetivos generales que hayan sido revelados por los hallazgos?

Definir el especfico

objetivo

Hay algunos cambios en la forma en que se ha redactado los objetivos especficos, o respecto a cules objetivos deben ser abordados? Hay factores que estn operando a otros niveles que interfieren con los logros?

Identificar nuevos resultados; o bien, modificar o reafirmar los que se espera alcanzar Redactar objetivos especficos que coincidan con cada resultado esperado Revisar todos los componentes de las actividades: poblacin atendida y alcanzada por el programa contenido de las intervenciones,

Actividades

Cules son las implicaciones de los hallazgos y de la nueva forma de comprender el problema relacionado con la organizacin, para mantener o modificar las actividades del programa? Se necesita aumentar, disminuir, cambiar o interrumpir algo de lo que el programa est

153

Insumos

MyE

Apoyo de la agencia

realizando? Est dirigido el programa a la poblacin apropiada? Sus necesidades han sido satisfechas? Debe el programa ampliar su alcance? Debe el programa cambiar el contenido de su componente de capacitacin o sus mensajes? Debe el programa abordar temas a otros niveles? Hubo sesgos en los insumos, que influenciaron los resultados y que requirieron cambios? Necesita el programa ajustar su logstica; ej. horario, lugares de ejecucin, nmero y frecuencia de los eventos? Qu nuevos recursos sern necesarios para llevar a cabo las modificaciones al programa? Qu representan los resultados para el personal, en trminos de fortalecimiento de capacidades y trabajo en equipo? Qu se hara diferente en el proceso de MyE la prxima vez? Qu lecciones se aprendieron acerca de la incorporacin del MyE en programas en marcha o desde el inicio de los nuevos? Necesita la organizacin reorganizarse para alcanzar mejor los objetivos del programa? Existen tensiones debido a aspectos clave del programa, que necesitan ser resueltas?

formas de colaboracin con otras organizaciones para complementar las actividades formas de ampliar las actividades o de dirigirlas ms eficazmente a los grupos que ms las necesitan

Retomar las necesidades de capacitacin del personal

Revisar la manera en que se los recursos fueron asignados y gastados, corregir problemas y eliminar obstculos Planear el MyE desde el inicio de todos los programas nuevos y modificados

Ir a La agencia pone en prctica su discurso? Alentar la discusin interna sobre las maneras de superar los problemas detectados Incorporar los hallazgos a las herramientas de mercadeo dirigidas a los donantes, a los informes a donantes y a las nuevas propuestas

Nuevos donantes

Los hallazgos han abierto nuevas reas que podran interesar a los actuales donantes del programa y a otros nuevos? De qu forma pueden sus hallazgos demostrar los xitos del programa y las nuevas direcciones que deber tomar?

Realizar reuniones de manera regular, con el fin de trabajar este proceso y establecer planes de accin especficos que tomen en cuenta todos los hallazgos y recomendaciones. Si se trabaj con los actores interesados de la comunidad, habr que informar a la comunidad sobre los cambios que se estn implementando. Esto ayudar a fomentar: la buena voluntad hacia la organizacin las alianzas a largo plazo con la comunidad Tarea 3: Utilizar los hallazgos para disear un programa nuevo: Si la agencia ha decidido disear un programa nuevo que buscar los mismos objetivos generales u otros similares, los hallazgos del MyE sern insumos muy valiosos.

Habr que utilizarlo desde el principio, con el fin de: orientar la comprensin del problema relacionado con la SDSR y ayudar a crear una Senda causal completa disear nuevas actividades emprender cambios dentro de la agencia trabajar de manera ms productiva con la comunidad

154

Planear el nuevo proceso de MyE desde el principio. Cuando el programa todava est en la etapa de planeacin, habr que seleccionar el Equipo de MyE para que trabaje con quienes planean el programa, y recorran juntos todos los PASOS desde el principio. Esta vez el proceso ser ms fcil, pero a la larga se cosechar an mayores beneficios por haber iniciado desde el principio del ciclo del programa. Tarea 4: Utilizar los hallazgos para identificar nuevos donantes: Ya sea que el programa actual se modifique o no, o que se disee uno nuevo, probablemente se querr identificar nuevos donantes que apoyen el trabajo de la agencia. Aunque los hallazgos del MyE no garanticen por s mismos que se encontrar financiamientos nuevos, ellos proporcionan una base mucho ms slida desde la cual se podr buscar apoyos nuevos. Buscar donantes que apoyan temas ms amplios, como el empoderamiento de las mujeres, la promocin de la equidad de gnero, los derechos humanos, la justicia social, etc. Todos estos temas son pertinentes a la labor del programa, por lo que debe ser posible poner de relieve las conexiones que muestran cmo el trabajo que se propone encaja con lo que el donante desea lograr. Utilizar historias y testimoniales que involucren al donante en el tema del programa y/o le demuestren la importancia del trabajo que se est realizando. Mostrar la manera en que el programa encaja en el panorama ms amplio de esfuerzos encaminados a alcanzar el objetivo final, mediante la descripcin, en trminos sencillos, de la lgica de la Senda causal. Explicar de manera concisa lo que el programa ha logrado en el pasado. Puede elaborarse una lista punteada de logros relevantes para entregar al donante. Justificar las direcciones futuras, al describir los hallazgos, las conclusiones y recomendaciones que demuestran la necesidad del enfoque propuesto. Describir la manera en que la agencia se ha beneficiado del proceso de MyE y del programa mismo, as como los cambios que ha implementado para evitar problemas, cerrar brechas y ejecutar los programas de una manera mejor. Destacar la disposicin de modificar el trabajo con base en los datos: ello demuestra el compromiso con la bsqueda de un impacto real; as como con el propsito de aprender y crecer. Ofrecer al donante razones para confiar en que el programa tendr xito, y que los esfuerzos permanentes de MyE continuarn orientando el buen trabajo para hacerlo aun mejor.

Paso 3: Presentar los hallazgos al pblico externo

Fundamento Usar los hallazgos para cambiar el mundo! Hay que compartir los hallazgos del MyE con diversos pblicos externos, fuera de los donantes y actores interesados del propio programa, de tal forma que contribuyan al avance de la agenda del programa

Usar los hallazgos para abogar por el programa con el pblico clave a influenciar. Identificar las personas o los grupos que se desea influenciar, como seran funcionarios de gobierno y personas que formulan las polticas, la prensa, lderes comunitarios. Hay algunos polticos que recientemente se hayan pronunciado de tal forma que sugiere que se interesan en el tipo de trabajo que realiza el programa? Cmo se puede cultivar inters en el trabajo del programa, entre personas que se desea interesar y en las que se desea influir? Acercarse a legisladores/as y otros/otras tomadores/as de decisiones pblicas

155

Es conveniente informar a las figuras polticas relevantes antes de presentar el informe al pblico. Esto es especialmente importante si los hallazgos de la evaluacin ponen en evidencia que habr necesidad de cambios en las polticas o Quienes formulan las polticas o funcionarios de las agencias tambin pueden estar en condiciones de ofrecer una respuesta pblica a los hallazgos de la evaluacin. Por ejemplo, si la evaluacin demuestra que el programa de prevencin de VIH con nios de la calle, basado en pares comunitarios, es altamente eficaz pero carece de fondos suficientes, las agencias de servicios en la zona quiz deseen informar a la gente que planean aumentar el financiamiento para el proyecto en el siguiente ciclo presupuestal. Acercarse a los medios y periodistas o Al informar a los medios, se les estar habilitando para que puedan defender el programa de una manera ms completa o Es necesario proporcionar un gancho para que los y las periodistas vean la importancia de los hallazgos del programa. Un gancho es una historia, un evento actual, un tema bajo investigacin, un tema que preocupa e interesa a la gente o Presentar los hallazgos de manera sencilla y clara; no perder el tiempo describiendo los detalles de la metodologa de MyE. Hay que esforzarse por dar a las y los periodistas el rostro humano y el significado de los hallazgos o Presentar los hallazgos en eventos pblicos como conferencias o ruedas de prensa, as como en conferencias acadmicas o polticas o Si se ha producido un informe o video acerca del programa, puede realizarse un evento pblico para presentarlo a los medios y a los y las polticas locales o Si el programa est abriendo una nueva oficina, o amplindose a unas nuevas instalaciones, o si se est iniciando una nueva campaa, se puede presentar los hallazgos de la evaluacin en el lanzamiento de ese nuevo trabajo o acontecimiento o Siempre debe proporcionarse los hallazgos clave por escrito, para que las y los periodistas pueden llevarse la informacin precisa o Si es posible y apropiado, tratar de incluir testimoniales e historias; haciendo que las y los beneficiarios presenten sus propias historias en cualquier evento pblico que se est realizando Vincularse con redes de abogaca que estn promoviendo los mismos temas que preocupan a la agencia, como la igualdad de gnero y los derechos en el rea de la salud. Es posible que al colaborar con otros programas afines, se pueda construir un argumento ms slido, con base en los hallazgos conjuntos. o

Usar los hallazgos para informar a la comunidad en general sobre el programa Incluir hallazgos y testimoniales clave en los materiales promocionales Realizar reuniones pblicas en donde se presente el programa y se describa sus ventajas y resultados positivos Telefonear a los programas de radio y proporcionar informacin sobre los hallazgos y testimoniales

Usar los hallazgos para construir y fortalecer el movimiento de las ONGs La organizacin que conduce el programa no est sola, y sus hallazgos podran ser de gran inters para otras organizaciones. Compartir prcticas promisorias: Probablemente muchas otras organizaciones en la localidad, estado o pas, estarn realizando un trabajo similar y estarn deseosas de aprovechar la experiencia de la organizacin que conduce el programa. Podra entonces realizarse seminarios o reuniones con la participacin de las diferentes agencias, en las cuales los grupos podran compartir sus hallazgos e identificar lecciones aprendidas en comn; incluso cada agencia podra hacer referencia al trabajo de las otras en sus respectivos informes. El compartir las buenas prcticas ayuda a mejorar los programas en el campo de trabajo, al introducirlos a mtodos y conocimientos que han sido refinados a travs de la experiencia. Todo ello contribuye al ahorro de tiempo y recursos que pueden dedicarse a la innovacin de nuevos enfoques e ideas. Realizar un cambio en la atencin que se presta a un tema: Las actividades de difusin aumentan la conciencia que se tiene sobre lo que los resultados dicen acerca de la comunidad o el grupo meta. Si los resultados revelan que, a pesar de sus intervenciones, las y los clientes en la clnica de planificacin familiar todava consideran que los y las proveedores de servicios de salud no son sensibles a sus necesidades, el llevar

156

esta informacin al lugar y al nivel adecuados ser crtico para presionar, con el fin de que dichos/as proveedores avancen en su sensibilizacin. Fomentar las relaciones de colaboracin entre las ONGs locales: El compartir informacin tambin crea un ambiente que estimula la resolucin colectiva de problemas y el cambio sostenido a largo plazo. La difusin de actividades que arrojan luz sobre un tema importante puede ayudar a revitalizar o construir una nueva red o grupos comprometidos con la atencin al problema en cuestin. Los grupos interesados, aun aquellos que nunca se haban involucrado en los temas compartidos, pueden ver la conexin con su propio trabajo, y se puede formar grupos nuevos que crucen las lneas tradicionales de colaboracin. Movilizar el apoyo comunitario para lograr intervenciones eficaces: Construir una base de partidarios para el trabajo, conformado por colegas, ser muy til si se llegara a aplicar presin a quienes formulan las polticas para que promuevan el cambio. Las organizaciones afines tienen sus propias bases de membresa que pueden ofrecer como red para diseminar lo que revelaron los resultados de la evaluacin y cmo pueden estos ayudar a provocar el cambio que se desea ver. Usar los hallazgos para construir una base de conocimiento en torno a temas de las ONGs

Con demasiada frecuencia los programas de las ONGS llevan a cabo procesos de MyE y piensan que el nico uso de sus resultados es local. Asimismo, puede existir la preocupacin de que los procesos de MyE no fueron lo suficientemente rigurosos como para ser presentados fuera del crculo local. Con al presente metodologa, se invita a pensar en la posibilidad de llegar todava ms lejos y tratar de presentar los hallazgos del programa a nivel nacional e internacional. Para ello se recomienda lo siguiente: Identificar espacios apropiados para la difusin, como son las conferencias profesionales/acadmicas, talleres y revistas que se enfocan a programas y a la evaluacin de los mismos. Invitar a colegas de las universidades locales o de otras agencias, que ayudaron con el proceso de MyE, para que participen en la presentacin de los resultados en dichos espacios. Vincular los hallazgos a temas crticos relacionados con la equidad de gnero, los derechos sexuales, el empoderamiento de las mujeres, los derechos humanos, etc., y tratar de presentarlos en sesiones donde se podr llegar a acuerdos respecto a dichos temas. Establecer contacto con otros programas similares y relacionar los resultados propios con esos programas. Quiz se pueda unir los resultados o presentarlos conjuntamente a manera de panel, sustentando de manera ms slida lo que el programa ha encontrado. Concentrarse en los hallazgos ms interesantes e ilustrarlos con historias y testimoniales. Presentar con franqueza las limitaciones metodolgicas del trabajo propio, pero tambin mostrar satisfaccin con los hallazgos obtenidos. Todas las evaluaciones, aun las mejor sustentadas, tienen algunas limitaciones; y todos los hallazgos son tiles cuando se unen a otros hallazgos sobre temas y experiencias similares. Proporcionar descripciones cuidadosas de la metodologa, quiz en un escrito por separado, para que las y los colegas puedan revisarla en detalle.

157

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) potencial(es) del pblico

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios

Lderes comunitarios

1. Identifique quin necesita

enterarse de sus hallazgos.

2. Cun importantes son? El

Polticos nmero 1 corresponde al pblico principal de los hallazgos de su evaluacin. Sea claro sobre qu quiere Ud. que se haga con los hallazgos. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qu tipo de informacin sera ms til y convincente para ellos.

3.
Otros de la comunidad

4.
Financiador(es)

5.
Periodistas y lderes de opinin

6.

Miembros de su junta directiva

Personal de la organizacin fuera del programa evaluado

Otros

158

Actividades de la dcima octava semana

Individuales 1. Realice la lectura de la semana. 2. Determine cul es la importancia de comunicar los resultados de la evaluacin? 3. Actualizar su diario de aprendizaje.

Grupales
1. Trabajando en grupo procedan a preparar la comunicacin de los resultados de la evaluacin.

Autoevaluacin
1. Para usted, cul es la relacin entre evaluacin y aprendizaje? 2. Explquese a usted mismo o misma, las principales caractersticas de una plan de comunicacin de la informacin o resultados de la evaluacin. 3. Qu nuevas ideas aprendi de la lectura, acerca de la comunicacin de la informacin? es diferente a lo que ya saba?

DCIMA NOVENA SEMANA TEMA Proceso y estilo de redaccin Objetivos de la semana

Al finalizar el estudio de la dcima sexta semana las y los estudiantes. Comprendern la importancia del estilo de la redaccin en la preparacin de informes tcnicos.

LECTURA
Sea breve y conciso y vaya directamente al grano El redactor o redactores del informe deberan actuar con juicio y moderacin. No es necesario reportar cada hecho, ocurrencia y detalle menor. Deben ampliarse nicamente los datos realmente importantes, condensndose los menos importantes y reconociendo que algunos asuntos ni siquiera tienen que ser reportados. En un informe realmente bien elaborado, el lector debera poder comprender, en su primera lectura, los hallazgos y conclusiones principales, sin tener que referirse a los apndices. Un equilibrio adecuado entre texto, cuadros y diagramas hace que el informe sea fcil de leer, y al mismo tiempo claro e informativo. Tambin produce una economa considerable de espacio, ya que el texto sin cuadros y diagramas de apoyo tiende a volverse demasiado largo y verboso. Evite la repeticin, ya que alarga innecesariamente el informe y aburre al lector. Use un lenguaje simple y claro Siempre que sea posible, use palabras sencillas en vez de palabras rebuscadas o altamente tcnicas. Una dificultad comn que debe superarse en un informe de M&E es la diversidad de antecedentes educativos entre los lectores meta. Evite un estilo pomposo. Las oraciones largas con un exceso de ideas tienden a confundir. Casi siempre es posible dividir largas oraciones complicadas en varias oraciones ms cortas fciles de comprender. Divida el texto en prrafos cortos que se centren en un solo aspecto o idea. Establezca lazos entre la secuencia de los temas de cada prrafo, utilizando cuidadosamente las primeras y ltimas oraciones de los prrafos contiguos. La sensacin de continuidad se incrementa si la primera oracin del siguiente prrafo recoge el tema tratado en la oracin anterior. Siga una secuencia lgica en la presentacin Un orden claro, uniforme y lgico para tratar los temas resulta sumamente til al lector por dos razones. Primero, una secuencia lgica es mucho ms fcil de comprender y de seguir. Segundo, el lector serio tendr que hacer referencia a secciones anteriores del informe a medida que lo estudie. La referencia a otras secciones se vuelve mucho ms fcil si el informe tiene un orden uniforme y lgico. Para conveniencia en trminos de las referencias cruzadas dentro del informe, debe incluirse algn sistema lgico de numeracin y encabezados para las secciones, subsecciones, cuadros y diagramas. Evite afirmaciones y recomendaciones que no tengan un respaldo Todas las conclusiones deberan ser respaldadas por datos reales. Los lectores inteligentes no se dejarn convencer por afirmaciones emotivas y subjetivas. Las afirmaciones sin respaldo pueden llevar al lector a cuestionar la fiabilidad del autor/investigador, al punto de rechazar o descartar el informe en su totalidad. Vuelva a hacer referencia a los objetivos, reflexionando sobre la forma en que los resultados efectivamente obtenidos se relacionan con dichos objetivos. Recuerde que el hecho de incluir opiniones opuestas, en casos donde tales opiniones efectivamente existen, puede contribuir a la comprensin los interrogantes involucrados.

160

Sea pragmtico y constructivo Un buen informe de evaluacin ser prctico en trminos de su orientacin, conclusiones y recomendaciones. De esta manera los lectores fcilmente pueden utilizar los resultados de la evaluacin en su propia situacin de trabajo. Otra justificacin de adoptar el enfoque pragmtico es que los informes de evaluacin y monitoreo de proyectos no son principalmente documentos cientficos; al contrario, son herramientas para generar mejoras en trminos de estrategias y resultados de los proyectos. Tambin es necesario que los informes sean discretos y constructivos en lugar de negativamente crticos. Si el autor no hace esto, entonces el informe no tendr el equilibrio debido y har que se pierda el inters y concentracin de todos los lectores salvo los ms resueltos y dedicados. En lugar de tener una lectura amplia, en el mejor de los casos el informe no se saldr de un pequeo crculo de especialistas y stos no siempre son las personas con la influencia o los recursos necesarios para ayudar a ejecutar las recomendaciones del informe. Haga que el producto final sea atractivo Haga que el informe sea grato de leer y est bien diseado. Comience con una portada atractiva; demuestre su orgullo por su trabajo duro y esfurcese por que el resultado final sea atractivo. Divida el texto con grficas apropiadas. Algunos tipos de informacin, por ejemplo, las discusiones y las conclusiones, se transmiten mejor a travs de palabras y texto. Otros se comprenden mejor cuando sin expresados visualmente en la forma de tablas, cuadros y diagramas. La informacin que se presenta de esta manera es fcil de comprender y propicia la reflexin. Los mapas son especialmente tiles en la presentacin de datos tales como reas de captacin, densidad demogrfica y/o sistemas agrcolas. Utilice citas directas y de primera mano desde diferentes perspectivas, por ejemplo, poblacin meta, dirigentes comunitarios, proveedores de servicios, personal de planificacin, etc. Las citas dan sabor y un sentido de realidad a un texto seco. En la medida de lo posible, las citas deben dejarse en las palabras y frases utilizadas por los sujetos. No slo ser ms fcil de leer el informe sino que las personas provenientes de la comunidad meta tambin tendrn una mayor probabilidad de identificarse con el contenido y sentir que el informe realmente aborda de una manera genuina y til sus problemas e inquietudes. Asegrese de incluir un identificador mnimo con la cita, ya que esto puede ayudar a los lectores a identificar patrones sin violar la confidencialidad. La siguiente tabla incluye algunos lineamientos generales respecto al volumen de los documentos dirigidos a diferentes grupos de lectores previstos.

Apreciacin general del informe final El informe final debera incluir una discusin de los datos cualitativos y cuantitativos recolectados durante el estudio, organizados y analizados con miras a proporcionar al proyecto informacin relacionada con lo siguiente: 1) la magnitud de los problemas actuales, y 2) los logros y limitaciones del proyecto existente respecto a los impactos proyectados sobre dichos problemas. Los hallazgos y las recomendaciones tendrn una

161

mayor utilidad si se priorizan con el objeto de reforzar la planificacin que puede servir para abordar los interrogantes ms importantes. El informe final debera proporcionar informacin adecuada en la que puedan basarse decisiones tcnicas y polticas orientadas a mejorar el proyecto, la que idealmente debera incluir un plan de accin para el ao siguiente. Seguimiento Se recomiendan en particular dos reas de seguimiento. a) Ejecucin de estrategias y evaluacin subsiguiente: Una vez que se han diseado planes especficos y se han ejecutado estrategias en respuesta a los hallazgos, pueden seleccionarse indicadores o descriptores apropiados del estudio para propsitos de monitoreo. Estos podran incluir indicadores de los resultados (por ejemplo, efectivamente se iniciaron las revisiones propuestas del proyecto?) como tambin efectos (por ejemplo cules fueron las percepciones y comportamientos de la poblacin meta en respuesta a las actividades nuevas?). b) Anlisis posteriores: Aunque los sistemas de informacin de proyectos han sido presentados como una estrategia de investigacin relativamente rpida y con orientacin a la accin, la abundancia de los datos que generan sugiere la conveniencia de considerar anlisis adicionales o posteriores. Una aplicacin de este tipo consiste en hacer que el conjunto de datos sea accesible para propsitos del anlisis secundario por otros investigadores, por ejemplo, estudiantes de post-grado, personal de planificacin de diferentes sectores, etc.

Una segunda aplicacin implica hacer comparaciones entre los hallazgos del estudio y los de otros estudios de investigacin. Finalmente, es probable que surjan del estudio numerosos temas potenciales para la investigacin operativa que podran priorizarse y convertirse en propuestas de financiamiento

Actividades de la dcima novena semana Individuales

1. Realice la lectura de la semana. 2. Actualizar su diario de aprendizaje.

Grupales 1. Trabajando en grupo, elaboren un mapa conceptual de los aspectos a considerar en la redaccin. Autoevaluacin 1. Qu relacin puede establecer entre la lectura y sus conocimientos previos acerca de redaccin de informes tcnicos? 2. Qu uso puede hacer con lo aprendido de la lectura, al momento de preparar el informe de la evaluacin?

162

VIGESIMA SEMANA TEMA ESTRUCTURA PAR LA PRESENTACIN DEL INFORME DE UNA EVALUACIN Objetivos de la semana
Al finalizar el estudio de la dcima sptima semana las y los estudiantes. Estn en la capacidad de preparar el informe de la evaluacin.

LECTURA
I. Resumen ejecutivo II. Introduccin III. Antecedentes del Proyecto IV. Examen de los Objetivos y del Diseo del Proyecto A. Justificacin B. Objetivos C. Diseo del Proyecto (pertinencia del proyecto) V. Examen de la Ejecucin, Eficiencia y de la Gestin A. Presupuesto y Gastos del Proyecto B. Actividades y Productos C. Apoyo de los donantes D. Gestin del Proyecto (administracin) E. Apoyo Tcnico y Operacional VI. Evaluacin de los Resultados y de la Eficacia 1. Efectos e Impacto 2. Sostenibilidad e Impacto de los Resultados alcanzados 3. Equidad y Consideraciones de Gnero en la Ejecucin y en la A. Distribucin de Beneficios 4. Anlisis de la Relacin de Costo-Eficacia 5. Principales Factores que han incidido los Resultados del Proyecto VII. Conclusiones y Recomendaciones A. Conclusiones B. Recomendaciones VIII. Lecciones Aprendidas I. Resumen Ejecutivo (Principales Conclusiones y Recomendaciones) Esta seccin debe presentarse como un resumen ejecutivo, conteniendo una breve recapitulacin de las principales conclusiones y las recomendaciones para accin inmediata. Los puntos a cubrir son: Un resumen de los objetivos y de la estructura del proyecto y una breve descripcin de las razones que justifican la evaluacin. Las principales conclusiones, incluyendo un examen crtico de los principales factores que han afectado positiva o negativamente la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto. Esto debe incluir el anlisis de la concepcin original y del diseo del proyecto (incluyendo los supuestos del marco lgico), de las condiciones que han afectado la ejecucin del proyecto (limitaciones institucionales e infraestructurales, gestin del proyecto, limitaciones para movilizar los recursos necesarios) y de los factores socioeconmicos y de poltica que inciden en la participacin de los beneficiarios en el proyecto.

163

Las recomendaciones para la orientacin futura del proyecto y las acciones consecutivas a la evaluacin a ser emprendidas por el ejecutor y donantes del proyecto.

Para asegurarse de que puede ser fcilmente ledo por las personas concernidas, el resumen debe ser breve (no ms de 2-3 pginas) haciendo las referencias necesarias al texto principal. II. Introduccin Razones para organizar la evaluacin (los trminos de referencia deben anexarse al informe) y objetivos de la evaluacin. Las personas entrevistadas, metodologa utilizada y la documentacin consultada por los miembros del comit de evaluacin deben ser tambin, mencionados en un anexo. III. Antecedentes del Proyecto Breve descripcin y razn de ser del proyecto, incluyendo los problemas y las limitaciones que deben enfrentarse, as como, el marco institucional Principales cambios acontecidos en dicho marco desde entonces; complementariedad con otros programas o proyectos en el pas o regin; fecha de iniciacin, duracin y costos del proyecto. IV. Examen de los Objetivos y Diseo del Proyecto A. Justificacin Anlisis crtico de la concepcin del proyecto y de su incidencia econmica y social, para satisfacer las necesidades poblacin participante del proyecto, en el contexto de operacin del proyecto. La relacin costo-eficacia y la pertinencia de los enfoques escogidos en el diseo del proyecto. B. Objetivos A. Resumen de los objetivos del proyecto original y de las eventuales revisiones que se han presentado desde la aprobacin del proyecto. B. Una revisin crtica de los objetivos, inmediatos y a largo plazo, buscando analizar la claridad en su formulacin, la precisin, y la pertinencia de estos para: (a) orientar la(s) accin(es) de desarrollo; (b) satisfacer las necesidades por las cuales se concibi el proyecto; y, (c) validez de los supuestos de base crticos al alcance de los objetivos. Cuando los objetivos, especialmente los inmediatos, no estn claramente especificados, la misin debe proceder a una interpretacin de lo que el proyecto supone alcanzar hacer. C. Diseo del Proyecto 1. Claridad y pertinencia en la identificacin de los beneficiarios inmediatos y finales del proyecto, incluyendo el examen de sus necesidades especficas y la definicin de los mecanismos a travs de los que se espera alcanzar a dichos beneficiarios. 2. Evaluacin de la lgica global del proyecto, es decir, si la relacin entre insumos, actividades, productos y objetivos es apropiada; y, si el diseo del proyecto representa una alternativa viable (costo-efectiva) para responder a los problemas identificados. 3. Claridad y precisin en la descripcin de los productos; acierto en la especificacin de los insumos y en su vinculacin con la realizacin de los objetivos inmediatos. 4. Claridad y precisin en la descripcin de las actividades previstas; realismo del plan de trabajo (calendario y duracin de las principales actividades del proyecto); adecuacin de los insumos para el proyecto que deben ser suministrados por el donante y por el Gobierno beneficiario; realismo en los plazos identificados para el proyecto. 5. Claridad y validez de la estructura interna para la gestin del proyecto. 6. Principales supuestos, explcitos o implcitos en el diseo del proyecto. Examen de la Ejecucin, Eficiencia y de la Gestin A. Presupuesto y Gastos del Proyecto Evaluacin de la tasa de realizacin del presupuesto y la calidad de los insumos (tanto aquellos financiados por el donante como por la contribucin del Gobierno) en relacin a lo previsto en el documento del proyecto.

164

B. Actividades y Productos Anlisis comparativo y sistemtico de la cantidad, calidad y pertinencia de las actividades y productos realizados en relacin con lo previsto en el documento del proyecto original y los planes de trabajo elaborados durante la ejecucin: identificacin de las carencias y retrasos en la ejecucin de las actividades y en la obtencin de los productos previstos y anlisis de sus causas, incluyendo aquellos factores que estn fuera del productos previstos y las acciones ulteriores; medidas correctivas contempladas o tomadas. C. Apoyo de los donantes Apoyo directo de los donantes y su nivel de participacin en las operaciones del proyecto; labor y eficacia de los distintos entes de apoyo. D. Gestin del Proyecto Eficiencia y eficacia de la direccin del proyecto; lazos de colaboracin establecidos con otras instituciones; pasos realizados para transferir la plena responsabilidad de gestin del proyecto a la poblacin. E. Apoyo Tcnico y Operacional Magnitud y calidad del apoyo tcnico y operacional/administrativo recibido por el proyecto; efectividad del papel desempeado durante la ejecucin por el donante y la institucin encargada de la ejecucin del proyecto. VI. Evaluacin de los Resultados y de la Eficacia A. Efectos e Impacto Utilizacin dada por los grupos-meta de los productos generados y progresos realizados hacia la obtencin de los objetivos previstos. Examen de los efectos reales y previsibles deben ser identificados y comparados con los objetivos inmediatos previstos. Los efectos no previstos tambin debern ser analizados. Nivel al que los efectos del proyecto contribuirn a la realizacin del objetivo general; significado de dicha contribucin (cambio evolutivo); perspectivas para decisiones de poltica apropiadas y para movilizacin de recursos adicionales (internos y externos). B. Sostenibilidad e Impacto de los Resultados en el Medio Ambiente Probabilidad que los beneficiarios continen utilizando los resultados del proyecto: receptividad a su uso y adaptacin de los productos para otras actividades de desarrollo; cimiento de las capacidades adquiridas a nivel local e institucional. C. Equidad y Consideraciones de Genero en la Ejecucin y en la Distribucin de Beneficios Anlisis de las medidas que apuntan a incorporar orientaciones relativas al gnero de los beneficiarios; examen de la determinacin, pertinencia y efectividad de estas en la reduccin de los factores limitantes. D. Anlisis de la Relacin de Costo-Eficacia Anlisis de la efectividad del proyecto en alcanzar los objetivos establecidos (en su diseo y ejecucin) dentro del lmite de los recursos disponibles. O sea, sera posible lograr los mismos objetivos, a travs de otro tipo de diseo de proyecto y con el mismo nivel de recursos? En esta seccin se debe verificar si se han analizado medidas u mtodos alternativos para el logro de los objetivos. E. Principales Factores que han incidido en los Resultados del Proyectos Anlisis resumido de los principales factores y condiciones que han incidido positiva o negativamente en la eficiencia y eficacia del proyecto; estos pueden provenir del diseo, del proceso de ejecucin o de cambios externos fuera del control del proyecto. El anlisis debera constituir la principal fuente para extraer lecciones y recomendaciones para el futuro.

VII. Conclusiones y Recomendaciones A. Conclusiones

165

Esta seccin debe presentar una sntesis sucinta de las principales conclusiones ya examinadas en las secciones precedentes del informe y deber exponer conclusiones sobre: la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto en la realizacin y logro de los objetivos previstos. Las conclusiones deben proponer una base muy clara para la sustentacin de las recomendaciones a continuacin. B. Recomendaciones Las recomendaciones deben estar claramente dirigidas a cada una de las partes concernidas, es decir, al donante, a la institucin ejecutante, beneficiarios y potenciales donantes. En la medida de lo posible, las recomendaciones deben ser realistas, precisas y prcticas. Las recomendaciones sobre las actividades que en curso y aquellas que cubren las actividades la continuacin una vez finalizado el proyecto deben ser presentadas por separado. Una evaluacin de medio-camino normalmente debera incluir un plan de trabajo (a ser incluido como anexo) y un resumen de los principales cambios necesarios en los insumos y productos ya programados, y si es necesario, en los objetivos. Si, en una evaluacin final, se recomienda una fase ulterior se deberan incluir: los objetivos, las principales actividades y productos, as como la estimacin de los insumos requeridos. Las recomendaciones tcnicas detalladas para el proyecto son bien venidas en el informe de evaluacin, pero se debern consignar en uno de los Anexos. VIII. Lecciones Aprendidas Las lecciones que se pueden deducir de esta experiencia (ya sea, normativas, metodolgicas o de procedimiento) a nivel de la formulacin o ejecucin de proyectos similares deben ser presentadas en esta seccin, incluyendo consideraciones criticas con implicaciones ms universales que necesitan particular atencin en proyectos similares. Actividades de la vigsima semana Individuales 1. Realice la lectura de la semana. 2. Prepare una carta para su docente, haciendo una sntesis de la lectura, con una extensin no mayor de una pgina. Grupales 1. En grupo preparen el informe de su evaluacin. Autoevaluacin 1. Est usted de acuerdo con los criterios enumerados por la lectura para la presentacin del informe de la evaluacin? 2. Con cules criterios no est de acuerdo y por qu? 3. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cules?

166