Evaluacin de resultados y evaluacin de impacto La idea de resultados remite a una concepcin bastante genrica sobre la finalizacin de una accin

o de un conjunto de acciones, que devienen en consecuencias o rendimientos determinados. Esto puede significar que se alude tanto a la ejecucin de lo programado en cuyo caso es un balance de lo realizado y su comparacin con un plan de operacin como a las consecuencias que esto mismo pudo haber generado en otros mbitos, distintos a la sola gestin. As, la pregunta que se plantee la investigacin evaluativa, puede tener que ver tanto con qu result de lo que estaba programado como plan de gestin, como con qu result en los beneficiarios de la intervencin a propsito del modelo de gestin utilizado y la estrategia de intervencin implementada. Por lo mismo, todo parece indicar que la evaluacin de resultados es aquella que intenta determinar grado de cumplimiento de lo programado, en dos niveles, esto es, en los compromisos de gestin asumidos como parte de un modelo operativo diseado como soporte base de la intervencin programtica. Y, en la generacin de productos y resultados ms directamente atribuibles a los efectos de la intervencin sobre sus destinatarios. La definicin de la evaluacin de resultados como una comparacin simple que se basa en la construccin de parmetros para determinar brechas entre lo programado y lo ejecutado, lleva inmediatamente a reflexionar sobre el tipo de informacin que es posible obtener cuando se evala con esta lgica. Dicho de otro modo, al preguntar por lo que aporta este tipo de evaluacin, desde el punto de vista de los aprendizajes que se pueden extraer a partir del cmulo de informacin generada por esta va, puede decirse que la respuesta tiene que ver con la eficacia de los instrumentos de planificacin que sirvieron de orientacin a la intervencin. Se trata, entonces, de la comparacin de lo ejecutado respecto de lo comprometido y, en ese caso, los elementos del diseo cobran particular importancia como insumos y/o parmetros de evaluacin. En consecuencia, a travs de las evaluaciones de resultados que aplican esta lgica - es posible saber cmo oper, en la prctica, un determinado modelo, tanto desde el punto de vista de la ejecucin de tareas, como desde el punto de vista de productos asociados a la gestin del programa y/o a los cambios incipientes exhibidos por la poblacin objetivo. No sera posible saber, en cambio, cunto se ha avanzado en la afectacin de la situacin inicial que origin la intervencin desde un punto de vista ms agregado, o sea, a nivel del universo de potenciales beneficiarios y/o a nivel del problema, asumido desde una perspectiva ms amplia que la sola caracterizacin de la poblacin efectivamente beneficiada por la intervencin. En relacin con esto, la literatura no es clara en otorgar orientaciones operacionales respecto a cmo disear estrategias evaluativas que determinen qu resultados se han obtenido, teniendo como principal referente los diagnsticos base de la intervencin. Se dijo antes, que la lgica con la que suele operar esta modalidad de evaluacin, se basa en

anlisis de eficiencia y eficacia sobre la ejecucin de lo programado y, en consecuencia, depende mucho del uso de los instrumentos de planificacin diseo y registro del propio programa. En este escenario parecera lgico suponer que el rol de los diagnsticos es el mismo y que deben ser usados como referentes para el establecimiento de las comparaciones que permitan fundamentar juicios en torno al nivel de logro alcanzado por el programa. Considerando que en la evaluacin de resultados, ese nivel de logro es de lo programado en relacin con lo ejecutado, no cabe duda que la mayor o menor profundidad alcanzada por esta evaluacin, depender de lo que se haya incluido en esa programacin. Si se refiere solamente a la dimensin administrativa y de gestin, la mirada evaluativa se concentrar en indicadores que den cuenta de esos elementos. Pero si dentro de lo programado se establecen parmetros de deseabilidad respecto a cambios en la situacin de la poblacin objetivo ms todava si se los cuantifica en metas -, la nocin de resultados se referir a productos y/o efectos generados por la intervencin. En tal caso, la evaluacin deber trabajar con estrategias metodolgicas ms comprensivas, que recojan antecedentes internos a los programas referidos a su implementacin y ejecucin y antecedentes externos a ellos referidos a los productos generados en la gestin programtica y a los resultados inmediatos que esto pudo provocar en sus destinatarios . Respecto a eso, gran parte de la literatura especializada en el tema, seala que en esta segunda acepcin de resultados, la clave para estructurar la comparacin que permita formular un juicio conclusivo en torno a ellos, es trabajar en base a los diagnsticos y su contrastacin con la informacin aportada por los indicadores que permiten mensurar los aspectos o dimensiones diagnosticadas en la etapa anterior a la intervencin. Esto ltimo, merece algunos comentarios: El diseo del programa en base a un diagnstico . An cuando la relacin obligada entre diseo y diagnstico, constituye uno de los preceptos bsicos de la planificacin, lo cierto es que se trata de un supuesto que no siempre se cumple. En estricto rigor, los diseos de los programas debieran ser una respuesta estructurada a los antecedentes mostrados en ese diagnstico y, en ese sentido, debera constituir un instrumento para el logro de fines asociados al cambio de lo diagnosticado. Sin embargo, esta relacin, en los hechos, no es tan clara y sin duda que desafa la capacidad de la evaluacin ex post para generar opiniones vlidas en torno a ese cambio, no slo por la ausencia total o parcial de esos diagnsticos, sino tambin por su obsolescencia o su generalidad. La evaluacin de resultados como una accin planificada . Si la implementacin de un programa es una intervencin que tiene por objetivo generar ciertos cambios, lo lgico sera constatar, en la finalizacin del proceso, qu y cunto de esa intervencin contribuy a afectar (cambiar) la situacin que motiv la creacin del programa. Por lo mismo, la evaluacin de resultados aparece, casi por definicin,

como una accin programada desde el inicio, an cuando se lleve a cabo en un momento ex post. Probablemente mucho de esto tenga que ver con la lgica misma de un diseo, pues en ste se planifica y se ordena tanto el proceso como los resultados que se espera generar a travs o a partir de l. En este escenario, la evaluacin ex post parece mucho ms viable, pues representa la constatacin necesaria del xito logrado en la intervencin realizada. La pregunta que cabe formular entonces, es qu sucede cuando la evaluacin ex post no ha sido considerada y opera no como un componente sino como una fase terminal del proceso. La conceptualizacin del cambio y su operacionalizacin. La evaluacin ex post, en cualquiera de las modalidades que ella asuma, est estrechamente ligada a la idea de cambios. Ms all de que ella est tambin cruzada por una serie de requerimientos vinculados a la accin contralora de quienes tienen a su cargo las funciones de fiscalizacin y supervisin, el nfasis de la mirada evaluativa ex post que remite insistentemente a la idea de resultados, tiene que ver con la identificacin y ponderacin de cambios provocados en la situacin intervenida. Al conceptualizar esto, no cabe duda que la ruta crtica de la intervencin y ms concretamente su desenlace tiende a concretarse en la consecucin de dichos cambios. Pero su expresin ms operacional necesariamente demanda un ejercicio crtico y reflexivo sobre la trayectoria posterior de dichos cambios, identificados comnmente bajo el rtulo de tendencias de impacto. Sin duda los resultados de un programa no se agotan en la generacin de productos. En consecuencia, hay cambios que son el efecto sumativo de los diversos factores que van incidiendo en el proceso y que transforman esos productos en cambios de otro orden. Desde el punto de vista formal, estos cambios se asocian a la accin directa del programa, aunque se espera que ellos se manifiesten o se consoliden ms all de la intervencin. Es lo que podra denominarse <<los resultados producidos por un programa a nivel de efectos en su poblacin objetivo>>. Ahora bien, cmo responder a la pregunta en torno a los resultados generados por la intervencin pblica en el problema que la origin? Probablemente para ello no baste una evaluacin de resultados y sea necesario introducir la nocin de impacto para explicar la dinmica de transformaciones acaecidas sobre una determinada poblacin, a propsito de tales acciones. Esto lleva a dilucidar, en consecuencia, qu se entiende por <<impacto>>. Pichardo define como impacto social, los cambios o variaciones deseados en los destinatarios de las polticas, programas y/o proyectos en cuanto a: i) Satisfacer necesidades; ii) Promover o procurar condiciones para el mejoramiento de la calidad de vida y trabajo de la poblacin; iii) Generar, fortalecer o consolidar niveles e instancias organizativas, formas de expresin, asociacin y participacin organizada; y,

iv) Propiciar cambios de actitudes, condicionantes, aptitudes, comportamientos y mentalidades que modifiquen las concepciones y actuaciones de los actores sociales, de los cuales los individuos y grupos forman parte. Seala adems que () el impacto social debe considerarse como una perspectiva de interpretacin para la evaluacin, que define su especificidad al intentar medir cambios <<situacionales>> de importancia que marcan un acercamiento significativo al logro de la imagen objetivo, validando as una determinada trayectoria de accin (Pichardo, 1997). A juicio de esta autora, las preguntas relevantes de la evaluacin de impacto son las siguientes: i) ii) iii) iv) Cambiarn, estn cambiando o cambiaron de manera significativa las condiciones iniciales de los grupos destinatarios; Si es as, cul es el sentido de esos cambios; En qu medida es posible observar esos cambios; Hasta qu punto los cambios observados se pueden atribuir a la intervencin o de qu forma se combinan ambos factores para producir los cambios buscados.

El abordaje de estos aspectos requiere, a juicio de la autora, disear un modelo de probabilidades de ocurrencia del impacto social evaluado, para determinar su orientacin. En segundo lugar, requiere de la elaboracin de un sistema de indicadores, acordes a las caractersticas del objeto de evaluacin, lo que implica establecer el sistema de medicin, para determinar qu se quiere medir y bajo qu estndares se har la medicin; y, adems, definir los aspectos de la situacin deseada que sern medidos, para generar la informacin requerida y, retroalimentar el proceso de informacin. La mirada en torno al impacto puesta de relieve en esta definicin, naturalmente evoca el comentario anterior en torno a la evaluacin como una accin planificada, que es prevista como un instrumento concomitante de la gestin. Pero, adems, pone de manifiesto la necesidad de efectuar anlisis integrados, ms comprensivos, que incluyan factores tanto del programa, como de los beneficiarios y su entorno. El impacto, por tanto, puede ser definido como una funcin compuesta donde esos elementos pueden tener distintos grados de incidencia. As, mientras la evaluacin de resultados es una comparacin simple que se basa en la construccin de parmetros para determinar brechas entre lo programado y lo ejecutado, la evaluacin de impacto tiene que ver con la afectacin del problema y con cambios asociados al comportamiento integrado de variables del Programa (especificidad de su diseo) y variables exgenas. Esto significa plantear preguntas distintas y, en consecuencia, trabajar con distintas fuentes de informacin que permitan efectuar anlisis diferenciados. Pero an est pendiente dilucidar los niveles en los cuales aplican ambas nociones. Si por ejemplo se analizan los resultados generados por la estrategia de alfabetizacin funcional en adultos mayores, una evaluacin del primer tipo probablemente pondr nfasis

en la realizacin de talleres de alfabetizacin y en la adquisicin y/o recuperacin de habilidades lecto escritoras por parte de los adultos mayores. En cambio, desde la lgica que aqu se est insinuando, la pregunta por el impacto tiene que ver con un nivel agregado ms amplio, que en este caso es la contribucin de la alfabetizacin funcional a la integracin social de los adultos mayores marginados. Siguiendo en la lnea de la discusin aqu propuesta, una evaluacin de resultados en torno a la reforma educacional y sus estrategias centradas en la innovacin de prcticas pedaggicas, llevara a analizar la forma en que la modificacin del curriculum, la extensin horaria y la incorporacin de nuevos recursos de aprendizaje, tienen incidencia o no en el xito acadmico de la poblacin escolar. Pero al analizar esta intervencin desde el punto de vista de su impacto, cabra preguntarse por la contribucin de la reforma educativa a la modificacin de la estructura de oportunidades y, en definitiva, por su aporte a la equidad. Si se entiende el impacto como la magnitud del cambio producido en la poblacin objetivo, en funcin de la implementacin del programa y de otras variables sobre las cuales ste no ejerce ninguna influencia, su evaluacin, entonces, es la medida en que dicho programa, en funcin de sus objetivos, transforma alguna rea de la realidad, lo que exige distinguir entre efectos netos y cambios derivados del contexto (CEPAL, 1993). De acuerdo a esto, la reflexin conceptual y sus proyecciones metodolgicas complejizan la posibilidad de implementar estrategias evaluativas de impacto, en la medida que cabe determinar, primero, si es posible evaluar el impacto de una intervencin social. Y, segundo, si se puede asumir que todas las intervenciones son generadoras de impacto. Del mismo modo, la viabilidad de una evaluacin de resultados depender de que se identifiquen y dispongan sus insumos base, como anlisis de diseo, sistematizacin de la experiencia de intervencin, lnea base y, registros de trayectoria de beneficiarios en el programa evaluado, por mencionar los ms importantes. En la evaluacin de impacto hay que construir referentes adecuados para la verificacin de hiptesis sobre generacin de un efecto sumativo global cruzado con variables del entorno (unidad territorial, marco temporal, cohortes). Y en la evaluacin de resultados, en cambio, es esencial dar una mirada a la lgica interna del programa y la relacin existente entre estrategia de intervencin y su modelo de gestin. Finalmente, hay un tema que tiene que ver con la temporalidad en que se pueden observar los cambios atribuibles a una intervencin por evaluar. En el caso de la evaluacin ex post de resultados, pareciera que lo que importa es determinar el grado de xito de un programa de acuerdo a lo establecido en su programacin inicial y, en consecuencia, se requiere trabajar en umbrales de tiempo cercanos a su ejecucin. Ms an, si el tipo de resultados que se quiere evaluar corresponde a productos generados por el programa, la evaluacin ex post implicar una intrusin en el ciclo mismo de ejecucin regular del programa. En cambio, la variable temporal adquiere una connotacin distinta en el caso de la evaluacin impacto. La pregunta es despus de cunto tiempo y bajo qu circunstancias

es posible que se manifieste el impacto de una intervencin. Esto naturalmente diferencia de un modo evidente las intervenciones sociales de aquellas que no lo son, pues probablemente en el caso de estas ltimas sea posible predecir con algo ms de precisin, el tipo de impacto que ellas pueden generar. En cambio, las otras intervenciones vern fuertemente mediatizados sus impactos por variables o circunstancias situacionales de difcil anticipacin. As por ejemplo, el impacto de un proyecto de defensas fluviales, de transporte caminero o de evacuacin de aguas lluvias, puede ser muy distinto del impacto de un programa de prevencin del embarazo adolescente, de promocin de estilos de vida saludables o de mejoramiento de la equidad en educacin. Resulta lgico entonces, que las bsquedas de informacin que cabe aplicar en cada caso, sean igualmente diferenciales y recojan estas especificidades. Implicaciones metodolgicas para la evaluacin expost Las distinciones conceptuales formuladas antes, tienen como principal propsito inferir las estrategias metodolgicas acordes a cada uno de los enfoques desde los cuales se concibe una evaluacin ex post. Por lo general, persiste la imagen de que la realizacin de una evaluacin, est imbuida de aspectos tcnicos que importan en la medida que le confieren validez y confiabilidad a la informacin conclusiva que se espera obtener con ello, pero pocas veces las estrategias evaluativas son analizadas como la expresin de una serie de hiptesis sobre la dinmica generada por un programa, en el entorno donde interviene. Si se considera que una intervencin cualquiera, es una apuesta por la generacin de determinados cambios, expresados formalmente en los objetivos de ella, se deduce entonces que una evaluacin es la constatacin directa de la generacin de tales cambios. En consecuencia, una estrategia evaluativa debe, ante todo, profundizar en la lgica interventiva del programa evaluado, para identificar el sistema de supuestos e hiptesis que est detrs de su diseo . De lo contrario, la identificacin de resultados no pasar de ser una descripcin narrativa de aspectos particulares del programa. El diseo y puesta en prctica de una evaluacin, es la aplicacin de una estrategia metodolgica que pretende posibilitar la identificacin, observacin y anlisis de las variables asociadas al programa y los efectos por ellas producidos. Como seala Pichardo (1997), en el caso de las evaluaciones ex post, esta estrategia metodolgica es una forma determinada de tratar un conjunto de situaciones problemticas, basndose en ciertos supuestos tericos () para abordar de manera consistente el objeto por evaluar () Un diseo de evaluacin consiste en un bosquejo o esquema general que sirve de pauta de orientacin para desarrollar el proceso evaluativo. Ahora bien, existen mltiples criterios a partir de los cuales es posible clasificar o caracterizar las estrategias evaluativas ex post de uso ms frecuente. Por esto ltimo, ms bien cabe hablar de modelos, en la idea de que se trata de configuraciones tpicas que estn en la lgica ms sustantiva del diseo estructural de estas estrategias.

Se pueden identificar, en primer trmino, los modelos evaluativos ex post de tipo exploratorio descriptivo y los modelos de tipo analtico. Los primeros suelen constituir observaciones puntuales sobre aspectos especficos de una intervencin. Por lo mismo, no explican las causas de los efectos que ella genera ni miden los niveles de variacin de la situacin intervenida. La ventaja de este tipo de evaluacin, desde el punto de vista metodolgico, es que aplica en aquellos casos en que los registros de informacin que requieren comparaciones ms complejas estn incompletos o no estn disponibles y por tanto los resultados de ella slo entregan pistas o hiptesis sobre los resultados generados por la intervencin. El problema es que la imputabilidad de esos resultados, al programa, no puede ser ratificada de manera categrica, precisamente porque no explora la incidencia de las variables que influyen en la generacin de esos efectos ni el sistema de relaciones que se genera entre ellas. Las evaluaciones analticas, en cambio, se preocupan de establecer las relaciones de causalidad, identificando la red de relaciones existente entre los factores que tienen incidencia en la aparicin y permanencia de efectos e impactos. La fortaleza de estas evaluaciones es que entregan informacin mucho ms rica respecto a la relacin programa beneficiarios entorno, pero, por lo mismo, es mucho ms exigente desde el punto de vista metodolgico. Adems de tener un alto costo y de implicar una complejidad ostensiblemente mayor a las evaluaciones exploratorias, su viabilidad est sujeta a un sinnmero de factores, entre ellos, la disponibilidad de informacin relativa a diferentes etapas del proceso de intervencin y al diagnstico correspondiente a la situacin sin programa. En la misma lnea de las clasificaciones, la literatura da cuenta de los diseos de tipo experimental, aludiendo con ello a los modelos que trabajan con grupos intervenidos y con grupos de control y donde el tratamiento que recibe el primero de ellos versus el no tratamiento dado al segundo, replica la lgica ms purista del experimento cientfico. Desde el punto de vista terico, la principal fortaleza de este tipo de diseos es que por las caractersticas constitutivas de los grupos contrastados se logra una comparabilidad cuasiperfecta, logrando aislar los factores que podran distorsionar la validez interna de la experiencia. Este modelo ha sido ampliamente cuestionado por la manipulacin que implica el proyectar una intervencin de estas caractersticas y por los reparos ticos que pueden formularse en torno al efecto de exclusin que se produce de manera intencionada en torno al grupo de control que, en el caso de los programas sociales, implica no proveer un servicio a quienes conforman una demanda potencial. Lo mismo ocurre con los diseos cuasi experimentales, donde se intenta establecer una comparacin similar, aunque con un grado de exhaustividad relativo, en la conformacin de los grupos sometidos a contrastacin y donde se descarta la asignacin aleatoria de las personas al grupo de control.

Pero pese a las objeciones mencionadas antes, bien pueden encontrarse experiencias de intervencin social que responden intencionadamente o no a esa lgica, como ocurre, por ejemplo, con las experiencias programticas piloto. En este caso, se trata de probar y validar un modelo de intervencin en determinado grupo, para determinar las condiciones de implementacin y operatoria que hacen viable una experiencia interventiva de esas caractersticas. Para ponderar los resultados efectivamente generados por esa experiencia, se recurre a modelos evaluativos que comparan los resultados logrados en la experiencia piloto, con otros grupos de similares caractersticas pero que no fueron beneficiarios de este programa. Lo mismo ocurre con la comparacin establecida entre beneficiarios y no beneficiarios de una intervencin, recurso ampliamente utilizado en evaluaciones de tipo ex post.