EVALUACION DE PROGRAMAS DE INTERVENCION SOCIAL APUNTES DE CLASES Ramrez, V. (2008). Diseo de evaluacin de programas y proyectos. Material de clases no publicado.

Programa de Magster , Pontificia Universidad Catlica de Chile

1.

Contexto de la evaluacin de programas

Hay muchas definiciones de lo que es evaluacin. Cada una de ellas acenta uno u otro aspecto como esencial de la evaluacin. Evaluacin: Es el proceso de establecer juicios de valor basados en la evidencia sobre un programa o producto (Smith & Glass, 1987). Es el proceso de proveer de informacin a los que toman las decisiones (Stufflebeam). Es comparar, en un instante determinado, lo que se ha alcanzado mediante una accin, con lo que se debera haber alcanzado de acuerdo a una programacin previa (Espinoza, 1983) Es un tipo de investigacin que analiza la estructura, el funcionamiento y los resultados de un programa, con el fin de proporcionar informacin de la cual se deriven criterios tiles para la toma de decisiones en relacin con su administracin y desarrollo (Briones, 1985).

Hay quienes sealan que emitir juicios de valor no es propio de una evaluacin, sin embargo, cualquiera evaluacin debe sealar si algo est bien o mal o cun bien o mal y, por lo tanto, estn involucrados los valores. Sin embargo, estos juicios se basan en evidencias.

105

Lo que se evala es el objeto de evaluacin. La evidencia es el resultado del diseo de evaluacin, de las mediciones que se hacen y del anlisis de la informacin que se recolecta. Hay programas que tienen objetivos generales explcitos, otros, adems de los generales, han formulado objetivos especficos, otros van ms all y se plantean metas sin un plazo determinado, otros con un plazo determinado. Otros, en cambio pueden tener objetivos implcitos y algunos pueden no tener objetivos muy claros. La evaluacin tiene que ver, por ejemplo, con determinar si se han logrado los objetivos y si se ha hecho en el plazo sealado, cunto del objetivo se ha logrado. Estos juicios evaluativos, que dicen relacin con el logro de los objetivos son absolutos. En cambio, si se compara un programa con otro parecido, hablamos de evaluacin comparativa.

1.1

Necesidad de evaluar las intervenciones sociales

Un primer factor que influye en la necesidad de evaluar las intervenciones sociales es conocer las mejoras que logran las personas que participan, respecto de su condicin social y humana. Muchos de estos programas no fueron bien planificados y concebidos y se vieron que algunos no eran efectivos, naciendo la necesidad de evaluarlos. Ahora cada vez menos se asume que la intervencin ser de buena calidad.

Un segundo factor es de prestigio: muchos programas necesitan mostrar que son buenos, que logran resultados y que su manejo es eficiente. Dado que la evaluacin de programas productivos fue anterior, los programas sociales se vieron en la necesidad de mostrar que tambin eran efectivos y rentables. Los resultados de intervenciones sociales son ms difciles de mostrar que los de una empresa productiva y, por ello, fue necesario comenzar a buscar elementos tangibles de evaluacin.

Un tercer factor es econmico: lograr los mejores programas con los recursos limitados que existen. Sucede a nivel local y respecto de las agencias internacionales. Cada vez ms los programas de intervencin social estn siendo desarrollados e implementados
106

por agencias estatales y gubernamentales. Tambin han proliferado programas que son financiados por agencias bilaterales o internacionales.

Un cuarto factor es legal: Dado que los recursos son escasos, los Ministerios y oficinas estatales han legislado sobre la obligacin de evaluar los programas. Incluso el Congreso muchas veces solicita la evaluacin de ciertos programas, al discutir el presupuesto de la nacin.

Una evaluacin puede llevarse a cabo por diversas razones: para conocer el valor o utilidad de un programa, para mejorar el logro de los objetivos del programa para mejorar la calidad de los resultados, identificando formas para mejorar los servicios para redefinir la poblacin objeto: reducirla, ampliarla, homogeneizarla, etc. para estimar la utilidad de introducirle cambios o mejoras: modificar la estructura, el funcionamiento, la metodologa para decidir expandir el programa o limitarlo para controlar la aparicin de posibles prcticas o resultados no deseados para aumentar la eficiencia en el manejo y administracin del programa, para satisfacer los requerimientos contables de los patrocinadores o financiadores de un programa. para evaluar la utilidad de formular nuevos programas o iniciativas.

En general, entonces, para la toma de decisiones.

1.2

Resistencia a la evaluacin

Toda organizacin tiene dos metas principales: una tiene que ver con la sobrevivencia y estabilidad de la organizacin; la otra tiene que ver con el crecimiento y cambio. Los
107

administradores de programas tienden a identificarse ms con la primera meta, la sobrevivencia y estabilidad. La evaluacin de un programa o intervencin social lleva a un desequilibrio, aunque sea mnimo o transitorio, por lo tanto los que buscan el equilibrio tienden a resistirse a la intromisin de agentes que se identifican con algn cambio.

Si la persona que pide la evaluacin no tiene un concepto claro de la misma, va a resistirse a ella, no va a ser de ayuda en la misma, o va a desacreditar al evaluador y a los resultados que entregue. Hay estereotipos respecto de lo que la evaluacin puede ayudar a la organizacin o el programa, especialmente si el evaluador es ajeno a la organizacin.

No ha habido una cultura respecto a que los programas de intervenciones sociales deban evaluarse. Es algo relativamente nuevo y, por lo tanto, desconocido. Como tal, es algo amenazador. Si existe la posibilidad que el programa presente fallas, en su estructura, funcionamiento o en sus resultados, alguien puede perder. Adems, la evaluacin es una seria amenaza a cualquier grado de poder del administrador del programa. Entregar informacin es entregar poder, y si otros pudieran llegar a obtener informacin, la administracin pierde poder. Informacin es poder.

El administrador de un programa puede tener algunas caractersticas diferentes al evaluador. Por lo general, el administrador tiende al statu quo, se resiste al cambio; el evaluador, tiende al cambio. El administrador es un hombre de organizacin, a veces burcrata, a veces no admite que haya fallas o deficiencias en el programa ni en l o sus colaboradores; el evaluador, en cambio, tiene una postura ms cientfica y tcnica. El administrador no siempre entiende todos los pasos y actividades que realiza el evaluador, y piensa que todo lo cientfica y que pierde tiempo y hace perder el tiempo.

108

Como no ha habido una cultura de evaluacin, muchas veces se solicita una evaluacin cuando el programa presenta un problema, especialmente cuando el problema puede producir un recorte del financiamiento o un trmino del mismo. Cuando esto ocurre, por lo general la evaluacin es solicitada por un agente externo (el financiero) y, por lo tanto, la administracin del programa se resiste a la evaluacin y evaluador.

Tambin en una institucin puede existir un ambiente general de que las cosas no andan tan bien y, en ese caso, la evaluacin es mirada con mayor suspicacia y puede haber mayor resistencia. La gente se pone a la defensiva.

Tambin el grupo que trabaja en el programa puede resistirse: ellos trabajan todo el da entregando servicios, que ellos estiman de buena calidad. Que alguien externo venga a evaluar (ver lo bueno y lo malo) lo que hacen, es amenazador, y, por lo tanto, se resisten a ella.

Los que reciben el servicio tambin pueden pensar que una evaluacin puede quitarles el beneficio, por lo que tambin pueden resistirse.

Los argumentos que pueden dar son muchos: que los resultados del programa son a largo plazo y que, por lo tanto, no pueden medirse a corto plazo que los resultados son de tipo general y complejos que los resultados son pequeos pero significativos y una evaluacin no los detectar que los resultados son sutiles y cualitativos que la medicin perjudicara (podra cambiar) lo que se est logrando que el administrador sabe que funciona bien que nadie ha reclamado sobre el servicio
109

que el programa tiene que estar modificando constantemente los objetivos y/o metas para adecuarlos a los deseos de las personas beneficiadas

que todos los das se est evaluando y que con eso basta que la poblacin beneficiada est contenta que personas externas al programa han expresado juicios muy favorables, etc.

El evaluador debe estar alerta a la resistencia, para tratar de solucionar el problema en el momento oportuno.

1.3

Evaluacin como una etapa del proceso de diseo e implementacin de programas

El ciclo de un proyecto o programa consta de 3 grandes etapas: la preparacin, la ejecucin y la evaluacin del mismo.

El enfoque integrado es un mtodo para la gestin de las diferentes fases del ciclo de un proyecto o programa. Fue desarrollado por la Comisin de las Comunidades Europeas, para gestionar los proyectos que financia. Considera las 6 fases del ciclo de un proyecto y analiza los elementos ms importantes que deben observarse en cada una de ellas. En este enfoque, la evaluacin forma parte de la gestin y corresponde a una de sus etapas.

Tomando como base este enfoque integrado y extrapolndolo al nivel nacional, podramos sealar que las 6 fases en este caso seran:

Programacin: Anlisis de los problemas a resolver, se revisa la programacin nacional, sus orientaciones. Se sealan algunas ideas de proyecto y se revisa si est en el marco de la programacin nacional o sectorial, segn sea el caso.

110

Identificacin: La idea de proyecto es objeto de un estudio de prefactibilidad. Se hace una primera elaboracin del proyecto, expresada en objetivos, resultados esperados y actividades. Su propsito es poder determinar si se hace o no un estudio de factibilidad. Si se considera que s, se definen los trminos de referencia del estudio de factibilidad.

Instruccin: Se detallan todos los aspectos del proyecto, de acuerdo con un estudio de factibilidad: se analiza el problema, se formulan sus objetivos, las metas, los beneficiarios, se elabora el diseo, los indicadores y fuentes de verificacin. En fin, se planifica la intervencin. Se examina la pertinencia del proyecto y su coherencia con las polticas globales y sectoriales. Esto permite decidir si procede financiarlo y la fuente de financiamiento.

Financiamiento: Se hace una propuesta de financiamiento. Se examina por parte de las autoridades pertinentes. Se determina si el financiamiento se har con recursos del presupuesto nacional o sectorial, o si, por el contrario, es motivo de solicitud de un financiamiento externo. En ese caso, se estudian las posibles fuentes y se somete el proyecto (por lo general dentro de un paquete mayor) a estudio por parte de las agencias financieras seleccionadas.

Todas las fases anteriores forman parte de la preparacin del proyecto.

Ejecucin: Se realiza el proyecto de acuerdo a la planificacin del mismo, se hace un seguimiento del mismo.

Evaluacin: se analizan los resultados y efectos o impactos, durante su ejecucin o una vez finalizada sta, con el fin de reorientar la intervencin o formular recomendaciones que sirvan de orientacin a proyectos similares en el futuro. En la planificacin del proyecto se formulan las etapas de evaluacin y sus objetivos. Muchas veces, cuando
111

una intervencin tiene varias etapas, el inicio de la siguiente depender de los resultados de la evaluacin de la etapa anterior.

1.4

Agentes involucrados en la evaluacin de programas

Evaluador: puede ser una persona o un grupo. El evaluador puede ser un miembro (o miembros) de la organizacin que conduce el programa. En este caso se habla de evaluacin interna. En cambio, en una evaluacin externa, el evaluador es alguien contratado externo a la organizacin. Tambin puede haber una mixta.

Los evaluadores internos tienen la ventaja que estn ms familiarizados con el programa y personal que trabaja en ste. Sin embargo, tambin estn ms involucrados y presionados.

Los evaluadores externos se supone que estn menos comprometidos y pueden ser ms objetivos. Sin embargo, responden a clientes y esto tambin puede convertirse en una presin, si los resultados no evidencian un buen logro del programa.

En el grupo evaluador debe haber alguna persona que sepa de modelos y diseos de evaluacin, otra que sepa coordinar las actividades, tanto dentro del grupo como con el cliente, la audiencia y los participantes en la evaluacin. Debe haber otro que sea un buen comunicador, tanto con el cliente, como con la audiencia.

Equipo de apoyo tcnico: son las personas que van a construir los instrumentos de recoleccin de informacin, disearn las muestras, los que recolectarn la informacin, los que la analizarn, etc.

112

Hay varias instituciones, grupos o personas involucradas en la evaluacin. Muchos autores de habla inglesa los llaman stakeholders (es decir, los sujetos o grupos para los que est en juego la evaluacin). Guba & Lincoln (1989) las han clasificado en 3 clases:

Agentes: son los que estn involucrados en producir y desarrollar el objeto de evaluacin. Son grupos, instituciones o individuos que tienen algn inters en el programa y en los resultados de la evaluacin. Cada uno puede tener inters en la evaluacin de diferentes aspectos u objetos del programa y diferentes perspectivas sobre la necesidad de evaluar y la importancia de la misma. Tambin hay intereses polticos (en el sentido de la lucha por los recursos y el poder). Estas diferentes perspectivas e intereses polticos pueden ser fuente de conflicto entre los grupos y entre stos y el equipo evaluador. El evaluador, entonces, debe poder identificar a estos grupos. Algunos de estos grupos son:

Cliente: es la persona o grupo que usar los resultados de la evaluacin para algn propsito, por ejemplo, para introducir cambios o mejoras en el programa, para seleccionar los beneficiarios de un programa. El cliente es el que, por lo general, solicita la evaluacin y que pone los recursos. Es crucial en la formulacin de objetivos y diseo de la evaluacin y en lograr el compromiso con todos los que van a participar en la evaluacin. Es quien va a usar los resultados.

Los que formularon el programa Patrocinadores o financistas: los que financian el programa. Los que toman las decisiones: respecto de implementar un programa, continuarlo, terminarlo, ampliarlo, reducirlo.

Administradores del programa Equipo del programa: los que dispensan los servicios

113

Beneficiarios: personas o grupos que participan en el programa o reciben el servicio, directa o indirectamente. Incluye: Los beneficiarios directos: el grupo objetivo Los beneficiarios indirectos: son personas o grupos que estn relacionadas con el grupo objetivo y se benefician de alguna manera Grupos o personas que se benefician por el hecho de existir el programa, por ejemplo, los que proveen al programa de materiales o servicios.

Vctimas: son los que se ven afectados negativamente por el programa (o que no se benefician, pudiendo hacerlo): grupos sistemticamente excluidos del programa grupos que sufren efectos colaterales negativos personas que quedan en desventaja poltica competidores del programa: grupos u organizaciones que compiten con el programa por los recursos o por las actividades (celo profesional)

Participantes o respondentes: estas son las personas a quienes se les van a aplicar los instrumentos, los que van a ser entrevistados, observados, etc. El evaluador debe asegurarse de informarles sobre el objetivo del estudio, motivarlos y lograr su compromiso, ayudado por los agentes o el cliente, especficamente.

1.5

Consideraciones ticas

As como en el quehacer investigativo se han planteado ciertos criterios ticos cuando se trabaja con seres humanos, tambin han surgido algunos respecto de la evaluacin de programas. Se habla de meta-evaluacin a la evaluacin de una evaluacin. El Joint Committee on Standards for Educational Evaluation (1981) describe 30 normas para hacer una meta-evaluacin. Por su parte, la Evaluation Research Society (ERS)
114

desarroll 55 normas, incluidas en las 30 anteriores. Las normas del Comit Conjunto se refieren a:

a)

Normas de utilidad: para asegurar que una evaluacin servir a las necesidades de informacin de todas las audiencias:

identificacin de la audiencia involucrada o afectada; credibilidad del evaluador: confiable y competente; alcance y seleccin de la informacin; interpretacin de los resultados: describir perspectivas, procedimientos y lgica utilizada;

claridad del informe: descripcin del objeto de evaluacin, el contexto, objetivos, procedimientos y resultados de la evaluacin, para que se entienda qu se hizo, por qu, qu informacin se obtuvo, conclusiones y recomendaciones hechas;

difusin del informe (al cliente); oportunidad del informe: a tiempo para ser usado para tomar decisiones; impacto de la evaluacin: planificadas y conducidas para que insten a considerarlas en mejorar el programa.

b)

Normas de viabilidad: para asegurar que la evaluacin ser realista, prudente,

diplomtica y moderada: procedimientos prcticos: mantener al mnimo la irrupcin, logrando la informacin necesaria; viabilidad poltica: planificar y conducir la evaluacin de manera consensuada con los grupos de inters para lograr el compromiso y para que los puntos de vista de todos los grupos interesados sean considerados en el diseo de evaluacin; eficiencia de la evaluacin: suficiente informacin para los recursos invertidos en la evaluacin.
115

c)

Normas de propiedad: para asegurar que la evaluacin se ejecute de manera legal

y tica respecto del bienestar de las personas involucradas en la evaluacin y afectadas por sus resultados: obligacin formal: obligaciones de las partes (qu debe hacerse, cmo, por quin y cundo) deben ser acordadas por escrito, para que se obliguen a adherirse a todas las condiciones del acuerdo o a renegociarlas formalmente; conflicto de intereses: deben ser tratados con honestidad y franqueza; divulgacin completa y franca: informes orales y escritos deben ser directos y honestos respecto de los resultados pertinentes, incluyendo las limitaciones que tuvo la evaluacin; derecho del pblico a informarse: las partes formales de la evaluacin deben respetar y asegurar el derecho del pblico a informarse, dentro de otros lmites que tambin son derechos (seguridad pblica y privacidad); derechos de los seres humanos: deben ser respetados y protegidos; interacciones humanas: el evaluador debe respetar la dignidad de la persona en sus interacciones; informe equilibrado: el informe debe ser completo y justo al presentar las fortalezas y debilidades del objeto bajo evaluacin; responsabilidad fiscal: en los recursos gastados y asignados por el evaluador y en los aspectos contables de la evaluacin.

d)

Normas de calidad: para asegurar que la evaluacin entregue informacin

tcnicamente adecuada. identificacin del objeto: debe ser suficientemente examinado; anlisis del contexto: examinado con el suficiente detalle, para identificar su probable influencia en el objeto de evaluacin; descripcin de objetivos, diseo y procedimientos;
116

fuentes de informacin: descritas en detalle; mediciones vlidas: instrumentos y procedimientos vlidos; mediciones confiables: instrumentos y procedimientos confiables; control sistemtico de los datos: datos deben ser revisados y corregidos; anlisis de la informacin cuantitativa: analizada apropiada y sistemticamente; anlisis de la informacin cualitativa: analizada apropiada y sistemticamente; conclusiones justificadas: basadas en la informacin; informe objetivo: libre de subjetivismos o sesgos de cualquiera parte involucrada en la evaluacin.

Respecto de las personas que participarn en la evaluacin, hay ciertas prcticas cuestionables, que deben evitarse: 1. Involucrar a personas sin su conocimiento o consentimiento 2. Presionar (coercionar) a la personas para que participen 3. Ocultar a los participantes la verdadera naturaleza del estudio 4. Engaar a los participantes 5. Guiar a los participantes a realizar actos que disminuyan su autorespeto 6. Exponer a los participantes a estresores fsicos o psicolgicos (ej., exposicin a estmulos estresores) 7. Invadir la privacidad de los participantes (ej., observaciones participantes sin conocimiento de la personas) 8. Transgredir la confidencialidad de la informacin que dan los participantes (ej., dar a conocer a las autoridades la informacin entregada por alguna persona o grupo)

117

9. No tratar a los participantes justamente o no mostrarles consideracin y respeto (ej., hacer esperar a los participantes o no responder preguntas que puedan tener). 2. Planificacin de un proyecto de evaluacin

La evaluacin debe seguir una serie de pasos que deben planificarse de antemano: el diagnstico, la elaboracin del proyecto y la ejecucin de la evaluacin.

2.1

Etapas previas a la formulacin del proyecto

Se deben seguir una serie de pasos previos a la formulacin de un proyecto de evaluacin, que dicen relacin con el diagnstico del proyecto. Se trata de contar con la mayor cantidad de informacin posible sobre el programa a ser evaluado y sobre su contexto. Estos pasos son:

1.

Identificar y describir el programa a evaluar

Esto significa saber cundo se origin el programa, dnde, qu instituciones estn involucradas, problemas que pretende resolver el programa, objetivos del programa, metas formuladas y plazos para cumplirlas, diseo, agentes, beneficiarios y vctimas. Tambin se debe conocer su estructura, sus principales lneas de accin, su metodologa, su operatoria, forma de financiamiento y ojal costo del programa. Tambin es necesario saber si el programa ha sido evaluado previamente, qu tipo de evaluacin, objeto de evaluacin, modelo empleado, principales conclusiones, problemas o debilidades encontrados, fortalezas.

2.

Identificar a las personas relevantes

Las personas relevantes son las que tienen gran inters en el programa o aquellas que pueden sentirse afectadas por la evaluacin, es decir, los agentes y beneficiarios. La persona clave puede ser el director del programa. Tambin las personas que forman parte del equipo del programa, a las que es importante involucrarlas desde el principio
118

en la etapa de planificacin de la evaluacin. Es importante conocer cmo es la relacin entre este equipo y el director del programa. Luego, deben considerarse los patrocinantes del programa (que pueden ser los financiadores o personas de ministerios o equipo directivo de la institucin). Estos son importantes en el inicio y final de la evaluacin: al inicio, para que apoyen la evaluacin, al final, para entregarle un informe que los ayude a tomar decisiones. Tambin es necesario identificar a los beneficiarios. Por ltimo, es fundamental identificar a las posibles vctimas.

3.

Concertar reuniones preliminares

Antes de formular el proyecto, es fundamental tener reuniones con las personas relevantes identificadas, especialmente los agentes sealados, con el propsito de reunir informacin sobre 5 preguntas bsicas: Quin quiere la evaluacin? Lo ideal es que tanto los patrocinadores como el

equipo del programa deseen que el programa se evale. Pero puede ser que los patrocinadores quieran la evaluacin, sin conocimiento o sin el deseo del equipo, o viceversa. En cualquiera de los casos, es importante convencer a la otra parte de la utilidad de la misma. Qu tipo de evaluacin se desea? Como los patrocinadores y el equipo del

programa no conocen sobre evaluacin, el evaluador debe indagar qu es lo que se desea evaluar y clarificar con ellos los conceptos y el tipo de evaluacin que satisfaga sus deseos, necesidades y recursos. Para qu o por qu se desea la evaluacin? Muy frecuentemente obedece a

factores polticos. El evaluador debe indagar sobre los motivos y las personas que se resisten o resistiran a la evaluacin y por qu? Cundo se necesita la evaluacin? Casi siempre es urgente y en un brevsimo

plazo. El evaluador debe poder sealar cunto tomara ms o menos hacer la evaluacin (siempre aumentando un poco el plazo) y decidir si la hace, la dilata o no la hace.
119

Cuntos recursos hay disponible para la evaluacin? Cuando se hace un

presupuesto, el evaluador debe sealar lo que cubre y lo que no cubre la evaluacin.

4.

Evaluar la evaluabilidad del programa

El prximo paso es evaluar si es posible hacer la evaluacin: si se desea, si hay dinero para hacerla, si se sabe qu se quiere evaluar. En este punto, es aconsejable realizar un pequeo anlisis FODA (Fortalezas, Oportunidades, Debilidades, Amenazas u obtculos) respecto de la evaluacin. Las fortalezas y debilidades son internas de la evaluacin (del equipo de evaluacin); las oportunidades y amenazas u obstculos son externas a la evaluacin (del programa o de los agentes).

120

ASPECTOS FODA POSITIVOS Oportunidades Ejemplo: - Disponibilidad de la institucin para facilitar el acceso a la informacin y a los respondentes. - Gran deseo de todos los agentes por efectuar la evaluacin Fortalezas Ejemplo: NEGATIVOS Amenazas u obstculos Ejemplo: - No existe mucho acceso a los beneficiarios - Es difcil definir el problema de evaluacin - Los objetivos del programa son confusos Debilidades Ejemplo:

EXTERNO

INTERNO

- Un miembro del equipo de - Discoordinacin del evaluacin es interno equipo de evaluacin - Conocimiento previo de - Desconocimiento de los conceptos aspectos relevantes del involucrados en la Programa. evaluacin - Falta realizar reuniones con algunos agentes

Cuando no se puede definir el problema, cuando no existe una lgica entre la intervencin y los resultados o cuando no hay claridad en el manejo del programa, es preferible no hacer la evaluacin.

5.

Revisar la literatura

Es fundamental revisar la literatura para conocer sobre evaluaciones hechas en programas similares, que d ideas al evaluador de las estrategias seguidas, los modelos utilizados, los instrumentos empleados, etc.

2.2

Evaluacin como una forma de investigacin

121

Muchas tcnicas de evaluacin son las mismas que se usan en la investigacin social o psicosocial. El diseo, los instrumentos y el anlisis de la informacin son muy similares y, en algunos casos, idnticos. Por ello, se dice que la evaluacin es sinnimo de una investigacin que, en este caso se denomina investigacin evaluativa. Por lo tanto, la investigacin evaluativa es la aplicacin sistemtica de procedimientos de la investigacin psicosocial y social para evaluar la conceptualizacin, diseo, desarrollo y utilidad de los programas de intervencin social (Rossi & Freeman, 1993).

Sin embargo, las actividades se realizan con distintos propsitos. Una distincin est en el objetivo del investigador o evaluador. Por lo general, el investigador tiene como uno de sus propsitos aumentar el conocimiento, contrastar una teora o parte de ella, aportar al perfeccionamiento de una teora o, incluso, generar una teora. El evaluador, en cambio, tiene como propsito algo ms local, emitir juicios sobre el logro de los objetivos o el uso de los recursos del programa.

Otra distincin es el origen del estudio. El investigador puede decidir hacer un estudio por motivos acadmicos y puede, incluso, presentar un proyecto para que alguna agencia se lo financie. En cambio, el evaluador por lo general responde a un cliente, quien le encomienda la evaluacin.

Los investigadores y evaluadores se guan por ciertos paradigmas, que son marcos de referencia (creencias y supuestos) a travs de los cuales una persona mira el mundo. Uno de ellos concibe a la evaluacin como una investigacin aplicada; otro como parte de un anlisis de sistema, para ayudar a los directores o empresarios a administrar el programa; otro considera a la evaluacin como un juicio informado y profesional; un cuarto paradigma enfatiza la naturaleza poltica de la evaluacin.

122

La investigacin evaluativa es ms que la aplicacin de un mtodo. Es tambin una actividad poltica y empresarial. Es parte integral de una poltica social determinada.

2.3

Etapas de la formulacin del proyecto

1. Formulacin del problema de evaluacin La formulacin del problema surge de una serie de preguntas que se hace el evaluador, y que deben dar respuesta los grupos o personas relevantes.

Cul es el problema de evaluacin? (identificacin) Qu se desea evaluar? Qu tipo de evaluacin se desea? (tipo y objetos de evaluacin) Por qu es necesaria la evaluacin? (Finalidad) Cules son las variables involucradas? Cules son los supuestos de la evaluacin?

Luego de formulado el problema, deben identificarse los problemas elementales: su descomposicin en problemas ms especficos.

2. Formulacin de los Objetivos de la evaluacin Se formulan los objetivos generales y los especficos de la evaluacin. El o los objetivos generales es lo que se pretende lograr con la evaluacin y dicen relacin con el problema de evaluacin Los especficos dicen relacin con los problemas elementales del problema general. Los objetivos generales: Deben expresarse con claridad, deben ser generales pero no vagos
123

Deben ser susceptibles de lograr Deben formularse como producto (lo que se lograr) Son objetivos de la evaluacin y no del evaluador, por lo tanto, deben omitirse verbos que denoten objetivos del evaluador y que representan un proceso y no un producto, como estudiar, conocer, averiguar, etc.

Los objetivos especficos son una descomposicin del gran objetivo general, pero no constituyen una sola divisin semntica del objetivo general. Este es un error muy comn que se comete. Deben especificar las variables involucradas en la dimensin a la que se alude en el objetivo general. 3. Determinacin del tipo o tipos de evaluacin y el marco temporal de la evaluacin. Lo veremos en detalle ms adelante.

Los pasos 1 a 3 merecen reuniones con los agentes involucrados. Para evitar los conflictos entre los diversos agentes, beneficiarios y vctimas, es bueno que el evaluador trate de reunirlos para oir sus necesidades, inquietudes y temores, y para consensuar en lo posible lo que se evaluar. Es posible que en esas reuniones, los diferentes grupos involucrados se enteren de las necesidades de los otros grupos y lleguen a comprenderse. El evaluador debe seguir los siguientes pasos: 1) identificar a las personas involucradas e indagar sobre sus necesidades, inquietudes y temores; 2) reunirlos para lograr consensos; 3) preparar una agenda de negociacin respecto de los puntos en los que no hubo consenso 4) reunirlas de nuevo para presentarles la agenda y lograr la negociacin; 5) preparar un informe, o varios, para comunicarles los consensos y negociaciones. Si no se logra consenso en algunos aspectos, el evaluador debe sealar en el informe con cul perspectiva trabaj. 4. Eleccin del modelo de evaluacin
124

Depende en gran medida de los objetivos de la evaluacin y del tipo de evaluacin que se requiere. Los veremos ms adelante. 5. Determinacin de las variables Se deben determinar y definir las variables que van a someterse a medicin u observacin 6. Formulacin de los criterios de xito Es lo que se considerar como indicador de un buen resultado o de un proceso que funciona bien. 7. Determinacin de la metodologa

a)

Diseo

Plan o estrategia para evaluar. La precisin de la informacin puede variar en funcin del diseo elegido, pero no podemos decir que uno es mejor que otro. Tambin depende del tipo de evaluacin.

b) Poblacin y diseo muestral

c) Grupos de evaluacin y grupos de control

d) Decisin sobre instrumentos

e) Procedimiento de recoleccin de la informacin: Consiste en el plan para recolectar la informacin. Debe sealarse: cmo se aplicarn los instrumentos o se recolectar la informacin.

125

quin o quines los aplicarn y el nivel de capacitacin de los evaluadores. Tambin se debe sealar en caso de haber alguna capacitacin a los evaluadores, en qu consistir

tipo de administracin de los instrumentos: si ser colectivo o individual, administrados por una persona capacitada o auto-administrado.

dnde se aplicarn los instrumentos: lugar de residencia de los sujetos u otro lugar (colegios, consultorios, consultas, etc.)

en caso de ser un test-retest, cunto tiempo mediar entre una aplicacin y otra, justificando este tiempo, con el objeto de balancear los factores de invalidez posible (ni mucho tiempo que pueda introducirse el factor historia, ni muy poco que los individuos pretendan ser consistentes (factor de invalidez de la medicin).

qu factores se controlarn y cmo para impedir que ellos puedan invalidar los resultados.

qu se le dir a las personas que participarn en la evaluacin sobre los objetivos de la misma. Aqu es importante considerar el factor tico.

en caso necesario, qu se les ofrecer a las personas que participan. Tambin aqu debe considerarse la tica.

f) Plan de anlisis En el plan de anlisis ha de consignarse el tipo de anlisis que se har con la informacin recolectada, justificando el uso de las tcnicas a utilizar.

Este depender principalmente: de los objetivos de la evaluacin del diseo de la evaluacin del tipo de muestra seleccionado del tamao de la muestra del nivel de medicin de las variables
126

Es importante destacar el uso de diferentes estrategias de anlisis, por ejemplo, cualitativa y cuantitativa. Muchas veces la evaluacin de resultados requiere anlisis cuantitativo. En cambio, la evaluacin del proceso requiere anlisis cualitativos.

8. Plan de trabajo y cronograma Debe establecerse un plan de trabajo, acompaado de un cronograma. El plan de trabajo incluye un mayor detalle de lo que se har en cada etapa de la secuencia, en tanto el cronograma incluye slo los nombres de cada actividad y las fechas en las que stas se realizarn. Puede incluir las fechas de inicio y trmino de la actividad o slo la fecha de trmino. Puede usarse una carta Gantt.

9. Equipo En cualquier proyecto o propuesta debe sealarse el equipo que trabajar en la evaluacin, sus profesiones y grados acadmicos, sus especialidades y el tiempo que cada persona le dedicar y las principales funciones que tendr cada una.

10. Presupuesto El presupuesto es otro de los itemes mayores que se incluyen en un proyecto. Existen diferentes modalidades para elaborar ste: en algunos casos debe ajustarse a un monto mximo (en licitaciones, por ejemplo), en otros el presupuesto no tiene lmites tan definidos o expresos. El presupuesto debe ordenarse segn rubros y se deben detallar los itemes en los cuales se piensa gastar los montos solicitados. Existen diversas modalidades y niveles de detalle que deben consignarse. Es importante considerar que el presupuesto debe ser ajustado a la realidad, de manera de no solicitar montos que excedan niveles aceptables.
127

Al mismo tiempo, deben incluirse todos los gastos que se anticipa hacer, para no quedarse corto y no encontrarse despus sin recursos para un tem determinado. Los grandes rubros en los que se desglosa un presupuesto son: Personal profesional Personal de apoyo Bienes de capital Pasajes y viticos Gastos de operacin Overhead de la institucin (si corresponde)

11. Presentacin del proyecto

Se entrega el proyecto al cliente y se negocia lo que pueda ser negociable. Se modifica el proyecto y se entrega en forma definitiva, el que es aceptado por el cliente, por medio de un contrato.

12.

Contrato

Si el cliente ha aceptado el proyecto, se hace un contrato para obviar malentendidos tanto respecto del trabajo que se har como del presupuesto aceptado. Dicho contrato debe incluir al menos los siguientes aspectos: La identificacin del cliente o del patrocinador La identificacin de la entidad a ser evaluada El tipo de evaluacin y su marco temporal Una declaracin del cliente o patrocinador de aceptar ciertas normas ticas (enumerarlas) Una declaracin de intencin del evaluador de incluir a todos los agentes principales
128

Una breve descripcin de la metodologa que usar Una garanta por parte del patrocinador o cliente del acceso del evaluador a registros y documentos

Una descripcin de los tipos y modos que se utilizarn para entregar la informacin

Una lista de algunas especificaciones tcnicas: los evaluadores, el cronograma, el presupuesto y una lista de productos a entregar por parte del evaluador

2.4

Etapas de la ejecucin de la evaluacin

1. Se construyen los instrumentos para la recoleccin de los datos (operacionalizacin de las variables, prueba piloto, evaluacin de caractersticas mtricas de los instrumentos) 2. Se realizan las observaciones (recoleccin de datos siguiendo el diseo formulado). 3. Se limpian, tabulan, codifican y procesan los datos. 4. Se analizan los resultados y se decide respecto de los criterios de xito 5. Se concluye respecto de los elementos de evaluacin 6. Se elaboran los informes 7. Se entregan los resultados a la institucin

3. Marco temporal de la evaluacin

3.1

Evaluacin inicial (ex ante)

Es la evaluacin que se realiza antes de la ejecucin de un programa o intervencin. Puede evaluarse el diagnstico realizado, los objetivos del programa, el establecimiento
129

de sus metas, su factibilidad, su metodologa, los usuarios. Esta evaluacin permite revisar todos los aspectos para que el programa concebido logre los objetivos propuestos.

Incluso antes de la elaboracin de un proyecto de intervencin social, se realiza una evaluacin ex ante. Las siguientes son las etapas de esta evaluacin: a) Definicin del problema: surge como resultado de la comparacin entre la situacin vigente y una normativa polticamente deseable (lo ideal u ptimo). Se establece el dficit que existe, se cuantifica. b) Diagnstico de la situacin: sus funciones son describir, explicar y predecirla. Describir: se establece la cobertura del servicio (existente y deseable) Explicar: se determinan las causas del problema Predecir: hay 3 tipos, proyeccin sin el proyecto, proyeccin sin el proyecto pero optimizando los recursos disponibles, proyeccin con el proyecto. c) d) e) Planteamiento de alternativas de solucin: se profundizan las etapas anteriores Seleccin de la mejor alternativa Elaboracin del proyecto de intervencin.

3.2

Evaluacin intermedia (interim)

Es la que se realiza durante el desarrollo de un programa, es decir, ste est en funcionamiento. Muchos autores, especialmente cuando se refieren a evaluacin en educacin, hablan de evaluacin formativa, y tiene como principal propsito mejorar el programa, reformular objetivos o replantear metas y plazos. Es decir, retroalimentar el programa.

Puede evaluar los resultados que est produciendo el programa, es decir, el logro de los objetivos del programa hasta ese momento, y/o puede evaluar los procesos y la aplicacin que se est haciendo de la metodologa estipulada por el programa.
130

3.3

Evaluacin final o terminal (ex post)

Es la que se realiza cuando el programa ha terminado (ya sea completo o una etapa previamente definida). Sirve para determinar futuras acciones, respecto del programa mismo o de la implementacin de otro. En este sentido, es una evaluacin proyectiva. Tambin se suele llamar evaluacin sumativa. La evaluacin terminal busca relaciones entre los componentes y variables del programa, y explicaciones de sus formas de funcionamiento y de los niveles y calidades de los resultados obtenidos.

3.4

Evaluacin de seguimiento

Es la que se realiza despus de un tiempo de terminado el programa, o que los beneficiarios ya no participan del programa, con el propsito de ver si se mantienen los resultados o lo que se quera lograr en los beneficiarios. Por ej: un programa de perfeccionamiento docente: si lo aprendido y aplicado durante la ejecucin del programa se sigue aplicando despus de un tiempo o tiene un efecto de corto plazo. 4. Tipos de evaluacin

Hay diversos tipos de evaluacin, los que se realizarn de acuerdo a las necesidades de informacin que tenga el programa a evaluar y del grado de cobertura de la evaluacin.

131

4.1

Evaluacin diagnstica

Es la que se realiza cuando se concibe un programa. Como el programa surge de la necesidad de resolver algn problema, hay que diagnosticar ese problema realmente y verificar que no est slo en la mente del diseador. Sucede que algunas veces tenemos una idea preconcebida como problema, pero que no lo constituye realmente en los eventuales beneficiarios.

El evaluador puede realizar la evaluacin diagnstica o puede analizar la evaluacin diagnstica realizado por otros, a veces, internos al eventual programa.

Cuando se evala el diagnstico realizado, se analizan los siguientes aspectos:

a) -

El problema Si fue expuesto con claridad Si los objetivos fueron bien especificados y si eran logrables Si se definieron bien las variables, eran medibles u observables Si se sealaron los supuestos Cual fue el marco conceptual utilizado Si hubo hiptesis que guiaran el estudio y si se desprendan del marco conceptual

b) -

El diseo Qu tipo de diseo se utiliz para hacer el diagnstico Cul es el grado de validez que tiene el diseo utilizado y cules los factores que podran invalidar los resultados. Como se controlaron estos factores de invalidez Si se utilizaron grupos de control, para eliminar variables extraas que pudieran estar contaminando los resultados.
132

c) -

La metodologa Si la poblacin estudiada fue delimitada con claridad Si el diseo muestral fue bien explicitado, qu tipo de muestra se extrajo, qu grado de respresentatividad tuvo la muestra seleccionada, si hubo algn clculo del probable error de muestreo Si las variables fueron operacionalizadas correctamente Si los instrumentos fueron bien seleccionados, para lograr los objetivos y de acuerdo al diseo establecido, si hubo concordancia entre los indicadores de las variables y los itemes, preguntas o escalas usadas en los instrumentos, si se sometieron a anlisis de validez y confiabilidad Si el procedimiento para recolectar la informacin fue el apropiado.

d) -

El anlisis Si el anlisis realizado fue bien hecho Si estuvo acorde con los objetivos formulados, con el diseo establecido y con los instrumentos utilizados Si fueron observados los supuestos estadsticos en la utilizacin de pruebas estadsticas utilizadas

e) -

Las interpretaciones y conclusiones Si se derivaron estrictamente de los resultados obtenidos Si se atuvieron a la poblacin a la cual podan ser generalizados los resultados Si se integraron al marco conceptual utilizado

133

4.2

Evaluacin de objetivos

Algunas caractersticas (se denominan objetos de evaluacin) que pueden evaluarse respecto de los objetivos de un programa:

a)

Identificacin: si un programa tiene objetivos, pareciera que identificarlos es innecesario. Sin embargo, a veces los objetivos no estn expresamente formulados como tales o estn mezclados con otros componentes, por ejemplo, con la estrategia del programa.

b) c)

Claridad: se refiere a su comprensibilidad. Adecuacin contextual: si existe concordancia entre las necesidades de los beneficiarios (diagnstico) y los objetivos que persigue el programa.

d)

Adecuacin al campo de dominio: es posible que los beneficiarios puedan alcanzar lo que el objetivo propone?, desde el punto de vista psicolgico (madurez), educacional (nivel de educacin), social (NSE) u otro.

e)

Vigencia: cuando un programa tiene ms de un objetivo, es necesario averiguar cules tienen vigencia, es decir, cules son los que realmente pretende obtener el programa con las acciones que est realmente llevando a cabo.

f)

Desplazamiento: por diversas razones, los objetivos originales de un programa pueden haber cambiado, sin que los nuevos objetivos hayan sido explicitados. El evaluador debe evaluar la definicin de los nuevos objetivos y buscar los factores que llevaron a su cambio.

g)

Conflicto de objetivos: hay veces que los diferentes agentes de un programa tienen una definicin de objetivos diferentes. El evaluador debe tratar de buscar un consenso.

h)

Grado de generalidad: a veces no hay objetivos especficos, que son los que realmente se pueden evaluar (su logro). La pregunta es: qu es lo que realmente el programa desea lograr, en trminos especficos? Si el objetivo est planteado a

134

nivel general, el evaluador deber buscar indicadores de sus diversas manifestaciones. i) Secuencia: Hay que averiguar si los objetivos deberan estar ordenados en alguna secuencia, para su logro. Pueden haber objetivos intermedios que deben ser previos a los finales. j) Jerarquizacin: as como a veces existe conflicto de objetivos, tambin puede haber una jerarquizacin diferente para diversos agentes. Tambin es importante conocer la importancia que dan los diversos agentes a cada uno de los objetivos formulados. k) Cuantificacin: Debe verse si existen metas formuladas claramente. Debe evaluarse si stas responden a: cunto?, cundo? en qu condiciones? Tambin debe evaluarse si existen criterios de xito establecidos. l) Tiempo de logro: debe evaluarse el plazo en el que se pretende lograr los objetivos. Por ejemplo: qu es largo plazo?, puede estar indeterminado. m) Efectos derivados: son modificaciones que pueden producirse como consecuencia del logro de un objetivo. Por ejemplo, a veces algunos objetivos se proponen modificar actitudes o valores de las personas, suponiendo que este cambio producir necesariamente cambios de conductas, y no siempre es as. En vez de un objetivo hay una hiptesis que una cosa llevar a la otra.

4.3

Evaluacin de proceso

Es la evaluacin de los elementos internos del programa. Para los propsitos de la evaluacin, Briones distingue dos tipos de procesos: el que tiene que ver con el mantenimiento del programa y el proceso o procesos por el cual se transmiten y adquieren los cambios que el programa espera alcanzar en la poblacin usuaria o beneficiaria.

4.3.1 Procesos de mantenimiento

135

Generalmente, se refiere al funcionamiento del programa: las acciones, actividades y manejos de los recursos necesarios para poner en prctica la estrategia o metodologa del programa, es decir, los procedimientos llevados a cabo para el logro de los objetivos del programa. Por lo general, la evaluacin responde a preguntas tales como:

Cmo est funcionando el programa? Existen factores que dificultan su funcionamiento? Se pueden controlar? Se pueden mejorar? Existen factores que facilitan su funcionamiento? Se pueden mejorar o manejar mejor? Cul es el costo de funcionamiento?

La pregunta de cmo est funcionando el programa suele responderse por los resultados obtenidos. Sin embargo, la relacin entre funcionamiento y resultados no siempre es tan directa ni tan clara. Adems, si se esperara hasta el final para evaluar los resultados, no sera posible mejorar estos resultados.

Algunos objetos de evaluacin a considerar en la evaluacin del funcionamiento de un programa:

a) la

Direccin

del

programa:

planificacin

programacin,

coordinacin,

reclutamiento y seleccin del personal, capacitacin, supervisin y evaluacin del personal, cumplimiento de funciones. b) el funcionamiento administrativo: los recursos, organizacin administrativa, cumplimiento de funciones. c) el funcionamiento financiero: fuentes de los recursos, manejo de los recursos, ejecucin y control presupuestario. En varios programas sociales existe aporte voluntario o donaciones, que tambin deben tomarse en cuenta porque muchas veces
136

es un monto significativo, especialmente al momento de evaluar la eficiencia econmica (relacin entre insumos y resultados) y la participacin de la comunidad o de los propios usuarios del programa. d) la poblacin, usuarios y beneficiarios: sus caractersticas demogrficas,

socioeconmicas, su homogeneidad o heterogeneidad, la forma de insercin al programa, su asistencia, desercin o abandono, sus aportes al funcionamiento del programa, sus actitudes, opiniones, creencias, expectativas. e) el grupo tcnico (instructores, monitores, etc): sus caractersticas demogrficas, socioeconmicas, profesionales, niveles de calificacin, formas de reclutamiento (remunerados, voluntarios), asistencia, desercin (causas), sus actitudes, opiniones, creencias, expectativas, cumplimiento de funciones. f) los canales de comunicacin: direccin o sentido de la comunicacin, formas, contenidos, retroalimentacin. g) la gestin propiamente tal, que es el grado de formalizacin y participacin de los beneficiarios o usuarios, el grupo tcnico y la direccin del programa y otros actores sociales involucrados en el programa.

El modelo de gestin y la duracin de un programa determinan, entre otros factores, la capacidad de retencin de los usuarios o beneficiarios.

La evaluacin de la estructura organizacional del programa es vital. La estructura organizacional se refiere al modo en el que una organizacin articula sus recursos humanos en actividades dirigidas al logro de los objetivos y metas. Debido a la interrelacin existente entre la estructura y la conducta de los miembros de una organizacin, es necesario lograr una mayor comprensin sobre cmo la estructura afecta a sus miembros y viceversa.

137

Algunos programas no slo formulan objetivos y metas a lograr sino tambin objetivos y metas de funcionamiento.

4.3.2 Procesos de cambio Se refieren principalmente a las interacciones que se producen entre el personal del equipo tcnico y los usuarios o beneficiarios del programa, o slo entre estos ltimos, con el fin de lograr los objetivos propuestos. En el primer caso, esas interacciones resultan de la aplicacin de la estrategia y metodologa del programa, en un cierto contexto o lugar y con el uso de recursos instrumentales.

Analticamente, conviene distinguir 4 focos principales para la evaluacin de los procesos de cambio: el contexto de interaccin; los procesos de interaccin y desarrollo del programa; las metodologas de innovacin o cambio; los recursos instrumentales.

a) el contexto de interaccin: dnde se produce la interaccin entre el equipo tcnico y los beneficiarios. Ms que el lugar fsico (que a veces tambin es importante) interesa evaluar la disposicin de los participantes en las reuniones o actividades, en lo que respecta a las interacciones.

b) los procesos de interaccin y desarrollo del programa: son las conductas de los monitores frente al grupo o individuo, sus recursos motivacionales, el uso de recursos didcticos, etc. Por parte de los usuarios, las reacciones frente a ese desempeo (participacin, aceptacin, rechazo). Tambin es importante evaluar creencias, prcticas y expectativas.

c) estrategias y metodologas de innovacin o cambio y recursos instrumentales: debe evaluarse la coherencia de la estrategia, las metodologas utilizadas y los medios

138

instrumentales con el tipo de metas y las metas propiamente tales que se pretenden alcanzar.

Hay que evaluar su relevancia terica: justificacin conceptual de utilizar esas estrategias, metodologas y medios y no otros para conseguir los objetivos buscados.

Respecto de los contenidos transmitidos por el programa deben evaluarse:

a) b) c)

Su actualidad Formas de presentacin: claridad, estructura lgica, didctica y psicolgica Relevancia: tanto individual, como colectiva, comunitaria o nacional.

Respecto de la metodologa, pueden usarse:

a) Mtodos activos versus pasivos: debe evaluarse la participacin de los usuarios y las tcnicas motivacionales utilizadas por el monitor. b) Mtodos creativos versus memorsticos c) Mtodos abiertos versus mtodos finales: aprender a aprender, aprender a solucionar; o dar el producto terminado.

La evaluacin de proceso puede realizarse en diferentes momentos de desarrollo del programa: al final, en una etapa intermedia o durante todo el proceso. Cuando se realiza durante todo el proceso, se habla de monitorear el programa.

El monitoreo es un control interno del programa durante su proceso. Implica definir sistemas estables y confiables; oportunos para su pronta autocorreccin; con una cobertura de todos los aspectos (financieros, administrativos, tcnicos, de interaccin, de

139

entrega del servicio o beneficio); con informacin disponible en todos los niveles pertinentes; y con una adecuada relacin entre los costos y la eficacia. Muchas veces, cada cierto tiempo, se hacen reuniones evaluativas. Es importante que existan criterios comunes de evaluacin, porque si no es as, algunos podrn sealar que el programa est funcionando bien (los tcnicos, por ejemplo).

4.4

Evaluacin de resultados

Pueden evaluarse los resultados de un programa, su eficacia o efectividad, su aceptabilidad, su impacto y/o su eficiencia.

4.4.1 Eficacia o efectividad de un programa

Es la capacidad del programa para alcanzar los objetivos que se ha propuesto, es decir, la evaluacin de la eficacia o efectividad equivale a establecer los logros obtenidos. Esta eficacia puede ser a corto plazo, a mediano o a largo plazo. Un programa puede ser eficaz al corto plazo, pero puede perder eficacia en el largo plazo. En cambio, otro programa puede ser eficaz slo en el mediano o largo plazo (seguimiento del programa).

Para evaluar los logros debe tenerse conocimiento de la situacin inicial de la poblacin o beneficiarios o usuarios del programa. Se denomina evaluacin diagnstica o de entrada.

La evaluacin de la eficacia se refiere a:

a) si el programa produjo o no los cambios esperados. Cuando hay metas concretas, si se lograron y en cunto tiempo. b) el nivel, magnitud o grado de los cambios producidos, en toda la poblacin de beneficiarios o en un subgrupo o subgrupos.
140

c) la intensidad o profundidad de los cambios d) la calidad de los cambios e) explicacin de los cambios: si fue el programa mismo u otros factores o una combinacin de los dos.

Debe evaluarse tambin la permanencia en el tiempo de los logros del programa: esta evaluacin puede hacerse en base a una evaluacin de seguimiento o pronosticando la situacin a futuro con base en ciertos indicadores, respecto de la estructura, su estrategia, su impacto, como veremos ms adelante, etc.

4.4.2 Aceptabilidad de un programa

Se refiere a la satisfaccin de los participantes con el programa, tanto los directamente involucrados con l (beneficiarios) como los indirectamente afectados (por ejemplo, familia, comunidad).

4.4.3 Impacto de un programa

Son los efectos del programa que van ms all del logro de los objetivos y metas planteados. Considera tanto los efectos colaterales como los diferidos en el tiempo. Tambin suelen denominarse efectos del programa, ya sea que hayan sido previstos con anticipacin o no. Pueden ser impactos en los grupos o familias de los beneficiarios, en la comunidad en la que viven, impactos ambientales, impactos sociales. Por ejemplo, un programa de perfeccionamiento docente puede ser muy efectivo, en el sentido que los docentes lograron aprender lo que les fue enseado, y sin embargo, no tener impacto si lo que aprendieron no lo aplican en la sala de clase y por, lo tanto, no es transferido a los alumnos.

141

Por otra parte, un programa puede no ser tan efectivo en lograr las metas planteadas (si es que estas fueron planteadas en forma realista) pero s tener un gran impacto positivo en la comunidad.

Muchas veces se hace sinnimo de impacto la eficacia, lo que no es lo mismo. Se debe, muchas veces a que en muchos programas no se evala el impacto.

Los efectos o impacto pueden ser previstos o no por el programa (en su diseo) y pueden ser positivos o negativos.

4.4.4 Eficiencia de un programa

Se refiere al uso de los recursos (humanos, econmicos y tiempo). Un programa ser eficiente si logra los objetivos con menos recursos humanos y econmicos y en un menor tiempo.

Hay que evaluar la eficiencia del programa, considerando los otros aspectos. Por ejemplo, un programa que tiene un funcionamiento muy participativo de la poblacin beneficiaria, bajo la perspectiva de la eficiencia, puede ser ms lento que otro menos participativo. Sin embargo, puede tener un mayor efecto en el tiempo (a ms largo plazo). Debe evaluarse, no obstante, la potencialidad participativa de los beneficiarios o su factibilidad o funcionalidad (aspectos tcnicos, por ejemplo).

La evaluacin de la eficiencia puede hacerse en cualquier momento del programa. Puede hacerse ex ante para anticipar costos y beneficios; sin embargo, los beneficios son slo conjeturas y deben tomarse como tal. Puede hacerse mientras se desarrolla el programa o al final.

142

Los anlisis que se realizan para evaluar la eficiencia de un programa pueden ser:

a)

Anlisis de costo-beneficio

Establece relaciones entre costos monetarios del programa y resultados o beneficios monetarios. Por lo general, este anlisis se realiza en programas productivos, que no son los programas objeto de nuestro curso. En nuestro caso, habra que monetarizar los beneficios. Se pueden adoptar varios modos de hacerlo: - Medidas de dinero: Por ejemplo, si mantener abierto un centro de salud por dos horas en la tarde significa que los beneficiarios se ausentarn menos de su trabajo, digamos, un promedio de 10 horas por ao, entonces el beneficio anual se puede calcular multiplicando el sueldo promedio a la hora de los beneficiarios por 10 horas y por el nmero de beneficiarios con trabajo. - Precio de mercado: ejemplo: si un programa reduce la delincuencia en una comuna en un 30%, los beneficios se pueden calcular, por ejemplo, ajustando el precio de las casas en esa comuna por el precio de las casas en otra comuna de similares caractersticas que tenga un ndice de delincuencia 30% menor. - Estimacin economtrica: se trata de estimar un valor supuesto de una ganancia o impacto en trminos de mercado. Por ejemplo, el aumento de pago de impuestos a la renta y global complementario debido a mayores ingresos de los comerciantes por una disminucin del miedo a la delincuencia, se puede determinar calculando los impuestos pagados por los comerciantes de otra comuna similar con tasas menores de delincuencia, y luego estimando lo que pagaran en la comuna en cuestin. Se trata de anlisis ms complicados, que slo lo pueden hacer economistas. - Preguntas hipotticas: Otra manera ms dudosa es preguntar directamente a los beneficiarios lo que ellos consideran que vale en pesos el beneficio recibido. Por ejemplo, en un programa de sexualidad, preguntar a los beneficiarios cunto creen que se ahorran al no tener una guagua no deseada.
143

Aunque pudiera ponerse precio a los beneficios, es muy difcil hacerlo, porque los beneficios pueden quedar sobrerepresentados o subrepresentados, especialmente cuando algunos no son susceptibles de evaluar con un precio monetario. Adems, estn los impactos no previstos (positivos y negativos). En intervenciones sociales, estos anlisis no consideran la equidad y distribucin del ingreso que pretenden generar muchas de ellas. Y, por ltimo, est el tema tico.

Luego de establecer los costos y el precio de los beneficios, se comparan ambos, ya sea restando los costos de los beneficios, o haciendo una razn costo: beneficio.

b)

Anlisis de costo-efectividad

Establece relaciones entre costos monetarios del programa y resultados o beneficios no monetarios. Este es el anlisis que por lo general se hace en programas o intervenciones sociales. En primer trmino, deben especificarse los costos del programa, considerando ya sea los costos a nivel global (costo total), o a nivel de promedio por unidad de resultados (costo total dividido por cantidad de beneficiarios, por ejemplo).

Para determinar los costos, deben considerarse todos los costos del programa (ya sea por beneficiario o por rea de intervencin, por ejemplo). Tambin pueden desglosarse en ciertos rubros, por ejemplo, materiales y equipos, sueldos y honorarios (tambin se pueden descomponer en personal directivo, administrativo, tcnico, auxiliar), comunicacin y transporte, local (arriendo y mantencin), etc. Cuando un programa involucra a actores que son voluntarios, o donaciones, o usufructo gratis de recintos u otros rubros que no le significa un desembolso de dinero al programa, tambin deben calcularse esos costos, pues pueden ser significativos. Deben asignrsele un valor. Para calcular la efectividad, deben considerarse los siguientes aspectos:
144

Tiempo para obtencin de los logros: puede ser necesario examinar los logros anuales del programa.

Programa con diversos objetivos: si un programa tiene ms de un objetivo y estos estn jerarquizados, podemos ponderar los logros de esos objetivos, multiplicando por ejemplo por 2 los logros del objetivo principal y por 1 los logros del objetivo secundario.

Efectividad en sub-grupos de poblacin: un programa puede tener dos grupos de beneficiarios. Tambin aqu podran ponderarse, si se le da mayor prioridad a un grupo.

Por ejemplo, en un programa de mejoramiento de la educacin, se consideraron como indicadores de efectividad: el aumento real en los resultados SIMCE de las escuelas que participan en el programa, aumento del rendimiento de los nios que han participado en unos talleres del programa y aumento de los ndices de aprobacin y disminucin de los de reprobacin y retiro de los nios.

5. Modelos de evaluacin

Para evaluar cualquier programa o intervencin social el evaluador debe seguir un modelo de evaluacin, que es un esquema general que seala las caractersticas bsicas de un programa que deben ser evaluadas y los procedimientos principales para recoger la informacin necesaria.

Se han hecho diversas clasificaciones de los modelos propuestos. Nosotros tomaremos la clasificacin que hace Briones y agregaremos algunos modelos a su clasificacin. El hace una distincin entre modelos globales y modelos analticos. Segn Briones, los modelos globales se aplican principalmente a pequeas intervenciones y los analticos a programas de una mayor envergadura. Sin embargo, pueden usarse unos u otros, no

145

tanto dependiendo del tamao del programa a evaluar sino respecto del propsito de la evaluacin.

5.1

Globales

Los modelos globales consideran al programa o intervencin en su totalidad, sin descomponer algunos aspectos u objetos del programa.

5.1.1 Los modelos subjetivistas

Los principales modelos globales son los denominados subjetivistas, segn Briones. La principal tarea del evaluador es comprender la conducta humana, captar su significado, todo basado en la experiencia subjetiva, empleando la empata. Casi siempre, se utilizan mtodos cualitativos de investigacin, como observacin participante, entrevistas en profundidad, historias de vida, estudios de caso. No se recoge informacin sobre partes separadas de un programa sino que el evaluador trata de comprender la totalidad del mismo.

Algunos modelos subjetivistas:

a)

La evaluacin sensitiva o concertada (responsive evaluation)

Propuesta por Robert Stake (estadounidense). b) La evaluacin iluminativa

Desarrollada por Malcolm Parlett (estadounidense) y David Hamilton (ingls). c) La evaluacin focalizada

Ms que un modelo, es una estrategia u orientacin presentada por Michael Patton (estadounidense)

146

5.1.2 Otros modelos globales

Hay otros modelos globales que no se basan en la epistemologa subjetivista. Algunos de estos son:

a)

La evaluacin sin objetivos pre-fijados

Presentado por Michael Scriven (australiano). b) El modelo de adversarios

Desarrollado por Thomas Owens y tambin por Robert Wolf (USA). 5.2 Modelos Analticos

Los modelos analticos distinguen con mayor o menor desagregacin los diversos elementos dinmicos o estructurales del programa, con el fin de dirigir hacia ellos la evaluacin. Admiten evaluaciones parciales, es decir, de slo alguna o algunas de las partes o procesos que se desarrollan en el programa. Algunos de estos modelos son:

5.2.1 El modelo orientado en los objetivos Ralph Tyler (USA). Metfessel y Michael ampliaron posteriormente el modelo de Tyler. 5.2.2 El modelo Contexto-Insumo-Proceso-Producto (CIPP) Desarrollado por Daniel Stufflebeam (USA). 5.2.3 El modelo de Referentes Especficos Desarrollado por Guillermo Briones (Chile). 5.2.4 El Marco Lgico El Marco Lgico es ms bien un mtodo de anlisis que un modelo. Fue elaborado en los aos 70 por un grupo de la Comisin de las Comunidades Europeas para gestionar los proyectos y programas que financia.
147

6.

Diseos para la investigacin evaluativa

Para llevar a cabo la evaluacin debe describirse el diseo que se utilizar para la recoleccin de la informacin. Este es el plan o estrategia para evaluar. La precisin de la informacin puede variar en funcin del diseo elegido, pero no podemos decir que uno sea per se mejor que otro.

Concepto de validez Un diseo de evaluacin debe ser vlido. Hay dos tipos de validez: validez interna validez externa

Se llama validez interna a la capacidad del diseo de evaluacin para asegurar que los resultados a los que se llega tienen que ver con la accin del programa y no con otros factores. Si se encuentran resultados positivos, es posible atribuirlos a la accin del programa? Se llama validez externa a la capacidad del diseo de evaluacin para generalizar los resultados, obtenidos tal vez de muestras, al programa o subprograma que se est evaluando, como un todo. Si en una muestra de beneficiarios se observan cambios en la situacin que el programa quiere intervenir, es posible decir que esos cambios se dan en todos los beneficiarios del programa?

Un diseo puede estar afectado por ciertos factores que atentan contra la validez interna. Campbell y Stanley destacan algunos de estos factores o fuentes de invalidez:

Historia: durante el transcurso del programa, puede producirse algn acontecimiento que d cuenta de los cambios ocurridos en los beneficiarios o en los agentes del programa. Por ejemplo: si el programa de mejoramiento educativo en escuelas bsicas (PME) se desarrolla conjuntamente con el programa de las 900 escuelas (P-900), cmo saber si los resultados se deben a uno de ellos?
148

Maduracin: durante el transcurso del programa, los beneficiarios pueden desarrollarse intelectual, afectiva, social o moralmente. Cunto de los cambios observados se deben al programa y cunto al desarrollo natural de los beneficiarios? Este factor puede invalidar diseos de evaluacin de programas en los que los beneficiarios son nios o jvenes, si no considera la posible maduracin de los mismos.

Inestabilidad: un grupo de personas o beneficiarios puede experimentar una situacin diferente durante el programa que otro grupo. Ejemplo: cmo se llega a una conclusin vlida respecto del funcionamiento de un programa si un grupo de monitores tiene capacitacin continua y otro grupo tiene slo una charla de capacitacin?

Efecto de la prueba: es el efecto de un instrumento aplicado por primera vez en los resultados de pruebas o instrumentos subsecuentes. Ej: podemos aplicar una prueba de diagnstico para evaluar la situacin de entrada de los beneficiarios al programa y luego aplicar una prueba a los dos aos. Si la memoria no falla, puede suceder que lo que los beneficiarios o agentes respondan en la segunda prueba est afectado por lo que se recuerdan de lo que respondieron al inicio, o incluso pueden haber tomado conciencia con la aplicacin de la primera prueba de su situacin, tratando de cambiarla.

Instrumentacin: Los cambios detectados pueden deberse a cambios en los instrumentos o pruebas aplicadas antes y despus o cambio en los evaluadores. Por ejemplo, un instrumento puede ser ms fcil que otro (en pruebas de conocimientos, por ejemplo)

Regresin estadstica: Es el efecto provocado por una tendencia de las personas seleccionadas sobre la base de puntuaciones extremas a regresar en pruebas posteriores a un promedio en la variable por la que fueron seleccionadas.

Seleccin diferencial: si se estn comparando dos grupos de personas, puede sealarse que un grupo (ej. el del programa) est mejor en una condicin que otro
149

(grupo no del programa) y concluir que el programa es efectivo en alterar esa condicin. Sin embargo, los grupos pueden no ser equiparables o semejantes. Mortalidad experimental: es la diferencia que se produce en dos grupos por la prdida de personas en los grupos. Por ejemplo: se puede invalidar los resultados de una evaluacin si el grupo de beneficiarios que se evala es el grupo de personas que no ha desertado del programa, que pueden ser diferentes a las personas que s han desertado. Interacciones: tambin pueden darse interacciones entre estos factores. Ejemplo: interaccin entre seleccin y maduracin (maduracin diferente segn el grupo).

El diseo debe tratar al mximo de controlar estos posibles factores de invalidez interna.

El diseo depende de los objetivos de la evaluacin, del objeto o tipo de evaluacin, del modelo de evaluacin seleccionado, del tiempo y recursos que existen para la evaluacin, del contexto de evaluacin. As, el diseo ser diferente si estamos haciendo una evaluacin de proceso que si estamos haciendo una evaluacin de resultados, si el modelo es global o analtico, si tenemos poco tiempo y dinero para hacer la evaluacin o suficiente, si el cliente y los respondentes pueden sentirse o no amenazados con un tipo de diseo y menos con otro. Una primera clasificacin de los diseos de evaluacin tiene que ver con el tipo de mtodos a utilizar para recolectar la informacin necesaria y el tipo de informacin a ser recabada. En este sentido el diseo puede ser cualitativo, cuantitativo o mixto.

El diseo cualitativo permite al evaluador estudiar ciertos aspectos en detalle y profundidad. El diseo cuantitativo permite recoger mayor cantidad de informacin, facilitando comparaciones y haciendo posible la inferencia o generalizacin. La validez del diseo cuantitativo depende de los controles que se hagan de las variables que
150

pueden estar afectando la relacin entre las acciones del programa y los resultados (sean logros o impactos) y de los instrumentos que se utilicen para recoger la informacin. La validez del diseo cualitativo, en cambio, depende principalmente de la competencia, habilidad y rigurosidad del evaluador.

Ambos tipos de diseos tienen fortalezas y debilidades. Constituyen alternativas pero no son estrategias mutuamente excluyentes. Tanto datos cuantitativos como cualitativos pueden recabarse en una misma evaluacin y ello da lugar a un diseo mixto.

Cuando se trata de evaluar el proceso de un programa, generalmente es ms til utilizar un acercamiento cualitativo; cuando se trata de evaluar la eficacia de un programa, a veces es ms til usar un acercamiento cuantitativo, especialmente cuando se trata de evaluar cambios producidos por el programa o intervencin. Sin embargo, tambin puede recabarse informacin cualitativa. Supongamos un ejemplo: por medio de tcnicas cuantitativas, se puede determinar que el programa produjo el cambio esperado, como promedio; sin embargo, se aprecia una gran heterogeneidad en este cambio en los beneficiarios. Un anlisis cualitativo de la situacin puede darnos ms luces por qu en algunos beneficiarios produjo grandes cambios y en otros no.

6.1

Diseos cualitativos

Son tiles cuando se utiliza un modelo global de evaluacin, cuando se quieren explicar algunos cambios o grados diferentes de cambios en los beneficiarios, cuando se evala el proceso, la estructura de un programa, su diseo, cuando se hace monitoreo en aspectos de calidad de las actividades llevadas a cabo, cuando se quiere evaluar la calidad de los resultados ms que la cantidad de los resultados. Debe tenerse en cuenta que requieren mayor cantidad de tiempo y que son ms caros.

151

Un diseo cualitativo se construye considerando una serie de aspectos:

1) El grado de la investigacin naturalista: Un diseo es naturalista en cuanto el evaluador no controla el escenario donde se produce el programa, por ejemplo, no trata de controlar o mantener constante variables o condiciones que pueden estar afectando la relacin entre las acciones del programa y los resultados. Tampoco va con categoras o variables pre-determinadas para describir lo que sucede. 2) Anlisis inductivo: El diseo cualitativo tiende a la exploracin, descubrimiento y a la lgica inductiva. El diseo ser inductivo cuando el evaluador trata de darle sentido a una situacin, sin expectativas pre-existentes, no tiene indicadores de logros previamente establecidos. El diseo inductivo trata de entender las actividades del programa y sus resultados desde su experiencia con el escenario. 3) Contacto personal directo: El diseo cualitativo exige un contacto personal directo del evaluador con las personas que integran el programa, en su propio ambiente, con el propsito de entender las realidades y peculiaridades de la vida diaria del programa y de las personas involucradas. El evaluador se acerca a la gente no slo fsicamente y por un determinado perodo de tiempo, sino tambin socialmente, compartiendo experiencias y logrando confidencialidad. Esto significa trabajo de campo, o trabajo en el terreno del programa. 4) Perspectiva holstica: El diseo cualitativo trata de entender un programa como un todo; supone que el todo es ms que la suma de las partes. Se recoge informacin de variados aspectos del programa para comprenderlo en su totalidad 5) Perspectiva dinmica: El diseo cualitativo concibe al programa como algo dinmico, cambiante. 6) Orientacin de caso nico: El diseo cualitativo se orienta al estudio de muy pocos casos, demasiado pequeo para hacer generalizaciones. Resulta til para comprender a cierto tipo de personas, problemas o situaciones en profundidad. 7) Neutralidad emptica: El evaluador en un diseo cualitativo trata de mantener una
152

neutralidad, comprendiendo, al mismo tiempo a las personas involucradas en el programa: su postura, sentimientos, experiencias y puntos de vista. La empata tiene que ver con las personas, la neutralidad, con los hallazgos.

El diseo puede ser ms o menos cualitativo, dependiendo de cmo se mueve el evaluador desde lo ideal, presentado anteriormente, y lo prctico. Por lo tanto, el diseo que se adopte es materia del grado en que se d lo anterior.

Respecto de la validez de los diseos cualitativos, podra decirse que, dado que utilizan muestras muy pequeas e intencionadas (no elegidas al azar), carecen de cierto grado de validez externa. En vez de ello, se analiza el grado de transferabilidad de las evidencias, que es establecer slo hiptesis de trabajo, junto a una descripcin del tiempo y el contexto en los que se aplican los resultados. Dado que no existe control de los posibles factores de invalidez interna, tambin existe una mayor probabilidad de invalidez interna. Sin embargo, la credibilidad de los hallazgos es el criterio de validez interna de estos diseos, es decir, la medida en la que se logre confianza sobre la verdad de los hallazgos para los agentes y beneficiarios del programa que se evala, para otros evaluadores y para el propio evaluador. Algunas formas para lograr esta credibilidad son: Observacin persistente, para identificar y discriminar factores relevantes e irrelevantes. Triangulacin, que significa comparar resultados. Implica el empleo de diferentes datos, fuentes, tcnicas de recoleccin de informacin y evaluadores. Hay varias formas de tringulacin: a) de datos: usar varias fuentes de datos; b) de investigador: el uso de diversos evaluadores; c) de teora: el uso de varias perspectivas para interpretar un solo conjunto de datos; d) metodolgica: el uso de distintas tcnicas para recolectar informacin.
153

Chequeo con informantes, contrastando la versin del evaluador con la de los actores del programa. Este tipo de validacin se denomina validacin de informantes (respondent validation).

6.2 Diseos cuantitativos La evaluacin de resultados raramente puede descansar solamente o primeramente en diseos cualitativos, por la necesidad de hacer comparaciones controladas, hacer generalizaciones y extraer muestras ms grandes. De ah la importancia de revisar los posibles diseos cuantitativos.

6.2.1

Experimentales

1) Manipulacin intencional de una o ms variables independientes, 2) medicin vlida y confiable del efecto de la variable independiente sobre la dependiente. Se debe precisar cmo se manipular una y cmo se medir la otra. 3) control o validez interna de la situacin experimental (controlar influencia de variables extraas, "purificando" la relacin de la independiente y la dependiente).

Para controlar la validez interna: varios grupos de comparacin (2 como mnimo) y equivalencia de los grupos, no de las personas, al comienzo y durante el experimento.

La equivalencia al inicio se logra por medio de la asignacin al azar de los sujetos a los grupos (programa y no programa).

1) Medicin post-prueba a grupo experimental (programa) y control (no programa), asignados al azar. A G1 A G2 X O1 O2
154

La asignacin al azar permite suponer que ambos grupos eran iguales antes de iniciarse el programa. Y as, este diseo controla la historia y la maduracin, por usar grupo control; la seleccin y la regresin estadstica, por la asignacin al azar; y el efecto de la prueba e instrumentacin, por no haber observacin previa al programa. La diferencia entre O1 y O2 se debera al programa, descontando las diferencias que pueden darse por azar; sin embargo, no controla la inestabilidad ni la muerte experimental. Puede ser que lo que se observe en O1 no sea estable en todos los beneficiarios y que los beneficiarios que se observen sean los que permanecieron, que pueden ser diferentes a los que desertaron o egresaron del programa.

Para controlar la inestabilidad debera considerarse un segundo grupo experimental. A G1 A G2 A G3 Habra que comparar O2 con O1 y estos con O3. X X O1 O2 O3

2) Medicin pre-prueba a grupo experimental y control, asignados al azar. Es el diseo experimental clsico. Puede extenderse a ms de un grupo experimental. A G1 O1 X A G2 O3 O2 O4

La diferencia entre O2-O1 y O4-O3 sera un logro del programa. Este diseo controla la historia, la maduracin, la seleccin, efecto de la prueba y la regresin estadstica. Sin embargo, no controla la muerte experimental ni la instrumentacin, tampoco la inestabilidad.

Para controlar la inestabilidad debera considerarse un segundo grupo experimental.

155

A G1 O1 X1 A G2 O3 X2 A G3 O5

O2 O4 O6

3) Cuatro grupos de Solomon A G1 O1 X A G2 O3 A G3 A G4 X O2 O4 O5 O6

Por haber dos grupos experimentales (con y sin observacin previa) y dos grupos control (con y sin observacin previa) se controla tambin la instrumentacin. As, O5-O2 sera el efecto de instrumentacin, que habra que restrsela a O2-O1 para conocer el efecto del programa. Sin embargo, habra que restarle tambin O4-O3 que equivaldra al efecto de historia y maduracin, habindole restado previamente O4-O6, que sera el efecto de la prueba en el grupo control.

4) Series temporales mltiples o de mediciones repetidas Puede ser cualquiera de los anteriores con ms mediciones post-prueba.

5) Series temporales con repeticin del estmulo A G1 O1 X1 A G2 O4 O2 O5 X1 O3 O6

6) Tratamientos mltiples Puede ser un solo grupo o varios grupos. Los tratamientos pueden tener la misma secuencia para todos los grupos o diferente secuencia.

156

7) Factoriales: permiten evaluar el efecto de cada variable independiente sobre la dependiente y evaluar los efectos de interaccin entre las independientes sobre la dependiente. Manipulan dos o ms variables independientes e incluyen dos o ms niveles de las variables independientes. Por ejemplo, el factorial 2X2 manipula dos variables con dos niveles cada una (4 grupos), el factorial 3X2, tres variables con dos niveles cada una (6 grupos). Se puede agregar un grupo de control o varios.

La posibilidad de usar diseos experimentales queda limitada en la evaluacin de programas debido a diversos problemas que pueden presentarse:

Frecuentemente, la evaluacin se inicia cuando el programa ya se ha puesto en marcha, por lo que no se pueden constituir grupos experimentales y de control por asignacin al azar, como tampoco hacer mediciones previas al programa.

Cuando la formacin de esos grupos es posible, no es fcil controlar la contaminacin entre las personas del grupo experimental y grupo control.

Puede darse mucha mortalidad experimental. Problema tico de dar el posible beneficio a un grupo y no al otro.

Por ello, se utilizan ms bien diseos pre-experimentales o cuasi-experimentales. Adems de la asignacin al azar a los grupos experimental y control para emparejar los grupos, se han ideado otras maneras de controlar el efecto de la seleccin en los resultados de los programas: a) Emparejar a los sujetos de ambos grupos en la mayor cantidad de variables que pueden afectar los resultados (matching). b) El mtodo estadstico de control de variables diferentes. Es mantener constante la variable (anlisis de covarianza). c) Una mezcla de los anteriores.
157

6.2.2

Cuasi-experimentales

Son en estructura iguales a los experimentales, pero los sujetos no son asignados al azar a los grupos. Por ejemplo, veamos el que se parece al diseo clsico:

1) grupo de control no equivalente G1 O1 X O2

-------------------------G2 O3 O4

No hay asignacin al azar, utilizando un grupo control que no es equivalente al grupo experimental porque los grupos no han sido seleccionados al azar. La lnea puntuada significa que los grupos no son equivalentes.

Para controlar la no equivalencia, se puede elegir un grupo control lo ms parecido al grupo experimental en todas (o las ms posibles) aquellas variables que pudieran estar afectando los resultados del programa, por ejemplo, edad, sexo, NSE, escolaridad, es decir, que pudieran hacer esprea la relacin entre la intervencin y los resultados.

El factor historia podra estar controlado si se supone que los eventos extraos pueden sucederle a ambos grupos, lo mismo que el factor maduracin, si la edad de los grupos es la misma. El factor efecto de la prueba tambin (ambos estaran igualmente expuestos).

Uno de los factores de invalidez ms evidentes de este tipo de diseo es la interaccin que se produce entre seleccin y maduracin porque los beneficiarios del programa pueden ser diferentes en muchos aspectos a los sujetos del grupo control (no programa) y esto puede significar que logren resultados mayores (o menores) que los que se hubieran logrado con personas del grupo control como beneficiarias. Este riesgo puede controlarse, haciendo varias mediciones previas (al menos dos) del grupo control. Si no
158

hubiera diferencias, podra decirse que no ha habido efecto de seleccin-maduracin. Si las hubiera, se restara dicha diferencias.

Otro factor de invalidez probable es el de la regresin estadstica diferencial, si es que los beneficiarios del programa estn en los valores extremos de la variable que se quiere cambiar. Por ejemplo, en la evaluacin del P-900, las escuelas que participan del Programa son las que tenan los rendimientos ms bajos en el SIMCE antes de su incorporacin y, por lo tanto, su techo de avance es mayor que el de las escuelas que no han participado en el P-900.

Otro factor posible de invalidez es el que Cook y Campbell (1979) denominan historia local, que es una interaccin entre seleccin e historia, es decir, eventos distintos que afecten al grupo experimental y no al grupo control, o viceversa. Puede ser el caso, por ejemplo, que las escuelas en el P-900 sean distintas a las sin P-900 en cuanto a la existencia de otros programas, como el PME, Enlaces u otro.

2) Diseo parchado (patch up) Son dos o ms grupos que se pueden colocar en una secuencia temporal (por ejemplo, personas que entraron antes al programa y personas que entraron despus): cohortes. Se utilizan mediciones despus de un grupo con las mediciones antes del otro, y sucesivamente, segn la cantidad de grupos que se elijan. G1 G2 G3 X O1 O2 X O3 O4 X O5

La diferencia entre O2 y O1 sera el efecto del programa para el grupo 1, suponiendo que el grupo 2 al inicio es igual al grupo 1 al inicio, es decir, se tomara O2 como la situacin previa del grupo 1 antes de entrar al programa. La diferencia entre O4 y O3
159

sera el efecto del programa para el grupo 2, restando la posible maduracin y la historia, que sera la diferencia entre O4 y O2. 3) Series temporales Corresponde a varias mediciones del grupo antes y despus que el programa se haya iniciado. G O1 O2 O3 X O4 O5 O6

Pueden darse algunos resultados como los siguientes:

D C B A

O1

O2

O3

Inicio Pro

O4

O5

O6

La situacin A indicara una tendencia de la poblacin en la caracterstica evaluada y, por lo tanto, la diferencia entre las mediciones anteriores y posteriores no se deberan a la accin del programa. La situacin B seala una elevacin al comienzo, que luego se estabiliza (slo logro al comienzo del programa). La situacin C significara que el programa tiende slo a mantener una situacin estable. La situacin D indicara un efecto positivo del programa. Sin embargo, el factor de invalidez evidente podra ser el
160

efecto de la prueba. Para controlar este factor, muchas veces lo que se hace es tomar diferentes muestras de la misma poblacin de beneficiarios, para eliminar este efecto.

4) Series temporales con grupo control no equivalente Corresponde a varias mediciones del grupo del programa antes y despus que el programa se haya iniciado y varias mediciones de un grupo control no equivalente. G1 O1 O2 O3 X O4 O5 O6

---------------------------------------------------------G2 O7 O8 O9 O10 O11 O12

Agrega validez al diseo de series temporales, controlando el efecto de la prueba y la regresin estadstica. Veamos, por ejemplo, el siguiente resultado:

C P

O1

O2

O3

Inicio Pro

O4

O5

O6

Ah puede verse la regresin estadstica. Si bien en el grupo del programa (lnea celeste) la cada entre el inicio del programa y O4 puede ser una regresin a la media, las cadas posteriores no lo son.

161

6.2.3

Pre-experimentales

No existe grupo control y, por lo tanto, el grado de control es bastante menor a los experimentos o cuasi-experimentos.

1) solo una sola medicin posterior con grupo control no equivalente G1 X O1 -------------------------G2 O2 Es similar a su homlogo cuasi-experimental pero sin observacin antes del programa. Como no se sabe la situacin anterior, slo podemos ver las diferencias posteriores entre los grupos. Tambin tiene muchos factores que atentan contra su validez: regresin estadstica, seleccin, especialmente. Puede controlar la historia, cuando se supone que ambos grupos han experimentado situaciones parecidas.

2)

Caso nico

Slo medicin posterior a un solo grupo G1 X O1 Este diseo no permite comprobar si los resultados se deben o no al programa o si hubo cambios, porque no existe una evaluacin previa y no existe un grupo control. Por lo tanto, varios son los factores de invalidez que pueden presentarse. Sin embargo, este tipo de diseo permite al menos identificar variables relacionadas con el xito o fracaso de un programa.

Para contar con grupos de comparacin, a veces lo que se hace es hacer un autocontrol, es decir, se seleccionan grupos extremos en cuanto al resultado en la o las caractersticas que pretenda cambiar el programa. De esta manera, es posible al menos

162

identificar los eventuales factores de proceso y de contexto que pudieran estar afectando este resultado diferencial.

3) medicin antes y medicin despus a un solo grupo G1 O1 X O2

No permite controlar el factor de maduracin, de historia, efecto de la prueba, instrumentacin, o regresin estadstica (si el grupo seleccionado es un grupo extremo) pero al menos hay una medicin de entrada. Como no existe grupo control, ni siquiera un grupo de comparacin no equivalente, a veces se utiliza lo que se denomina control sombra, que son expertos en la materia o en programas del tipo evaluado. Tambin, como en el caso de diseos cualitativos, se trata de validar por informantes (respondent validity). Sin embargo, no es muy confiable que los propios beneficiarios puedan informar si el cambio experimentado se debe o no al programa o cunto de este se debe al programa. Otras veces se utiliza lo que se denomina control genrico: los efectos del programa en los beneficiarios se comparan con normas establecidas sobre cambios tpicos en la poblacin a la que pertenecen los beneficiarios.

6.3 Diseos mixtos Los diseos mixtos son los que utilizan diseos cuantitativos y cualitativos, permitiendo as, no slo controlar ms los factores de invalidez interna y externa, sino tambin cualificar los resultados, describir mejor los procesos y explicar posibles diferencias en los resultados del programa para unos y otros beneficiarios. Tambin la triangulacin se logra mejor cuando se utilizan diseos mixtos, porque hay varias fuentes y formas de recolectar la informacin.

163

7.

Medicin y anlisis de datos

7.1 Poblacin y muestra Una vez definido el diseo de la evaluacin, debe definirse la poblacin de estudio, que no siempre coincide con la poblacin de beneficiarios o de agentes, dependiendo del foco de la evaluacin o del tipo u objeto de evaluacin. Los objetivos de evaluacin y el diseo de la misma van a delimitar la poblacin que ser estudiada y la unidad de anlisis de la evaluacin (personas, grupos, categoras de personas jvenes, por ejemplo.)

Una vez que se ha definido la poblacin y se ha tomado la decisin acerca de la o las unidades de anlisis hacia las cuales se referir la evaluacin, deben hacerse otras decisiones: tomar una, tomarlas todas o seleccionar algunas del total. En caso que se seleccionen algunas, hablamos de muestra. Pero esta muestra puede ser seleccionada de diferentes maneras: probabilstica o no probabilstica. Probabilstica es cuando todos los individuos que conforman la poblacin de estudio tienen una probabilidad conocida, distinta de 0, de ser seleccionados en la muestra; no probabilstica, cuando no se conoce la probabilidad de los individuos de ser seleccionados, o algunos tienen probabilidad 0.

Las muestras probabilsticas: a) permiten generalizar los resultados de la evaluacin a la poblacin de las cuales se extraen: permiten la validez externa; b) permiten calcular la probabilidad del error muestral (distancia entre el estadstico de la muestra y el parmetro de la poblacin). Las muestra no probabilsticas no. Sin embargo, en algunas situaciones es posible hacer inferencias lgicas, pero no inferencias estadsticas, a poblaciones que tienen caractersticas similares a las de las muestras no probabilsticas.

a) Probabilsticas - Al azar simple: cada elemento de la poblacin tiene la misma probabilidad de ser
164

seleccionado en la muestra. - Estratificada: previo a la seleccin de los elementos de la poblacin, sta se divide en estratos o grupos homogneos en alguna variable o caracterstica y luego se seleccionan al azar los elementos de cada estrato. - Por conglomerados o racimos: la poblacin est dividida en conglomerados, que son grupos de elementos separados por alguna divisin fsica o geogrfica. Los conglomerados no son homogneos como los estratos. Por lo general, son divisiones dadas, de hecho. - Multietpica (bi, tri, etc.): se selecciona la muestra en etapas, pero siempre en forma probabilstica.

En los diseos experimentales deben extraerse siempre muestras probabilsticas. Sin embargo, hay algunos que dicen que la muestra no tiene por qu ser probabilstica, sino que lo importante es asignar los sujetos al azar a los grupos experimental y control.

b) No probabilsticas - Accidental: se seleccionan a las unidades muestrales en forma accidental - Intencionada: se seleccionan con algn criterio establecido por el evaluador En diseos cuasi-experimentales y pre-experimentales y en los diseos cualitativos se utilizan muestras no probabilsticas, casi siempre intencionadas.

Muestras intencionadas de mayor uso en la evaluacin: 1. Muestra de casos extremos: se separa a la poblacin en dos categoras extremas y se seleccionan algunos casos de ambas categoras. Son ricas en informacin porque son inusuales o especiales en algn sentido. 2. Muestra intensa: son casos que manifiestan el fenmeno de inters en forma intensa pero no extrema. 3. Muestra de casos tpicos: se seleccionan casos tpicos o modales de la situacin que
165

se da en el programa. 4. Muestra por cuota: es una seleccin de casos de grupos en los que se puede clasificar la poblacin, ya sea grupos sociales, demogrficas o en diferentes ubicaciones geogrficas. Es similar al muestreo estratificado o por conglomerados. Pueden seleccionarse en forma proporcional a como existen en la poblacin, o en forma igual. 5. Muestra de casos crticos: se seleccionan elementos de la poblacin que presentan algunas caractersticas crticas. Ejemplo, unidades con baja eficiencia administrativa, o con alta desercin de los beneficiarios. 6. Muestra de mxima variabilidad: se seleccionan casos en todo el espectro que se da el fenmeno que nos interesa. En muestras muy pequeas, estas muestras son difciles de obtener. 7. Muestra homognea: se seleccionan casos similares en la variable que nos interesa. Se usan principalmente para estudiar en profundidad algn aspecto de casos similares. 8. Muestra de bola de nieve o en cadena: se parte con algn informante clave que le sugiere a quin ms seleccionar y as sucesivamente. 9. Muestra de criterio: formada segn algn criterio pre-establecido. 10. Muestra confirmatoria y disconfirmatoria: son muestras especiales para confirmar o disconfirmar algo, como por ejemplo, algo sealado como cierto por algunos agentes.

En los diseos cualitativos, generalmente no se deciden todas las muestras o submuestras de antemano, porque lo que se encuentre en algunos sujetos puede llevar luego a la seleccin de otros. Puede haber un muestreo intra-caso o muestreo inter-casos. Definimos caso como un fenmeno que ocurre en un solo escenario. Dentro de un solo escenario podemos muestrear actividades, procesos, hechos. Pero tambin podremos tomar varios casos para compararlos. Lo importante en el muestreo para evaluaciones cualitativas es:
166

Muestreo relevante: para recolectar la informacin Que el fenmeno que estamos interesados en evaluar tenga posibilidad de aparecer. Que la muestra tenga la mayor posibilidad de transferir las evidencias encontradas. Que permita hacer descripciones y explicaciones creibles (credibilidad de los hallazgos)

Que sea factible de realizar en el tiempo y con los recursos que se tienen

c) Diseo mixto: algunas etapas probabilsticas y otras no.

Luego que se ha decidido el tipo de muestra a seleccionar, deben determinarse las variables de criterio de seleccin de la muestra (estratos en el caso del muestreo probabilstico y cuotas en no probabilstico) y las variables de pareamiento (en caso que se haga), justificando por qu se eligen esas variables de criterio o de pareamiento. En general, las variables de criterio pueden ser aqullas que pueden afectar los resultados del programa.

Luego se determina el tamao de la muestra. Cuando es probabilstica el tamao queda determinado principalmente por el error de inferencia que se est dispuesto a cometer, por la variabilidad de las variables dependientes (resultados del programa) en la poblacin o en los estratos de la poblacin, o segmentos de la poblacin (estimada muchas veces por alguna muestra o estudio previo) y por el tamao de la poblacin, estratos o segmentos.

En el caso de muestras no probabilsticas, se trata que representen los mejor posible las caractersticas de la poblacin. No hay un tamao nico adecuado. Depender, tambin, de los anlisis que se van a hacer a los datos. Si vamos a usar alguna prueba de promedios, por ejemplo (ntese que muchas veces se usan pruebas que suponen muestra probabilstica en muestras no probabilsticas), debemos saber que si son tres grupos a
167

comparar, lo ideal sera que cada uno estuviera conformado por al menos 30 casos, ya que slo as se comienzan a cumplir los supuestos que tiene el uso de esas pruebas (aparte del azar). Si, por ejemplo, se quiere hacer alguna regresin, debemos saber que al menos debemos contar con 10 o 15 sujetos por variable independiente que incluyamos en el modelo. Tambin va a depender del objetivo de la evaluacin. No debemos olvidar que los estadsticos de las variables no normales tienden a una distribucin normal cuando el tamao muestral es de aproximadamente 100.

Los diseos cualitativos por lo general usan tamaos pequeos.

Otro factor que influye en el tamao muestral son los costos. Se trata de seleccionar un tamao adecuado que combine posibilidad de anlisis y representatividad con el menor costo posible.

Con ellas, sin embargo, nunca podremos conocer la probabilidad de error con la que inferimos a la poblacin.

Determinado el tamao muestral, debemos aplicar el procedimiento de seleccin. En las muestras probabilsticas y en algunas no probabilsticas se extraen las unidades de muestreo al azar, o se asignan a los grupos al azar (muestreo mixto: probabilstico y no probabilstico).

Varias maneras para hacerlo: - Nmeros aleatorios - Tmbola (sistema de lotera) - Seleccin sistemtica

168

7.2 Instrumentos de recoleccin de informacin

Posibilidades: 1. Seleccionar un instrumento de medicin de los disponibles. Debe ser vlido y confiable 2. Adaptar un instrumento ya construido 3. Construir un instrumento nuevo

Validez y confiabilidad

Confiabilidad: el instrumento debe arrojar iguales resultados si es aplicado al mismo sujeto ms de una vez o iguales resultados si es aplicado al mismo sujeto por dos o ms evaluadores.

1. Estabilidad del instrumento: test-retest (se aplica dos o ms veces al mismo grupo). 2. Consistencia interna del instrumento: - consistencia entre los itemes: formas alternativas o paralelas (se aplica r), mtodo de mitades partidas-split halves- (se aplica r). Tambin se puede evaluar esta por alpha de Cronbach y Coeficiente KR 20 de Kuder-Richardson 20. - consistencia entre los itemes y el instrumento total: correlacin item-test. 3. Grado de acuerdo entre los evaluadores: relacin entre los puntajes de un evaluador y del otro u otros, otorgados a un mismo sujeto u objeto.

Validez: que el instrumento mida lo que pretende medir.

169

1. Validez de contenido: que est incluido todo el dominio de la variable a medir. El universo de itemes debe ser lo ms exhaustivo posible. Luego se consulta con expertos para evaluar la exhaustividad del universo de itemes. 2. Validez de criterio: que el resultado del instrumento se relacione con algn criterio externo. Si el criterio se fija en el presente, hablamos de validez concurrente. Si se fija en el futuro, hablamos de validez predictiva. 3. Validez de constructo: para evaluar esta validez es necesario e imprescindible un marco terico que seale la relacin entre las variables de la evaluacin y otras variables. Un constructo es una variable medida y que tiene lugar dentro de una teora o esquema terico. Se evala calculando la correlacin entre el instrumento que mide la variable en cuestin e instrumentos que miden otras variables correlacionadas con aqulla. Si la variable tiene varias dimensiones, se realiza un anlisis factorial. Si los factores resultantes dan cuenta de las dimensiones de la variable, se dice que existe validez de constructo.

Para decidir sobre un instrumento se debe: 1. Listar las variables a medir y definirlas conceptualmente 2. Revisar cmo han sido definidas operacionalmente las variables. Esto significa comparar los instrumentos utilizados (validez, confiabilidad, en qu muestra se aplic, facilidad de la administracin, si es posible aplicarlo en el contexto de la evaluacin, etc.) 3. Elegir el o los instrumentos ya desarrollados, adaptar un instrumento o construir uno nuevo. En caso de construir un nuevo instrumento, se debe detallar la variable a medir, sus dimensiones, los indicadores de cada una de stas y los itemes correspondientes. 4. Indicar el nivel de medicin de cada tem y, por lo tanto, de la variable

170

5. Indicar la manera como se van a codificar los datos en cada tem y en la variable. A veces es necesario hacer ndices con varios itemes. 6. Se aplica una prueba piloto del instrumento: para ver si las instrucciones se comprenden y evaluar los itemes (su comprensin, lenguaje, discriminacin). Es bueno evaluar la confiabilidad y validez -si es posible- en esta etapa. Para poder evaluar la confiabilidad y validez, la muestra no puede ser muy pequea. 7. Modificar el instrumento, introduciendo las mejoras que ha sealado la prueba piloto y su anlisis.

Tipos de instrumentos de medicin

1. Escalas (pueden ser de actitudes, de conocimientos, de aspiraciones, expectativas, etc.). Los mtodos ms conocidos para medir por escalas las variables son:

a) Tipo Likert: itemes en forma de afirmaciones o juicios, sobre los cuales el sujeto debe sealar su grado de acuerdo. Pueden tener 5 categoras de acuerdo o menos. Debe haber un cierto equilibrio entre afirmaciones positivas y negativas. La escala de Likert es, en estricto sentido, una medicin ordinal. Sin embargo, es comn que se la trate como de intervalo. Si tiene 5 alternativas de respuesta, se puede puntuar como 1, 2, 3, 4, 5. O bien -2, -1, 0, 1, 2 u otra puntuacin semejante. Los itemes que se construyan deben: - evitar el fraseo negativo, especialmente en nuestro idioma, porque confunde. Por ejemplo: No me gustan las actividades debera cambiarse por Me disgustan las actividades. - contener trminos cortos y de uso comn. referirse a una sola idea. Por ej.: las actividades son entretenidas e interesantes tiene dos ideas. Ejemplo de escala tipo Likert
171

Problemas trabajo-familia 1. 2. 3. 4. 5. 6. 7. 8. 9. Tiene dificultades de tiempo para equilibrar su vida laboral y su vida familiar A menudo surgen conflictos entre las responsabilidades de su hogar y las laborales Su trabajo frecuentemente interfiere con su vida familiar Es difcil mantenerse con preocupaciones del hogar y del trabajo al mismo tiempo Su trabajo la mantiene demasiado lejos de su casa Se pregunta si debera trabajar menos y pasar ms tiempo con sus hijos Su horario de trabajo le produce conflicto con su vida familiar A veces est de muy mal genio en la casa debido a problemas en su trabajo Su trabajo no le permite relajarse cuando est en la casa 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4

10. Su trabajo le quita tiempo que le gustara estar con su familia 11. Sus hijos frecuentemente le piden ms tiempo para ellos 12. Siempre le recriminan que trabaje y no pase ms tiempo en la casa o le dedique ms tiempo a la casa 13. Los dems esperan demasiado de usted

b) Diferencial semntico: es una serie de adjetivos extremos que califican al objeto de la actitud y se le pide al sujeto que se mueva en un continuo, de acuerdo a su actitud. Ejemplo:

democrtico ___ ___ ___ ___ ___ ___ ___ autoritario

Puede codificarse de varias maneras: de 7 a 1, similar a la escala de Likert.

Si los itemes miden con diferente intensidad la actitud, puede ponderarse los de mayor intensidad con ponderacin mayor.
172

2. Cuestionario: preguntas cerradas o abiertas. Ojal deben ser precodificadas. Aplicacin de no ms de media hora. Un buen cuestionario tiene: preguntas claras y comprensibles, lenguaje adecuado, las preguntas no deben incomodar al que responde, deben referirse a un solo aspecto, no deben inducir la respuesta, las alternativas de respuesta no deben ir en un orden que afecte la respuesta. El cuestionario debe tener una estructura lgica, pero principalmente psicolgica. Ejemplo 1 de cuestionario
1. Cules de los siguientes roles desempea actualmente? Madre ___SI ___NO Trabajadora ___SI ___NO Esposa ___SI ___NO Hija ___SI ___NO Ta ___SI ___NO Abuela ___SI ___NO Duea de casa ___SI ___NO Miembro de una Iglesia ___SI ___NO Miembro de una organizacin comunitaria ___SI ___NO o municipal Miembro de una organizacin poltica ___SI ___NO Otro cul? _________________________________________________________________ 2. En esta etapa de su vida, cul es el rol ms importante para usted? NOMBRE SOLO EL MAS IMPORTANTE 1. ___ Madre 2. ___ Trabajadora 3. ___ Esposa 4. ___ Hija 5. ___ Ta 6. ___ Abuela 7. ___ Duea de casa 8. ___ Miembro de una Iglesia 9. ___ Miembro de una organizacin comunitaria o municipal 10. ___ Miembro de una organizacin poltica 11. ___ Otro cul? __________________________________________________________

Ejemplo 2 de cuestionario
1. SEXO ENCUESTADO 1. Mujer 2. Hombre 173

2.

ESTADO CIVIL ENCUESTADO 1. Casado(a) 2. Viudo(a) 3. Separado(a)con conviviente 4. Separado(a)sin conviviente 5. Unin libre(2 solteros) 6. Soltero(a)

3. NMERO DE HIJOS VIVOS 4. SEXO Y EDAD DE LOS HIJOS ______________________________ (Ej.: H3 es hombre de tres aos. Encerrar en un crculo al nio foco) 5. EDAD ENCUESTADO 6. EDAD CNYUGE O CONVIVIENTE (si existe) 7. ULTIMO AO DE ESTUDIOS CURSADO POR ENCUESTADO 1. Superior 2. Media o tcnica completa 3. Media o tcnica incompleta 4. Bsica completa 5. Bsica incompleta 6. Sin educacin formal

8. ULTIMO AO DE ESTUDIOS CURSADOS POR EL CNYUGE O CONVIVIENTE (si existe) (igual a 7). 9. TRABAJO DEL ENCUESTADO 1. Profesional independiente, director, gerente, cargo directivo en empresas o instituciones, alta gradacin FFAA, dueo fundo, etc. 2. Empleado de mediana calificacin (jefe), profesional empleado, empresario mediano, grado medio en FFAA. 3. Obrero estable calificado, pequeo taller, almacn, empleado de baja calificacin, bajo grado en FFAA. 4. Obrero estable no calificado, empleada domstica, o cualquier oficio estable (zapatero, gasfiter, etc.). 5. Pololos, trabajos espordicos independientes. 6. Cesante. Especificar:_____________________________________

10.

TRABAJO DEL CNYUGE O CONVIVIENTE (si existe) (igual a 9) Especificar:______________________________________

11.

SISTEMA DE PREVISIN AL QUE ESTA AFILIADO EL ENCUESTADO O CONYUGE 1. Administradora de Fondos de Pensiones (AFP) 2. Defensa Nacional (CAPREDENA) o Carabineros (DIPRECA) 3. Otras Cajas de Previsin 4. Instituto de Normalizacin Previsional (INP) 6. No est afiliado a ningn sistema SISTEMA DE SALUD DEL ENCUESTADO O CONYUGE 1. Particular (costea en forma particular) o Institucin de Salud Previsional (ISAPRE) 2. Fuerzas armadas y de orden 3. FONASA Grupo D: Ingreso mensual mayor a $87.000 174

12.

4. 5. 6. 4.

FONASA Grupo C: Ingreso mensual entre $56.000 y $87.000 FONASA Grupo B: Ingreso mensual hasta $55.900 FONASA Grupo A, no tiene o tarjeta de consultorio: indigente o no tiene recursos FONASA (no sabe el grupo)

3. Entrevista: temas, que derivan en varias preguntas.

La diferencia con el

cuestionario es que en la entrevista una respuesta puede inducir a otra pregunta. Pueden ser inestructuradas, semi-estructuradas o estructuradas. En las inestructuradas, el evaluador cuenta el objetivo general de su visita y espera que surjan semi espontneamente los temas, o bien hace una pregunta general y espera las respuestas espontneas, entregando pocas guas para la conversacin; o bien surgen informalmente, ya sea en la observacin o en otras circunstancias. En las semi-estructuradas el evaluador tiene estructuradas algunas preguntas y de la respuesta a ellas, hace otras que no tena diseadas. Por ltimo, otras son ms estructuradas: todas las preguntas las disea de antemano y es casi como un cuestionario, con la diferencia que las respuestas son abiertas y no estn pre-codificadas.

Tambin pueden ser individuales o grupales.

La entrevista se utiliza en los enfoques cualitativos, en los modelos globales, pero tambin forman parte de los modelos analticos.

4. Pruebas o inventarios estandarizados: Deben haber sido adaptadas y validadas en contextos semejantes al de la investigacin. Deben ser vlidas y confiables. A veces pueden ser vlidas y confiables para un contexto y no para otro. Ejemplo de prueba estandarizada: Escala de Autoestima de Rosenberg.

5. Anlisis de contenido: Sirve para analizar la comunicacin de manera sistemtica. Puede ser aplicado a cualquier forma de comunicacin (escrita, visual, oral). Se efecta por medio de la codificacin. Para codificar se debe definir el universo, las unidades de
175

anlisis y las categoras de anlisis (que deben ser exhaustivas y mutuamente excluyentes). Se puede hacer anlisis de contenido de documentos, fuentes histricas, fuentes estadsticas, informes, estudios, memorias institucionales, actas de reuniones, archivos, documentos personales (diarios de vida, cuadernos de anotaciones), peridicos, material cartogrfico, registros, etc.

6. La observacin: Registro vlido, confiable y sistemtico de conductas manifiestas o comportamientos. Parecido al anlisis de contenido, en el sentido que se debe definir el universo, las unidades de anlisis y las categoras y subcategoras de anlisis (que deben ser exhaustivas y mutuamente excluyentes). Las subcategoras pueden establecerse como escalas de tipo Likert, diferencial semntica o de otra manera (veces o proporcin que se da una cierta conducta, por ejemplo). Se deben elaborar hojas de codificacin de la observacin. Deben ser bien capacitados los observadores, fijando criterios comunes. La observacin puede ser pasiva o participante.

La observacin es el instrumento por excelencia utilizado en los modelos globales subjetivistas, tal como la evaluacin iluminativa. En ella el evaluador registra hechos, interacciones, discusiones entre los participantes del programa. En este tipo de evaluacin, por lo general no se utilizan pautas de observacin sino que se elaboran notas de campo, video-cassettes, grabadoras.

En general, entonces, los medios ms utilizados son:

Diario o notas de campo: es un relato escrito cotidiano de los hechos observados. Debe ser hecho inmediatamente despus de la observacin. Se dice que lo que no est escrito, no sucedi. Deben ser completos, escritos en trminos descriptivos y no evaluativos.

Cuaderno de notas: son notas que se toman en la observacin misma, sirve para
176

redactar el diario de campo. Es bueno anotar palabras claves para recordar lo que debe anotarse en el diario de campo. Pauta de observacin: generalmente son tablas de doble entrada que recoge informacin sistemtica. Dispositivos mecnicos o electrnicos: video-cassettes, grabadora, fotografas.

177

Ejemplo de pauta de observacin

PAUTA DE OBSERVACION MONITORES DE MADRES Fecha Lugar Hora de inicio Hora de trmino Nmero de adolescentes Objetivo de la Sesin Actividades Realizadas 1. NUNCA 1. 2. A VECES 3. SIEMPRE O CASI SIEMPRE 1 2 3

Inicia la conversacin o sesin: abre el tema con frases que motivan la participacin Centra la conversacin en torno al tema: est alerta para mantener a las adolescentes hablando del tema y relacionndolo con otros temas Pregunta directamente a todas las adolescentes Refuerza la participacin de todas las adolescentes Reconoce los aportes positivos de las diversas opiniones dadas en el grupo Hace juicios de valor sobre las adolescentes o personas significativas para ellas Est atento a captar los sentimientos y necesidades del grupo favoreciendo un clima de confianza No es rgido en imponer los objetivos de la sesin, abriendo espacio para la expresin de sentimientos y necesidades del grupo Disminuye el ruido: evita interrupciones, conversaciones paralelas, evita que todas hablen al mismo tiempo, estimula a las adolescentes para que se escuchen y respeten sus opiniones

2.

3. 4. 5.

1 1 1

2 2 2

3 3 3

6.

7.

8.

9.

10. Finaliza el tema: recoge las distintas opiniones dadas y 1 las sintetiza. Adems, gua al grupo para sacar conclusiones. 11. Crea un clima de confianza y respeto mutuo 12. Frente al tema de la reunin, el monitor expresa 1 1

2 2

3 3
178

sus ideas. 13. El monitor respeta las opiniones minoritarias y personales 14. Los siguientes aspectos dificultan la comprensin de lo que el monitor dice o de las instrucciones que da Lenguaje Tipo de actividad Falta de ejemplos Confusin en el contenido Confusin en los pasos a seguir Enfasis en lo expositivo Otros_______________________ 1 1 1 1 1 1 1 2 2 2 2 2 2 2 3 3 3 3 3 3 3 1 2 3

15. Clima producido entretenido relajado alegre clido afectivo aburrido tenso triste confrontador indiferente

16. Comportamiento de las adolescentes participativas entusiasmadas atentas desinteresadas - inhibidas - aburridas - distradas

17. Ritmo de la actividad - Adecuada - Lenta - Rpida - Entrecortada

8. Grupo focal. El conductor del grupo, llamado moderador, debe ser una persona capacitada en manejo y conduccin de grupo; su papel principal es ser facilitador del dilogo entre los participantes. Debe tener muy presente hacia dnde se dirige la conversacin y focalizarla hacia las reas de inters.

179

Es aconsejable que tambin haya otra persona que ayude al moderador, cuyo papel ser de observador y redactor. Su funcin ser anotar los dilogos teniendo en mente las reas de investigacin, para poder consignar el rea y el aspecto abordado espontneamente por cada participante. Debe estar atento a las reas cubiertas y no cubiertas y, en el caso de notar que alguna no ha sido abordada, deber, en el momento adecuado, hacerlo notar y formular las preguntas que sean necesarias. Su rol es ser un yo auxiliar de la persona que dirige el grupo. Adems, ser responsable de llenar la hoja con los datos de los participantes, controlar el tiempo y manejar la grabadora. Tambin debe consignar las conductas no verbales del grupo.

Durante la sesin se hacen preguntas, se piden opiniones, se discuten temas, se intercambian puntos de vista, se valoran aspectos del tema tratado. El moderador debe cumplir una serie de funciones: debe elegir un lugar apropiado para la reunin, preparar la reunin y sus materiales, mantener una actitud apropiada, recibir a los participantes, llenar o hacer llenar sus tarjetas de identificacin, conducir la entrevista grupal, grabar la reunin (o el auxiliar), tomar notas durante el desarrollo (o el auxiliar), transcribir la reunin, a partir de la grabacin y de las notas, y hacer un reporte de la sesin.

Las etapas de un grupo focal son: a) Introduccin y consigna: bienvenida, objetivos del grupo focal, quines lo realizan, cmo fueron seleccionados los participantes, lo que se espera de ellos, agradecimiento, sealar ciertas normas para intervenir y de respeto mutuo. b) Creacin de un clima apropiado: breve introduccin, preguntas simples que proporcionen algunos antecedentes de los participantes. Puede ser una presentacin del moderador y observador-redactor y de cada uno de los participantes.
180

c) Clarificacin de trminos que se usarn durante la reunin: para usar un cdigo comn y para introducir preguntas relativamente neutras. d) Formulacin de preguntas o temas sencillos y no amenazantes para los participantes: Las primeras preguntas son ms generales y permiten al grupo sentirse ms cmodos para expresar sus ideas. e) Formulacin de preguntas o temas ms complejos: que exigen opiniones ms fuertes o personales. Se debe insistir en frases como por qu dicen eso?, qu quieren decir con ...?, qu opinan los dems al respecto?, etc.; tendientes a profundizar y aclarar al mximo cada tema, romper iniciales consensos aparentes y procurar que todos los participantes opinen sobre los distintos temas que se abordan. f) Sntesis: el Moderador hace un resumen de los principales tpicos planteados por los participantes. Y luego pregunta a los participantes si estn de acuerdo con la sntesis. g) Despedida: vuelve a agradecer. En general, tanto el moderador como el observador-redactor no deben dar nada por supuesto, sabido o sobrentendido, debiendo obviar sus conocimientos previos y opiniones personales sobre el tema, y adoptar una posicin lo ms ingenua posible. Por lo mismo, deben estar atentos respecto a la aclaracin sistemtica de todas las ideas, conceptos y trminos que surjan durante la sesin. Deben usar un vocabulario sencillo pero formal, no permitir que la sesin se alargue ms de dos horas (tiempo recomendado: entre una hora y una hora y media), preocuparse que todos los participantes puedan opinar, no emitir ningn tipo de juicio ni opiniones personales.

La transcripcin del grupo focal es una relacin completa y fidedigna de la discusin que tuvo lugar durante la sesin. Debe ser lo ms descriptivo posible, consignando los principales temas abordados, sin interpretarlos. Debe cubrir: la sntesis realizada por el Monitor; una relacin detallada de todos los temas tratados en la reunin, con algunos ejemplos textuales que ilustren alguna situacin en particular; las diferencias de
181

situaciones u opiniones; los temas que no fueron tratados y la razn para no hacerlo; una apreciacin del clima afectivo durante la reunin y, de ser necesario, un registro de las fases en las cuales este clima se modific; una breve evaluacin del Moderador acerca del desarrollo de la reunin.

182

EJEMPLO DE GRUPO FOCAL

ESTUDIO SOBRE LAS DEMANDAS QUE HACE EL COLEGIO A LOS APODERADOS Y EL CUMPLIMIENTO DE ESTAS POR PADRES Y MADRES PAUTA PARA GRUPOS FOCALES DE MADRES, PADRES Y APODERADOS El grupo focal es una tcnica de entrevista grupal en profundidad y tiene un conjunto de caractersticas que deben ser desarrolladas adecuadamente. En el grupo focal, una persona desempea el papel de moderador de la reunin. La reunin se graba. I. FUNCIONES DEL MODERADOR

Se espera que el Moderador: a) Ubique un lugar apropiado para efectuar la entrevista y prepare los aspectos logsticos (grabadora, papel para ir anotando las ideas principales que expresan las personas, el refrigerio y las tarjetas de identificacin). Mantenga una actitud apropiada, la que implica que: Tenga una actitud acogedora y amistosa con el grupo pero, a la vez, mantenga control sobre el grupo y sea claramente el lder del mismo. Conoce el tema de discusin, pero no trata de intimidar a los participantes con su conocimiento. Demuestre una comprensin genuinamente incompleta de las respuestas de los participantes, para que stos las elaboren con mayor profundidad. Funcione como facilitador y no como participante. Escuche en forma activa. Cuide que todos los miembros del grupo participen en la discusin. Estimule a las personas ms tmidas a participar y frene a las ms dominantes. Estimule a los participantes a permanecer interesados y activos. Procure recordar lo que los participantes dicen, para relacionarlos con futuras respuestas. Es conveniente que el Moderador evite: Entregar demasiada informacin al comienzo de la reunin, de modo que los participantes no tengan muchas pistas de las expectativas del estudio. Adoptar una actitud demasiado controladora, que inhiba la participacin. Promover la participacin en forma desequilibrada, prestando ms atencin a algunos participantes. Dar un trato diferenciado a participantes con opiniones distintas. Dedicar demasiado tiempo a temas no vinculados al propsito de la entrevista. Dar por terminada la discusin de un tpico despus que muy pocos entrevistados hayan participado. Reciba a los padres y madres participantes en la reunin, y llene sus tarjetas de identificacin con su nombre de pila, el nombre y curso del colegio de su hijo y el nombre de pila del hijo. Conduzca la entrevista grupal. Opere el equipo de grabacin. Tome notas durante el desarrollo del grupo focal. Elabore la transcripcin de la reunin, a partir de la grabacin y de las notas.
183

b)

c)

d) e) f) g) h)

II.

PREPARACIN DE LA REUNIN

Los grupos focales se realizan, idealmente, con 10 a 12 padres y/o madres (o apoderados) de dos colegios distintos, pero semejantes en nivel socioeconmico, aunque de diferentes tipos de familia, y cuyos hijos estn -salvo excepciones- en diferentes niveles (pre-bsica, bsica y media). Se ha invitado a participar a ms padres y madres porque el da de la reunin pueden no asistir. Se debe preparar el lugar de reunin, el que ser casi siempre una sala de clases, disponiendo los asientos en crculo, para que la interaccin sea ms fluda. El Moderador deber conocer exhaustivamente el esquema operativo del grupo focal, para no tener que consultar excesivamente este documento durante la reunin. III. EL GRUPO FOCAL

La duracin mxima del grupo focal es de 2 horas, desde la introduccin hasta la despedida de los participantes. El siguiente es el esquema operativo del grupo focal, en el que se ha estimado el tiempo aproximada de cada etapa. A. Introduccin (tiempo aprox: 15 minutos) A medida que lleguen los apoderados, el Moderador los recibir cordialmente, les agradecer que hayan asistido, les ofrecer un vaso con bebida y les pedir la informacin para escribir las tarjetas de identificacin, las que pondr con un alfiler en la solapa del participante (es conveniente recordar que en algunos colegios varios padres y madres son analfabetas por desuso). Cuando haya llegado un nmero suficiente de apoderados (6, por ejemplo), el Moderador les dar la Bienvenida, la que puede ser expresada ms o menos en los siguientes trminos: Muy buenas tardes a todos. Mi nombre es ................ y participo en el estudio que realiza la Universidad Catlica de Chile para el Servicio Nacional de la Mujer, el que tiene como propsito conocer la relacin que se da entre los colegios y las familias. Ustedes respondieron hace un tiempo atrs un cuestionario muy largo en el que se les preguntaban varios aspectos de esta relacin, especialmente sobre las demandas o peticiones que les haca el colegio de su hijo o hija y otros aspectos relacionados. Aprovecho para agradecerles personalmente su respuesta a ese cuestionario. Ahora estamos aqu para conversar en forma ms personal sobre algunos aspectos de esta relacin entre ustedes y el colegio, sobre cmo les influyen las peticiones que les hace el colegio (tanto en sus aspectos positivos como negativos), cmo se distribuyen estas tareas dentro de la familia. Nadie ms que los investigadores conocern sus opiniones, as es que quiero que se sientan libres en dar sus opiniones. Todas valen y son buenas. He puesto una grabadora slo para ayudarme despus a hacer el recuento de la reunin, pero nadie ajeno al estudio va a oir la cinta, porque sus respuestas son absolutamente confidenciales. Si tienen alguna pregunta, por favor hganla. Luego, el Moderador debe clarificar algunas normas que se seguirn durante la reunin, especialmente referidas a que los participantes no se interrumpan mutuamente, que todos tengan la oportunidad de expresar sus puntos de vista, que no se descalifiquen mutuamente, que no descalifiquen ni al colegio ni a sus autoridades, y que debe cubrir varios aspectos, de modo que en algn momento puede desviar la
184

discusin hacia otro tema. Bien, cuando hagan una pregunta, no necesitan levantar la mano, pero es muy importante que yo escuche todas sus opiniones. Por eso, si alguno de ustedes quiere decir algo, por favor espere hasta que la persona que est hablando termine y hasta que yo les diga su nombre. Quiero que recuerden una cosa antes de empezar: algunos de ustedes puede estar de acuerdo o en desacuerdo con lo que alguien dice. Es importante que me digan claramente si estn de acuerdo o en desacuerdo con lo que dice otro apoderado u otra apoderada. Hay alguna pregunta sobre esto? El Moderador dedicar algunos minutos para responder preguntas. B. Creacin de un clima apropiado (tiempo aprox: 5 minutos) Para crear el clima apropiado en el grupo, conviene efectuar una breve introduccin, con preguntas simples que proporcionen algunos antecedentes de los participantes. Se puede usar el siguiente esquema: Ahora vamos a presentarnos. Me gustara que cada uno de ustedes nos diga su nombre de pila y su parentesco con el alumno o alumna que les llev la invitacin, en qu curso y colegio est y cul es su nombre de pila. Bueno, yo ya me present y ...... no tengo hijos todava. De ustedes voy a aprender para cuando tenga hijos. Ahora les toca a ustedes. El Moderador comienza a pedir que se presenten, comenzando con una persona del crculo, y yendo en forma ordenada. C. Clarificacin de trminos que se usarn durante la discusin (tiempo aprox.: 15 minutos) Esta parte sirve para revisar los conceptos claves que se usarn en la discusin, para usar un cdigo comn. Tambin sirve para introducir preguntas relativamente neutras. Lo ms importante es que se aclare qu se entiende por demandas del colegio o escuela, efectos de las demandas, participacin en el colegio, expectativas sobre el colegio, demandas del apoderado/a al colegio, divisin sexual de roles. Se podra comenzar con una propuesta como la siguiente: Ahora les voy a hacer algunas preguntas para que entremos en confianza. En el cuestionario, ustedes sealaron diferentes demandas que les hace el colegio de sus hijos. Podra alguien de ustedes darme un ejemplo de una de las demandas que ms le hace el colegio? Despus de cada participacin, diga el nombre del participante y explique si lo sealado corresponde al concepto de demanda del colegio. A continuacin, pase al siguiente concepto de efectos de las demandas: Tambin vamos a hablar de los efectos que les producen estas demandas, tanto positivos como negativos. Por ejemplo, a algunos padres y madres las demandas que les hace el colegio les produce una cierta angustia porque no tienen dinero para comprar todo lo que les piden; sin embargo, algunas demandas han hecho que el apoderado o apoderada tenga una relacin ms cercana con su hijo o hija. Alguno de ustedes podra dar otros ejemplos de efectos positivos y negativos que les producen las demandas? Pase luego al concepto de participacin:
185

Tambin vamos a hablar sobre la participacin que tienen los apoderados y apoderadas en el colegio. Algunos acuden con bastante frecuencia al colegio por diferentes motivos, a reuniones de padres y apoderados, a preguntar sobre el rendimiento del hijo o hija, porque estn preocupados por algn problema que han notado en su hijo o hija; otros van menos al colegio, por diferentes motivos. Alguien puede darnos otro ejemplo de cmo participa en el colegio de su hijo o hija? Luego aborde el concepto de expectativas sobre el colegio: Algunos padres y madres piensan que el colegio de sus hijos debe entregarles slo una buena instruccin porque el resto de la formacin se la dan en la casa. Otros piensan que el colegio debe poder disciplinar al hijo o hija; otros, que debe darle una formacin religiosa. Todas stas son expectativas que los padres y madres tienen sobre el colegio de sus hijos. Podra uno de ustedes decirme qu expectativas tiene sobre el colegio de su hijo o hija? Qu espera que le d el colegio? Preocpese que no se confundan los conceptos de expectativas sobre el colegio con el de demandas que le hacen al colegio: En los cuestionarios a veces se not que los apoderados y apoderadas confundan un poco el concepto de expectativas sobre el colegio con el de demandas concretas que le hacen al colegio. Por ejemplo, una expectativa, como vimos, es que el colegio le inculque valores al hijo; pero es diferente esperar esto del colegio que pedirle que les den ms tareas para la casa a los alumnos. Alguien sera tan amable de dar otros ejemplos de demandas que ustedes les haran al colegio? Por ltimo, clarifique el concepto de divisin sexual de roles: Tambin vamos a hablar algo sobre lo que sucede en la casa con las actividades que realiza cada cnyuge, en relacin a los hijos e hijas y en las labores domsticas. En los cuestionarios notamos que en algunas familias es la mam la que se dedica a hacer las labores domsticas (aseo, lavar, planchar, cocinar) y a la crianza y educacin de los hijos, y el pap a trabajar y traer el dinero para la casa. En otras familias, algunas tareas se comparten entre los dos. Es lo que se denomina divisin sexual de roles. Si no es mucha indiscrecin, alguien podra comentarnos cul es la divisin sexual de roles que se produce en su familia, qu hace la mujer y qu el hombre? D. Formulacin de preguntas sencillas y no amenazantes para los participantes (tiempo aprox.: 25 minutos)

Las primeras preguntas son ms generales y permiten al grupo sentirse ms cmodos para expresar sus ideas. Bien, ahora vamos a empezar. Aqu va la primera pregunta. 1. 2. 3. 4. De las demandas que les hace el colegio, cules son las que ms efectos negativos les producen y por qu? De estas demandas, cules creen ustedes que en el mismo colegio podran satisfacerse para no pedirles tanto a las madres o padres? y cmo podran hacerlo? Y cules les producen efectos ms positivos y por qu? Cules son las principales expectativas que tienen ustedes del colegio de su hijo o hija?
186

5. 6.

Y qu le pediran al colegio como demanda concreta, siempre que el colegio pueda hacerlo? Cmo lo pasan en las reuniones de padres y apoderados? Qu les gustara que se tratara en esas reuniones? En que actividades les gustara participar en el colegio?

7.

E. Formulacin de preguntas ms complejas (tiempo aprox.: 35 minutos) A medida que transcurre la entrevista, el Moderador puede comenzar a introducir otros temas y preguntas que exigen opiniones ms fuertes o personales. Es preciso tratar los siguientes temas. 8. 9. Cmo se sienten cuando van al colegio? Por qu? En qu les gustara recibir ayuda para a su vez ayudar a sus hijos en los estudios o en otros aspectos de su formacin? En qu sienten que no pueden ayudarlo? Y cmo se sienten por ello? De cules demandas que les hace el colegio se responsabiliza la mam o apoderada mujer y de cules el pap o apoderado hombre? Quin en la casa ayuda al hijo o hija en todo lo relacionado con sus estudios y actividades escolares? Entre los paps y mams hay un especie de acuerdo en quin se preocupa por los hijos o se supone que debe ser la mam? De qu cosas o aspectos se preocupa cada uno? Por qu en los colegios hay muchas ms apoderadas mujeres que hombres? Y cul es la situacin de las familias en las que hay uno o ms hijos que son slo hijos de la esposa o del marido? El padrastro o to y la madrastra o ta se responsabiliza de la educacin del hijo o hija del otro o piensa que esa no es su responsabilidad? A veces las mujeres se quejan que el marido o la pareja no hace nada en la casa. Cmo es realmente la cosa? y los paps que opinan? En los cuestionarios se not que algunos apoderados, especialmente algunas mujeres, contestaron el cuestionario del otro. Por qu creen que pasa esto? Y por qu creen ustedes que en la mayora de los casos slo respondi el cuestionario la mam o apoderada mujer? Tambin se not en las respuestas a los cuestionarios que haba mayor participacin del pap cuando el hijo es chico, pero a medida que crece parece que ya no se preocupara tanto. Es as? Por qu?

10.

11.

12.

13.

14.

15.

16.

Cuando ya ha transcurrido el tiempo para esta etapa, se cierra diciendo: Desgraciadamente, estamos prximos a la hora de trmino de esta reunin, por lo que esperamos la ltima intervencin y luego repetir muy brevemente lo que ustedes han dicho para ver si he entendido
187

bien lo que piensan F. Sntesis (tiempo aprox.: 5 minutos) El Moderador hace un resumen de los principales tpicos planteados por los participantes. Al trmino de esta sntesis, se pregunta a los participantes si estn de acuerdo: Estn de acuerdo con lo que acabo de decir? Si quieren agregar algo breve, pueden hacerlo. G. Palabras finales y refrigerio (tiempo aprox.: 20 minutos) Se agradece nuevamente la participacin, sealando algo semejante a: Muchas gracias a todos por su participacin. Fue muy agradable compartir con ustedes y sus opiniones y respuestas me han ayudado a entender mejor lo que respondieron en el cuestionario. Ayudar mucho a hacer un buen estudio sobre la relacin colegio-familia. Ahora los quiero invitar a todos a compartir un breve refrigerio durante algunos minutos. Algunos de ustedes me podran ayudar a servirlo? Luego de servir el refrigerio, el Moderador debe pedir a algunos que lo ayuden a retirar los vasos y dems restos, los echen en bolsas y dejen todo limpio y ordenado. Debe tratar que no se alargue el refrigerio. Por ltimo, el Moderador se cerciorar que todos los padres y madres se retiren del recinto, despidindolos en la puerta y agradecer la colaboracin a la autoridad del colegio (cuando corresponda). IV. NOTAS DEL MODERADOR

Las notas del Moderador tienen varios propsitos. 1) Le permiten conducir en forma ordenada la reunin; 2) Registrar un resumen de cada opinin para la transcripcin; y 3) Le permiten recordar los aspectos ms importantes para la sntesis final. El Moderador debe hacer una lista de los participantes, con su nombre de pila, el colegio del hijo o hija, el curso y el nombre de pila del hijo o hija, para anotar las peticiones de palabra, a fin de otorgarla en forma ordenada, y conocer los nombres para ir anotando sus respuestas y opiniones. Para facilitar el registro, la lista debe hacerla en el orden en el que estn sentados. El registro de las respuestas y opiniones debe hacerse identificando al participante e incluyendo, en la medida de lo posible, las opiniones no verbales, como gestos y ademanes. Algunas opiniones que considere especiales, debe anotarlas textualmente. Por ltimo, debe registrar los aspectos que considere importantes para hacer la sntesis final. V. LA TRANSCRIPCION DEL GRUPO FOCAL

La transcripcin del grupo focal es una relacin completa y fidedigna de la discusin que tuvo lugar durante la reunin y debe ser realizada y entregada a ms tardar al da siguiente del desarrollo de la misma, puesto que en el siguiente grupo focal puede tener que tocarse algn tema que surgi en ste.
188

La transcripcin debe cubrir los siguientes puntos: 1. Sntesis realizada por el Monitora acerca de los conceptos manifestados por los participantes en relacin a las demandas que les hace el colegio, sus efectos positivos y negativos, participacin de madres y madres en el colegio, expectativas hacia el colegio y principales demandas que hacen al colegio. Tambin debe incluir la divisin sexual de roles en la casa en general y en relacin a los hijos y sus estudios, en particular. Una relacin detallada de todos los temas tratados en la reunin, con algunos ejemplos textuales que ilustren alguna situacin en particular. Es particularmente importante sealar las diferencias de situaciones u opiniones segn el colegio y el tipo de familia. Tambin deben registrarse los temas que no fueron tratados y la razn para no hacerlo. Una apreciacin del clima afectivo durante la reunin y, de ser necesario, un registro de las fases en las cuales este clima se modific. Una breve evaluacin del Moderador acerca del desarrollo de la reunin.

2.

3.

4.

Debe entregarse: 1. La hoja de registro de los participantes, con el nombre de pila de cada uno, su sexo, el colegio y curso del alumno, el sexo y nombre de pila del alumno y su parentesco con el participante y, de ser posible, el tipo de familia de que se trata. Las Notas del Moderador, identificando los colegios que participaron y la fecha y lugar donde se realiz el grupo focal, y el nombre del Moderador. La grabacin de la reunin, anotando afuera los colegios participantes, el lugar donde se realiz y el nombre del Moderador. La transcripcin de la reunin escrita a mquina, con el nombre de los colegios participantes, la cantidad de apoderados de cada uno, segn curso, y el nombre del Moderador.

2. 3. 4.

Para un proyecto de evaluacin, se debe:

Sealar las variables que van a ser medidas, su definicin conceptual y operacional Sealar el o los instrumentos que se van a utilizar, describindolos de la manera ms

exhaustiva posible:

1) Si es un instrumento ya construido:

* *

sealar el objetivo del instrumento (lo que pretende medir) su autor, ao y lugar donde se construy
189

* * * * * * * * *

tipo de instrumento su contenido (variables e indicadores que incluye) forma de administracin evaluadores que aplicarn el instrumento y forma de capacitacin forma de puntuacin y nivel de medicin de los itemes y del instrumento total puntaje total o subtotal terico que puede adoptar (rango) y sentido del mismo. lugar, tipo y tamao de las muestras a las que se ha aplicado adaptacin o validacin para el contexto al que se aplicar validez y confiabilidad del instrumento, incluyendo el tipo, lugar y tamao de las muestras en las que se ha evaluado

2) Si es un instrumento que requiere adaptacin: * * * * * * * * * * * * * sealar el objetivo del instrumento (lo que pretende medir) su autor, ao y lugar donde se construy tipo de instrumento su contenido (variables e indicadores que incluye) forma de administracin evaluadores que aplicarn el instrumento y forma de capacitacin forma de puntuacin y nivel de medicin de los itemes y del instrumento total puntaje total o subtotal terico que puede adoptar (rango) y sentido del mismo. validez y confiabilidad del instrumento original justificacin de la adaptacin en qu exactamente va a consistir la adaptacin y cmo se llevar a cabo muestra piloto para su prueba anlisis que se realizarn para validar la adaptacin

3) Si es un instrumento que debe construirse: * sealar el objetivo del instrumento (lo que pretende medir)
190

* * * * * * * *

tipo de instrumento su contenido (variables, dimensiones y tipo de indicadores que incluir) algunas ilustraciones del tipo de preguntas o itemes que contendr pasos que se darn para su construccin forma de administracin evaluadores que deben aplicar el instrumento y forma de capacitacin forma de puntuacin y nivel de medicin de los itemes y del instrumento total muestra piloto para su prueba

7.3 Procedimiento Consiste en el plan para recolectar la informacin (no para extraer la muestra, el que se debe detallar en el captulo correspondiente). En el Procedimiento se debe sealar: cmo se aplicarn los instrumentos o se recolectar la informacin. Si hay dos o ms

instrumentos, cul ser el orden de aplicacin, justificndolo. A veces el orden tiene que ver con la validez de los resultados. quin o quines los aplicarn y el nivel de capacitacin de los evaluadores. Tambin

se debe sealar en caso de haber alguna capacitacin a los evaluadores, en qu consistir tipo de administracin de los instrumentos: si ser colectivo o individual,

administrados por una persona capacitada o auto-administrado. dnde se aplicarn los instrumentos: lugar de residencia de los participantes u otro

lugar (colegios, consultorios, consultas, etc.) en caso de ser un test-retest, cunto tiempo mediar entre una aplicacin y otra,

justificando este tiempo, con el objeto de balancear los factores de invalidez posible (ni mucho tiempo que pueda introducirse el factor historia, ni muy poco que los individuos pretendan ser consistentes (efecto de la prueba).

191

qu factores se controlarn y cmo para impedir que ellos puedan invalidar los
qu se le dir a los respondentes sobre los objetivos de la evaluacin. Aqu es importante considerar el factor tico.

resultados. en caso necesario, qu se les ofrecer a los respondentes. Tambin aqu entra la

tica. En general, es bueno que los respondentes obtengan alguna "ganancia" por su participacin. Puede ser: a) una retroalimentacin sobre la informacin, una vez hecha la evaluacin (debe ser previamente acordada con el cliente); b) con personas de bajos recursos, a veces se le puede pagar el transporte o colacin para que concurran a la administracin de los instrumentos; c) puede ser un premio. Aqu entra la creatividad.

7.4 Construccin de indicadores e ndices para la evaluacin

Para construir instrumentos, es necesario elaborar indicadores de las variables que quieren medirse u observarse, los que darn la base necesaria para la construccin de itemes, preguntas o pautas de entrevistas y observacin. Son manifestaciones observables de la variable en cuestin. Ejemplo de indicadores:

1. Servicio de buena calidad. Los indicadores: a) grado de capacitacin de los monitores que trabajan con madres adolescentes en : - adolescencia - embarazo adolescente - comunicacin y conduccin de grupos b) grado de capacitacin de los monitores que trabajan con nios en : - desarrollo infantil - comunicacin y conduccin de grupos de nios. c) nivel de incorporacin de madres adolescentes al programa d) nivel de asistencia de las madres participantes en el programa a las actividades de ste e) grado de desercin del programa 2. Complementacin al servicio del consultorio de salud de la localidad. Los indicadores: a) nivel de duplicidad entre los servicios proporcionados por el Estado y el programa. b) calidad de atencin del programa y de los consultorios locales.
192

c) elementos educativos a las madres y sus hijos del programa y de los consultorios locales, en las reas de: informacin sobre los beneficios sociales a los que puede acceder herramientas para su desarrollo personal y social herramientas para la estimulacin y educacin de sus hijos herramientas para el desarrollo del lenguaje y socio-afectivo de los hijos

3. Condiciones de operacin adecuadas. Los indicadores: a) eficiencia de la organizacin: objetivos compartidos revisin y replanteamiento de metas estructura organizacional claridad en la definicin de responsabilidades y tareas individuales relaciones humanas (cooperacin o competitividad) existencia de canales de comunicacin existencia de evaluacin del rendimiento participacin en la toma de decisiones utilizacin o subutilizacin de los recursos claridad y oportunidad de la comunicacin

b) suficiencia de suministros (materiales, espacios) c) motivacin del personal con el programa y vocacin de servicio

Para sistematizar la informacin de una serie de preguntas o itemes de un instrumento, ya sea de un cuestionario, instrumento estandarizado, entrevista u observacin, anlisis de contenido, se construyen ndices. Estos ndices son la suma de puntajes que uno otorga a los itemes o preguntas. La ponderacin puede ser igual para todos los itemes o puede ser distinta, dndole ms peso a aquella o aquellas preguntas o itemes que consideramos que mejor representa a la variable.

EJEMPLO DE CONSTRUCCION DE INDICE

ESCALA DE NIVEL SOCIOECONOMICO El puntaje simple de las preguntas es el siguiente: 1. Ultimo ao de estudios cursado por encuestado Superior Media o tcnica completa Media o tcnica incompleta Bsica completa Bsica incompleta Sin educacin formal Ultimo ao de estudios cursado por el cnyuge o conviviente
193

1 2 3 4 5 6

2.

3.

Trabajo del encuestado - Profesional independiente, director, gerente, cargo directivo en empresas o instituciones, alta gradacin

FFAA, dueo de fundo, etc. 1

- Empleado de mediana calificacin (jefe), profesional empleado, empresario mediano, grado medio en FFAA - Obrero estable calificado, pequeo taller, almacn, empleado de baja calificacin, bajo grado en FFAA - Obrero estable no calificado, empleada domstica, o cualquier oficio estable (zapatero, gasfiter, etc.) - Pololos, trabajos espordicos independientes - Cesante etc. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 2 3 4 5 6

Trabajo del cnyuge o conviviente Cantidad de viviendas en el sitio e importancia que ocupa Material principal de los muros de la vivienda Material principal del piso de la vivienda Ducha o tina Cocina en pieza independiente Hacinamiento (a su vez, se construye un ndice) Promiscuidad Bienes domsticos (a su vez, se construye un ndice) Recepcin actual de subsidio asistencial del Gobierno o Municipalidad Sistema previsional de salud del encuestado o cnyuge y atencin en consultorio municipal

Una vez asignado el puntaje simple a cada alternativa de cada pregunta, se pondera ste de la siguiente manera: Variables 1 y 2 Se suman ambos puntajes y se divide por 2. En caso de no existir cnyuge o conviviente, se considera tal cual el puntaje en la variable 1 (queda ponderada por 1) Se suman ambos puntajes, se divide por 2 y se multiplica por 3. En caso de no existir cnyuge o conviviente, el puntaje en la variable 3 se multiplica por 3 (queda ponderada por 3) Se suman los cinco puntajes y a la suma se le da el siguiente valor (que est ponderado por 3): 5 -9 3 10-13 6 14-17 9 18-21 12 22-25 15 26-30 18 Se suman los dos puntajes, se divide por 2 (queda ponderada por 1)

Variables 3 y 4

Variables 5 a 9

Variables 10 y 11

194

Variable 12

Se suman los puntajes de todos los artefactos que hay en el hogar y a la suma se le da el siguiente valor (que est ponderado por 3): 90-105 72-89 54-71 36-53 18-35 0-17 Se multiplica por 2 (queda ponderada por 2) Se multiplica por 2 (queda ponderada por 2) 3 6 9 12 15 18

Variables 13 Variable 14

Luego, se suman todos los puntajes (7) ya ponderados, determinando de este modo el nivel socioeconmico: Nivel socieconmico alto Nivel socioeconmico medio-alto Nivel socioeconmico medio-medio Nivel socioeconmico medio-bajo Nivel socioeconmico bajo Nivel socioeconmico extrema pobreza 15-22 23-30 31-38 39-55 56-73 74-90

Otras veces el instrumento constituye una escala, similar a los ndices pero, por lo general, son itemes con alternativas de respuesta tipo Likert y con ponderacin igual a todos ellos. Ejemplo de Escala: Escala de autoestima
A continuacin se presenta una serie de afirmaciones. Frente a cada una de ellas seala tu grado de acuerdo o desacuerdo. Por ejemplo, Creo que tengo que bajar de peso Si t ests muy en desacuerdo con que tienes que bajar de peso, encierra con un crculo la alternativa "Muy en desacuerdo"como se muestra a continuacin: Muy en Desacuerdo No estoy Acuerdo Muy de Desacuerdo Segura Acuerdo Ahora marca con un crculo tu respuesta frente a las siguientes afirmaciones: 1. En general, estoy satisfecha conmigo misma Muy en Desacuerdo No estoy Acuerdo Desacuerdo Segura 2. A veces pienso que no sirvo para nada Muy en Desacuerdo No estoy Acuerdo Desacuerdo Segura

Muy de Acuerdo

Muy de Acuerdo
195

3. Me parece que tengo varias cualidades positivas Muy en Desacuerdo No estoy Acuerdo Desacuerdo Segura

Muy de Acuerdo

4. Puedo hacer las cosas tan bien como la mayora de las personas Muy en Desacuerdo No estoy Acuerdo Muy de Desacuerdo Segura Acuerdo 5. Creo que no tengo muchos motivos de qu enorgullecerme Muy en Desacuerdo No estoy Acuerdo Muy de Desacuerdo Segura Acuerdo 6. A veces me siento realmente intil Muy en Desacuerdo No estoy Desacuerdo Segura

Acuerdo

Muy de Acuerdo

7. Creo que soy una persona digna de estima, al menos en igual medida que las otras personas Muy en Desacuerdo No estoy Acuerdo Muy de Desacuerdo Segura Acuerdo 8. Deseara sentir ms aprecio por mi misma Muy en Desacuerdo No estoy Acuerdo Desacuerdo Segura 9. En general, pienso que soy un fracaso Muy en Desacuerdo No estoy Acuerdo Desacuerdo Segura

Muy de Acuerdo

Muy de Acuerdo

10. La actitud que tengo hacia a mi misma es positiva. Muy en Desacuerdo No estoy Acuerdo Muy de Desacuerdo Segura Acuerdo Puntuacin Los itemes 1, 3, 4, 7 y 10 se puntan de la siguiente manera: Muy en desacuerdo 1 Desacuerdo 2 No estoy segura 3 Acuerdo 4 Muy de acuerdo 5 Los itemes 2, 5, 6, 8 y 9 se puntan de la siguiente manera: Muy en desacuerdo 5 Desacuerdo 4 No estoy segura 3 Acuerdo 2 Muy de acuerdo 1 Luego se suman los puntos y da un puntaje total para el individuo

196

7.5 Estrategias para el anlisis de la informacin Es importante destacar el uso de diferentes estrategias de anlisis, por ejemplo, cualitativa y cuantitativa, de manera de evaluar el programa o intervencin desde diferentes perspectivas. En ocasiones, esto puede tambin tener una finalidad estratgica, debido a que los investigadores pueden preferir una estrategia especfica de anlisis.

En todo proyecto de evaluacin debe sealarse en la metodologa el plan de anlisis que se seguir para analizar la informacin. En ste ha de consignarse el tipo de anlisis que se har con la informacin recolectada, justificando el uso de las tcnicas a utilizar.

Este depender principalmente: de los objetivos de la evaluacin de los criterios o indicadores de xito que se hayan formulado del diseo de la evaluacin del tipo de muestra o muestras seleccionado del tamao de la o las muestras del nivel de medicin de las variables en cuestin

Anlisis cuantitativo Nivel de medicin Medicin es asignar nmeros a caractersticas que no son nmeros Variables: Nominales (categoras): se asigna un nmero slo con el objetivo de identificacin Ordinales (orden): se asigna un nmero con el objeto de ordenar Intervalares: tienen un valor numrico que representa el monto o grado de la existencia de una variable. De razn: hay un cero absoluto.
197

Principales anlisis que se pueden hacer:

Descripcin de las variables tomadas individualmente Estandarizacin de los resultados (puntuaciones z) Razones y tasas Clculos y razonamientos de estadstica inferencial Pruebas paramtricas Pruebas no paramtricas Coeficientes de confiabilidad Anlisis multivariados

Descripcin de variables tomadas individualmente Distribucin de frecuencias absolutas y relativas Grficos Medidas de tendencia central (promedios y medianas) Medidas de dispersin (desviacin estndar y varianza) Tipo de la distribucin (normal, asimetra)

Estandarizacin de los resultados (puntuaciones z) Nos permite comparar los valores de dos distribuciones con diferente unidad de medida y rango.

Razones y tasas Razn: relacin entre dos categoras Tasa: relacin entre el nmero de casos en una categora y el nmero total de observaciones, multiplicada por un mltiplo de 10.

Clculos y razonamientos de estadstica inferencial

198

Permiten generalizar los resultados a una poblacin de la que se extrajo la muestra.

Para hacer inferencias la muestra debe ser probabilstica porque todas las tcnicas se basan en la probabilidad. A veces se usan en muestran no probabilsticas, pero debe tenerse el cuidado de no generalizar. - Hiptesis sobre un parmetro (puede ser promedio o proporcin): se usa student (t) o Z. Estimacin de un intervalo de confianza para el parmetro: tambin se usa t o Z.

Generalmente necesitamos estimar los valores de la poblacin (parmetros) a partir de los resultados obtenidos en una muestra (estadgrafos). El proceso por el cual estimamos los valores de un determinado parmetro poblacional a partir de los valores de un estadgrafo se denomina estimacin. El estimador es una variable aleatoria en tanto que el valor que se obtiene en un procedimiento determinado es la estimacin. Por ejemplo, podramos tratar de estimar el promedio () a partir del valor que obtenemos la calcular el promedio obtenido en una muestra. Antes que eso veamos una propiedad que deben tener los buenos estimadores.

Insesgado Esta es una de las propiedades ms importantes de los estimadores. Se dice que un estimador es insesgado cuando la esperanza matemtica del estimador es igual al valor del parmetro que se intenta estimar. El promedio (x) es un estimador insesgado del promedio () porque se cumple que el valor esperado de (x) es igual a (). Esto es, si yo saco muestras infinitas de la poblacin el promedio de esas muestras va a ser igual a (). Mientras el nmero de muestras ms se acerca a infinito, ms se acerca el promedio poblacional.

199

La varianza muestral, en cambio, no es un estimador insesgado de la varianza de la poblacin, puesto que depende del tamao muestral.

Estimacin puntual y estimacin intervalar de parmetros.

En la estimacin puntual lo que se hace es estimar el valor de un parmetro a partir del valor de un estadgrafo. En el segundo caso, en cambio, lo que se hace es estimar un rango de valores entre los cuales se ubica (con un cierto grado de certeza) el valor del parmetro.

Pruebas paramtricas Deben cumplirse una serie de supuestos: la variable tiene una distribucin normal en la poblacin, el nivel de medicin de la variable debe ser al menos intervalar, en la mayora de los casos; si dos poblaciones son estudiadas, las varianzas deben ser homogneas.

Pruebas ms utilizadas: coeficiente de correlacin de Pearson regresin lineal coeficiente Eta (E) prueba de Student (t) Prueba de contraste de las diferencias de proporciones anlisis de varianza de un solo factor (Anova oneway) anlisis de varianza factorial (Anova) anlisis de covarianza (Ancova)

Para qu sirven estas pruebas:

200

Coeficiente correlacin de Pearson Sirve para analizar el monto de la correlacin entre dos variables medidas en escala

al menos intervalar. Tipo de hiptesis: correlacional y causales: a mayor x mayor y, altos valores en x estn asociados con altos valores en y, etc.. Su significacin depende del tamao de la muestra.

Regresin lineal Es un modelo matemtico para estimar el efecto de una o ms variable sobre otra

(una o ms independiente y una dependiente). Tipo de variables: la dependiente intervalar, las independientes: intervalares ( a veces variables mudas) Tipo de hiptesis: correlacionales y causales

Coeficiente Eta (E) Correlacin no lineal entre variables

Prueba de Student (t)

a) Sirve para ver si las medias de dos grupos difieren significativamente. Hay que corregir el error estandar de la distribucin muestral de la diferencia ente medias si las varianzas no son homogneas (homocedasticidad). Se hace con F de Snedecor. Tipo de variable: intervalar. Tipo de hiptesis: diferencia de promedios de dos grupos b) Sirve para ver si dos medias de un grupo difieren significativamente (muestras dependientes). Tipo de hiptesis: diferencia de promedios antes-despus. Diseos experimentales o cuasi-experimentales

Prueba de contraste de las diferencias de proporciones

201

a) Permite analizar si dos proporciones (entre dos grupos) difieren entre si (se realiza con la distribucin normal) Tipo de hiptesis: diferencia de proporciones en dos grupos Tipos de variables: nominales b) Sirve para analizar si dos proporciones de un mismo grupo difieren entre s (2) (muestras dependientes) Tipo de hiptesis: diferencia de proporciones antes-despus. Diseos experimentales.

Anlisis de varianza de un solo factor o unidereccional (ANOVA oneway)

Sirve para analizar si las medias de ms de dos grupos difieren significativamente. Tipo de variable: intervalar (dependiente) y nominal (la independiente, criterio). Tipo de hiptesis: diferencia de promedios de ms de dos grupos Su usa Snedecor (F)

Anlisis de varianza factorial (ANOVA)

Sirve para evaluar el efecto de dos o ms variables independientes sobre una dependiente. Evala los efectos simples (por separado de cada variable) y los efectos conjuntos de dos o ms variables independientes (efectos de interaccin). Tipo de variable: intervalar (dependiente) y nominal categrica (las independientes, criterios). Tipo de hiptesis: explicativa, diferencia de promedios de ms de dos grupos considerando ms de una variable independiente Su usa Snedecor (F) Para ver la diferencia de medias en cada par de grupos se usa Tukey o Scheff (no Student)

Anlisis de covarianza (ANCOVA)

202

Analiza la relacin entre una variable dependiente y dos o ms independientes, controlando el efecto de al menos una de estas independientes. Sirve para controlar el efecto de alguna variable (covariable) que puede contaminar la relacin entre dos. Diseos experimentales y no experimentales. Tipo de variable: intervalar (dependiente), nominal categrica (las independientes, criterios), intervalar la covariante. Se usa Snedecor (F).

Pruebas no paramtricas No requieren de supuestos acerca de la forma de la distribucin en la poblacin y las variables pueden estar en cualquier nivel de medicin.

Pruebas ms utilizadas: Chi cuadrado (2) Coeficientes de asociacin entre variables nominales (Contingencia, Lambda, pi, fi) Coeficientes de correlacin por rangos (rs de Spearman, tau de Kendall, gamma) Otras pruebas no paramtricas (prueba de la mediana, prueba de los signos, Kruskal

y Wallis, Kolmogorov-Smirnov y varias otras Modelos log-lineales

Para qu sirven estas pruebas: Chi cuadrado ( 2) Sirve para ver la existencia de asociacin entre dos variables nominales u ordinales. Tipo de hiptesis : correlacionales Se calcula a travs de una tabla de contingencia.

Coeficientes de asociacin entre variables nominales (Contingencia, Lambda,

pi, fi)
203

Sirven para evaluar el monto de la asociacin entre variables nominales. Contingencia y Lambda sirven para variables con ms de dos categoras. Pi y Fi para variables con dos categoras (tablas de dos X dos)

Coeficientes de correlacin por rangos (rs de Spearman, tau de Kendall,

gamma y otros) Sirven para evaluar el monto de la correlacin entre variables ordinales, o de rangos.

Otras pruebas no paramtricas (prueba de la mediana, prueba de los signos,

Kruskal y Wallis, Kolmogorov Smirnov y varias otras Sirven en casos de muestras pequeas y cuando no se conoce la forma de la distribucin. Prueba de la mediana: sirve cuando la distribucin es asimtrica, en la que el

promedio no es un buen estadgrafo, y debe calcularse la mediana. Pueden compararse n grupos. Cuntos casos quedan sobre y bajo la mediana Los otros son anlogos al anlisis de la varianza para distribuciones no paramtricas.

Modelos log-lineales (llamados tambin anlisis logticos o logsticos)

Es similar al anlisis de regresin, pero en este caso las variables son nominales o intervalares (pero categorizadas) Tipo de hiptesis: correlacionales o causales

Anlisis multivariados Sirven para analizar el efecto de dos o ms variables independientes sobre dos o ms variables dependientes.

Los ms utilizados son: anlisis factorial

204

anlisis discriminante Correlacin cannica Regresin multivariada Anlisis de varianza mltiple (MANOVA) Anlisis de covarianza mltiple (MANCOVA)

Anlisis factorial

Sirve para determinar el nmero y naturaleza de un grupo de constructos subyacentes (factores) en un conjunto de mediciones. Es utilizado para evaluar la validez de constructo de un instrumento.

Anlisis discriminante

Sirve para predecir la pertenencia de un caso determinado a una de las categoras de la variable dependiente, que debe ser nominal, sobre la base de dos o ms independientes que deben ser intervalares.

Correlacin cannica

Es la correlacin lineal entre dos o ms variables independientes intervalares y dos o ms dependientes intervales

Regresin multivariada Es un modelo matemtico para estimar el efecto de una o ms variable sobre dos o

ms (dos o ms independiente y dos o ms dependiente). Tipo de variables: las dependientes intervalares, las independientes: intervalares (a veces variables mudas) Tipo de hiptesis: correlacionales y causales

Anlisis de varianza mltiple (MANOVA)

205

Sirve para ver la diferencia de medias de dos o ms variables dependientes (intervalares) considerando dos o ms variables de criterio (independientes), que deben ser nominales. Hiptesis causales.

Anlisis de covarianza mltiple (MANCOVA)

Analiza la relacin entre una o ms variables dependiente y dos o ms independientes, controlando el efecto de al menos una de estas independientes. Sirve para controlar el efecto de una o ms covariables que puede contaminar la relacin entre otro grupo de variables Diseos experimentales y no experimentales. Tipo de variable: intervalar (dependientes), nominal categrica (las independientes, criterios), intervalar las covariantes. Se usa Snedecor (F). Sirve para aislar el efecto de dos o ms variables en la relacin de dos o ms variables.

Ejemplo de Plan de Anlisis

Para el anlisis de la informacin se utilizar una combinacin de tcnicas cuantitativas y cualitativas.

En primer lugar, se proporcionar un anlisis descriptivo de cada uno de los indicadores, en cada etapa del estudio. Se proporcionar el promedio y desviacin estndar para el caso de las variables cuantitativas y la distribucin de porcentajes en el caso de las variables cualitativas o nominales.

En segundo trmino, se efectuar un anlisis factorial de las variables de insumo, proceso y contexto, para determinar los indicadores que expresen las mejores combinaciones de estas variables en un nmero menor de dimensiones. Este anlisis contribuir a clarificar los pesos que actualmente se asignan a stos en el proceso de adjudicacin de los cursos, en la medida en que la calidad de stos sea heterognea. Lamentablemente, no se podr obtener una estimacin ms precisa de los pesos, por cuanto no es posible contar con la informacin acerca de los indicadores sealados, referidos a los cursos rechazados en los procesos de licitacin del Programa.
206

El anlisis factorial tambin ser realizado con las variables de producto, lo que permitir examinar el peso relativo de las distintas mediciones de logro de aprendizaje y desempeo.

Por otro lado, se examinar la relacin entre los factores de calidad y los de adjudicacin de cursos. Cuando se trate de variables intervalares, se calcular el coeficiente producto-momento de Pearson (r); en el caso de variables nominales, se estimar y el coeficiente Phi de Pearson (para tablas de 2 X 2)
2

y Contingencia (para tablas de ms de 2 X 2).

Asimismo, se llevar a cabo un anlisis de regresin mltiple, utilizando como variable dependiente los factores identificados en las variables de producto y como variables independientes, los factores reconocidos en el anlisis factorial realizado con las variables de insumo, proceso y contexto. Este anlisis tiene como objetivo examinar el comportamiento de los pesos de los factores relativos a los insumos, proceso y contexto, con respecto a los factores relacionados con la evaluacin interna y externa.

En el caso que los factores identificados en las variables de producto sean oblicuos y no ortogonales, se realizar un anlisis cannico, utilizando como variables dependientes los factores relativos al producto y, como variables independientes, los referidos a los insumos, proceso y contexto. De esta manera, se podr obtener los pesos de las mejores combinaciones de las variables independientes, que permiten predecir las combinaciones optimizadas de las variables dependientes.

Para complementar los resultados anteriores, se llevar a cabo una triangulacin entre las informaciones proporcionadas por: los alumnos en los grupos focales los instructores en las entrevistas los supervisores de prctica.

Las informaciones recogidas a travs de los grupos focales y entrevistas sern sometidas a un anlisis de contenido, para estructurar categoras de anlisis significativas al proceso de capacitacin y a los beneficiarios de ste.

207

8. Equipo, plan de trabajo y presupuesto Equipo En cualquier proyecto o propuesta debe sealarse el equipo necesario que trabajar en la evaluacin, sus ttulos, grados y especialidades y el tiempo que cada persona le dedicar a la evaluacin y las principales funciones que tendr cada una. Por lo general, se incluye a los evaluadores principales y slo se enumera al personal tcnico de apoyo (ayudante, tesistas, entrevistadores, etc.) y al personal administrativo (secretaria). Algunos trminos de referencia solicitan formatos especiales, como el siguiente:
Personal de esta etapa (indicar procedencia, nombre y cargo a desempear) Chile. Nombre del evaluador 1. Coordinador del Proyecto Especialidad y capacidades tcnicas del personal, su vinculacin al proyecto Psiclogo. Especialista en estudios de la familia y evaluacin de proyectos. 16 horas de vinculacin Chile. Nombre del evaluador 2. Psiclogo. Especialista en Profesional integrante equipo central desarrollo cognitivo 12 horas de vinculacin Chile. Nombre del evaluador 3. Profesional integrante equipo central Socilogo. Especialista en evaluacin de proyectos sociales y metodologa. 12 horas de vinculacin Idem primer etapa

ETAPAS PRIMERA ETAPA: Descripcin breve y sumaria

Organizacin y puesta en marcha del proyecto (adaptacin de instrumentos, extraccin muestra, implementacin equipos en terreno) y aplicacin primera medicin

SEGUNDA ETAPA: Descripcin breve y sumaria Anlisis de la primera medicin, extraccin de la muestra y aplicacin instrumentos grupo de ingreso 1996 TERCERA ETAPA: Descripcin breve y sumaria Aplicacin instrumentos ltima medicin y anlisis final de todos los resultados. Elaboracin y entrega de informe final

Idem primera etapa

Idem primera etapa

Idem primera etapa

Adems, se contratar a tres coordinadores regionales durante los perodos de extraccin de la muestra y aplicacin de instrumentos. Asimismo, se contratarn evaluadores para la aplicacin de instrumentos. Estos ltimos sern alumnos avanzados de las carreras del rea de las ciencias sociales y de educacin con experiencia en la aplicacin de pruebas e instrumentos del tipo que se utilizar. No obstante, recibirn una capacitacin exhaustiva para el contexto especfico de esta evaluacin. Otro ejemplo:
208

Funciones Evaluadores Nombre del evaluador principal Estar a cargo de la elaboracin del marco terico, de los informes de avance y de la interpretacin de los resultados y elaboracin del informe final. Participar tambin en conjunto con la co-evaluadores en la construccin de los instrumentos, especialmente en lo que dice relacin con las dimensiones y preguntas de los mismos, y en el anlisis de la informacin. Se preocupar del anlisis cualitativo de la informacin. Tambin tendr a su cargo la capacitacin y supervisin de los monitores de grupos y encuestadores. Nombre del co-evaluador Aunque participar en todas las etapas de la evaluacin, su labor principal ser ocuparse de los aspectos metodolgicos de la misma, principalmente la construccin de los instrumentos, en conjunto con la evaluadora principal, la extraccin de las muestras, la codificacin y elaboracin de normas para la digitacin de la informacin y el procesamiento y anlisis estadstico de la informacin. Tambin participar, en conjunto con la evaluadora principal, en la interpretacin de los resultados. Ayudantes y personal de apoyo 1 Coordinador Santiago: tendr como principales funciones las siguientes: a) bsqueda de bibliografa y aspectos esenciales de la misma; b) coordinar el trabajo de los ayudantes de Santiago y de los 3 coordinadores de provincias; c) puntuacin y codificacin de los instrumentos. 3 Coordinadores provinciales: tendrn las siguientes funciones: conseguir la lista de establecimientos educacionales por estrato socioeconmico en cada provincia, pedir autorizacin a los colegios para la realizacin del estudio, coordinar la realizacin de los grupos focales, extraer en el terreno la muestra de nios en los colegios, para grupos focales y cuestionario, escribir y enviar cartas a los padres para su autorizacin, coordinar la aplicacin del cuestionario. 4 Ayudantes Santiago: tendrn las mismas funciones que los coordinadores provinciales. 12 Monitores de grupo: realizarn los grupos focales en los colegios (2 en Iquique, 2 en Concepcin, 2 en Temuco y 6 en Santiago).

209

12 Entrevistadores: aplicarn el cuestionario (2 en Iquique, 2 en Penco, 2 en Temuco y 6 en Santiago). 1 Diseador grfico: su funcin ser disear aproximadamente 20 dibujos del cuestionario piloto de los nios pequeos y modificar o hacer nuevos dibujos para el cuestionario definitivo.

210

Otro ejemplo: Evaluacin del Programa de Capacitacin Laboral de Jvenes CHILE JOVEN NOMINA Y TIEMPO DE PARTICIPACION DEL EQUIPO PROFESIONAL Para la ejecucin del estudio, la Pontificia Universidad Catlica de Chile cuenta con el siguiente equipo profesional central: Nomina de Profesionales Nombre
Nombre profesional (Facultad de Educacin)

Funcin Principal*
Jefe de Proyecto Construccin de instrumentos y anlisis cuantitativo. Anlisis Organizaciones Capacitadoras

Horas de Situacin Dedicacin Contractual Semanal

18

Profesor Titular

Nombre profesional (Facultad de Educacin) Nombre profesional (Escuela de Psicologa) Nombre profesional (Escuela de Psicologa) Nombre profesional (Instituto de Sociologa) Nombre profesional (Instituto de Sociologa) *

14

Profesor Titular

Elaboracin de Instrumentos Construccin de Indicadores Anlisis Cualitativo

12

Profesor Adjunto

12

Profesor Auxiliar

12

Profesor Adjunto

Coordinacin de Trabajo en Terreno

12

Investigador DESUC

Dada la magnitud y naturaleza del estudio, el equipo de profesionales mantendr un involucramiento permanente en las distintas etapas del proyecto, por lo que se describen solamente las funciones principales.

Adems, se contratar a tres ayudantes por media jornada cada uno, una secretaria a tiempo completo, adems de mltiples evaluadores para la aplicacin de instrumentos. Estos ltimos sern alumnos avanzados de las carreras de Psicologa, Sociologa y Educacin, que cuentan con experiencia en la aplicacin de pruebas e instrumentos del tipo que se utilizar y ,adems, recibirn una capacitacin exhaustiva para el contexto especfico de este proyecto. Plan de trabajo y cronograma
211

Debe establecerse un plan de trabajo, acompaado de un cronograma. El plan de trabajo incluye un mayor detalle de lo que se har en cada etapa de la secuencia, en tanto el cronograma incluye slo los nombres de cada actividad y las fechas en las que stas se realizarn. Puede incluir las fechas de inicio y trmino de la actividad o slo la fecha de trmino. Cuando el proyecto de evaluacin es parte de una licitacin, por lo general los trminos de referencia de la licitacin sealan el tiempo que debe demorarse la evaluacin y la fecha de trmino. A veces solicitan que se detalle quin participar en cada actividad o etapa. A veces piden informes de avance intermedios al informe final. En esos casos, debe sealarse cundo se entregarn los informes y qu contendr cada uno.

212

Ejemplo: Como la fecha de trmino del proyecto establecida por la Subsecretaria de Trabajo es el 31 de diciembre de 1999, se calcula que la ejecucin del proyecto se realizar en 10 meses, a contar de la firma del contrato de prestacin de servicios. En el cronograma se establecen los plazos, en meses de duracin, de las principales fases que tiene este trabajo.
CRONOGRAMA

PRINCIPALES FASES
Diseo del marco conceptual Diseo operacional del sistema de medicin de calidad Anlisis de la documentacin de los cursos licitados Seleccin de muestras y elaboracin de instrumentos de recoleccin de datos para la Fase Lectiva Informe de avance sobre la Fase Lectiva Capacitacin del equipo de trabajo de campo Recoleccin de informacin y aplicacin de instrumentos durante la Fase Lectiva Validacin, codificacin y procesamiento de la informacin Elaboracin de instrumentos de la Fase Prctica Anlisis de datos y elaboracin del primer informe Entrega del informe de la Fase Lectiva Trabajo de campo Fase Prctica. Aplicacin de instrumentos y recoleccin de informacin. Validacin, codificacin y procesamiento de la informacin Anlisis de datos y elaboracin del informe final Entrega de la versin preliminar del informe final Entrega de la versin definitiva del informe final

PERIODO*

Meses 1

Primera semana mes 2

Meses 2, 3 y 4

Meses 4 y 5 Mes 6

Meses 6 y 7 Meses 7 y 8 9 10

* Los meses se superponen pues algunas de las actividades se realizan en forma paralela.

213

Otro ejemplo:
ETAPAS ACTIVIDADES ETAPA 1 - Organizacin y puesta en marcha del proyecto - Contacto y contratacin de coordinadores regionales - Adaptacin de los instrumentos - Diseo y produccin de manuales de capacitacin - Extraccin de la muestra definitiva grupos G1 G2 G5 G6 - Primera fase de evaluacin O1 O3 O9 O11 - Anlisis de resultados primera fase de evaluacin - Extraccin de la muestra definitiva grupo G3 G4 - Segunda fase de evaluacin O5 O7 - Entrega informe primera fase de evaluacin - Anlisis de resultados segunda fase de evaluacin - Contacto con escuelas para seguimiento de la muestra - Entrega informe segunda fase de evaluacin - Entrevista monitores - Entrevista supervisores - Evaluacin de caractersticas de comunidades seleccionadas - Revisin de base de datos del programa para anlisis de costo - Tercera fase de evaluacin O2 O4 O6 O8 O10 O12 - Obtencin antecedentes de rendimiento de G1 y G2 en escuelas - Anlisis de resultados de tercera fase de evaluacin - Anlisis final de resultados - Elaboracin informe final - Entrega Informe final PERIODO DE EJECUCION 2do sem. 1995
1

UNIDAD EJECUTORA Escuela de Psicologa

ETAPA 2

1er. sem. 1996

Escuela de Psicologa

ETAPA 3

2do sem. 1996

Escuela de Psicologa

ETAPA 4

1er sem. 1997

Escuela de Psicologa Escuela de Psicologa

ETAPA 5

Junio de 1977

Los perodos de ejecucin han sido definidos suponiendo que el convenio se firma en el mes de julio. 214

Actividades

Organizacin y puesta en marcha del proyecto Contacto y contratacin de coordinadores regionales Adaptacin y construccin de los instrumentos Extraccin de la muestra definitiva grupos G1 G2 G5 G6 Diseo y produccin de manuales de aplicacin Aplicacin piloto instrumentos nuevos Capacitacin evaluadores Primera fase de aplicacin de instrumentos O1 O3 O9 O11 Anlisis de resultados primera fase de evaluacin Entrega informe primera fase de evaluacin Extraccin de la muestra definitiva grupo G3 y G4 Segunda fase de aplicacin de instrumentos O5 O7 Anlisis de resultados segunda fase de evaluacin Entrega informe segunda fase de evaluacin Entrevista monitores Entrevista supervisores Evaluacin de caractersticas de comunidades seleccionadas Revisin de base de datos del programa para anlisis de costo Contacto con escuelas para seguimiento de la muestra Tercera fase de aplicacin de instrumentos O2 O4 O6 O8 O10 O12 Obtencin antecedentes de rendimiento de G1 y G2 en escuelas Anlisis de resultados de tercera fase de evaluacin Anlisis final de resultados Elaboracin informe final Entrega informe final

A x x x

S x x x x x

1995 O N

M A

M J

1996 J A

1997 M A M J

x x x x x x x x x x

x x x x x x

x x x

x x x x x x x x x x x x x x x x x

215

OTRO EJEMPLO El trabajo tendr un plazo de 10 meses (43 semanas aproximadamente), a contar desde la entrada en vigencia del Convenio, y se har en 4 etapas: Primera etapa: Tendr una duracin de 1 mes, desde la entrada en vigencia del Convenio, y corresponde a la Propuesta Metodolgica Definitiva. Segunda etapa: Tendr una duracin de 4 meses, desde el 2 mes hasta el 5 (inclusive), a contar desde la entrada de vigencia del Convenio. Corresponde a la entrega del Informe de Avance. Tercera etapa: Tendr una duracin de 5 meses, desde el 6 mes hasta el 9 mes (inclusive), a contar desde la entrada de vigencia del Convenio. Corresponde a la entrega del Informe Final Preliminar. Cuarta etapa: Tendr una duracin de 1 mes, el 10 mes (inclusive), a contar desde la entrada de vigencia del Convenio. Corresponde a la entrega del Informe Final. La siguiente carta Gantt muestra el calendario tentativo de trabajo, el que ser ajustado en el Informe de la Propuesta Metodolgica definitiva (1 etapa):

PLAN DE TRABAJO (en semanas)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x

Primera Etapa 1. Explicitacin de los objetivos 2. Seleccin definitiva de la muestra 3. Elaboracin de instrumentos 4. Elaboracin plan de anlisis 5. Ajuste al cronograma de trabajo 6. Elaboracin Propuesta Metodlogica Definitiva 7. Entrega Informe Propuesta Metodolgica Definitiva Segunda Etapa 8. Elaboracin instructivo instrumentos 9. Reproduccin instrumentos e instructivo 10. Contacto con establecimientos educacionales 11. Reclutamiento y seleccin de administradores de instrumentos 12. Capacitacin coordinadores de rea y entrega material 13. Capacitacin equipo administradores de instrumentos 14. Aplicacin de instrumentos 15. Elaboracin del Informe de Avance 16. Entrega del Informe de Avance Tercera Etapa 17. Elaboracin de categoras de preguntas abiertas 18. Reclutamiento y seleccin de codificadores 19. Capacitacin equipo codificadores 20. Codificacin de preguntas, cuestionarios y entrevistas 21. Tabulacin de la informacin y digitacin 22. Elaboracin de las bases de datos 23. Procesamiento de la informacin 24. Anlisis de la informacin 25. Elaboracin Informe Final Preliminar 26. Entrega Informe Final Preliminar Cuarta Etapa 27. Correcciones al Informe Final Preliminar 28. Entrega Informe Final

8.3 Recursos necesarios y Presupuesto El presupuesto es otro de los itemes mayores que se incluyen en un proyecto. Existen diferentes modalidades para elaborar ste: en algunos casos debe ajustarse a un monto mximo (en licitaciones, por ejemplo), en otros el presupuesto no tiene lmites tan definidos o expresos. El presupuesto debe ordenarse segn rubros y se deben detallar los itemes en los cuales se piensa gastar los montos solicitados. Existen diversas modalidades y niveles de detalle que deben consignarse. En general, mientras ms se detalla el presupuesto, ms claro es para los clientes. Es importante considerar que el presupuesto debe ser ajustado a la realidad, de manera de no solicitar montos que excedan niveles aceptables. Al mismo tiempo, deben incluirse todos los gastos que se anticipa hacer, para no quedarse corto y no encontrarse despus sin recursos para un tem determinado. Los grandes rubros en los que se desglosa un presupuesto son: Personal profesional Personal de apoyo Pasajes y viticos Gastos de operacin Overhead de la institucin (si corresponde)

Ejemplo: PRESUPUESTO PERSONAL (en miles de pesos)

1995 Personal Evaluador principal Co-evaluador 1 Ayudante media jornada 1 Coordinador Iquique 1 Coordinador Penco 1 Coordinador Temuco 4 Ayudantes Santiago 12 Monitores de grupo 12 Entrevistadores 1 Diseador grfico TOTAL 1 60,0 2.524,5 60 7.502 Meses 12 12 12 2 2 2 2 1 Costo mensual 191,7 120,8 90,0 80,0 70,0 80,0 320,0 1.512,0 Costo anual 2.300 1.450 1.080 160 140 160 640 1.512 3 0,5 545,0 35,0 1.626,5 1.635 35 7.908 Meses 12 12 12 2 2 2 2 1996 Costo mensual 191,7 120,8 102,0 92,0 80,0 92,0 368,0 Costo anual 2.300 1.450 1.224 184 160 184 736 COSTO TOTAL 4.600 2.900 2.304 344 300 344 1.376 1.512 1.635 95 15.410

Pasajes y viticos El proyecto tiene contemplado 1 viaje de la evaluadora principal a cada una de las provincias donde se realizar la evaluacin para supervisar o resolver problemas que se presenten en el terreno, tanto en la extraccin de la muestra y realizacin de los grupos focales como en la extraccin de la muestra y aplicacin de los cuestionarios. A cada provincia se viajar por va area dada la lejana de los lugares, con la tarifa ms econmica de Ladeco. Adems, se necesita cubrir viticos diarios para la estada de los evaluadores en esas ciudades. Se han planificado viajes de aproximadamente 3 das cada uno (en total 10 das al ao), con un costo de $ 23.000 diarios para alojamiento y $7.000 diarios para alimentacin en 1995; y $26.500 diarios para alojamiento y $8.000 diarios para alimentacin en 1996. Por ltimo, se ha contemplado 20 traslados (10 i/v) al ao, va terrestre, Santiago-Buin y entre Concepcin-Penco para los Coordinadores de Santiago y Concepcin y para los monitores de grupos y encuestadores en esas comunas.

219

PRESUPUESTO PARA VIATICOS Y PASAJES (en pesos)

Cantidad Pasaje areo i/v Iquique Pasaje areo i/v Temuco Pasaje areo i/v Concepcin Pasajes terrestres suburbanos Impuesto de aeropuerto Viticos (das) TOTAL 1 1 1 20 1995 Costo unidad 97.000 55.000 39.000 700 Costo anual 97.000 55.000 39.000 14.000 Canti- dad 1 1 1 20 1996 Costo unidad 111.000 63.000 45.000 800 Costo anual 111.000 63.000 45.000 16.000 COSTO TOTAL 208.000 118.000 84.000 30.000

6 10

2.410 30.000

14.460 300.000 519.460

6 10

2.770 34.500

16.620 345.000 596.620

31.080 645.000 1.116.080

220

GASTOS DE OPERACION (en pesos)

Rubros Digitacin 91.000 Transporte Transporte local Comunicaciones Correo Telfono local Telfono larga distancia Fax Impresin Offset b/n (hojas) Offset color (hojas) Fotocopias Material bibliogrfico Libros Fungibles Cassettes Pilas Diskettes Portadiskettes 30 12 5 1 637 485 880 3.340 5 25.000 3.700 21 77.700 125.000 125.000 113.235 19.110 5.820 4.400 3.340 5 1.012 5.060 119.573 30 80 15 30 192 115 2.000 190 840 140 117.600 117.600 50.680 5.760 9.220 30.000 5.700 77.700 6.000 5.250 1.000 9 64 24 30 200 15 30 220 135 2.300 220 840 160 1,6 Cantidad 1995 Costo unidad Costo anual Can- tidad 1996 Costo unidad Costo anual 145.600 145.600 134.400 134.400 74.700 6.600 27.000 34.500 6.600 414.000 54.000 336.000 24.000 COSTO TOTAL 145.600 145.600 252.000 252.000 125.380 12.360 36.220 64.500 12.300 491.700 54.000 336.000 101.700 125.000 125.000 232.808 19.110 5.820 9.460 3.340

221

Cinta impresora Papel impresora Papel carta (resma) Lpiz pasta Lpiz grafito Tinta china Goma de borrar Scotch Block dibujo Cuadernos Hojas cuadriculadas Tarjetas presenta- cin Hojas memorandum Clips Destacador Cajas de archivo Archivador Tarjetas Corchetes Block gastos Carpetas Corrector Elsticos Block Sobres TOTAL

4 1 1 30 50 6 12 2 2 6 5 30 6 3 3 6 2 100 1 2 40 2 1 40 440

1.548 6.800 5.030 90 70 607 50 982 830 910 80 57 683 160 608 597 1.500 12 200 253 180 485 127 253 55

6.192 6.800 5.030 2.700 3.500 3.642 600 1.964 1.660 5.460 400 1.710 4.098 480 1.824 3.582 3.000 1.200 200 506 7.200 970 127 10.120 7.600 484.215

4 1 3 30 50 12 2 6 5 30 6 3 12

1.780 7.820 5.785 103 80 58 1.129 1.046 92 66 785 180 686

7.120 7.820 17.355 3.090 4.000 696 2.258 6.276 460 1.980 4.710 540 8.232

13.312 14.620 22.385 5.790 7.500 3.642 1.296 4.222 1.660 11.736 860 3.690 8.808 1.020 1.824 11.814 3.000 1.200 660 1.086 15.480 2.086 127 21.720 35.540 1.372.488

2 2 40 2 40 1.490

230 290 207 558 290 63

460 580 8.280 1.116 11.600 27.940 888.273

222

PRESUPUESTO TOTAL (en miles de pesos) SUBITEM PRESUPUESTARIO PERSONAL Total Honorarios Total Viticos GASTOS Pasajes Gastos de operacin SUBTOTAL GASTOS ADMINISTRACION TOTAL 1995 8.021,5 7.502,0 519,5 703,7 219,5 484,2 8.725,2 872,5 9.597,7 1996 8.504,6 7.908,0 596,6 1.139,9 251,6 888,3 9.644,5 964,5 10.609,0 TOTAL 16.526,1 15.410,0 1.116,1 1.843,6 471,1 1.372,5 18.369,7 1.837,0 20.206,7

OTRO EJEMPLO
La evaluacin que se propone, tiene un costo de $ 52.249.000, segn se detalla en la siguiente tabla: PRESUPUESTO (en pesos) Primer perodo 3.681.129 32.000 30.000 164.200 3.907.329 532.818 4.440.147 Segundo perodo 5.274.855 48.200 51.800 152.200 5.527.055 753.689 6.280.744 Tercer perodo 34.639.006 1.028.600 522.130 355.000 36.544.736 4.983.373 41.528.109 TOTAL

HONORARIOS PROFESIONALES, TECNICOS Y ADMINISTRATIVOS PASAJES Y VIATICOS IMPRESION DE DOCUMENTOS GASTOS DE OPERACION SUBTOTAL GENERAL Gastos de Administracin TOTAL

43.594.990 1.108.800 603.930 671.400 45.979.120 6.269.880 52.249.000

Es necesario aclarar que la desagregacin del presupuesto en los tres perodos de evaluacin es aproximada, por cuanto hay actividades de todos los perodos que se deben realizar paralelamente.

223

OTRO EJEMPLO

La evaluacin que se propone tiene un costo de $80 millones, segn se detalla en la siguiente tabla:

PRESUPUESTO (en miles de pesos) PERSONAL VIATICOS Y TRANSPORTE APLICACIN INSTRUMENTOS ANALISIS INFORMACION GASTOS DE OPERACION SUBTOTAL GENERAL Overhead Universidad TOTAL

TOTAL 38.300 3.601 15.800 4.050 3.049 64.800 15.200 80.000

Para hacer el presupuesto, es bueno utilizar una hoja de clculo excel, en la que se detalla cada gasto probable. Ejemplo: Unidad PERSONAL Jefe de proyecto Administrador y metodlogo Consultor 1 Consultor 2 Consultor 3 Analista Secretaria Diseador Ayudante 1 Ayudante 2 Ayudante 3 Subtotal APLICACION Administracin colectiva cuestionario Administracin individual cuestionario Capacitacin Materiales de aplicacin Traslado de material Arriendo salas Capacitacin Coordinadores Ayudantes Coordinadores Revisores y correctores hojas pticas Subtotal Valor Unitario Total

7,5 7,5 2,5 2,0 2,0 2,0 4,0 0,5 7,5 2,0 2,0

1.300.000 1.200.000 1.000.000 1.000.000 1.000.000 900.000 200.000 700.000 300.000 200.000 200.000

9.800.000 9.050.000 2.500.000 2.000.000 2.000.000 1.800.000 800.000 350.000 2.250.000 400.000 400.000 31.350.000

420,0 55,0 80,0 5.000,0 12,0 4,0 6,0 6,0 7,0

15.000 20.000 500 250 20.000 60.000 250.000 80.000 185.000

6.300.000 1.100.000 40.000 1.250.000 240.000 240.000 1.500.000 480.000 1.295.000 12.445.000

224

VIATICOS Y TRANSPORTE Viticos y aloj Coordinadores de regiones Transporte Coordinadores Viticos y aloj Administradores Transporte Administradores Subtotal SERVICIOS Reproduccin Cuestionario Diseo y reproduccin hoja de respuesta Reproduccin Manual de administracin Lectura ptica de respuestas Subtotal GASTOS DE OPERACION Telfono-fax y correo Fotocopias Fungibles Arriendo local almacenamiento Arriendo oficinas Subtotal SUBTOTAL GENERAL 10% PUC 10% EPUC TOTAL

120,0 6,0 66,0 22,0

33.333 181.500 33.333 20.000

3.999.960 1.089.000 2.199.978 440.000 7.728.938

5.000,0 20.000,0 80,0 16.500,0

160 56 234 70

800.000 1.120.000 18.720 1.155.000 3.093.720

7,5 1.000,0 7,5 1,5 2,0

20.000 22 40.000 100.000 100.000

150.000 22.000 300.000 150.000 200.000 822.000 55.439.658 6.844.402 6.159.962 68.444.022

225