Formulación de interrogantes de evaluación

Interrogantes de la Evaluacin
www.ts.ucr.ac.cr 1
Xinia Picado G.
1

INDICE DE CONTENIDOS

Introduccin

1. Captulo 1. Las interrogantes de evaluacin segn diferentes
autores : Cronbach ; Rossi, Freeman, Lipsey ; Mark, Henry,
Julnes y otros. Conclusiones del captulo.

2. Captulo 2. El vnculo Problema-Interrogantes y criterios de
evaluacin

Anexo. Ejemplos con errores y ejemplos acertados de la
elaboracin de interrogantes, el problema y los criterios.

3.Captulo 3. Conclusiones. Principales lecciones aprendidas en la
formulacin de interrogantes de evaluacin.

1
Profesora de la Escuela de Trabajo Social, Universidad de Costa Rica, directora de la
Maestra en Evaluacin, Universidad de Costa Rica. Documento elaborado en 2002.
www.ts.ucr.ac.cr 2
Introduccin:

La evaluacin es razonamiento, es discernimiento, es la identificacin del
mrito. Es la generacin de los criterios acertados para valorar, es el
estudio de las causas y los efectos de un problema y su reduccin atribuibles
al programa o proyecto evaluado.

En evaluacin la definicin del problema de investigacin, la identificacin de
criterios, la formulacin de interrogantes y la seleccin del enfoque
metodolgico son caras del mismo prisma y su correcta aprehensin incide
directamente en la calidad del diseo metodolgico.

Son muchos los enfoques que se han planteado para apoyar el diseo y
planificacin de la evaluacin. Son tambin muchas las discusiones
generadas sobre cules son los elementos a los que debe darse prevalencia
al conducir una evaluacin.

La tarea que nos proponemos realizar aqu, es indagar sobre la conformacin
de las interrogantes de evaluacin en conexin con la identificacin del
problema de investigacin y los criterios.

Ya sea que emplee metodologas cuantitativas, cualitativas o costo efectivas,
el evaluador de manera implcita o explcita, define el problema, formula los
criterios y las interrogantes de evaluacin para orientar el diseo
metodolgico.

En evaluacin, como en cualquier tarea cientfica e independientemente del
enfoque metodolgico en el que se apoye, el evaluador siempre diagnostica
la situacin evaluada.

Si partimos del concepto de que evaluar es sopesar el mrito, identificar el
valor, semejante tarea tiene mucho que ver con el conocimiento del objeto
evaluado. Una forma de conocer el objeto evaluado tiene que ver con su
elaboracin diagnstica. Diagnosticar
i
implica identificar, determinar,
reconocer, interpretar, realizar una caracterizacin del objeto evaluado, de los
problemas que presenta y de las causas que los generan.
El evaluador siempre arriba al diagnstico, con el diagnstico explica y valora
la situacin, identifica cun bueno es el objeto evaluado. Al diagnosticar, hace
suya esa funcin explicativa inherente al ejercicio cientfico.

Mucho de esa funcin explicativa se apoya en el planteamiento del problema
de investigacin : qu es lo que vamos a investigar ? qu caractersticas
observamos ? la situacin observada rene las condiciones de un problema
de investigacin, amerita ser investigada? Ser evaluada ?
Otro campo que consideramos poco investigado en evaluacin, es el empleo
de criterios. En evaluacin, tenemos a veces la tendencia a sobrevalorar las
metodologas, pero finalmente las metodologas tienen un carcter
www.ts.ucr.ac.cr 3
instrumental, mecnico. En la tarea evaluativa, el evaluador utiliza criterios
de manera constante y es lo ms juicioso y lo menos mecnico que hace.

El evaluador emplea criterios para seleccionar el mejor enfoque metodolgico,
acude a los criterios para entender mejor la problemtica que va descubriendo
con los resultados de la evaluacin, utiliza criterios para seleccionar cul es la
informacin que realmente necesita sobre el programa o proyecto evaluado.

El propsito de este trabajo tiene por as decirlo dos fases : 1) la primera
explorar la utilidad del planteamiento del problema de investigacin, los
criterios y la formulacin de las interrogantes buscando captar el vnculo de
estos tres elementos para fortalecer la coherencia en el diseo evaluativo.

2)La segunda fase busca identificar las caractersticas de las interrogantes de
evaluacin que puedan denominarse interrogantes acertadas. Qu
caractersticas tienen estas interrogantes de evaluacin ? cul es su
importancia ? por qu si se las considera centrales en el diseo de la
evaluacin existe ambigedad sobre cmo formularlas ?

Son pocos los trabajos publicados sobre la formulacin de las interrogantes
de evaluacin. Este hecho, como tambin la circunstancia de compartir con
otros colegas, la responsabilidad de dirigir los trabajos finales de graduacin
en la Maestra de Evaluacin de Programas y Proyectos de Desarrollo en la
Universidad de Costa Rica, nos anima a emprender esta tarea.

El primer captulo resume los aportes de distintos autores en lo que a
interrogantes de evaluacin se refiere. El segundo explora el vnculo
Problema, Criterios e Interrogantes en la evaluacin. El tercero expone
algunos diseos con ejemplos acertados y errneos sobre el Problema, los
Criterios y las Interrogantes y el cuarto resume las lecciones aprendidas sobre
la formulacin de interrogantes de evaluacin.

No pretendemos ni aspiramos a la creacin de ningn enfoque ni metodologa
novedosa, solamente buscamos generar reflexin en un campo que nos
apasiona.

Nuestra pasin por la evaluacin, tiene ms que ver con lo que nosotros
llamamos la misin social de la evaluacin, con la inspiracin de Ernest
House de la evaluacin y la justicia social, y la de Michael Scriven de
evaluacin y necesidad social, valor y mrito. Con Jennifer Greene y su
defensa del estudio de los valores en las evaluaciones, con la relacin que
Melvin Mark, Gary Henry y George Julnes encuentran entre la evaluacin y el
mejoramiento social. Son muchos los puntos de conexin que vamos
encontrando y que aumentan nuestra esperanza del rol promisorio de la
evaluacin para una sociedad ms humana.

www.ts.ucr.ac.cr 4

www.ts.ucr.ac.cr 5
Captulo 1.
LAS INTERROGANTES DE EVALUACION SEGN DIFERENTES AUTORES

1. Cronbach L. Diseando evaluaciones para
ii

programas sociales y educacionales

Antes de exponer la contribucin de este autor, queremos sealar que entre
sus muchos legados a la evaluacin, consideramos que el aporte de Lee
Cronbach en lo que a formulacin de interrogantes de evaluacin se refiere, no
ha sido superado por ninguno otro.

De Lee Cronbach, apreciamos primero que todo, esa imaginacin profunda y
verstil de investigador, en conjuncin con su sagacidad y su inteligencia
penetrante para no dejar de lado, la dinmica poltica que el
evaluador no puede soslayar. Con extraordinaria visin este autor nos ha
legado reflexiones que siguen gravitando en la tarea evaluativa, en frases
tales como histricamente, la evaluacin de programas sociales ha sido
vinculada a la reforma dentro del sistema, es difcil que la evaluacin y la
revolucin duerman juntas
iii

Asimismo, Cronbach es uno de los mayores y mejores exponentes terico-
prcticos en el campo de la evaluacin. Por ejemplo su propuesta de la
Cadena de Eventos, que entre otros recursos, propone para la generacin de
interrogantes, es desde nuestra perspectiva, precursora de la Teora del
Programa. Transcribimos a continuacin algunas de sus principales
acotaciones en lo que a interrogantes de evaluacin se refiere.

La identificacin de las interrogantes relevantes y el nfasis que a cada una se
otorgue, es una tarea central en el diseo de la evaluacin. A diferencia del
investigador tradicional que realiza su trabajo con un nmero definido y
delimitado de interrogantes, contestndolas paso a paso, al evaluador no le
est permitido el planteamiento parsimonioso de interrogantes por el puro
placer de investigar. Su reto mayor es iluminar una situacin, un problema en
un programa o proyecto en un plazo relativamente corto de tiempo y brindar la
informacin esperada.
Esta situacin no libera al evaluador de identificar las interrogantes acertadas,
partiendo primero de un rango muy amplio de preguntas. Para ello Cronbach
propone la realizacin de una fase divergente y de una fase convergente para
la seleccin de las interrogantes de evaluacin y
paralelamente la comunicacin y la negociacin cuidadosa del evaluador con
el contratante para la seleccin final de estas interrogantes.

La fase divergente

www.ts.ucr.ac.cr 6
El primer paso seala Cronbach, es que el evaluador abra su mente a
interrogantes que puedan ser consideradas prospectos de la evaluacin.

Este acto es un acto evaluativo en s mismo, ya que requiere la recoleccin de
datos, anlisis y juicio. Muy poca de esta informacin es cuantitativa y la
mayor parte se obtiene de conversaciones informales, de la observacin y de
la revisin de documentos. La aplicacin de los mtodos naturalsticos y
cualitativos, es especialmente apropiada en esta fase para que el evaluador
pueda identificar aspectos que no necesariamente salen a la superficie pero
que son claves para la investigacin.

Las fuentes a las que el evaluador puede acudir para formular las
interrogantes, son muchas y muy variadas. Es importante que consulte
personas con puntos de vista totalmente diferentes para que contrastando
opiniones, pueda calibrar mejor su percepcin evaluativa y evitar sesgos.
Es importante asimismo reflejar en estos cuestionamientos los valores de las
personas, los temores y esperanzas de los grupos que no tienen voz poltica.

Lo que este autor nos anima en esta fase, es explorar acuciosamente los
distintos ngulos del problema de investigacin, examinar distintas
perspectivas. A mayor nmero de preguntas, mayor ser la posibilidad de
obtener mayores perspectivas y mayores las posibilidades de descubrimiento.

Para la generacin de interrogantes de evaluacin, Cronbach aconseja
tambin imaginar el proceso del programa. Esto es plantear el problema
social, concebir los efectos de la intervencin del programa para reducir ese
problema, en una cadena de actividades. Apoyndose en lo que Wholey,
llama el modelo lgico, propone la cadena de eventos esperados o sea las
actividades mediante las cuales el programa producir el servicio planeado y
generar los efectos esperados para reducir el problema social. En torno al
problema social y el resultado que generar el programa, Cronbach propone
formular hiptesis de trabajo. Con esta nueva perspectiva, considera el autor,
se podrn formular nuevas interrogantes de evaluacin y consecuentemente
medir ms resultados y efectos del programa.

Otro recurso al que puede acudir el evaluador propone Cronbach, es realizar
lo que l denomina la auditora social. Bajo esta modalidad se realiza un
seguimiento de la administracin de los recursos desde su fase inicial hasta
que son entregados al ltimo receptor o beneficiario. En este proceso podran
detectarse dos posibles causas de inefectividad de los recursos : 1) que los
recursos no estn generando ningn cambio y 2) o que esos recursos se
administren de una manera que los recursos no lleguen al ltimo beneficiario
conforme al proceso planeado. Todo esto formara de la planificacin de la
evaluacin y la formulacin de interrogantes en la fase divergente.

Asimismo, Cronbach considera que el evaluador debe anticiparse a las
contrainterpretaciones. El escepticismo en una parte integral del proceso
cientfico seala Cronbach y el evaluador al planear un estudio, debe
www.ts.ucr.ac.cr 7
anticiparse tanto a los resultados del programa, como tambin a las
interpretaciones opuestas que pueden darse a esos resultados. De estas
hiptesis rivales se pueden generar interrogantes de investigacin dentro de la
cadena de razonamiento.

La Fase Convergente

La fase convergente tiene como propsito identificar lo que es valioso y lo que
es prioritario investigar dadas las restricciones de tiempo y recursos que tiene
el evaluador. Cronbach proporciona cuatro pautas orientadoras para
seleccionar las interrogantes :

1. cuando existe un gran incertidumbre sobre la respuesta
2. cuando el estudio promete reducir una buena proporcin de incertidumbre

3. cuando los costos de investigacin son comparativamente reducidos

4. cuando la informacin que vaya a proporcionar la respuesta tenga un alto
grado de influencia de la seleccin de las polticas o en las
decisiones operativas.

Estas cuatro pautas deberan combinarse con un clculo de los costos
econmicos en los que se incurrira al contestarlas. En relacin a la
influencia que pueda tener una respuesta de evaluacin, Cronbach seala que
esto requiere que se reflexione sobre el contexto poltico y social, por ejemplo,
un asunto que sea muy importante desde la perspectiva comunal tiene una
gran influencia, como tambin si un grupo de presin le asigna mucha
importancia.

Asimismo, respuestas que proporcionen informacin sobre las razones por las
que un programa tiene xito o no tambin tendrn tambin mucha influencia,
como lo puede tener un descubrimiento positivo.

Al seleccionar las interrogantes el evaluador explcitamente considerar las
preguntas que son ms valoradas por los participantes an cuando al hacerlo,
traiga a colacin situaciones que el contratante preferira que no fueran
ventiladas. Haciendo referencia a House, Cronbach aconseja tambin
considerar la seleccin de preguntas, en las que el evaluador abra la puerta a
los valores dejados al margen, como podran serlo los provenientes de los
grupos en desventaja econmica y social.

Cronbach pregunta cun lejos puede llegar el evaluador en la formulacin
de preguntas que podran incomodar al contratante ? A los gerentes no les
gustan las malas noticias pero usualmente ellos son lo suficientemente
inteligentes como para reconocer que la ignorancia no es la mejor poltica.
iv
.
En todo momento lo que Cronbach propone es una relacin inteligente entre el
www.ts.ucr.ac.cr 8
evaluador y la compaa o persona que lo contrata, de manera que el
evaluador pueda por decirlo as negociar la formulacin de interrogantes de
evaluacin que sean realmente trascendentes para el conocimiento y el
impacto que vaya a generar la evaluacin.

2. Rossi P., Freeman H. y Lipsey J. Evaluacin : un enfoque
sistemtico
v

Para estos autores, la esencia de la evaluacin, su misin principal es generar
respuestas que tengan credibilidad sobre el cumplimiento de un programa
social.

Ellos sostienen que las preguntas acertadas en evaluacin son aquellas que
identifican los aspectos clave del programa y que son significativas y tienen
relacin con la naturaleza del programa y sus usuarios. Ellos proponen :

1) que antes de formular las interrogantes de evaluacin se identifique
claramente a los participantes y grupos interesados en el programa. Que
el evaluador interaccione y negocie con ellos, cules son los aspectos
cruciales que ms les preocupan sobre el programa para derivar de ah
las interrogantes de evaluacin.

2) que las interrogantes respondan a los aspectos cruciales y a los criterios
por medio de las cules se determina el cumplimiento satisfactorio del
programa.

3) Que las interrogantes puedan ser respondidas por medio de las tcnicas
de investigacin accesibles al evaluador.

4) que se tome en cuenta la teora del programa o sea el cmo se supone
que debera de ser el cumplimiento del programa, las premisas en las que
ste se apoya y los aspectos crticos relativos a su funcionamiento.

En relacin al primer elemento, destacan los autores, que la interaccin del
evaluador con los interesados y participantes en el programa, facilitar su
colaboracin y contribuir a asegurar la utilizacin de los resultados de la
evaluacin.

Sin embargo, son enfticos en sealar que la participacin de los interesados,
no libera al evaluador de focalizar y conformar la estructura metodolgica de
la evaluacin. Es responsabilidad del evaluador incorporar en el diseo
evaluativo, aquellos aspectos que podran pasar inadvertidos a los
participantes y que son fundamentales para realizar una evaluacin rigurosa.

Consideran estos autores, que la identificacin de los aspectos cruciales del
programa (segundo elemento), antecede a la formulacin de las interrogantes
www.ts.ucr.ac.cr 9
de evaluacin. Algunas de las fuentes de donde pueden identificarse estos
aspectos cruciales son :

las necesidades y deseos de la poblacin beneficiaria
los objetivos y metas del programa
los estndares profesionales aplicables al programa
las normas de rendimiento fijadas para otros programas
los requerimientos legales
los valores ticos y morales; justicia social, equidad
datos histricos sobre el cumplimiento del programa en aos anteriores
las metas fijadas por los gerentes y niveles directivos del programa
la opinin de expertos
los resultados y condiciones esperadas en ausencia de la intervencin del
programa
los costos econmicos (los costos relativos)

En el captulo 2 retomamos de stos y de otros autores las principales
lecciones derivadas en torno a la formulacin de las interrogantes de
evaluacin.

Las interrogantes de evaluacin determinan y orientan el diseo
metodolgico. Rossi et al, destacan que uno de los principios bsicos que el
evaluador debe tener en cuenta al formular una interrogante de evaluacin es
asegurarse de que pueda drsele respuesta. (tercer elemento).

La elaboracin de las interrogantes de evaluacin conlleva a la derivacin de
criterios, como ya se seal. Esta derivacin de criterios debe conducir a la
identificacin de las dimensiones y estndares por medio de las cuales se
pueda dar respuesta a esas interrogantes.
Por ejemplo en un programa estatal de Comedores Escolares para menores
de escasos recursos , si la interrogante de evaluacin es : est el programa
llegando a los nios que ms necesitan de sus servicios ?

Para poder responderla el evaluador requiere :

a. Definir el grupo de escolares meta identificando edad, condicin nutricional,
condicin socioeconmica y ubicacin geogrfica.

b. Conceptualizar la dimensin necesidad que incluira entre otras : la
identificacin del ingreso anual de poblaciones en pobreza, las
www.ts.ucr.ac.cr 10
caractersticas sociales de las familias pobres : uniparentales, nivel
educativo, acceso a capacitacin, etc.

c. precisar el tipo de resultado que se podra obtener al responder la
interrogante de evaluacin, por ejemplo : 60% de los menores servidos
responden a las caractersticas de la poblacin meta del programa.
d. estipular los criterios evaluativos deseables para el resultado que se busca
alcanzar con el programa : al menos un 90% de los menores servidos debe
corresponder a las caractersticas de la poblacin meta.

e. Lograr una respuesta afirmativa por parte de los interesados e involucrados
en el programa, de que los aspectos anteriormente indicados (a-d)
contribuyen a responder satisfactoriamente la interrogante de evaluacin.

El cuarto elemento es el anlisis de la teora del programa. La teora del
programa puede definirse como el conjunto de beneficios sociales que el
programa est supuesto a generar
vi
y las estrategias y tcticas que adopta el
programa para alcanzar sus metas y resultados. Dentro de la teora del
programa, se distinguen tres componentes :

- el componente organizacional, resorte de los niveles gerenciales y que
abarca las funciones, actividades y recursos humanos, materiales y
financieros requeridos para el funcionamiento del programa.

- el componente de la utilizacin del servicio la secuencia de eventos por
medio de los cuales se espera que la poblacin meta esperada reciba los
servicios esperados.
De manera conjunta, el componente organizacional y el componente de la
utilizacin del servicio. conformaran la teora procesal del programa cuya
descripcin sintentizara los supuestos y las expectativas de la manera cmo
se espera que funcione el programa.

- el componente de la teora del impacto, el cambio social que se espera
que el programa produzca y los beneficios que este cambio generar en el
mejoramiento de la poblacin meta y de la sociedad.

Obsrvese que todos estos componentes descansan en supuestos de cmo
deberan funcionar el programa, responder la clientela o poblacin meta y los
beneficios sociales que se espera generar. El anlisis de estos
componentes : el plan organizacional, el plan de utilizacin del servicio y la
teora de impacto, ayudar a dilucidar los supuestos, las expectativas, los
beneficios y resultados que se espera alcanzar con el programa.

En relacin a estos supuestos de la teora del programa, Rossi, Freeman y
Lipsey, destacan que naturalmente el programa deber estar organizado de
tal manera que pueda verdaderamente proveer los servicios planeados para
www.ts.ucr.ac.cr 11
obtener los resultados esperados. Por lo tanto deber contar con los recursos
necesarios para lograr el funcionamiento requerido. OJO CITA

Algunas observaciones sobre el aporte de Rossi, Freeman y Lipsey

El trabajo de estos autores es de gran utilidad y adems es uno de los pocos
que se ocupan de sistematizar y exponer el conocimiento generado sobre la
formulacin de interrogantes, sealando que :

-las interrogantes de evaluacin se derivan de los aspectos cruciales del
programa y de los criterios por medio de los cuales se mide el cumplimiento
satisfactorio del programa.

-el evaluador deber asegurarse de que las interrogantes de evaluacin que
formule, puedan efectivamente ser respondidas con la evaluacin.

-el planteamiento de estas interrogantes de evaluacin, se facilita con la
incorporacin de la Teora del Programa y sus componentes sobre la
Utilizacin del Servicio, la Teora del Impacto y el elemento Organizacinal.
El anlisis de estos componentes facilita el anlisis del programa o proyecto y
la identificacin de sus aspectos clave.

1)A nuestro parecer, los autores enfatizan un poco demasiado, la temtica
sobre la teora del programa que tiene mucho ms que darle a los
administradores, a los planificadores y a los niveles gerenciales, que a los
evaluadores.

Lo que queremos decir es que el evaluador al examinar el programa no debe
centrar su trabajo, solamente en valorar si el plan organizacional y los
objetivos de utilidad e impacto del programa, se estn cumpliendo de acuerdo
al plan establecido. El juicio evaluativo debe abarcar y profundizar otras
dimensiones ya que la realidad y el contexto social cambian constantemente.

2)En la teora del impacto del programa, los autores sealan que la
identificacin del impacto deseado del programa, lleva al evaluador a estudiar
la cadena de causas y efectos y a generar interrogantes de evaluacin que
pueden ser muy necesarias y significativas.

No obstante nuestra reserva sobre la Teora del Programa, es que si se apoya
mucho en esa teora, el papel del evaluador pudiera quedar reducido a
sealar el cmo debieron haberse hecho las cosas en el programa de acuerdo
a los planes y resultados esperados, y no tanto en realizar el juicio valorativo
de acuerdo a la realidad misma del programa. Este juicio valorativo incluira
un anlisis comprensivo por parte del evaluador de la dinmica poltica, de
los valores de los participantes, de la problemtica de poder, de los intereses
de los grupos de presin y de los resultados realmente alcanzados.
www.ts.ucr.ac.cr 12
La lectura de la teora del programa, nos causa a veces la sensacin de una
supuesta realidad desde la cual se intenta calcar la dinmica del programa y
de alguna manera rigidizarla. No queda claro por ejemplo, qu aconsejan los
autores al evaluador, para enfrentar las contradicciones inherentes al sistema
social, como son estos aspectos de la dinmica de poder que son el pan de
cada da en la ejecucin y evaluacin de los programas sociales.

Los aportes que hacen estos autores en relacin a la generacin de
interrogantes son muy valiosos, sin embargo al darle un peso tan grande a la
Teora del Programa, distraen el contenido del captulo tres de la obra ya
mencionada, cuyo ttulo va referido a la Identificacin de los aspectos clave
y la formulacin de interrogantes Sin embargo, es nuestro criterio que se
requiere mayor orientacin para los evaluadores sobre cmo generar
interrogantes de evaluacin acertadas.

3. MARK M., HENRY G.Y JULNES G.
EVALUACION : UN MARCO INTEGRADO PARA LA
COMPRENSION, GUIA Y MEJORAMIENTO DE LAS POLITICAS Y LOS
PROGRAMAS PUBLICOS Y NO LUCRATIVOS.
vii

Este texto de publicacin muy reciente (julio 2000) es un buen aporte a la
teora de la evaluacin. Una de sus mayores ventajas es que busca
encontrarle el sentido al quehacer de la evaluacin. Los autores proponen que
el fin principal y la razn de ser de la evaluacin es el mejoramiento social y
que la evaluacin puede ayudar a fortalecer, expandir y corregir la manera en
que las personas, individual y colectivamente le encuentran sentido a la
polticas y programas creados para satisfacer necesidades humanas. Ellos
buscan crear una teora comprensiva de la evaluacin y de este aspecto no
nos vamos a ocupar aqu. Tomaremos de ellos las cuatro modalidades de
indagacin que proponen para la evaluacin.

De estas modalidades de indagacin derivaremos las interrogantes de
evaluacin que ellos presentan, para que el lector las utilice en su diseo
evaluativo y finalmente realizaremos algunas observaciones sobre el aporte de
estos autores sobre estas modalidades.
__________________________________________________________

CUATRO MODALIDADES DE INDAGACION PARA LA PRACTICA DE LA
EVALUACION

1. Descripcin : los mtodos que se utilizan para medir eventos o
experiencias, tales como las caractersticas de los clientes, los servicios
que se prestan, los recursos, y los resultados potenciales desde el punto
de vista del cliente.

www.ts.ucr.ac.cr 13
2. Clasificacin : los mtodos que se utilizan para agrupar y para investigar
las estructuras subyacentes, tales como el desarrollo y la aplicacin de una
taxonoma de un programa.

3. Anlisis causal : los mtodos utilizados para explorar y probar las
relaciones causales(entre los servicios que brinda el programa y los efectos
en los usuarios) o para estudiar los mecanismos que generan tales
efectos.

4. La indagacin de los valores : los mtodos utilizados para valorar los
procesos, identificar los valores existentes, o examinar las posiciones
valorativas utilizando el anlisis formal o crtico.

Fuente : Mark M. et al. Evaluation. An Integrated framework for Understanding,
Guiding and Improving Public and Nonprofit Policies and Programs. San
Francisco, Jossey Bass.2000.p.15. traduccin libre por X.Picado.
___________________________________________________________

1. El aspecto central de la Descripcin es brindar informacin que enriquezca
el anlisis del programa. En este sentido la descripcin se ocupar de
describir los servicios que ofrece el programa, los recursos, las
caractersticas de sus participantes, el contexto y los resultados que se
espera alcanzar con el programa.

En la representatividad debe sopesarse con cuidado la idoneidad de esta
representatividad, en el sentido de si realmente puede atribuirse a la
descripcin. Los autores denominan a esta situacin la crisis de la
representatividad, sealando que principalmente se ha presentado en los
mtodos cualitativos y en donde la conclusin generada es que no hay
descripcin correcta y no hay claridad sobre como diferenciar la calidad de
representatividad
viii
de una descripcin sobre otra.

2. La Clasificacin

El propsito principal de la clasificacin es la identificacin de tipologas y
categoras que se obtendran por inferencia al observar las caractersticas de
los polticas, de los programas. El propsito principal de semejante cometido
es desarrollar un sistema de clasificacin, de categorizacin en el que sea
posible ubicar a las polticas, los programas y los proyectos o cualquier
entidad objeto de evaluacin con el propsito no solo de ubicarlos de acuerdo
a su naturaleza sino tambin de encontrar para ellos posibles soluciones que
sistemticamente les sean aplicables.

Una parte de esta bsqueda de taxonomas y tipologas y su aplicabilidad en
la evaluacin se deriva de las ciencias naturales referida por ejemplo a la
clasificacin de los vertebrados, los invertebrados y de las miles de jerarquas
www.ts.ucr.ac.cr 14
de los seres vivientes y en la bsqueda del ser humano- al menos esa es
nuestra interpretacin- de encontrar el hilo invisible que une e integra esos
grupos y sistemas y de esta manera por decirlo as- comprender su dinmica,
su comportamiento en forma sistemtica-. Este tipo de clasificaciones han
sido especialmente valiosas en la estadstica aplicada a las ciencias sociales
pero presentan muchas debilidades al querer aplicarlas en el campo de la
evaluacin aspectos en los que concordamos con los autores y que pueden
ampliarse en el captulo ocho de la obra en referencia.

3. El anlisis causal
Los autores sealan que el anlisis causal es una parte vital del instrumental
metodolgico de la evaluacin y en este sentido como ellos mismos acotan
hay literatura y metodologa abundante : los diseos
cuasiexperiementales y los experimentos naturales, los diseos de pre-test y
post-test, las series de tiempo, los diseos con grupos no equivalentes, los
experimentos aleatorios son algunos los enfoques a los que hacen referencia.

Los autores destacan que un elemento a tener en cuenta en el anlisis causal,
es que los diseos cuantitativos no deben ser los que orienten las decisiones
y la razn de ser del ejercicio evaluativo. Esta orientacin de la
tarea evaluativa encuentra su cometido en la indagacin misma de los valores,
perspectiva a la que nos referiremos seguidamente.

4. La indagacin de los valores

Partiendo de la consideracin de que el ser humano ha ingeniado
mecanismos sofisticados y diversos para identificar sus propias valoraciones,
esta modalidad de indagacin tiene como propsito central el
fortalecimiento de las habilidades naturales que tienen las personas para
identificar los valores que les son ms significativos.

Los autores presentan diversas perspectivas sobre los valores. Hacen
referencia a la valoracin natural y despus a la primaca de una sabidura
prctica. El ser humano realiza valoraciones cotidianamente, la valoracin es
una actividad natural, adaptativa y la dictoma hechos y valores es artificial ya
que existe una interpenetracin de hechos y valores en el mundo real y para
ello refieren al lector a las publicaciones de Thompson, Ellis y Wildavsky.
2

Propulsan adems la indagacin de valores en servicio a la democracia
sealando y de esta forma las evaluaciones que toman en consideracin las
perspectivas valorativas de las mayoras y las minoras pueden contribur a
fortalecer las instituciones democrticas y a la proteccin de los intereses de

2
Thompson, M., Ellis, R,.&Wildavsky, A. Cultural theory. Boulder, CO :Westview Press.1990.citado
por Mark M. et al op.cit. p293
www.ts.ucr.ac.cr 15
las minoras. Para esto enfoque refieren al lector a los trabajos de House,
House y Howes
ix
inspirados en parte en enfoque filosfico de Rawls
x

Hacen tambin una referencia interesante en relacin al contexto sealando
que en las valoraciones que realizan los seres humanos tienen mucho peso
los valores contextuales pero que esto no debe confundirse con la
relativizacin de los valores.

En el campo de la evaluacin, la indagacin de los valores puede brindar un
servicio importante en la identificacin del mrito y del valor del objeto
evaluado. Pueden ser adems de mucha utilidad para avanzar en el
conocimiento de los problemas sociales, las necesidades y las valoraciones
que las personas hacen de esos problemas.

Bajo estas perspectivas, los autores citan los aportes de Michael Scriven en
ambos componentes de tarea evaluativa. La indagacin valorativa puede ser
abordada utilizando diversas tcnicas : cuestionarios para identificar los
valores predominantes, los cuestionarios pblicos, los grupos focales, los
procesos de simulacin deliberativa y los enfoques de revisin crtica.
Diversas tcnica estadsticas como ANOVA y ANCOVA entre otros pueden ser
aplicados para identificar las opiniones y sus rangos de distribucin valorativa.

Observaciones

El aporte de los autores es novedoso principalmente en la orientacin, en la
misin que encuentran para el ejercicio evaluativo : el mejoramiento social. La
contribucin a la sociedad que la evaluacin puede hacer es verdaderamente
inspiradora y esclarecedora.

Asimismo, la propuesta de cuatro modalidades de indagacin : descripcin,
clasificacin, anlisis causal y valorativa contribuye a una mayor dilucidacin
de las funcionalidades de la tarea evaluativa. Examinadas ms a fondo, de
estas modalidades de indagacin solamente dos -y esta ya es opinin
nuestra- solamente dos, resultan de verdadera utilidad metodolgica para la
evaluacin : el anlisis causal y la indagacin valorativa.
El primero porque de este enfoque requieren insumos todas aquellas
evaluaciones que buscan indagar las causas y los efectos de la problemtica
evaluada. Asimismo, la indagacin valorativa, trasciende todos los actos
humanos y por lo tanto todas las evaluaciones que el hombre haga.

Las modalidades de indagacin denominadas Descripcin y Clasificacin
merecen comentarios separados. La Descripcin siempre ser una tarea que
va a acompaar la labor de la investigacin, y que va a apoyar la realizacin de
una evaluacin, pero la Descripcin -no es una tarea que
conlleve en s misma el ejercicio de evaluar-, queremos decir, uno puede estar
describiendo pero no necesariamente evaluando. Cuando empleamos las
indagaciones valorativas y el anlisis causal estaremos siempre evaluando.
www.ts.ucr.ac.cr 16
La Descripcin es una tarea esencial en cualquier investigacin y en cualquier
evaluacin pero esencialmente no es una tarea evaluativa.

La Clasificacin es un buen intento en la bsqueda del conocimiento de la
dinmica que rige las agrupaciones de los hechos naturales y sociales. Su
perspectiva es interesante porque si efectivamente el ser humano pudiera
probar que existen mecanismos subyacentes que rigen los hechos sociales, el
conocimiento de la dinmica social se simplificara muchismo. Los autores
mismos sealan las limitaciones de esta modalidad de indagacin y le
reconocen sus restricciones, pero an as lo presentan como una modalidad
de indagacin, lo que resulta de poco fundamento para la solidez de una
construccin terica en evaluacin.

Hechas estas observaciones de manera general, pasemos ahora a ver de qu
manera estas modalidades de indagacin, pueden ser tiles en la formulacin
de las interrogantes de evaluacin. Para ellos nos basaremos en el mismo
cuadro de los autores sobre las cuatro modalidades de indagacin, que
traducimos en las pginas anteriores y del cual derivaremos interrogantes
para la generacin del acto evaluativo :

1.Descripcin cules son caractersticas de los clientes ? el tipo de
servicios que ofrece el programa, los recursos de los que dispone ?
2.Clasificacin existen estructuras subyacentes cuya identificacin permita
agrupar o clasificar por grupos o caractersticas la poblacin del programa o
proyecto evaluado ? facilita esta clasificacin el conocimiento de la dinmica
y el comportamiento de la poblacin evaluada ?es posible mediante el
conocimiento generado por esta clasificacin mejorar e intervenir
sistemticamente los problemas sociales que se busca resolver con los
programas o proyectos ?

3.Anlisis causal son atribuibles los resultados a los programas o proyectos
evaluados ?

4.Indagacin valorativa cules son los resultados del programa o del
proyecto que son mejor valorados desde la perspectiva individual y comunal ?

Observaciones a las interrogantes planteadas :

La interrogante 1 busca describir las caractersticas del objeto y de la
poblacin evaluada. Una acertada descripcin del objeto es parte de la tarea
de la investigacin. Si bien la descripcin es una de las fases de la
investigacin y de la evaluacin no es esencialmente una tarea que por s
misma logra el cometido final de la evaluacin, cual es valorar, identificar el
mrito, alcanzar el mejoramiento social. Como modalidad de indagacin no
es esencialmente evaluativo como si lo pueden ser el anlisis causal y la
indagacin valorativa. Para nosotros, la descripcin es ms pre-evaluativa
que un acto esencial de la tarea de evaluar.
www.ts.ucr.ac.cr 17

2. La interrogante 2 explora estructuras subyacentes que permitan
identificar si las poblaciones evaluadas son susceptibles de ser clasificadas
en categoras para permitir su intervencin sistemtica. Dado que estas
categorizaciones no se han podido lograr de manera global en el campo
sociolgico ni en las ciencias polticas ni en otras disciplinas sociales, resulta
difcil pensar que siendo la evaluacin apenas un campo que emerge, y que
de acuerdo a Ernest House
xi
todava no alcanza todas las caractersticas de
una disciplina, es difcil que esta modalidad de indagacin pueda servir de
fundamento a la formulacin de una interrogante de evaluacin.

La interrogante 3 explora las causas y los efectos que genera el objeto
evaluado. Es esencialmente evaluativa porque como explicamos en el
anteriormente, su respuesta llevar al evaluador directamente a identificar, a
sopesar, a dar una respuesta de un hecho desconocido. La indagacin de
causas y efectos es un proceso del que no puede prescindirse en el ejercicio
evaluativo.

Una interrogante tipo 3, aunque tenga sus limitaciones cuenta con un arsenal
metodolgico importante que se ha venido desarrollado en las ltimas
dcadas en las ciencias sociales y en otros campos. Esta modalidad de
indagacin conducida adecuadamente, estar generando interrogantes
evaluativas que proporcionarn informacin fundamentada y significativa en
el campo de la evaluacin.

La interrogante 4 busca identificar las valoraciones humanas. Esta
interrogante es tambin esencialmente evaluativa porque se ocupa de
evaluar, valorar, sopesar elementos que an no se conocen y que tienen
mucha significacin desde la perspectiva humana. Su mayor reto es que e no
existen todava avances cientficos suficientes como para poder fundamentarla
totalmente, pero es una modalidad de indagacin que no puede obviarse en el
campo evaluativo.

4.LAS INTERROGANTES CLAVE

House y Howe(1999 :113) proponen diez interrogantes crticas para la
aplicacin de su enfoque democrtico. Este enfoque o perspectiva evaluativa
propone que el evaluador incorpore a su modelo evaluativo las siguientes
preguntas :

1- Los intereses de cules grupos estn representados en la evaluacin ?
2- estn representados los principales grupos afectados por el programa o
proyecto?
3- hay algn grupo que ha sido excluido ?
4- se presentan en la situacin evaluada serios desequilibrios de poder entre
los distintos grupos afectados por el programa o proyecto ?
5- de qu manera participan dichos grupos en la evaluacin ?
www.ts.ucr.ac.cr 18
6- cun autntica es su participacin ?
7- en qu medida han sido tomados en cuenta los puntos de vista de estos
grupos en el diseo y orientacin de esta evaluacin ?
8- la realizacin de la evaluacin est permitiendo una reflexin deliberativa ?
9- con qu espacio y extensin ha podido llevarse a cabo esta reflexin
deliberativa ?

PRIMERA APROXIMACION A LAS LECCIONES SOBRE LA FORMULACION
DE INTERROGANTES DE EVALUACION

A continuacin resumimos las lecciones derivadas de los autores estudiados
en lo que a formulacin de interrogantes de evaluacin se refiere.

Tanto Cronbach como Rossi, Freeman y Lipsey, consideran que la
identificacin de las interrogantes relevantes es una tarea central en el diseo
de una evaluacin. Ambos concuerdan tambin en que las interrogantes
relevantes se derivan del conocimiento de los aspectos cruciales
3
del
programa.

Para Cronbach, el evaluador no debe abandonar jams su actitud
investigativa. Al formular las interrogantes debe abrir su mente a todas las
ideas, recursos, informantes clave que le permitan sopesar ngulos muy
diversos del objeto de evaluacin.

Para la generacin de interrogantes de evaluacin, Cronbach propone dos
fases : la Fase Divergente para el levantamiento de una lista exhaustiva de
interrogantes de evaluacin y la Fase Convergente para la seleccin de esas
interrogantes.

En la Fase Divergente, Cronbach recomienda que el evaluador consulte
muchas y muy variadas fuentes : los beneficiarios, los grupos de presin, los
contratantes, en otras palabras examinar el programa con ojos y la visin de
participantes muy diversos. Asimismo recomienda acudir a distintos recursos
para generar interrogantes de evaluacin :

n imaginar el proceso del programa desde su inicio hasta los resultados y los
cambios sociales que se espera generar.
n examinar cmo se administran los recursos en el programa desde que son
entregados en su fase inicial hasta que son recibidos por el ltimo
beneficiario, realizando lo que Cronbach denomina una auditoria social.

3
Nota de la autora : Es importante destacar aqu que en evaluacin en la literatura escrita en ingls
un vocablo muy utilizado es el trmino issue que nosotros traducimos ac como aspecto
crucial, elemento clave pero que en ingles tiene ms acepciones. Los issues son las
cuestiones sociales aquellos aspectos dinmicos en la formulacin de polticas y de programas
que se convierten en focos de atencin y tensin social. Por eso en ingls es comn or decir que un
asunto x se convirti en un issue y en el vocabulario ingls para la evaluacin tiene una
utilizacin muy frecuente.
www.ts.ucr.ac.cr 19
n analizar las visiones contrapuestas que los participantes tengan del
programa
n examinar los resultados esperados del programa y generar interrogantes de
evaluacin
n plantear hiptesis de trabajo sobre el posible impacto del programa y
generar de ah interrogantes de evaluacin.
n adelantarse a las contrainterpretaciones, esto es plantear hiptesis rivales
sobre los resultados del programa y generar de ah nuevas interrogantes de
evaluacin.
n generar una lista exhaustiva de interrogantes de evaluacin en lo que
Cronbach denomina la fase divergente.

Para la seleccin de las interrogantes de evaluacin o fase convergente este
autor recomienda :

seleccionar la incertidumbre prioritaria o sea escoger aquellas interrogantes
cuyas respuestas contribuyan a despejar esas
incertidumbres.

escoger aquellas interrogantes cuyos costos de investigacin sean
comparativamente reducidos.

priorizar aquellas interrogantes de evaluacin cuya respuesta vaya a tener
un alto grado de influencia en las decisiones que se vayan a tomar sobre
las formulaciones de polticas o sobre decisiones operativas.

seleccionar aquellas interrogantes que identifiquen por qu un programa
es exitoso.

seleccionar aquellas interrogantes que indaguen sobre los valores de los
participantes

De Cronbach derivamos la enseanza del enorme cuidado que hay que poner
en la elaboracin y en la seleccin de las interrogantes. La escogencia de
las preguntas se realiza en base a consideraciones prcticas, polticas y
tambin sustantivas. Este tipo de juicios no pueden realizarse en trminos
puramente lgicos, el diseador debe sopesar las oportunidades que deja ir,
si adopta un diseo particular.(...). El costo de responder una pregunta debe
sopesarse contra el costo de no responder otras
xii
, teniendo en cuenta tambin
si esto aumentar o reducir la incertibumbre.

Para la formulacin y depuracin de las interrogantes en evaluacin,
Cronbach propuso el proceso de fases divergente y convergente. En la fase
divergente se realiza una formulacin extensa de interrogantes en base a un
rango amplio de informantes. En la fase convergente el evaluador busca
identificar y detectar lo que es valioso de ser investigado, se depuran y
seleccionan las interrogantes de evaluacin

www.ts.ucr.ac.cr 20

Cronbach recomienda que el evaluador mantenga siempre una actitud
investigativa, conservando escepticismo propio del cientfico.

Esta actitud cientfica, deber acompaarla a la vez de un sentido prctico
aplicando su juicio profesional y las ventajas de su conocimiento tcnico
especialmente al negociar con el contratante las interrogantes de evaluacin
que sern investigadas.

As ante la evidencia de los resultados y anticipndose a las reacciones tanto
de los defensores como de los oponentes del programa.

EL APORTE DE ROSSI, FREEMAN Y LIPSEY

Estos autores brindan los siguientes lineamientos para la formulacin de las
interrogantes de evaluacin :

n interaccionar y entrevistar a los informantes clave para identificar sus
preocupaciones, sus inquietudes.
n detectar cules son las principales preocupaciones del cliente en torno a las
interrogantes de evaluacin que desea investigar elaborar interrogantes
sobre los aspectos cruciales del programa tales como :
las necesidades y deseos de la poblacin beneficiaria los objetivos y metas
del programa

los estndares profesionales aplicables al programa
las normas de rendimiento fijadas para otros programas
los requerimientos legales
los valores ticos y morales; justicia social, equidad
datos histricos sobre el cumplimiento del programa en aos anteriores
las metas fijadas por los gerentes y niveles directivos del programa
la opinin de expertos
los resultados y condiciones esperadas en ausencia de la intervencin del
programa
los costos econmicos (los costos relativos)

Las interrogantes de evaluacin determinan y orientan el diseo
metodolgico. Rossi et al, destacan que uno de los principios bsicos que el
evaluador debe tener en cuenta al elaborar las interrogantes de evaluacin

n elaborar interrogantes a las que realsticamente pueda drseles respuesta
n formular interrogantes cuyas respuestas generen credibilidad
n generar criterios que permitan medir los criterios de cumplimiento en lo que
a resultados del programa se refiere.
www.ts.ucr.ac.cr 21
n apoyarse en la teora del programa para emitir interrogantes diversas sobre
los aspectos organizativos, la entrega de servicios y el impacto del
programa.
n aplicar el juicio profesional y la responsabilidad metodolgica del evaluador
en la seleccin final de las interrogantes de evaluacin.
respuesta.
n identificar criterios para determinar las dimensiones y estndares para dar
respuesta a las interrogantes. b)conceptualizar las dimensiones utilizadas
tales como : necesidad social, y c) precisar concretamente los resultados
que se busca alcanzar.

CAPITULO 2

EL VNCULO ENTRE EL PROBLEMA, LOS CRITERIOS Y LAS
INTERROGANTES DE EVALUACIN

En este captulo exploraremos la relacin vinculante que tienen el Problema,
los Criterios y las Interrogantes en el diseo de la evaluacin y destacaremos
algunas de sus caractersticas con el propsito de alcanzar una mayor
comprensin de la importancia de esta fase de la planificacin evaluativa.

1. El Problema en evaluacin

Para disear y ejecutar la evaluacin, el evaluador emplea criterios que
constantemente deriva de fuentes como :

1)el anlisis del programa o proyecto evaluado
2)el problema social que le di origen
3)las necesidades y demandas sociales planteadas
4)su misma capacidad de discernimiento y juicio crtico.

Como seala Babbie
xiii
una cuidadosa formulacin del problema, incluyendo
las mediciones relevantes y los criterios de xito y de fracaso, son esenciales
en la investigacin evaluativa.

En el campo de la evaluacin de programas y proyectos, una de las
situaciones con las que frecuentemente nos encontramos, es que no se
considera un imperativo la definicin del problema.

La tarea de evaluar conlleva una responsabilidad social y cientfica de
envergadura. Al evaluar asignamos valoraciones positivas o negativas o de
www.ts.ucr.ac.cr 22
otra ndole al objeto evaluado y con ello afectamos situaciones y vidas
humanas. Al evaluar generamos conocimiento. Para que este conocimiento
pueda considerarse cientfico ha de generarse sistemticamente.

La evaluacin generar conocimiento cientfico, cuando est en capacidad de
describir y explicar su objeto de estudio y explicar las causas que lo rigen.
Para desarrollar esa capacidad de generar conocimiento de manera rigurosa,
debe acudir al mtodo cientfico ya sea mediante la evaluacin cuantitativa,
cualitativa o ambas.

Apoyarse en el mtodo cientfico conllevar al evaluador a la construccin
paulatina de una teora. La teora constituye un cuerpo de conocimiento que
organiza, categoriza, describe, predice, explica y facilita el entendimiento y el
control de una temtica.
xiv
La validacin o no de las teoras propias del
conocimiento cientfico, se apoyan en la metodologa de construccin terica.
Quiere esto decir, que las teoras y proposiciones que la conforman, estn
sujetos a procedimientos
xv
de demostracin, validacin y comprobacin.

En evaluacin si queremos ser rigurosos estamos obligados a comprobar y
explicar. Pero no se trata solamente de un querer mostrar rigurosidad solo
para considerar cientfico nuestro trabajo. La utilidad prctica, es que
teniendo en cuenta que la evaluacin sirve a todas las disciplinas, tomando
en cuenta su carcter transdisciplinario, pueda la evaluacin brindar su
aporte contribuyendo a la solucin de problemas en campos muy diversos.

Para demostrar, validar, comprobar y explicar el conocimiento generado, el
evaluador agudiza su capacidad de observacin y de descripcin de los
hechos sociales y busca mediante la teora y el mtodo fortalecer su
capacidad explicativa del objeto evaluado.

Si todo proceso de conocimiento cientfico empieza con la observacin y la
descripcin, el evaluador debe observar, describir y definir su objeto de
conocimiento y de evaluacin. Pero el objeto de conocimiento del evaluador,
no se centra nicamente en el programa o proyecto que debe evaluar.

El objeto de conocimiento y el objeto de anlisis del evaluador debe inclur
para nosotros dos dimensiones :

-la definicin del problema que dio origen al programa identificando sus
dimensiones polticas, econmicas, sociales, culturales, etc. que ubicaremos
en lo que denominamos contexto externo de la evaluacin, en el cual por lo
menos para el caso de Latinoamrica, se ubican los grupos menos
favorecidos y que enfrentan problemas econmicos y sociales agudos. Es
para estos grupos poblacionales para los que generalmente se promueven y
crean los programas y proyectos sujetos a evaluacin.

Nuestro punto central en este aspecto, es que en la captacin y anlisis de
ese contexto externo, el esfuerzo que tiene que hacer el evaluador es el de
www.ts.ucr.ac.cr 23
asegurarse que verdaderamente est identificando la esencia del
problema. Qu es lo que queremos decir con esto ? que si no se
investigan las causas de un problema, el programa creado para
reducirlo siempre estar tomando el rbano por las hojas, es decir no
estar atacando la causa central y principal del problema.

Qu queremos decir con captar la esencia del problema ? El esfuerzo estar
centrado en identificar esa causa central generadora del problema, sus
condicionantes estructurales. Por ejemplo, es comn observar en proyectos
de cooperacin internacional con campesinos en condiciones precarias, que
en la concepcin del problema que las origina, puede existir una diversidad
muy grande entre los puntos de vista de los financiadores y de los
beneficiarios y de otros grupos interesados.
As, en un caso de en un proyecto de siembra de arroz, los financiadores
imponen la introduccin de fertilizantes agroqumicos para incrementar los
niveles de productividad, el proyecto podra a la larga, traer ms problemas
que soluciones, si los precios de los fertilizantes despus de la etapa de
subsidio, no estn al alcance econmico de los campesinos y si no se
analizan otras consecuencias de tipo econmico, cultural y ambiental.

De ah nuestra insistencia en que el evaluador investigue y sintetice la
esencia del problema. El evaluador captar esta esencia, sealando sus
caractersticas, buscando identificar los elementos que lo condicionan, las
causas y efectos que en una primera aproximacin parecen regir su dinmica.
Apoyndose en datos de diversa fuente, entrevistando informantes clave,
analizando el contexto social, las fuerzas polticas y econmicas que lo
condicionan, encontrar los elementos necesarios para describirlo y definirlo
como problema.

Se preguntar el lector qu vamos a ganar en evaluacin al demostrar el
problema ? Pues la respuesta es que al hacerlo, al examinarlo como objeto
de conocimiento, los esfuerzos por evaluar se van a orientar en la direccin
cientficamente correcta, con lo que evitaremos el desperdicio de esfuerzos y
tiempo y realizaremos un trabajo serio como evaluadores.

Al plantear el problema, el evaluador lo describe de manera tal que
demuestre que los hechos sealados en torno al problema, ameritan una
evaluacin rigurosa. Lo que el evaluador hace en esta fase, es tornar el
problema en uno de carcter cientfico.

De ah la importancia de que el evaluador se tome el tiempo para analizar
cuidadosamente la complejidad del problema y de cara a esa complejidad,
formule las interrogantes con precisin y rigurosidad. En esta fase de
definicin del problema, son muy tiles las obras de Rossi, Freeman y Lipsey
(1999)
xvi
captulos 4 y 5 y el libro de Martinic (1997)captulos 3 y 4, el trabajo
de Mndez
xvii
sobre Metodologa, entre otros.

www.ts.ucr.ac.cr 24
Es precisamente la identificacin de la esencia del problema, lo que facilita al
evaluador evitar el estudio de problemas que pueden ser sntomas o
consecuencias de un problema ms profundo. De esta manera, el problema
pasa a ser la brjula que orienta al evaluador en la valoracin de la efectividad
del programa o del proyecto.

Lo que queremos sealar aqu es que estamos mirando el Problema de un
modo diferente, a lo que Rossi et al plantean como la identificacin de las
causas y los efectos en la Teora del Problema. Nosotros enfatizamos que el
evaluador verdaderamente debe profundizar el estudio del Problema ya que el
trazo de un diagrama de influencia no siempre es suficiente porque no le
permitir la profundidad analtica requerida .

Cul es la diferencia que vemos de nuestro punto de vista con el de Rossi
Freeman y Lipsey?. Para nosotros, estos autores trabajan con una versin
idealizada del programa. Al trabajar con un modelo ideal, corremos el riesgo
de no captar la riqueza de la realidad y la interaccin dinmica entre el
Problema y el Programa.

El contexto externo, necesita por parte del evaluador un anlisis profundo. No
se puede pretender que el Programa trabaje con un modelo ideal si ese va a
ser el nico punto de comparacin de lo bien que debera funcionar el
programa. Consideramos que es bsico que el evaluador escriba una
sntesis interpretativa del Problema en la que destaque su juicio analtico
sobre la problemtica observada.

Con ello el evaluador :

1) valorar de una manera menos normativa los problemas observados
porque para analizarlos no utilizar como marco referencial la Teora del
Programa. Para nosotros, la Teora del Programa es una idealizacin que
incide en que el evaluador no siempre abra su mente a otras formas inditas
de la comprensin de la realidad y de las vas plausibles para la reduccin del
problema.

2)Utilizar la Teora del Programa con todos los lineamientos que sealan
Rossi et al, para profundizar el anlisis del programa o proyecto evaluado pero
la Teora del Programa no ser su nica gua.

Este proceso empezar con la definicin y delimitacin del problema. El
problema o demanda social se definira como aqul que afecta las
condiciones de vida y la integracin social de los sectores ms pobres de la
sociedad, generalmente debido a carencias objetivas
xviii
. Estas carencias en
salud, vivienda, ingresos, educacin y otros factores, inciden en la capacidad
de estas poblaciones de integrarse equitativamente a la sociedad. La
definicin anterior es de Martinic, quien destaca que al realizar un diseo
evaluativo, se debe realizar un diagnstico del contexto social del programa o
proyecto evaluado en donde :
www.ts.ucr.ac.cr 25

n se describan los problemas que afectan a la poblacin meta del programa
o proyecto.
n se analicen estos problemas y se planteen hiptesis sobre las causas y
efectos de estos problemas.
n se identifique la importancia de los distintos actores y grupos de inters
relacionados con el problema objeto de intervencin del programa o
proyecto evaluado.
n se analicen las estrategias y las soluciones que se plantearon para
enfrentar el problema y los recursos utilizados.

Desde nuestra perspectiva, al definir el problema de investigacin en un
programa o en un proyecto, siempre vamos a estar haciendo referencia a
necesidades sociales. Nos referimos aqu a dos niveles de necesidad : 1) la
situacin problemtica que dio origen a la intervencin social o sea al
programa o proyecto que se quiere evaluar, y a la que llamaremos demanda
social y 2) la necesidad de conocer si este programa o proyecto ha
contribuido realmente a reducir esa problemtica y a la que llamaremos
respuesta institucional. Para nosotros, esta respuesta institucional es lo que
Shadish, Cook y Levinton denominan Social Programming en lo refererido a
los aspectos externos que condicionan el programa y el efecto del mismo en
la reduccin del problema.

Al realizar su trabajo, el evaluador se ocupa tanto de entender la
necesidad que demanda la sociedad, como de valorar si la respuesta
institucional (programa o proyecto) satisface apropiadamente esa
demanda. Del estudio de ambos niveles se deriva el problema de
evaluacin, que se formula como interrogante.

Por ejemplo, en un programa estatal de Comedores Escolares(CE) para
menores de escasos recursos, el problema se expresara como en qu
medida el programa de CE est contribuyendo a satisfacer las necesidades
nutricionales de la poblacin meta ?

El plantear el problema bajo la modalidad de interrogante tiene la ventaja de
expresar de manera sinttica la situacin problemtica que se quiere
investigar y evaluar. Sin embargo ello no quiere decir que se haya definido
integralmente el problema de evaluacin. En la descripcin del problema
central, el evaluador buscar relacionar este problema con otros problemas
conexos como lo sealaremos en las prximas pginas. Para esta fase, son
muy tiles las contribuciones de Rossi et al ya citadas y las de Chen
xix
sobre la
teora del programa.

El esfuerzo en esta etapa, es encontrar las conexiones causales y los efectos
generados por el problema, estableciendo las hiptesis que son las
interpretaciones que hace el evaluador sobre las causas probables del
problema estudiado. Para ello el evaluador utilizar las investigaciones y
www.ts.ucr.ac.cr 26
datos existentes, la opinin de expertos, de los beneficiarios e interesados y
otras fuentes conocedoras del programa y del problema evaluado.

Las causas se definiran como los condicionantes que tienen una incidencia
directa en la generacin del problema y los efectos como las consecuencias
del problema estudiado. El evaluador deber entonces ocuparse de probar la
validez de esas relaciones causa-efecto acudiendo para ello tanto a enfoques
cuantitativos como cualitativos o de otra ndole.

Para el evaluador ser difcil tener la profundidad y la amplitud de
conocimiento sobre el problema, el programa y sus condicionantes. Para ello
es conveniente que el evaluador defina el problema con la colaboracin de los
beneficiarios e interesados en el programa, utilizando tambin la consulta a
expertos y gerentes de programas similares al que se est analizando. De
esta manera, el evaluador adquirir una visin ms integral y objetiva del
problema analizado.

En esta fase de definicin del problema, es importante que el evaluador
comprenda que este no es un procedimiento mecnico. Deber de
utilizar toda su capacidad de discernimiento y acudir a todas las fuentes
posibles (beneficiarios, expertos, grupos de inters) para identificar los
elementos clave del problema, las conexiones causales y darle la mayor
solidez posible a las hiptesis que paulatinamente irn surgiendo con la
definicin del problema.

En las pginas anteriores hemos destacado la importancia de identificar el
problema considerando diferentes ngulos. A continuacin vamos a exponer
sucintamente la exposicin del problema. Basndonos en distintos autores,
xx

y en lo que ellos aportan para el Problema en investigacin, proponemos tres
fases en la definicin del Problema en evaluacin:

1)el planteamiento del problema, 2) la formulacin del problema y 3)la
sistematizacin del problema.
Planteamiento del problema :

El propsito principal en esta etapa es expresar el problema en trminos
concretos y explcitos. El evaluador describir los hechos observados que son
susceptibles de investigar, de evaluar, de comprobar y que responden a una
determinada problemtica social en la que ha intervenido un programa o un
proyecto. El esfuerzo mayor que debe realizar el evaluador, es el de analizar y
sintetizar el problema y los hechos sociales relevantes que lo conforman,
relacionndolos con las causas que pueden estar generndolo, destacando
finalmente su juicio profesional valorativo sobre el Problema.

Para ello el evaluador podr acudir tanto a la Teora del Programa como a la
observacin misma del problema identificado. Mndez
xxi
seala que el
planteamiento del problema equivale a lo que es objeto de conocimiento
www.ts.ucr.ac.cr 27
cientfico. Por lo anterior, la palabra problema no se refiere a que el
investigador deba identificar situaciones desfavorables o negativas. Eventos o
situaciones de carcter positivo pueden ser descritas y presentarse con la
denominacin problema de investigacin. Sealar las manifestaciones del
problema presentando los hechos relevantes. En el planteamiento del
problema
xxii
, es importante destacar :

La existencia del problema : demostrar que existe un problema que amerita
ser evaluado, valorado. Ya hemos venido reiterando la necesidad de que en
evaluacin profundicemos en el anlisis del Problema, de sus aspectos
causales, de su esencialidad, de realizar un anlisis ms comprensivo del
problema para poder responder estamos focalizando el problema
real ?sus causas ?. Dentro de sus dimensiones conviene destacar : El
universo : el volumen de poblacin, unidades, empresariales, en otras
palabras la magnitud del problema en trminos poblacionales o de
unidades de investigacin, el espacio o rea geogrfica y el tiempo o
perodo abarcado en el estudio.

la demanda o peticin por parte de los actores afectados por el problema,
por ejemplo el esfuerzo que han realizado las comunidades afectadas por
encontrar alternativas de solucin al problema.

la importancia otorgada en el campo de la investigacin social y el
conocimiento acumulado sobre el tema, por ejemplo, estudios cientficos
que se hayan ocupado de investigar y correlacionar los efectos nutricionales
y rendimiento escolar en comidas servidas a escolares pobres.

la preponderancia asignada por el Estado que se visualiza en el quehacer
de polticas sociales de ese tipo y la experiencia generada (el avance del
conocimiento institucional en este campo).

la perspectiva institucional en el enfoque causal del problema y los recursos
humanos y materiales con los que pretende reducir el problema.

La formulacin del problema

El esfuerzo en esta fase es resumir el problema de investigacin, mediante
una interrogante en la que se busca reflejar qu es lo que centralmente
interesa investigar. Esta pregunta de investigacin debe ser formulada de
manera clara y concreta y referirse nicamente a un solo problema de
investigacin y ser coherente en tiempo y espacio. Veamos el siguiente
ejemplo :

En qu medida el Programa de Comedores est contribuyendo a mejorar el
rendimiento escolar de su poblacin meta ?

www.ts.ucr.ac.cr 28
La sistematizacin del problema

En esta etapa lo que se busca es descomponer la interrogante central de
investigacin en distintas preguntas que en conjunto cubran todas las reas o
aspectos clave que interesa investigar. Para ello se deber tener en cuenta
las distintas dimensiones del problema teniendo en cuenta que las respuestas
a estas preguntas deben permitir al investigador responder integralmente a la
pregunta central de investigacin.

Problema formulado : En qu medida el Programa de Comedores est
contribuyendo a mejorar la condicin nutricional de la poblacin meta ?

La condicin nutricional de la poblacin meta depende de distintas variables :
-la seleccin adecuada de beneficiarios : si los beneficios del programa no se
otorgan a los menores que ms lo necesitan, el impacto nutricional no podr
ser identificado.
-la provisin regular de alimentos y su calidad nutricional
-el apoyo logstico para la elaboracin de alimentos y la infraestructura
mnima necesaria para brindar el servicio
-la colaboracin de los maestros para apoyar la ejecucin y dar seguimiento
al programa.
-el impacto nutricional del programa en los menores seleccionados en lo que a
talla y peso se refiere.

Teniendo el cuenta estas variables, la sistematizacin del problema se puede
plantear con las siguientes preguntas :

Problema sistematizado:

1. En qu medida los menores beneficiados por el programa tienen las
caractersticas especificadas para su poblacin meta ?
2. Bajo qu normas de calidad, con cules procedimientos y recursos se
realiza la provisin de cules alimentos para los menores ?
3. Cmo puede calificarse la colaboracin docente para apoyar la ejecucin y
el xito del programa ?
4. Cules han sido los resultados en lo que a impacto nutricional se refiere,
en los menores que han participado en el programa en un perodo mnimo
de nueve meses ?

Esta manera de formular el problema mediante una interrogante central y
sistematizarlo, descomponiendo la interrogante en distintas preguntas, facilita
al evaluador una mayor claridad, tanto en la definicin como en los propsitos
mismos de la evaluacin. En lo que se refiere propiamente al planteamiento
del problema, algunas de las obras que podrn ser utilidad al lector para esta
fase son los trabajos de Selltiz, de Babbie, de Mndez y otros
xxiii
cuyas
referencias se citas en las notas finales.

www.ts.ucr.ac.cr 29
En nuestra opinin, si bien la delimitacin del problema, de los criterios y de
las interrogantes son parte necesaria en el diseo de la evaluacin, esta fase
de diseo debe conservar la necesaria flexibilidad para cambiar tanto el
Problema, los Criterios y las Interrogantes, conforme la informacin generada
en el trabajo de campo, del contexto o de los usuarios del programa, vaya
requiriendo modificaciones en estos componentes para hacer ms efectivos
los resultados de la evaluacin.

Hasta aqu hemos venido hablando del planteamiento del Problema. Desde
nuestro punto de vista, uno de los aspectos ms capciosos del diseo de la
evaluacin, tiene que ver con los criterios que se utilizan para evaluar y en el
vnculo que se establece entre el Problema, los Criterios y las Interrogantes de
evaluacin. Pasamos ahora a destacar algunos aspectos relacionados con
los criterios de evaluacin.
xxiv

2. Los criterios en evaluacin

Como sealbamos en las pginas anteriores, el evaluador debe acudir
constantemente a la utilizacin de criterios, para orientar su trabajo. Este
aspecto de la definicin de criterios se vuelve especialmente crtico en la fase
de planificacin de la evaluacin, pero es un referente continuo a lo largo de
toda la ejecucin de la evaluacin.

Cada situacin que evaluamos es nica y esta singularidad obliga al
evaluador a adquirir familiaridad y destreza en la identificacin de criterios, por
medio de los cuales emitir el juicio evaluativo. Al hacer estas afirmaciones
estamos dando por sentado que en evaluacin es imposible aplicar
mecnicamente los mtodos.

Al evaluar entonces lo que ms empleamos es el discernimiento.
Entendemos por discernimiento el anlisis de una situacin para identificar
sus distintas partes o componentes.
xxv
Se define discernimiento como el juicio
por cuyo medio percibimos y declaramos la diferencia que existe entre varios
casos.

Si tenemos en cuenta que como seala Michael Scriven
xxvi
, la evaluacin
tiene un carcter intradisciplinario, esto significa que la evaluacin atraviesa a
todas las disciplinas, su misin se torna entonces especialmente compleja.
La evaluacin sirve a todos los campos pero no hay situacin evaluada que se
repita en condiciones exactas. Pueden existir evaluaciones similares pero no
idnticas, porque cada situacin a evaluar es nica.

Esta situacin de singularidad que conlleva la tarea de evaluar, torna en un
imperativo la identificacin del problema y la derivacin de criterios que se
desprenden del anlisis del problema de investigacin.

www.ts.ucr.ac.cr 30
Rossi et al
xxvii
sealan que lo que caracteriza y distingue a las interrogantes de
evaluacin en relacin al desempeo, es que se cuente con algunos criterios
por medio de los cuales se pueda juzgar ese desempeo.

Refirindose a este tema, ellos sealan que este asunto sobre los criterios no
puede ser evitado y hacen referencia a distintas maneras de obtener esos
criterios, como pueden serlo por ejemplo las metas, los resultados y los
estndares establecidos para el desempeo y la consulta continua con los
usuarios del programa para clarificar y precisar estos criterios.
xxviii
Sin
embargo, su referencia general sobre lo que debe entenderse por criterio la
basan en los aportes de Scriven a los que hacemos mencin ms adelante.

Rossi y sus coautores, utilizan indistintamente el concepto de criterio y el de
estndard. Si bien recomiendan la consulta con los contratantes del evaluador
y con los usuarios del programa para precisar de manera conjunta los criterios
de evaluacin, destacan tambin que es al evaluador, al que le corresponde
con su experiencia y capacidad de juicio, focalizar el problema de evaluacin,
y definir esos criterios.

Apoyndose en Scriven, estos autores
xxix
sealan que la lgica del
razonamiento evaluativo, se basa en cuatro pasos :

1) El establecimiento de los criterios de mrito, o sea la precisin de las
dimensiones por medio de las cuales se juzgar cun bueno es el objeto
evaluado, o cul es su mrito ? 2)la construccin de estndares para
establecer cun bueno es su cumplimiento en relacin a esos criterios de
mrito, 3)la medicin del cumplimiento contra los estndares establecidos y 4)
la sntesis e integracin de los datos dentro de un juicio evaluativo para
determinar el mrito del objeto evaluado.

En el seminario que imparti en Costa Rica en l998, Scriven
xxx
hizo la
distincin entre criterios de mrito y estndares de mrito. Los estndares
son : cuntos de aquellos elementos debe tener algo para ser descrito,
como, en general, -muy bueno, -bueno, pobre, etc. ? Para m (Scriven), los
estndares se refieren a una valoracin general, la valoracin global que se
expresa en el lenguaje de escalas de calificacin : muy bueno, excelente,
satisfactorio, insatisfactorio. Los criterios de mrito son los componentes que
nos llevan- luego de realizar mediciones y ponderaciones apropiadas-hasta el
punto de sacar conclusiones sobre estndares que se cumplen. Imaginen por
ejemplo un profesor de ingls corrigiendo ensayos. Los criterios de mrito son
las expresiones, el uso del lenguaje, la construccin del ensayo, la
originalidad, quiz el esfuerzo puesto en la redaccin del trabajo. Esos son
criterios de mrito. Los estndares de mrito son las calificaciones generales
de pobre, bueno, sobresaliente. Yo (Scriven) uso de manera distintas criterios
y tiene diferentes acepciones.

En este trabajo, no vamos a entrar en la discusin sobre criterios y estndares.
Estamos totalmente de acuerdo con Scriven que el razonamiento en
www.ts.ucr.ac.cr 31
evaluacin se apoya en la identificacin de los criterios de mrito y los
estndares contra los cuales se va a juzgar el desempeo del objeto evaluado.

Nuestra inquietud es ahondar ms sobre el concepto de criterio, desde una
perspectiva que nos permita comprender ms qu son los criterios evaluativos
y cmo se formulan.

En evaluacin utilizamos el discernimiento para analizar la situacin del
objeto a evaluar y derivamos criterios para valorar la situacin. El criterio se
define como la norma para conocer la verdad, el juicio o discernimiento
xxxi
.
Tambin se define criterio como el elemento que se utiliza para fundamentar
una decisin o emitir un juicio.

Los criterios son aquellos elementos crticos que utilizamos para discernir,
para analizar, para tomar decisiones y tambin para especificar los resultados
que se quiere alcanzar con el programa, proyecto u objeto evaluado.

Para nosotros, los criterios tienen una funcin iluminativa y acompaan la
accin de discernir. Discernimiento y criterio se acompaan, se
complementan.

Es conveniente y necesario definir y explicar los criterios que se van a utilizar
en la evaluacin. Los criterios orientan el razonamiento e imprimen
racionalidad a la evaluacin.

Los criterios constituyen un marco orientador para la evaluacin del programa,
pero debemos tomar el tiempo necesario para su elaboracin.

Los criterios expresan con claridad las expectativas sobre los resultados, en
este sentido norman la conducta, sealan el marco de lo deseable. La
definicin de los criterios fortalece la especificidad de los cometidos y facilita
la transparencia. De esta manera la definicin de criterios contribuye a reducir
la ambigedad, la incertidumbre.

Existe una relacin cercana entre criterios y principios, pero mientras que los
principios enuncian los fines, los criterios explicitan el cometido. Los criterios
tienen la funcin de iluminar tanto en la fase de la planificacin como en el
anlisis de los resultados y constituyen una referencia escrita para juzgar una
situacin.

Al definir el problema de investigacin, identificamos sus aspectos cruciales.
Una vez que tenemos identificados los aspectos cruciales empezamos a
derivar criterios de estos aspectos cruciales. Esos aspectos cruciales se
derivan del Problema de Investigacin y tambin del anlisis de su
superacin. Donde es posible preveer la generacin de evidencias y
cambios, es posible tambin derivar criterios para reconocerlos.

www.ts.ucr.ac.cr 32
La derivacin de criterios nos brindar un marco normativo y orientador para
analizar el desempeo del programa. Los criterios son normas que nos
ayudan a a orientar nuestros juicios valorativos y tambin nuestras decisiones.

El esclarecimiento de los criterios puede facilitar al evaluador el demostrar la
relacin
xxxii
entre razonamiento, evidencia y conclusin. El evaluador deber
estar en capacidad de explicar la manera en que las evidencias apoyan los
resultados, descubrimientos y conclusiones de la evaluacin. Esta es una
caracterstica inherente del ejercicio evaluativo.

A continuacin presentaremos algunas formas diferentes de utilizar los
criterios en la evaluacin.

La importancia de definir y explicar el Criterio

Es comn al realizar una evaluacin que encontremos las metas formuladas y
especificadas por lo menos en dimensiones cuantitativas. Pero pocas veces,
al evaluar encontramos criterios explcitamente definidos que sirvan como
marco orientador para evaluar el programa. Especialmente cuando se trata de
programas nuevos, es conveniente tomar el tiempo para definir los criterios de
evaluacin. Al definir los criterios no solo enunciamos el criterio sino que
tambin lo definimos y lo explicamos.

Veamos el siguiente ejemplo en un diseo que se cre para evaluar la
Reserva de Biosfera de la UNESCO en Alemania
xxxiii
. Los criterios se crearon
de manera que pudieran aplicarse a la designacin de nuevas
bioesferas y para evaluar las existentes en otras partes del mundo y se
tomaron como base los documentos y las polticas promulgadas por la
UNESCO, los descubrimientos cientficos y especializados en este campo.

Se designaron dos tipos de criterios : los criterios estructurales y los criterios
funcionales. Cada criterio se enunci y se explic separadamente,
destacndose que tanto el criterio como su explicacin deban
considerarse una unidad.

Este aspecto de enunciar y explicar el criterio es algo que nos parece muy til
en el diseo evaluativo y que proponemos aplicar a la evaluacin de
programas y proyectos. Es especialmente til cuando se trata de orientar un
programa o un proyecto nuevo, pero tambin al evaluar un programa que
tenga varios aos de ejecucin, es importante el anlisis de los criterios que
orientaron tanto la obtencin de resultados como el diseo de evaluacin
empleado.

Para el caso en mencin de la bioesfera en Alemania, los criterios se
clasificaron en : criterios estructurales y criterios funcionales. Los estructurales
tenan que ver con aspectos como representatividad, tamao, zonaje,
proteccin legal, administracin y organizacin. Los criterios funcionales con
www.ts.ucr.ac.cr 33
sostenibilidad y desarrollo, gerencia de los ecosistemas energticos y
apreciacin del paisaje, seguimiento integral, educacin ambiental, relaciones
pblicas y comunicacin. Ambos tipos de criterios se utilizaron para orientar e
identificar los requerimientos nacionales e internacionales que deba cumplir
un rea designada como reserva de bioesfera en el corto o en el mediano
plazo.

En las siguientes pginas, exponemos el ejemplo en mencin tanto del
Criterio como de su explicacin, del que transcribimos apenas una pequea
parte por lo extenso del material.
_________________________________________________

Criterios para la designacin y la evaluacin de las Reservas de
Bioesferas de la Unesco en Alemania.
Criterio estructural y Explicacin

Representatividad

El propsito de la Red Internacional de Bioesferas es la catalogacin
sistemtica de todas las regiones biogeogrficas de la tierra incluyendo
movimientos de mareas,y biotipos marinos en las regiones costeras tanto en
su condicin natural como en las situaciones causadas por cambios
generados por el hombre(UNESCO 1984,p.12f.).

Las bioesferas representan extensiones naturales y culturales de paisajes.
En ellas debern aplicarse de manera ejemplar los conceptos de proteccin,
mantenimiento y desarrollo en cooperacin con las comunidades humanas
que habiten y trabajen en ellas. Deber por lo tanto contarse con
conocimiento riguroso sobre las fuerzas naturales y artificiales que intervienen
y alteran el ambiente y la capacidad que tienen los recursos naturales para
poder resistirlos, si se quiere que las personas cuiden su ambiente
responsablemente. Datos relevantes provenientes de la investigacin,
seguimiento y control integral y con representacin regional deben generarse
de manera correcta y precisa. Solamente cuando todos estos requerimientos
se cumplan los resultados se podrn extrapolar a reas ms extensas allende
las bioesferas (cf. Schreder et al.l991).

Tamao(rea)

La reserva de bioesfera deber tener como requerimiento obligatorio al menos
30,000 hectreas y no deber extenderse ms all de las 150,000 hectreas.
(...). Una bioesfera deber tener un cierto tamao mnimo si se quiere que sea
capaz de contener una diversidad de los ecosistemas de las especies de
animales y plantas que viven en ella. Un cierto tamao mnimo es requerido si
se quiere que la bioesfera se desarrolle como un rea en la cual la gente
pueda vivir, trabajar y recrearse.
www.ts.ucr.ac.cr 34
Fuente :UNESCO. Criterios para la designacin y evaluacin de las
Reservas de Bioesferas de la Unesco en Alemania. 1995. (informacin
recuperada en la WEB. Universidad de Quebec, Hull). (traduccin libre
por X.Picado)
__________________________________________________________

Criterio Funcional y Explicacin
Relaciones Pblicas y Comunicaciones

(37) La bioesfera debe desarrollar relaciones pblicas eficientes realizadas
sobre la base de una conceptualizacin clara de este aspecto.
(38) Como parte de las relaciones pblicas de una bioesfera, las compaas,
las fbricas y los consumidores deben ser motivados a apoyar su desarrollo y
su sostenibilidad.

Un factor clave del xito de la bioesfera es el grado en el cual sea aceptada
por la poblacin. Los conflictos pueden generarse por requerimientos
contradictorios entre los propsitos de conservacin y los objetivos
econmicos a corto plazo y por entrar en divergencia con las concepciones
locales sobre el uso de la tierra. Asimismo, los intereses locales, nacionales e
internacionales pueden entrar en confrontacin. Se requiere un planeamiento
y una orientacin muy cuidadosa, como tambin un dilogo permanente y ese
dilogo debe realizarse con gran sensibilidad, entendimiento e imaginacin
(UNESCO 1984, p.20).

El desarrollo de una moderna sociedad industrial depende del consenso
social. Las decisiones polticas y administrativas sern aceptadas y apoyadas
por la poblacin, a largo plazo, nicamente si estn en armona con los
valores y expectativas de nuestra sociedad. El uso de nuevas tecnologas y
de innovaciones contarn con un apoyo mayoritario solamente mediante el
dilogo y la comunicacin abierta. La comunicacin por lo tanto, es el medio
de asegurar la sobrevivencia a largo plazo. El dilogo cooperativo, ms que el
confrontativo es el requerido(cf.DRL 1995,p.31).

El pblico est compuesto de grupos diferentes y los intereses de estos
grupos sobre la bioesfera estn basados en motivos y expectativas diferentes.
Como resultado, la definicin de los grupos meta relevantes es una parte
indispensable del desarrollo del concepto de relaciones pblicas en las
bioesferas. Un rango de formas y diferentes y complementarias sobre
relaciones pblicas, abarcando los diferentes enfoques y mtodos para los
distintos grupos meta, deber ser empleado en la reservas de bioesfera en
Alemania.

Fuente :UNESCO. Criterios para la designacin y evaluacin de las
Reservas de Bioesferas de la Unesco en Alemania. 1995. (informacin
recuperada por la WEB. Universidad de Quebec, Hull). traduccin libre
por X.Picado.
www.ts.ucr.ac.cr 35

Una vez que se han conceptualizado y precisado los criterios, se facilita la
formulacin de las interrogantes de evaluacin. Sin embargo, como ya hemos
venido sealando, nos es que debe existir una rigidez de anteponer los
criterios a las interrogantes, sino que se trata de un proceso
complementario y reversible. Algunas veces sern los criterios los que
nos lleven a las interrogantes y en otras ocasiones ser lo contrario, sin
embargo la leccin que aprendemos, es que no debemos obviar la definicin y
explicacin de los criterios y este paso se aplica tanto al diseo como a la fase
misma de la evaluacin del programa o proyecto.

El criterio como el resultado esperado : examinando su racionalidad

Existen distintas formas de explicitar criterios y una manera de hacerlo es
como ya sealamos, precisando el tipo de resultados que se busca obtener.
En el ejemplo al que seguidamente vamos a hacer referencia, el evaluador
utiliz los resultados esperados como criterios que le permitieron valorar el
xito del programa, pero fue ms all y examin con agudeza la racionalidad
de esos resultados.
Hamid Khan de la Universidad de Ball State evalu el Programa de Ingeniera
y Manufacturacin Tecnolgica .(MANUFACTURING ENGINEERING
TECHNOLOGY PROGRAM). Este programa prepara a los estudiantes para
que entiendan las aplicaciones de la computacin a la ingeniera, a la
tecnologa y a la manufacturacin. El programa enfatiza el diseo, anlisis y
aplicacin de metales y plsticos a la manufacturacin.
__________________________________________________________

Criterios de evaluacin y Resultados
En base a investigaciones y a consultas realizadas con anterioridad a las
compaas empleadoras, se especificaron para el programa de ingeniera
siete criterios o reas en las cuales se esperaba producir resultados
significativos. Debe agregarse aqu que el concepto de resultado deseable se
defini de acuerdo a la Taxonoma de Bloom (Cronbach 1983). De acuerdo a
esta perspectiva las habilidades se observan y se visibilizan como resultados
de conducta que se comprueban en trminos del progreso hacia resultados
que evidencian el cambio conductual deseado.
Los criterios de evaluacin y los resultados esperados
Criterio Resultado esperado

B.Materiales y Procesos El estudiante demostrar conocimiento
acerca de los materiales bsicos

1. El graduado seleccionar materiales costo-efectivos.
2. El graduado probar correctamente las propiedades de los materiales.
3. El graduado emplear los materiales apropiados.
www.ts.ucr.ac.cr 36

F.Direccin de la manu- Los estudiantes cumplirn con los criterios
facturacion, calidad de calidad esperados desde la primera vez
y productividad que sean examinados.

1. El graduado interpretar correctamente el panel de control o el diagrama.
2. El graduado detectar las partes defectuosas.
3. El graduado prescribir los lmites de capacidad de las mquinas.
___________________________________________________________

Los criterios de evaluacin y los resultados esperados
G.Criterio : Orgullo en el desempeo, cun bien se siente usted sobre
su trabajo ?

1. Los estudiantes demostrarn una actitud positiva tanto de manera individual
como el trabajo en equipo, asumiendo responsabilidades de cooperacin
asociadas con una conducta afectiva. La conducta afectiva es una conducta
compleja resultado de una combinacin de los dominios cognocistivo y
psicomotor. Para decirlo ms claramente, es una persona que asume
responsabilidades con una capacidad para demostrar que realiza un trabajo
ejemplar, con un alto grado de actividad cognocitiva y psicomotora
demostrando una conducta superiormente coordinada.
___________________________________________

Resultados esperados
1.El graduado disfrutar sus habilidades para resolver problemas
tcnicos.
2. El graduado asumir responsabilidad para la realizacin de un
buen trabajo.
3. El graduado demostrar capacidad de trabajo en equipo.

Observaciones del evaluador :
1. Las evaluaciones de los estudiantes y sus respuestas estuvieron muy bien.
Los estudiantes estuvieron siempre deseosos de participar en el proceso de
evaluacin. Los graduandos siempre se mostraron entusiastas en narrar
sus experiencias con el programa. Estaban adems deseosos de iniciar su
vida profesional y se mostraban muy satisfechos de y que su inversin se
haba realizado conforme el programa se haba
venido realizando.

2. Las perspectivas de los estudiantes son realmente cruciales en la
evaluacin sumativa. Cunta habilidad tienen ellos para juzgar el xito del
programa ?- es incierto para m. Como los estudiantes son nuestros clientes,
sus opiniones son muy importantes para nosotros.

3. An cuando hayamos sido muy exitosos con nuestros estudiantes, yo
tengo las siguientes reservas sobre las respuestas de los estudiantes. El
www.ts.ucr.ac.cr 37
departamento pone un nfasis muy fuerte en la percepcin satisfactoria del
estudiante, y se considera que las evaluaciones de los estudiantes son
extremadamente importantes para nuestro xito.

Los itemes en el instrumento pueden implicar que cualquier estudiante en
el programa es un experto en juzgar criterios de xito del desempeo del
programa que son aspectos complejos como por ejemplo el trmino
integracin (..) o apertura del programa a las necesidades de la industria,
etc.

4. Estos itemes requieren un enjuiciamiento por parte de los estudiantes de
cmo perciben ellos estos aspectos.

Estos itemes podran interpretarse a la luz de que toda la responsabilidad del
desarrollo del estudiante, yace en el programa.

5. La escala (de itemes) sugiere e implica niveles de precisin en hacer
juicios, que no necesariamente poseen los estudiantes.
Fuente : Khan H. Procedural steps for designing and implementing an
evaluative reseach using outcome based program evaluation. Ball State
University.1995. Traduccin libre por X.Picado.

Observaciones :

En la evaluacin de programas, una manera de generar criterios evaluativos
puede derivarse del anlisis y la comparacin de los resultados deseados. Al
emplear esta modalidad el evaluador debe asegurarse de que examina
crticamente el resultado deseado. Penetrar crticamente ese resultado
conllevara al evaluador a hacer lo que Hamid Khan hizo. Hamid
desenmascar la racionalidad subyacente al sistema de evaluacin que en
este caso result descansar en dos supuestos : a) que la mayor evidencia del
xito del Programa de Ingeniera radicara en la opinin que los estudiantes
emitieran como usuarios del mismo y b) suponer que los estudiantes
tendran suficiente criterio como para emitir este tipo de juicios sobre aspectos
complejos y c) la adquisicin de competencias, si bien constituye una
evidencia aceptable, no garantiza necesariamente que esas competencias
sern utilizadas efectivamente, una vez que el estudiante est empleado.

Una de las enseanzas que derivamos de este ejemplo es que debemos
examinar crticamente el resultado y preguntarnos :

-bajo cules criterios de evaluacin podemos afirmar, negar o poner en
duda que este resultado constituye una evidencia confiable ?

-hay claridad en la conceptualizacin de los criterios que se utilizaron para
enunciar el resultado ? se presentan contradicciones o ausencia de
sincronizacin entre la enunciacin del Problema de Evaluacin, las
www.ts.ucr.ac.cr 38
Interrogantes, los Criterios y los Resultados que se busca alcanzar con el
programa evaluado ?

-en las responsabilidades de quienes yace la obtencin de los resultados ?
estas responsabilidades y resultados, pueden ser diferencialmente
atribuibles a quienes? cuentan estas personas con las condiciones de
madurez y experiencia necesarias como para emitir opiniones sustentadas
acerca de los resultados atribuibles al programa o proyecto?

Como observamos en el ejemplo de Hamid Khan ms que la aplicacin
mecnica de criterios de evaluacin, lo que el evaluador debe hacer es
analizar cuidadosamente la situacin evaluada, diagnosticar cul es el
problema principal y derivar criterios de evaluacin que realmente se puedan
aplicar a la especificidad del caso.

No todos los criterios son igualmente aplicables a todas las evaluaciones y lo
que ms se requiere aplicar es el discernimiento y el juicio profesional
aplicado a cada situacin.

Una vez que se han conceptualizado y precisado los criterios, se facilita la
formulacin de las interrogantes de evaluacin. Sin embargo, como ya hemos
venido sealando, no se trata de defender una rigidez de anteponer los
criterios a las interrogantes sino que se trata de un proceso
complementario y reversible. Algunas veces sern los criterios los que
nos lleven a las interrogantes y en otras ocasiones ser lo contrario, sin
embargo la leccin que aprendemos, es que no debemos obviar la
definicin y explicacin de criterios tanto al diseo como a la fase misma
de la evaluacin del programa o proyecto.

3. LAS INTERROGANTES DE EVALUACION

La interrogante de evaluacin acertada es una expresin de la reflexin crtica
que hacemos sobre el acontecer de un programa o proyecto.

Un documento de la General Accountant Office
xxxiv
de Estados Unidos del ao
l991, que a su vez hace referencia al trabajo realizado por Rist y Wisler en
1984, destaca cmo la calidad de un diseo de evaluacin empieza con :

-la manera como se definen y proponen las interrogantes de evaluacin
-el desarrollo de un enfoque metodolgico para responder a esas interrogantes
y
-un plan detallado de la recoleccin de informacin para responder a esas
interrogantes, que anticipe y analice los problemas que pueden presentarse
para responder a las interrogantes con los datos apropiados.

www.ts.ucr.ac.cr 39
En este documento se destaca que las descriptivas, normativas interrogantes
de evaluacin pueden ser de tres tipos : descriptivas, normativas y causales y
apoyarse en diversos enfoques evaluativos dependiendo de su especificidad.

Sealan estos autores que las interrogantes descriptivas brindan informacin
sobre condiciones especficas o eventos en el diseo de la evaluacin, tales
como la cantidad de beneficiarios de un programa, el tipo de personal
atendido, los resultados obtenidos, etc.

Las preguntas normativas se centran en el anlisis del cumplimiento del
programa por ejemplo, el estudio de los resultados obtenidos en un programa
de capacitacin de orientadores juveniles de acuerdo a las metas
establecidas.

Las interrogantes que indagan causas y efectos ayudan a identificar si las
condiciones y resultados identificados en la evaluacin pueden ser atribuidos
a la intervencin generada por el programa o el proyecto.

A continuacin expresamos algunas de las ideas que hemos venido
elaborando en torno a la formulacin de las interrogantes de evaluacin.
La formulacin de las interrogantes de evaluacin puede ser un proceso
paralelo al establecimiento de hiptesis que expliquen la existencia del
problema. Es importante para el evaluador entender el problema social que
di origen al programa, su dinmica de poder, su dimensin poltica, las
demandas de la poblacin beneficiaria y de los grupos de inters, y las zonas
de influencia donde se cruzan la problemtica social y los esfuerzos del
programa por reducir esta problemtica.

Una vez delimitado el problema, habiendo detectado sus puntos lgidos, el
evaluador puede empezar a generar las interrogantes de evaluacin. Estas
interrogantes de evaluacin se desprenden del anlisis del problema y de la
"teora" que en torno al problema y al programa vaya generando el evaluador.

A partir del conocimiento de los distintos individuos y grupos de inters, de
sus demandas y de la problemtica econmica y social en la que interviene el
programa, de la racionalidad burocrtica y tcnica que tambin condiciona su
ejecucin, y de un conocimiento cercano de su funcionamiento, es que
podemos iniciar la fase de generacin de interrogantes de evaluacin.

Como todo problema de investigacin, la evaluacin formula interrogantes que
buscan la explicacin del problema observado y la exploracin de sus posibles
soluciones.

En el siguiente acpite se destacan algunas caractersticas de las
interrogantes de evaluacin cuyo buen planteamiento est fundamentado
entre otras cosas, en la congruencia que las interrogantes tengan con el
problema y los criterios identificados.

www.ts.ucr.ac.cr 40
Las caractersticas de las interrogantes de evaluacin

Las interrogantes de evaluacin constituyen la columna vertebral del diseo
evaluativo y son materia clave del ejercicio evaluativo.

De la generacin de interrogantes acertadas depender en gran medida el
xito del diseo evaluativo. Si formulamos preguntas obvias obtendremos
respuestas poco relevantes y desperdiciremos tiempo y recursos.

Como seala Grizzle "el trabajo ms delicado no es el anlisis de la
informacin, el mayor esfuerzo est en la formulacin de las preguntas, en lo
que necesitamos saber y en los datos que necesitaremos para responder a
estas interrogantes".
xxxv

Para Scriven, la interrogante central en una evaluacin es aquella que
busca identificar el mrito del objeto de evaluacin; cun bueno es? cul
es su vala? cules de sus componentes son buenos?cun bueno es
comparado con otras alternativas ? Scriven favorece los mtodos que
conducen a respuestas confiables para que se demuestre mediante la
evaluacin, que los efectos identificados solo pueden ser razonablemente
atribuidos al tratamiento o beneficio generado por el programa objeto de
evaluacin.

Tal vez la tarea ms difcil para el evaluador es disear buenas interrogantes.
La formulacin de las interrogantes de la evaluacin acertadas, es una de las
tareas que requieren ms anlisis. (Stake, 1995, 15)

En evaluacin hay una enorme necesidad de plantear las orientaciones
correctas para formular acertadamente las interrogantes de evaluacin. Las
preguntas correctas nos llevan a:

-identificar los aspectos sustantivos del por qu es necesaria la evaluacin;

-acercarnos a una visin integral, holstica del programa o proyecto y de la
problemtica social que le dio origen.

-seleccionar correctamente el enfoque metodolgico que ser empleado en la
evaluacin, ya que antes de hablar de muchos o pocos enfoques de
evaluacin hay que asegurarse de tener definido el problema, los criterios y
las interrogantes de evaluacin;

-identificar los aspectos sustantivos, los que son claves para el programa
social y el problema que ste busca reducir. Estos elementos claves, a
menudo estn sumergidos dentro de una compleja trama de intereses
polticos y econmicos y sociales muchas veces en conflicto. Una manera de
lograr la aprehensin de estos elementos claves.

Se sealan a continuacin algunos de los elementos que las distinguen:
www.ts.ucr.ac.cr 41

la interrogante de evaluacin es clara, concisa y evita la ambigedad.

no conduce a respuestas dicotmicas (si, no) si con ello limita la
capacidad exploratoria de la respuesta.

la interrogante de evaluacin valora, sopesa la situacin, programa o
proyecto evaluado

la interrogante de evaluacin ayuda a focalizar y precisar la situacin y
problemtica a evaluar

En el proceso de delimitar el problema, identificar los criterios, depurar y
seleccionar las interrogantes de evaluacin es conveniente ensayar la
relacin:

problema

criterio

interrogante

En la formulacin de interrogantes observamos
xxxvi
la secuencia :

. identificacin de aspectos cruciales del problema
. derivacin de criterios
. formulacin de interrogantes

La relacin criterio-interrogante :

Si bien los criterios generalmente anteceden a las interrogantes, en la medida
en que ahondamos en el anlisis de una situacin, la relacin puede ser
inversa, ya que nuevas interrogantes podran conducirnos a nuevos criterios y
viceversa.

Los aspectos cruciales se derivan de la definicin del problema, como
transcribimos en el siguiente ejemplo.

Aspectos cruciales Criterios Interrogantes
Evaluativas
Participacin
de la comunidad Metas y estrategias De qu manera se
de las escuelas para para se selecciona,
un programa atraer participantes se escucha y se
educativo distrital comunales aprende de
un rol activo los participantes
www.ts.ucr.ac.cr 42
comunales ?

Fuente : Illinois State Board of Education(ISBE), School District Technology Plan
Blueprint. September 1997.Traduccin libre por X.Picado

La relacin Problema-Interrogante

Interrogantes de Evaluacin- Reserva de Biosfera en Alemania
Re(29) En las reservas de la bioesfera en Alemania, la investigacin debe
contestar a la interrogante de cmo disear el uso sostenible. Las
interacciones entre los ecosistemas energticos, el uso de la tierra y los
parmetros socio-econmicos son el foco central del estudio. Estos se reflejan
en el contenido de la investigacin y los mtodos(AGBR 1995). Como
resultado, se formulan las siguientes interrogantes relacionadas con la
proteccin, mantenimiento y desarrollo de las reservas de bioesfera en
Alemania :

en cules reas hay ecosistemas que desempean un rol significativo
en la proteccin de los recursos energticos y genticos que
particularmente se encuentran en peligro por los cambios generados ?
cules parmetros socioeconmicos en la regin estn causando estos
cambios ?

qu tipos de ecosistemas son compatibles con los propsitos de un
uso sostenible de la tierra y cules no ? Qu cambios deben introducirse en
el uso de la tierra para proteger el ecosistema ?

cules parmetros socio-econmicos regionales se requieren para
optimizar el uso para la proteccin de los ecosistemas energticos
y los recursos genticos, y cmo se pueden crear estos parmetros
(AGBR 115) ?

Fuente :UNESCO. Criterios para la designacin y evaluacin de las Reservas de
Bioesferas de la Unesco en Alemania. 1995. (informacin recuperada en la WEB.
Universidad de Quebec, Hull). traduccin libre y adaptacin propia por X.Picado)
_________________________________________________________

Anexo al Captulo II- EJEMPLOS DE INTERROGANTES

Interrogantes acertadas :

1) Cules son las dimensiones, aspectos crticos, naturaleza y magnitud
del problema que el programa evaluado busca reducir ?

www.ts.ucr.ac.cr 43
2)De qu manera y en qu proporcin el programa evaluado est
contribuyendo a reducir la problemtica social econmica o de otra ndole
para la cual fue creado ?

3) En qu medida los servicios que brinda el programa estn satisfaciendo
las necesidades de la poblacin meta ?

4) Cules son los niveles de calidad de los recursos humanos y tcnicos
con los que el programa atiende las necesidades de su poblacin meta ?

5) Cul es la calidad de los procedimientos utilizados para identificar a la
poblacin meta y para asegurar que los servicios propuestos lleguen a
quienes los necesitan ?

Observaciones :

An cuando todava pueden precisarse ms las interrogantes que el ejemplo
presenta como acertadas, stas tienen como caracterstica comn que no son
descriptivas, sino que buscan explorar y explicar elementos claves en el
proceso evaluativo.

Interrogantes equvocas :

1-Por qu la sociedad considera que las adolescentes embarazadas, reciben
ms apoyo de la familia que los hombres ?
R/ Esta interrogante es poco precisa y adems presenta un sesgo valorativo.

2-Por qu es necesaria la coordinacin de servicios y otros aspectos de
apoyo en la atencin de la poblacin meta ?
R/ Esta es una interrogante obvia que no se centra en aspectos claves,
sustantivos a la evaluacin.

3- Cmo son las condiciones de vida (econmicas, sociales, afectivas de las
adolescentes embarazadas ?
R/ Interrogante descriptiva, pre-evaluativa.
www.ts.ucr.ac.cr 44
Conclusiones

Lecciones aprendidas sobre la elaboracin de Interrogantes de
Evaluacin

1) Las interrogantes de evaluacin expresan la reflexin crtica que hacemos
sobre el acontecer del programa o proyecto evaluado.

2) Las interrogantes de evaluacin constituyen la columna vertebral del
diseo y son materia clave del ejercicio evaluativo.

3) De la generacin de interrogantes acertadas depender en gran medida
el xito del diseo evaluativo. Si formulamos preguntas desacertadas
obtendremos respuestas poco relevantes y desperdiciremos tiempo y
recursos.

4) Tal vez la tarea ms difcil para el evaluador es disear buenas
interrogantes. La formulacin de interrogantes de evaluacin acertadas,
es una de las tareas que requieren ms anlisis. (Stake, l995, 15).

5) Las preguntas correctas nos llevan a identificar : a) los aspectos
cruciales del programa o proyecto, b) la problemtica econmica,
social o de otra ndole que le dio origen al programa o proyecto, c) las
necesidades sociales y los valores de los usuarios, d) los aspectos
sustantivos del por qu es necesaria la evaluacin, e)el enfoque
metodolgico que mejor se ajusta a la problemtica analizada.

6) Para identificar los aspectos cruciales del programa o proyecto, es
conveniente que el evaluador se apoye en la modalidad propuesta por
Cronbach de la Fase Divergente y la Fase Convergente para el inventario
y depuracin de las interrogantes de evaluacin.(referirse al captulo
primero de este trabajo y a las obras originales de este autor).

7) En un proceso que no es mecnico, sino analtico y depurativo, el mayor
esfuerzo que debemos hacer los evaluadores en la fase de diseo, es la
formulacin y sistematizacin del Problema en evaluacin. Este
Problema condensar los aspectos claves de anlisis identificados en la
Fase Convergente de las interrogantes de evaluacin.

8) El evaluador se ocupar tanto de entender la necesidad que demanda la
sociedad, como de valorar si la respuesta institucional (programa o
proyecto), satisface apropiadamente esa demanda. Del estudio de
ambos niveles se deriva el Problema (de evaluacin).(vese captulo 2).

9) La identificacin del Problema no es un procedimiento mecnico. El
evaluador deber utilizar toda su capacidad de discernimiento y acudir a
todas las fuentes posibles (beneficiarios, expertos, grupos de inters,
www.ts.ucr.ac.cr 45
otros) para identificar los elementos clave, las conexiones causales para
darle sustentacin al Problema. Esta fase se denomina Planteamiento
del Problema. La Teora del Programa es un valioso recurso auxiliar para
la generacin de interrogantes de evaluacin pero el evaluador debe
cuidar que no sea su nica fuente.

10) Como cada situacin que se evala es diferente, el planteamiento del
Problema y la identificacin de criterios evaluativos deben formularse de
acuerdo a la singularidad de cada caso.

11) Esta situacin de singularidad que conlleva la tarea de evaluar, torna en
un imperativo la identificacin del problema y la derivacin de criterios
que se desprenden del anlisis detenido del Problema. La elaboracin de
Criterios en un paso crtico en el diseo evaluativo.

12) En evaluacin utilizamos el discernimiento para analizar y derivamos
criterios para valorar la situacin. El criterio es el elemento que se utiliza
para fundamentar una decisin o emitir un juicio y tambin para
especificar los resultados que se quiere alcanzar con el programa o
proyecto. Los criterios tienen una funcin iluminativa y acompaan la
accin de discernir. Discernimiento y Criterio se acompaan, se
complementan.

13) El esclarecimiento de criterios puede facilitar al evaluador el demostrar la
relacin entre razonamiento, evidencia y conclusin. La identificacin del
Problema, las Interrogantes y los Criterios de evaluacin constituyen un
todo concatenado que dar fundamento al trabajo del evaluador. Esta
fase de anlisis precede la escogencia del enfoque metodolgico y
acompaa de principio a fin el ejercicio evaluativo.

14) Al elaborar el diseo de la evaluacin y como una fase previa y a la vez
concurrente con la elaboracin de las interrogantes, el evaluador
identificar claramente el Problema, los Criterios y las Interrogantes de
evaluacin y sobre esta plataforma apoyar el diseo evaluativo.

15) En el planteamiento del Problema el evaluador lo describir de manera
que demuestre que los hechos sealados ameritan ser investigados y
evaluados. Los aportes de Martinic y Mndez a los que se hace
referencia en el captulo dos, son puntos de apoyo para esta fase.

16) En el anlisis e identificacin del Problema, no se puede obviar el
anlisis de la trama de intereses, los problemas de poder, la agenda
oculta del programa siguiendo a Weiss, la dinmica poltica (Weiss y
Cronbach), la distribucin presupuestaria como corolario de la
distribucin de poder (Wildawsky), los puntos lgidos y acuerdos
tcitos(Picado).
xxxvii
Estos y otros elementos crticos, pueden contribuir a
generar interrogantes de evaluacin que analicen la problemtica
burocrtica y de poder en el programa o proyecto evaluado.
www.ts.ucr.ac.cr 46

17) En muchas ocasiones las interrogantes seleccionadas tocarn puntos
lgidos que podran llegar a incomodar al contratante. Es importante que
el evaluador abra la puerta a valores dejados al margen, como podran
serlo los provenientes de los grupos en desventaja econmica y social.
Lo aconsejable es una relacin inteligente en la que el evaluador negocie
la formulacin de las interrogantes que sean realmente trascendentes
para el conocimiento y el impacto que pueda generar la evaluacin.

18) Indagar los valores humanos tanto a nivel de expectativas como su
influencia en los resultados del programa o proyecto evaluado es una
tarea central en el ejercicio evaluativo.

19) en la identificacin de los valores humanos es conveniente que el
evaluador utilice las diez interrogantes crticas propuestas por House y
Howe(1999 :113) para una mejor incorporacin de este elemento en su
diseo evaluativo.

20) el cometido final de la evaluacin es valorar, identificar el mrito del
objeto evaluado. Las interrogantes de evaluacin deben incorporar este
cometido.

21) las interrogantes evaluativas no se ocupan de describir sino de explorar y
explicar. Para nuestros efectos, las interrogantes descriptivas son pre-
evaluativas. La descripcin es una de las fases de la investigacin pero
en s misma, no es una accin evaluativa, sino un medio para el ejercicio
de valorar.

22) el prestar atencin al vnculo entre el Problema, los Criterios y las
Interrogantes puede facilitarnos el darle una mayor solidez a nuestra
argumentacin y a lograr mayor persuasin . Asimismo, si hay
coherencia entre el Problema, los Criterios y las Interrogantes y el informe
de resultados, la evaluacin fortalecer su capacidad de demostracin y
convencimiento.

23) El evaluador siempre deber definir el problema de investigacin,
formular los criterios y las interrogantes de evaluacin como un paso
previo a la seleccin del enfoque evaluativo.

24) Si el problema de evaluacin no se identifica y define con claridad no se
podrn generar criterios ni interrogantes de evaluacin acertados.

25) La formulacin acertada de las interrogantes de evaluacin facilitar al
evaluador una mejor investigacin y valoracin del objeto evaluado.
Podr el evaluador, de esta manera, avanzar en el conocimiento de la
conexin lgica de las causas y efectos del objeto evaluado,
fortaleciendo su capacidad explicativa de los hechos evaluados.
xxxviii
. La
www.ts.ucr.ac.cr 47
definicin del problema es un imperativo en la fase de planificacin y
diseo de la evaluacin.

26) Los criterios sealan el marco de lo deseable.

27) Los criterios expresan con claridad las expectativas y en ese sentido
norman la conducta humana y en el campo de la evaluacin facilitan el
discernimiento y orientan el razonamiento.

28) El evaluador emplea criterios que le permiten sopesar la informacin
generada y que le faciliten formular interrogantes de evaluacin para una
comprensin acertada del objeto de evaluacin. Emplea tambin criterios
para valorar la relacin causa-efecto de lo que observa. De nuevo
emplea criterios para hacer el juicio evaluativo y valorar integralmente el
desempeo del objeto evaluado. Es importante entonces, que el
evaluador se tome el tiempo para crearlos, definirlos y explicitarlos.

29) La lgica general de la evaluacin incluye los siguientes pasos : 1) el
establecimiento de los criterios de mrito o sea las dimensiones en las
que el objeto de evaluacin (programa o proyecto) debe desempearse
bien. 2) La construccin de los estndares o sea el establecimiento de
los parmetros de precisin de desempeo del objeto evaluado, 3) La
medicin y cumplimiento del desempeo contra los estndares
establecidos y 4)El juicio o mrito del objeto evaluado mediante una
sntesis e integracin de los datos que permita responder cul es el
mrito o valor del objeto, programa o proyecto evaluado ? (Scriven M.)
xxxix
.

El evaluador decidir si sigue o no la propuesta de Scriven sobre el
establecimiento de los Criterios y Estndares de mrito, pero lo que el
evaluador no podr dejar de demostrar, es su capacidad de
razonamiento lgico desde el Diseo (Problema, Criterios, Interrogantes,
Enfoque Metodolgico) hasta las conclusiones en el Informe Final, como
un todo coherente en su juicio evaluativo.

Las interrogantes de evaluacin se caracterizan por :

30) explorar y buscar la comprobacin de las relaciones causales de la
problemtica central identificada. La investigacin de causas y efectos es un
proceso del que no puede prescindirse en el proceso evaluativo.
31) las interrogantes evaluativas no se ocupan de describir sino de explorar
y explicar. Para nuestros efectos, las interrogantes descriptivas son pre-
evaluativas. La descripcin es una de las fases de la investigacin pero
en s misma no es una accin evaluativa, sino un medio para el ejercicio
de valorar.

32) la interrogante de evaluacin es clara, concisa y evita la ambigedad.

www.ts.ucr.ac.cr 48
33) la interrogante de evaluacin no conduce a respuestas dicotmicas (s,
no), si con ello limita la capacidad exploratori a de la respuesta.

34) la interrogante de evaluacin valora, sopesa la situacin, programa o
proyecto evaluado.

35) la interrogante de evaluacin ayuda a focalizar y precisar la situacin y
problemtica a evaluar.

36) En el proceso de anlisis y diseo evaluativo observamos la secuencia :
a) identificacin de los aspectos cruciales del problema; b)derivacin de
criterios y c) formulacin de interrogantes.

37) Si bien los criterios generalmente anteceden a las interrogantes, en la
medida en que ahondamos en el anlisis de una situacin, la relacin
puede ser inversa, ya que nuevas interrogantes podran conducirnos a
nuevos criterios y viceversa.

38) las interrogantes de evaluacin deben ser razonables y apropiadas. Al
formular una interrogante, el evaluador identificar los criterios,
dimensiones y estndares por medio de las cuales formular la
respuesta.(Rossi P. et al).
xl

39) La interrogante de evaluacin indaga pero no juzga, contribuye al
anlisis y a la comprensin del problema observado pero no sesga el
proceso.

40) Al formular una interrogante, el evaluador debe asegurarse de que
efectivamente pueda drsele respuesta, por medio de tcnicas de
investigacin que le sean accesibles.

41) Finalmente, el evaluador formular sus interrogantes de manera que
stas mismas constituyan la brjula y la columna vertebral de su diseo
metodolgico : Problema, Criterios e Interrogantes. Asimismo, en el
informe de evaluacin, -sin dejar de lado los valores de los usuarios
(stakeholders), demostrar su capacidad de emitir un juicio
independiente exponiendo de manera lgica su razonamiento
evaluativo.
Referencias Bibliogrficas

i
Adaptacin propia en base The Oxford Dictionary and Thesaurus.Oxford University Press. Oxford.
l996.p.3911
ii
Cronbach L.Designing Evaluations of Educational and Social Programs.Jossey Bass Publishers.San
Francisco.1982.
iii
Cronbach L. et al. Toward reform of program evaluation :Aims, Methods, and Institutional
Arrangements. Jossey Bass. San Francisco.l980.p.159
iv
Cronbach L. Designing evaluations of educational and social programs. Jossey Bass.CA.1982.p.225-
229
www.ts.ucr.ac.cr 49

v
Rossi P., , Freeman H. y Lipsey M. Evaluation a systematic approach. Sage Publications.Thousand
Oaks.1999.
vi
Rossi P et al.op.cit..
vii
Mark M., Henry G., Julnes G. Evaluation. An integrated framework for understanding, guiding and
improving Public and Non Profit Policies and Programs. Jossey Bass, San Francisco.2000.
viii
Melvin M. et al.op.cit.p.206 traduccin libre por X.Picado
ix
House,E.R. Evaluating with validity.Thousand Oaks,CA. :Sage.1980 y House,E.R.&Howe,K.R.
Values in evaluation and social research. Thousand Oaks :Sage.CA.l999 citados por Mark M. et al
op.cit.p.37
x
Rawls J. A theory of justice. Cambridge,MA. :Harvard University Press,Bellknap Press.l971, citado
por Mark M. et al, op.cit. p.37
xi
House, E.R. Professional evaluation. Thousand Oaks, CA .Sage.l993.FALTA PAGINA
xii
Cronbach L .Designing Evaluations of Educational and Social Programs.Jossey Bass
Publishers.San Francisco.1982.p.7. (traduccin libre por X. Picado)
Francisco.1982.
Francisco.1982.
xiii
Babbie The practice of social research. Wadsworth Publishing Co., Belmont. 1986 p.319
xiv
Shadish W., Cook T. y Levinton L. Foundations of program evaluation. Sage 1991.p.30
xv
Mndez A. C.Metodologa. Gua para elaborar diseos de investigacin en ciencias econmicas,
contables, administrativas. McGraw Hill.1988.p.7
xvi
Rossi P., Freeman H. y Lipsey M. Evaluation a systematic approach. Thousand Oaks, Sage.l999
Martinic S. Evaluacin de Proyectos.Comexani-Cejuv. Mxico. 1997
xvii
Mndez C. Metodologa . Gua para elaborar diseos de investigacin en ciencias Econmicas,
Contables Administrativas. McGraw Hill, Bogot. 1988
xviii
Martinic S.op.cit. pp.62-63
xix
Chen H. Theory Driven Evaluations. Newbury Park, Ca. Sage. 1990
xx
Cfr.Mndez C. op.cit.p.31 y las citas sobre Sellizts, C. Mtodos de investigacin en las relaciones
sociales.8a.de.p.46 realizadas por el primer autor.
xxi
Mndez C. op.cit p.31
xxii
Martinic S.op.cit.p.63
xxiii
Babbie E. The practice of social research. Publishing Co.CA.1986 ; Selltiz C.et al. Mtodo de
investigacin en las relaciones sociales, Ediciones Rialp S.A., Madrid, l976 ; Mndez C.Metodologa.
Gua par ala elaborar diseos de investigacin en ciencias econmicas, contables y administrativas.
McGraw Hill Interamericana.S.A.Mxico.l988 ; Ander-Egg. E. Introduccin a las tcnicas de la
investigacin social, Editorial Humanitas, Buenos Aires, l978.
xxiv
Chen H. Theory Driven Evaluations. Newbury Park, Ca. Sage. 1990
xxv
Diccionario de la Real Academia Espaola. FALTA AO Y PAGINA
xxvi
Scriven M. Hard Won Lessons in Program Evaluation. Jossey Bass.No.58.San Francisco.l993.pp.8 y
9.
xxvii
Rossi P. et. al. Op.cit.p.84
xxviii
Roosi P. et al. Op.cit.pp.84-86
xxix
Rossi P. et al. Op.cit. p. 81. Citando a Fournier D. Establishing Evaluative Conclusions : A
Distinction Between General and Working Logic, New Directions for Evaluation.no.68(San
Francisco :Jossey Bass,l995),p.16
xxx
Scriven M. II Seminario de Evaluacin. Enfoques y Criterios clave para evaluaciones de calidad.
Maestra de Evaluacin de Programas y Proyectos de Desarrollo.Universidad de Costa Rica San
Jose..Agosto l998.
xxxi
Diccionario de la Real Academia Espaola.

xxxii
C.R.O.P.Evaluation Thinking.North Carolina End-of Grade Testing Program pamphlet.l992,l993.
xxxiii
UNESCO. Criteria for designation and evaluation of UNESCO Biosphere reserves in Germany.l972
xxxiv
G.A.O.Program Evaluation and Methodology Division (PEMD).s.f.
Rist Ray y Wisler Carl. Contralora General del gobierno de los Estados Unidos. 1984. Reeditado en
1991.

www.ts.ucr.ac.cr 50

xxxv
Grizzle G. State Managers Handbook series on Productivity: Asking the right question to evaluate
programs: A Guide for State Managers. The Institute of Science and Public Affairs. Florida
State University. 1979. P.17.
xxxvi
Vase: Quintero Uribe U. Evaluacin de proyectos sociales. Construccin de Indicadores, FES,
Tercer Mundo. Edic. Colombia 1995 y Picado X. Hacia la elaboracin de indicadores de
evaluacin (en prensa).
xxxvii
Fink A. How to ask survey questions. Sage Publications.Thousand Oaks, l995.
xxxviii
Martinic S.op.cit. pp.62-63
xxxix
Scriven M Rossi P. et al. Op.cit. p. 81. M.Citando a Fournier D. Establishing Evaluative
Conclusions : A Distinction Between General and Working Logic, New Directions for
Evaluation.no.68(San Francisco :Jossey Bass,l995),p.16 . Consltese tambin a Scriven M.
xxxix
II
Seminario de Evaluacin. Enfoques y Criterios clave para evaluaciones de calidad. Maestra de
Evaluacin de Programas y Proyectos de Desarrollo.Universidad de Costa Rica San Jose..Agosto l998i
xl
Rossi P. et al op.cit. p.83 y como referencia general los captulos 3 y 4.

Formulación de interrogantes de evaluación

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Formulación de interrogantes de evaluación

Enviado por

Direitos autorais:

Formatos disponíveis

Interrogantes de la Evaluacin

Você também pode gostar