SECRETARIA DE EDUCACIÓN DE CHIAPAS

DIRECCIÓN DE EDUCACIÓN SUPERIOR

CENTRO DE ESTUDIOS UNIVERSITARIOS SAN
CRISTÓBAL
(CEUSC)
MAESTRÍA EN EDUCACIÓN

Asignatura:

TEORIA DE EVALUACION DE PROYECTOS EDUCATIVOS

UNIDAD II
“MODELOS DE EVALUACION DE PROGRAMAS
EDUCATIVOS”

Elaborado por:

JESSICA RODRIGUEZ SILVA

Asesor:

Mtro. Amilkar Pérez Cañaveral

San Cristóbal de las Casas, Chiapas; Abril 13 de 2018.

 MODELOS DE EVALUACION

DE

PROGRAMAS EDUCATIVOS

Cronbach diseño funcional de la evaluación

Cronbach se inclinó y contribuyo en las teorías

sobre la medida una contribución impactante
en la que se enfoco fue en el coeficiente de
la confiabilidad alfa esto en el año de
1951, tuvo un gran equipo de trabajo y
gracias a ello desarrollaron la “teoría de
la generabilidad” que prácticamente se
enfoca en analizar los componentes de
las variantes que se presentan en los test
de rendimiento. Así también realizo
estudios correlaciónales que fueron
denominados con las siglas ATI
(interacciones entre aptitudes y tratamientos)

TEORIA EVALUATIVA

LA EVALUACION FORMATIVA

EN 1963 Cronbach deja un legado publica un libro llamado en inglés “Course

improvement trough evaluation” que en español significa “Mejora de un curso a
través de la evaluación” en el cual señala la importancia que tiene la evaluación
pero no cualquier evaluación, él se enfoca en la formativa, ya que argumenta que la
evaluación es una actividad diversificada y que no hay principios fijos que puedan
abarcar todo lo que ésta abarca, además de que debería de ser empleada para
conocer los factores que producen la efectividad o no de algún curso analizado.

2
Para Cronbach la multidimensionalidad de la Evaluación es un tema de
preocupación ya que hay múltiples patrocinadores y promotores de la educación y
el evaluador debe considerar todos estos aspectos.

Algunas concepciones claras y precisas hechas por Cronbach en su artículo de

1963 son:

1. Conocer la aplicación, estrategias y resultados de los programas para

mejorarlos.
2. Los resultados que se obtengan de las evaluaciones hechas deben ser
empleados para rediseñar los programas analizados e implementar nuevas
estrategias en los mismos, siempre buscando la mejora académica de los
alumnos.
3. Para él los estudios analíticos, organizados, controlados y específicos son la
mejor opción ya que las evaluaciones que hacen los centros educativos
pueden variar grandemente aunque lleven el mismo programa.
4. Algunas herramientas fiables son: cuestionarios, observaciones y
entrevistas, por citar algunos ejemplos, sin olvidar que se debe dar un
seguimiento de la evaluación hecha a los alumnos.
5. Las evaluaciones deben ser plasmadas en un informe detallado, explicando
las causas por la que los programas llegan a los objetivos deseados.

DATOS QUE INTERESAN A LA EVALUACION

Para Cronbach son 4 tipos de datos en la realización de una evaluación:

1. La descripción de los procesos de enseñanza y aprendizaje y la interacción

de maestro – alumno dentro del aula, la mejora del curso será de mayor
valoración según el autor.
2. Actitudes, sentimientos y valoración de los docentes y alumnos hacia la
experiencia educativa que vivan.
3. Hay detalles que el autor propone para el estudio de los logros de los
alumnos:
a. Valorar las habilidades personales de cada ser.

3
 b. El análisis de las pruebas las cuales darán origen al diagnóstico y
permitirá la intervención oportuna de las mejoras académicas.
c. Adaptar pruebas idóneas para grupos específicos, evitar
generalizar.
d. Adaptar pruebas esto lo deberá realizar los desarrolladores y
patrocinadores de los cursos.
4. Información para la investigación que generalice hallazgos, aunque
Cronbach le otorga menos importancia que a las evaluaciones formativas.

La evaluación es considerada por Cronbach parte fundamental para el desarrollo

del currículo.

DATOS IMPORTANTES A LA EVALUACION

1. Datos descriptivos para el proceso de E-A dentro del aula.

2. Datos para la valoración de las actitudes de los profesores y alumnos para la
experiencia educativa.
3. Datos para el estudio de los logros de los alumnos, tomando en cuenta sus
habilidades personales, su rendimiento y la adaptación de las diferentes
pruebas realizadas.
4. Datos con fines de investigación, que permitan valorar los resultados
obtenidos.

HACIA LA REFORMA DE LA EVALUACION DE PROGRAMAS

En la universidad de Stanford en el año de 1980 Cronbach junto con un grupo de

colegas público un libro llamado “Toward Reform of Program Evaluation” que en
español significa “Hacia la reforma de la evaluación de programas”, el cual fue clave
para el desarrollo de la teoría evaluativa.

Están enfocados en la investigación política, sus intereses son centrados en el

poder desarrollar una teoría de la evaluación realista, buscando obtener resultados
útiles en un corto y medio plazo. Concluyen enfatizando que los programas deben
ser bastante amplios para adaptarse a la clase de ciudadanos que se tengan.

4
LOS ESTADIOS DE MADURACION DE LOS PROGRAMAS

Estadio 1: “piloto o provisional” el nuevo programa o sus mejoras son aplicados

como piloto de manera provisional.

Estadio 2: “Superrealización”: después del programa piloto se reelabora el programa

creando condiciones las cuales están controladas y puedan garantizar el éxito.

Estadio 3: “Prototípico”: se aplica el programa lo más allegado a la realidad.

Estadio 4: “Operación del Programa”: la aplicación del programa en su contexto real.

LOS PROPOSITOS PROPIOS E IMPROPIOS DE LA EVALUACION

Lo que cuenta para Cronbach y sus colaboradores en la evaluación es la validez

externa, lo que significa como la plausibilidad1 de que las conclusiones sobre unos
u otros UTOS2, rechazando tajantemente la función de la evaluación para ayudar a
la toma de decisiones sobre mantener o retirar algún programa, así como la
evaluación para la rendición de cuentas.

EL ENFOQUE DE LA EVALUACION FLEXIBLE Y SUS PRINCIPIOS

Dicho autor junto con sus colaboradores defienden en su libro publicado en 1982
que la investigación debe tener razón para dar respuesta a las múltiples
necesidades de los patrocinadores, ya que para ellos el mundo tiene una visión
político plural, se basan principalmente en tres principios de la evaluación flexible:

1. Evitar la realización de un único estudio, se deben realizar estudios pequeños

y múltiples que garanticen la fiabilidad de los resultado.
2. Como evaluadores deben enfocarse a la proporción de menos respuestas
claras a una mayor amplitud de cuestiones y necesidades plurales que a la
localización de recursos para la obtención de respuestas altamente precisas
pero en temas limitados.
3. La priorización de temas o cuestiones de la evaluación priorizándolos por
medio de un algoritmo, los cuales deben pasar por dos fases:

1
Del término plausible que alude al verbo aplaudir, palabra de origen latín “plausibilis” que procede del verbo plaudere.
2
Referido al universo de personas, tratamiento u observaciones no muestreados.

5
 a. La divergente3: en donde se busca la participación de todos los miembros
que conforman la comunidad política, lo que permita descubrir los temas
de mayor interés e influencia. Se enfrenta a miles de opciones produce
muchos temas a los que se debe enfrentar.
b. Fase convergente4: Después de pasar por esta tercera fase se debe
proceder a realizar una valoración sobre la incertidumbre que existe sobre
el conocimiento actual de algunos temas y se deben concentrar en los
recursos para superarlos de forma significativa y con bajo costo. Prioriza
los temas de mayor necesidad a los que se le deben dar respuestas
razonables.

LAS FUNCIONES DEL EVALUADOR

El evaluador es parte de un sistema de interacción política, que influye en el diseño

de los programas, el cual según el autor puede dar informes informales frecuentes
no planificados, todo en beneficio de la obtención de resultados y la facilitación de
la información.

(Scriven) Deben ser educadores más que filósofos, (Campbell) más que protectores
de la verdad, (Wholey) más que funcionarios de la administración, (Cronbach) el
evaluador tiene influencia política, debe pensar independientemente y ser crítico.

TEORIA FUNCIONAL PARA EL DISEÑO DE LAS EVALUACIONES DE

PROGRAMAS EDUCATIVOS Y SOCIALES.

La evaluación sobre los programas sociales debe ser plural, implementa su teoría
la cual llamó como “funcional” plasmada en su obra (1982) titulada “Disigning
evaluations of educational and social programs”, en donde pretender resolver la
limitación de los diseños de investigación donde muestra la inferencia válida que
depende de los factores estructurales como: los grupos de control, el pre-test, y la
asignación de los tratamientos de los grupos al azar.

3
Proviene del latín “divergens” o “divergentis” que significa separación o diferencia.
4
EL encuentro de dos puntos, ideas, cosas o situaciones que partes de lugares diferentes, proviene del latín “convergere”,
que significa encuentro de dos líneas separadas que se juntan en un mismo punto.

6
Para la evaluación de prototipos aplica la evaluación de diseños, que se refiere a
fase de prueba de otros futuros programas en su modo “piloto”, él se basaba en
cuatro periodos:

1. Iniciación del programa o programa piloto.

2. Superrealización del programa, tomando en cuenta las recomendaciones
obtenidas del programa piloto.
3. El prototípico, la aplicación del programa en condiciones lo más semejantes
a la realidad, presentado a un grupo pequeño de personas.
4. La aplicación real del programa, el establecimiento del programa en un modo
real en situaciones normales. Sin embargo Cronbach no considera
importante la evaluación de este último estadio ya que si está puesto en
marcha y arroja resultados positivos y funcionales no requiere evaluación de
nuevo.

LA VALIDEZ INTERNA Y EXTERNA DE LOS DISEÑOS EVALUATIVOS DE

CRONBACH

Términos de la investigación experimental: validez interna y externa presentado en

su libro de 1980 pero desarrollado en su libro de 1982 bajo la creación de términos
como:

 “utos” (en letra minúscula), que alude a los datos reales recogidos en
términos de unidades, normalmente de personas, representan a la
“muestra”.
 “UTOS” (con letras mayúsculas), se refiere a la población a la que
pertenecen la muestra.
 “UTOS*” (en mayúscula y cursiva): a poblaciones de unidades, tratamientos,
observaciones y situaciones sobre las cuales fueron formuladas las
cuestiones de la investigación y a las cuales los “utos” particulares les
corresponden.

Es el dominio más relevante para la aplicación de la investigación social ya que

transfiere hallazgos investigativos más allá de los contextos en los que se generan.

7
Para Cronbach la validez es subjetiva, está asimilada a la credibilidad. La validez
interna se interesa por la inferencia de los utos muestrales a los UTOS para lograr
la generalización.

Para Campbell la validez interna tiene que ver con la naturaleza de la relación entre
el tratamiento y la observación a nivel muestreo, es decir, se cuestiona sobre si las
conexiones entre tratamiento y observación son casuales.

METODOS DE GENERALIZACION DE LOS “utos”, A LOS UTOS Y UTOS*

De “utos” a UTOS:

A. Especifica datos claros que permiten generar una conclusión a partir de

éstos.
B. Controles sobre la realización del programa y las acciones para su
evaluación.
C. Restricciones de la indagación y de las inferencias estrechas y homogéneas
UTOS

De UTOS a UTOS*:

No corresponden a las poblaciones estudiadas: corresponde al concepto de validez

externa de Cronbach; la extra población de la información va más allá de las
poblaciones estudiadas:

Tres estrategias de extra población:

a. Consta de analizar los datos de las subpoblaciones más cercanas, próximas

y similares a la del programa.
b. Se trata de explicar como un tratamiento tiene un efecto particular, utilizando
análisis cuantitativos y cualitativos.

Análisis cuantitativos: incluidos en la utilización de modelos causales, la división

del tratamiento en sus distintos componentes, la comprobación de su eficacia
además de indicadores múltiples de los constructos5 causales particulares.

5
Constructo: construcción teórica que se desarrolla para resolver un problema científico.

8
 Análisis cualitativos: incluirán un análisis basado en la observación detallada en
el sitio, así como el uso de diarios o historias que hablen del contexto de la
historia.

La finalidad es que ayude a identificar variables importantes para explicar bajo

qué base el programa es más efectivo. Las explicaciones que se deben anotar
y transmitir serán las que indiquen de qué forma se logra que se obtengan dichos
resultados.

Para Cronbach la validez externa será la mejor forma de realizar la mediación.

c. Extrapolar de UTOS a UTOS*: los hallazgos son diseminados 6 en la

evaluación, para Cronbach el modo narrativo es el más eficaz ya que en
éstas se pueden detallar diversos aspectos que van desde lo general hasta
lo particular, es imprescindible se creen grupos de estudio de expertos en
áreas específicas en relación con los programas a tratar y la aplicación de
los mismos, el trabajo en equipo. Lo más importante para este autor dentro
de la investigación es la transferencia de conocimiento, el diseño de la
evaluación educativa es un arte defendiendo la necesidad de realizar
evaluaciones, siguiendo criterios de la evaluación experimental ya que en el
momento “prototípico” del programa es cuando se puede demostrar lo dicho
ya que es cuando se rediseña para comprobar su eficacia antes de
manifestarlo a toda la población.

6
Diseminar: Separar cosas que están juntas.

9
TABLA DE RESUMEN DE LAS CONCEPCIONES EVALUATIVAS DE
CRONBACH

10
 TEMA 4

MICHEL SCRIVEN, LA EVALUACION COMO CIENCIA DE LA VALORACION

INTRODUCCION

Scriven es uno de los primeros teóricos que habla sobre la

evaluación moderna, muchos han tomado en cuenta sus
hallazgos para implementarlos en sus procesos de evaluación,
ha propuesto términos como la evaluación sumativa y
formativa, así como la evaluación libre de metas y la meta-
evaluación, introdujo también el término en ingles llamado
“evaluand” que significa (objeto a evaluar), y la evaluación libre
de costos, todo esto lo plasma en su obra titulada “the
methodology of evaluation” escrito en 1967.

El define a la evaluación como disciplina ya que es una construcción intelectual

organizada, la esencia es su práctica.

LA TEORIA DE LA EVALUACION DE SCRIVEN

LA EVALUACION COMO LA CIENCIA DE LA VALORACION

Uno de los componentes de la evaluación son las premisas y criterios evaluativos

que se encarga de verificar los valores y las normas de una buena valoración, otro
componente es la acumulación y la síntesis de datos.

La evaluación para Scriven es la ciencia de la valoración, cree además que los

valores pueden ser investigados y justificados empíricamente, de modo que “la
investigación evaluativa debe producir como conclusión un juicio de valor”
(1974a:4). Los valores son esenciales constructos científicos.

Debido a que Scriven se declara como neopositivista argumenta y declara que

ningún científico observará la verdad tal cual, siempre pondrá un poco de su sentir
distorsionándola a lo que llamó “perspectivismo” que significa asumir múltiples
contrastes de la realidad para construir la verdad, es así como promueve un término
que llamó “probativo” que significa un modelo de razonamiento sencillo y sistemático

11
que se pueda utilizar en la elaboración de un juicio sobre algo, por lo tanto la ciencia
de la valoración debe atender a la lógica probativa.

LAS NECESIDADES SOCIALES Y LA CIENCIA DE LA VALORACION: LA

EVALUACION ORIENTADA AL CONSUMIDOR

Como ya se ha mencionado antes la evaluación es la ciencia de la valoración la cual

es utilizada por la sociedad quien se encarga de determinar si los productos
ofertados son buenos o no y si se beneficiarán de dichos productos.

La evaluación debe cumplir un servicio en favor del consumidor es por esto que este
autor la ha nombrado “Evaluación orientada al consumidor” en donde se tiene que
tener en cuenta las necesidades y expectativas y se deben los resultados de la
evaluación.

La “Evaluación libre de costos” las evaluaciones deben cumplir con ciertas normas
establecidas en las que en las que se produzca un equilibrio de coste-beneficio
positivo, así que las evaluaciones que crean más problemas que beneficios deberán
ser desaconsejadas. Para esto será útil implementar el análisis de la evaluabilidad
la cual ayuda a saber cuándo realizar adecuadamente una evaluación y cuando no.

LA EVALUACION FORMATIVA Y SUMATIVA

Scriven los relaciona con dos modos de sensibilidad, la evaluación formativa alude
a la obtención de información de las personas que intentan mejorar algo, y la
evaluación sumativa alude proporcionar información para los que toman decisiones,
preocupados por crear, terminar o mejorar algo.

Para Scriven la evaluación sumativa es su preferida ya que es holística, global, sin

embargo no deja de lado la evaluación formativa ya que esta es fundamental para
que se presenten mejoras y debe hacerse en servicio de la evaluación sumativa.

LA EVITACION DE LOS PREJUICIOS

No se deben evitar al contrario el evaluador los debe manifestar y tener presentes

para establecer alertas contra la duda o la ignorancia de la existencia de los

12
prejuicios. Evitarlos o no hablar de ellos dejará al descubierto la falta de honestidad
por parte de los evaluadores.

El trabajo del evaluador será pues el de identificar cualquier efecto del programa,
que pueda ayudar a resolver los problemas y mejorar los programas y su aplicación,
los evaluadores deben realizar “evaluaciones libres de metas” también llamadas
“evaluaciones con referencia a las necesidades”, los evaluadores que aplican este
último término parten de un punto al que le denominan “ciegos”.

La evaluación libe de metas hará que el evaluador u observador trabaje sin

prejuicios y será su función descubrir todos los efectos del programa a evaluar, lo
que los produce y relacionarlos con las necesidades de aquellos a quienes afecta
el programa. Personajes como Shadish, Cook y Leviton proponen cambiar el
término anterior por “evaluación basada en las necesidades y en el descubrimiento
de los efectos”

LA META-EVALUACION

Se puede definir como una evaluación sistemática encaminada a emitir un juicio

valorativo acerca de la calidad y los méritos de una evaluación.

El uso de la meta-evaluación asegura la calidad, honradez y precisión del trabajo

de la evaluación realizado.

LA LOGICA DE LA EVALUACION Y LA LOGICA EVALUATIVA

La lógica de la evaluación: Determina los criterios de mérito de los que se evalúa,

sugiere tres actividades claras:

1. Determinación de los criterios de mérito o determinación de los programas.

2. Fijación de normas claras de lo que se busca conseguir.
3. Medida de la realización confirmando que los programas se están aplicando
siguiendo los criterios de su mérito.

“Criterios del mérito del programa”: se debe identificar las dimensiones sobre las
cuales el objeto debe actuar, esto implica determinar los criterios de su mérito,
concretados en las metas del programa.

13
“Determinación de las normas sobre el mérito”: cuanto debe cumplir lo que se
evalúa.

“La medida de la evaluación o la realización”: medir los resultados obtenido por el

programa y compararlos con las normas de mérito. Se debe procurar que el informe
de evaluación sea comprendido por todos aquellos que deban recibir dicha
información.

Scriven añade dos tips fundamentales a este aspecto:

1. El evaluador ha de determinar el objeto que va a ser evaluado.

2. El programa.
3. Después de compartir los resultados obtenidos…
4. El evaluador resumirá los resultados en un juicio evaluativo.

DERIVACIONES DEL MODELO EDUCATIVO DE SCRIVEN: LA EVALUACION

ORIENTADA AL CONSUMIDOR

Es básicamente sumativa y se enfoca en producto educativos los cuales pueden ser

la evaluación de currículos, las nuevas tecnologías, el material educativo y/o
cualquier servicio brindado en las escuelas.

Este término nació en los Estados Unidos en la segunda mitad d en los años 60
cuando surgieron nuevos modelos educativos.

Scriven en esa época hizo una gran aportación definiendo claramente las funciones
de evaluaciones argumentando que la función de la Evaluación sumativa permite a
los administradores decir si el currículo terminado en su rol formativo representa
una ventaja sobre las alternativas tenidos en referencia a la justificación del gasto
de su aportación escolar.

La LCE son entonces los criterios que Scriven sugería para realizar la evaluación
que no son más que las listas clave de control para la educación las cuales deben
de estar centradas en los modelos educativos proporcionados desde los centros de
investigación y desarrollo.

14
Departamentos de educación y las Agencias de Evaluación han creado y discutido
un enfoque que vaya dirigido al consumidor creando formas estandarizadas para
obtener y poder comunicar la información evaluativa, basándose en 4 aspectos
bases:

1. Los procesos educativos.

2. Los contenidos.
3. La transferencia.
4. La eficacia.

INFORMACION SOOBRE LOS PROCESOS EDUCATIVOS

Existen preguntas claves creadas como base para la adquisición de información

sobre los procesos educativos:

a. ¿Cuál es la naturaleza y frecuencia de las interacciones entre los estudiantes/

administradores/ profesores/ otras personas relevantes?
b. ¿Se describe con antelación la estrategia de la enseñanza que se va a utilizar
de modo que pueda determinarse su adecuación?
c. ¿Ha sido evaluada dicha estrategia?
d. ¿Está integrada la evaluación como parte del desarrollo y realización del
programa?

INFORMACION SOBRE LOS CONTENIDOS

Basados en los aspectos que a continuación se muestran:

a. ¿Existen o faltan elementos básicos del programa, o elementos de los

resultados, tales como los siguientes?
 ¿objetivos claramente formulados?
 ¿Directrices suficientes sobre lo que debe dominar el alumno para superar
con éxito el curso?
 ¿otro material necesario?
 Prerrequisitos cognoscitivos, habilidades requeridas.
 Desarrollo de los contenidos claros y suficientes.

15
  Orientaciones sobre la práctica.
 ¿han sido evaluados dichos elementos?

INFORMACION SOBRE LA TRANSFERENCIA

Estos están relacionados con la validez externa y hay tres elementos relacionados
que son: transferencia de otros contextos, personas y tratamientos. Igualmente se
realizan preguntas clave (p.120 antología).

INFORMACION SOBRE LA EFECTIVIDAD

Además de las preguntas clave que requieren se basan en la comparación con una
base establecida “pretest-postest” en donde se comparan las normas de los estados
con las conductas de los estudiantes y profesores por citar algún ejemplo.

VENTAJAS Y LIMITACIONES DEL ENFOQUE DE LA EVALUACION

ORIENTADA AL CONSUMIDOR

Proporcionando en base a dos modos un servicio al consumidor:

1. ¿La evaluación de los productos evaluativos ha hecho que los educadores

no tengan tiempo para realizar dicho trabajo?
2. ¿ha aportado a los educadores conocimientos sobre los criterios adecuados
a usar en la selección de los productos educativos?

Como el consumidor es la base de todo y es el que invierte tiempo y dinero por eso
se debe de hacer programas piloto antes de ser llevados al mercado real.

LAS LISTAS DE LAS CLAVES DE CONTROL PARA LA EVALUACION Y LA

META-EVALUACION

Conocido realmente como MEC que significa “Meta- Evaluación Checklist”, dicha
evaluación debe cumplir con ciertos criterios que garanticen los estándares
correctos de la evaluación que se utilizaron garantizando así la factibilidad de haber
sido llevados a la práctica.

A continuación se plasma la imagen de una lista de control de evaluación (LCE)

creada por Scriven en el 2004.

16
17
Ya que se tengan los datos Scriven sugiere que las interpretaciones y valores se
realicen de forma explícita para permitir su corrección antes de publicar el informe
oficial y público.

Los evaluadores en su informe pueden añadir recomendaciones para las personas,

proyectos o aspectos evaluados y su informe final debe ser evaluado también a fin
de evitar la transmisión subjetiva o errores Scriven sugiere que se basen en su LCE.
La evaluación es la multiplicidad de lo múltiple, término acuñado
epistemológicamente para la construcción de un cuadro de la verdad abarcando
múltiples puntos.

TABLA DE RESUMEN DEL MODELO DE EVALUACION DE PROGRAMAS DE

SCRIVEN.

18
 TEMA 5

ROBERT E. STAKE. EL MODELO DE LA FIGURA Y LA EVALUACION

RESPONDIENTE

Se busca la comprensión y valoración de los aporte de Stake a la evaluación de

programas como servicio a quienes están directamente implicados en el programa.

INTRODUCCION

Dicho teórico defendía los métodos cualitativos fue

psicométrico y se centraba en la formación de los orientadores
escolares, intentó proponer al personal de Follow Throughy la
oficina de Educación americana una evaluación nacional sin
embargo dicha propuesta no fue aceptada debido a la logística
que planteaba, mas sin embargo realizo un diseño psicométrico
para al Instituto de investigación de Stanford.

Desde entonces se especializo en los métodos cualitativos para los estudios de

caso, con el paso del tiempo se dio cuenta de que las evaluaciones debían contener
cuestiones políticas y nuevos enfoques para a validación y legitimación de las
evaluaciones.

The countenance paper 1964, fue un artículo que Stake publico después de haber
convocado a una reunión de grandes teóricos sobre la evaluación, en este artículo
él principalmente quería transmitir no un método sino un inventario para la
recolección de la información.

EL MODELO DE EVALUACION DE LA FIGURA

En el artículo antes mencionado el autor plasma como sugerencia un modo para

ayudar al evaluador a determinar los datos que debe reunir, basándose en la
creación de un matriz que explicara la racionalidad del programa, áreas para datos
descriptivos, y espacios para la valoración o juicio.

Enfoque de evaluación respondiente: son flexibles y se basan en la observación,

este es un enfoque que sacrifica alguna precisión de medida con la esperanza de

19
incrementar la utilidad de los hallazgos para las personas que participan y rodean
el programa. La característica principal es la sensibilidad hacia los temas esenciales
para ayudar a las personas. Los temas que resultan ser preocupantes son los que
sugieren el estudio de la evaluación. En concreto este programa pretende descubrir
el mérito y las deficiencias de un programa. Al finalizar la evaluación los evaluadores
deben entregar un escrito describiendo lo que descubrieron partiendo a los lectores
emitir su propio juicio sin ser ellos quienes lo generen.

Algunas actuaciones a realizar abarcan desde hablar con los clientes, el personal
del programa o las audiencias, conceptualizar los temas hasta validar, confirmar y
adaptar las audiencias para trabajarlas con el tipo de grupo específico con el que
se trabaja.

Los evaluadores pre ordenados: dedican más tiempo en la preparación de

instrumentos, a la preparación de test o a la preparación formal de los informes,
estos se apoyan en las nociones del éxito las cuales surgieron para ellos desde las
teorías académicas o investigaciones previas.

Los evaluadores respondientes: dedican más tiempo a la observación, a conocer

las necesidades del cliente, a estar en el lugar de estudio y al final a la preparación
de su informe, prestan especial atención a las razones por la cual se les solicitó la
evaluación, después analiza lo que ocurre en el programa para finalizar con la
elección de cuestiones y criterios de valor a utilizar.

El evaluador respondiente debe platicar con los que tienen alguna responsabilidad
en el programa para él no es transcendental la dinámica especifica de la recolección
de datos, con las pláticas que él tenga podrá conocer los criterios y aspectos reales
útiles para la evaluación, su modo es flexible aunque obtenga datos cualitativos y
cuantitativos.

LA TEORIA DE LA EVALUACIONDE STAKE

LA EVALUACION COMO SERVICIO

Skate aconseja a los evaluadores principalmente a que presten atención a lo que

ocurre en el programa para posteriormente elegir las cuestiones y criterios de valor.

20
La evaluación debe surgir de la evaluación del programa según Skate ya que está
enfocado en las personas participantes en el mismo que en los patrocinadores.

LA EVALUACION COMO REFLEJO DE VALORES

Skate difiere de la visión que tiene Scriven sobre el evaluador, para Skate el
evaluador deben ser los clientes de la evaluación no el evaluador, la evaluación
debe reflejar los valores de una pluralidad ya que no existe ningún sistema de
valores correcto.

DIFERENCIA ENTRE EL ENFOQUE “PREORDENADO” Y EL ENFOQUE

“RESPONDIENTE”

a. Evaluaciones pre ordenadas:

Enfatiza las metas del programa como criterio de evaluación.

Utiliza la recolección de datos para comprobar los objetivos y normas del programa,
de tal manera que pueda emitir un juicio.

Se elaboran informes de tipo investigativos

Son determinadas por los evaluadores.

Se basa en un plan apriorístico.7

b. Evaluación respondiente:

Orientada hacia las actividades del programa más que a sus metas

Responde a las necesidades de información de las audiencias más que a las

categorías de información.

Considera loas diferentes valores de las personas en el programa cuando juzga su

evaluación.

7
Apriorístico: anterior, a priori

21
DIFERENCIA ENTRE LA AUTO-EVALUACION Y LA EVLUACION EXTERNA
RESPONDIENTE

a. La auto-evaluación

Puede utilizar observadores externos

“locus of control” es interno.

El evaluador conduce la evaluación evaluativa ayudándole a conocer

circunstancias, problemas y valoraciones del programa a los interesados del mismo,
mediante la experiencia vicaria.

b. Evaluación respondiente

Enfocado en los temas que surgen del contexto de la evaluación, los cuales ayuden
a comprender lo que pasa en el programa.

EVLUCION DE LA DIFERENCIACION ENTRE LA DESCRIPCION Y LA

VALORACION EN LA EVALUACION

La interpretación y la valoración están presente desde el inicio, la valoración puede

proceder de las personas implicadas en lo que se está evaluando.

La interpretación de la información debe descansar en la toma de decisiones sobre

los grupos implicados en los programas. Ya que la toma de decisiones es parte del
proceso de evaluación.

PREFERENCIA POR LO METODOS CUALITATIVOS: EL ESTUDIO DE CASO

Para realizar una buena evaluación respondiente los métodos debe ajustarse a la
situación en las que se está generando el programa.

El estudio de caso fue creado por Stake en 1978 se distingue por dar importancia a
lo que es y a lo que no es el caso, esto significa el estudio prácticamente se centra
en el problema de estudio lo que permite facilitar el conocimiento concreto y
contextualizado.

22
Se ajusta a los modos naturales en que las personas asimilan la información y ayuda
a su comprensión.

Describe lo que es holístico, complejo, variable, utiliza la observación personal,

redacta los informes de manera informal, y narrativos en algunos casos. El principal
propósito es comprender el caso en particular más que la investigación de un tema
de estudio.

Utiliza observaciones, entrevistas, análisis de documentos pero principalmente la

observación se adapta al sitio donde se desarrolla el programa. El informe que se
realiza es narrativo, con citas e ilustraciones pero es de carácter informal. Los
evaluadores utilizan la triangulación para llevar a cabo con éxito el estudio de caso.

LA GENERALIZACION NATURALISTA DE LOS RESULTADOS

Stake defiende al localismo por lo tanto defiende que el objetivo de la evaluación es

mejorar la práctica local, no la producción y la diseminación de un nuevo producto
para él hay dos modos de mejorar la práctica educativa:

1. Incorporando las aportaciones desarrolladas por la investigación.

2. Mediante el estudio detallado de la práctica.

Este modo de generalización se basa en fundamentalmente en la experiencia

vicaria.

EL ROL DEL EVALUADOR RESPONDIENTE

Es mencionado como facilitador, arbitro, juez y aprende del descubrimiento y debe

preservar un espíritu de investigación y de reflexión.

LA COMUNICACIÓN DE LOS RESULTADOS EN LA EVALUACION

RESPONDIENTE

Los informes que se obtienen al inicio y durante la evaluación ayudan a definir los
temas propuestos, el evaluador entonces puede cambiar el orden de prioridad de
los temas de indagación. El evaluador debe enfocarse en la redacción de la

23
evaluación tomando en cuenta el contexto y tipo de personas con las que labora
permitiendo así que todos comprendan el informe realizado por el evaluador.

TABLA DE RESULMEN DEL MODELO DE EVALUACION RESPONDIENTE DE

STAKE.

24
 TEMA 6

MODELO CIPP DE DANIEL STUFFLEBEAM: LA EVALUACION ORIENTADA A

LA TOMA DE DECISIONES PARA LA MEJORA DE LOS PROGRAMAS

Las Siglas de este modelo están basadas en los cuatro tipos de evaluación del
modelo: Contexto, input, proceso y producto.

En este modelo el evaluador y el director del programa deben trabajar juntos, el

evaluador identifica los aspectos claves, y el segundo ha de evaluar aportando
información suficiente para calibrar su adecuación.

Se pretende que el evaluador lleve a la práctica las mejoras que

deben hacerse en las organizaciones y en los programas a partir de
los resultados de la evaluación. De esta manera el evaluador
colaborará con la dirección del centro y las personas que deban
tomar decisiones de cambio en las organizaciones educativas.

RECOMENDACIONES DEL COMITÉ PDK

EL Comité Nacional de los Estudios sobre la Evaluación PDK recibió una

notificación para realizar un estudio sobre el estado de la evaluación, se puede
resaltar de dicho estudio lo siguiente:

Dentro del informe entregado se reconocía las ventajas e inconvenientes de los

métodos de investigación clásicos aplicados a la evaluación, según las normas
determinadas la valoración y el juicio profesional, etc. Pero la conclusión fue que
ninguno de los enfoques presentados era el adecuado para los múltiples propósitos
y requisitos evaluativos, así que a continuación se numeran en concreto las bases
conceptuales del trabajo evaluativo:

1. Definir claramente lo que se va a evaluar.

2. Orientación a la toma de decisiones.
3. Perspectivas de valor.
4. Distintos niveles de audiencias y de informes.
5. Diseño de la investigación.

25
LA TEORIA EVALUATIVA Y LOS TIPOS DE DECISIONES QUE DEBE
PROPORCIONAR LA EVALUACION

La evaluación es el proceso de identificar, mantener y proporcionar información útil

y descriptiva acerca del valor y mérito de las metas , la planificación la realización y
el impacto de un objeto determinado, con el fin de servir de guía para la toma de
decisiones, solucionar los problemas de responsabilidad y promover la
comprensión de los fenómenos implicados.

Marco conceptual de los cuatro tipos de evaluación:

1. La evaluación del contexto: ayuda a la concreción de las necesidades y la

determinación de las metas, sirve a la toma de decisiones de la planificación,
determinará las necesidades de la elaboración o selección de un programa
educativo esto con el fin de atender las necesidades detectadas.
2. La evaluación de entrada: ayuda a dar forma a las propuestas y hacer posible
su aplicación teniendo en cuenta los recursos necesarios incluyendo la
formación del personal para llevarlas a cabo, está al servicio de las
decisiones de organización o estructurales, mencionándonos los planeas que
aportan mayor potencia para diseñar la planificación el cual será aplicado al
programa.
3. La evaluación de proceso: es una guía de realización mediante su aplicación,
informa como está diseñado el plan previsto y las revisiones que requiere
para mejorar el programa.
4. La evaluación de producto: está al servicio de las decisiones de cambio o
continuidad del programa, alude a las decisiones de reciclaje lo que significa
que proporcionara información sobre los resultados, destacando el cómo han
sido reducidas las necesidades, orientando a los involucrados a lo que se
debe hacer después de su aplicación.

Para apoyar a los que toman las decisiones fueron identificadas los principales tipos
de decisiones que a continuación se plasman.

26
 1. Decisiones de planificación: selección de temas para especificar lo que se
espera, ayudando a seleccionar, formalizar y a concretar las metas del
programa.
2. Decisiones de estructura: hacen uso de los medios necesarios para alcanzar
las metas deseadas o necesidades valoradas, su fundamento esta en las
evaluaciones de entrada.
3. Decisiones de realización: realización de proyectos y programas planificados,
el evaluador debe presentar informes de la evaluación de procesos fin de que
se puedan solucionar los problemas de realización de los programas.
4. Decisiones de reciclaje: relacionado con la conveniencia de continuar con la
aplicación del programa en el siguiente curso, o tomar la decisión de no
volver a aplicarlo.

La evaluación del proceso guía la evaluación del producto, o la evaluación de los

resultados, lo que facilita la continuidad o no del mismo.

LA PRACTICA EVALUATIVA

ETAPAS DEL PROCESO EVALUADOR

Promover la comprensión de los fenómenos implicados, guiar la toma de decisiones,

informar para la responsabilidad.

El objeto a evaluar debe estar regido bajo los siguientes aspectos:

Sus metas, su planificación, su relación, su impacto.

El criterio de la evaluación tiene que tener en cuenta: su valor (respuesta a las

necesidades detectadas) y su mérito (calidad con la que son resueltas dichas
necesidades).

PROPOSITOS Y METODOLOGIA DE LAS CATEGORIAS CIPP

1. La evaluación del contexto: su investigación es a través de tomar en cuenta

la valoración del estado global del objeto, proyecto, programa, personal, etc.
A evaluar para la identificación de sus deficiencias, virtudes, el diagnostico

27
 de los problemas, la caracterización del marco y si las metas satisfacen o
resuelven las necesidades presentadas.
2. La evaluación de entrada: prescribe los elementos esenciales de un
programa para lograr obtener cambios que solucionen necesidades, teniendo
en cuenta su contexto, el propósito de dicha evaluación es ayudar a los
involucrados en la consideración de estrategias para el desarrollo de un plan
que satisfaga las necesidades planteadas, su metodología se base en la
revisión del estado con la satisfacción de necesidades especificas
3. La evaluación del proceso: consiste en la comprobación continua de la
realización del plan previsto, con el fin de comprobar el ritmo de las
actividades, observar si el programa se desarrolla como se planteó,
comprobar la utilización de los recursos eficientemente, guiar para la
aplicación textual del plan, valoración periódica del plan, proporcionar un
informe extenso del programa, su metodología se basa en la revisión del plan
del programa y cualquier evaluación anterior para identificar aspectos que
deban ser controlados, esta evaluación es vital respecto a la fuente de
información en la que se interpretan los resultados de la evaluación del
producto o de los resultados finales del programa.
4. La evaluación del producto: tiene como objetivo fundamental averiguar hasta
qué punto el programa a cubierto las necesidades del grupo al que pretendía
servir, debe ocuparse en los defectos del programa de los deseados como
de los que no lo son, el análisis de dichos resultados puede generar nuevas
hipótesis las cuales permitan decidir si se continua o no con la investigación
o con el programa. Se deben realizar varios informes los cuales ayuden a la
detección de aspectos a mejorar y el final que ayudara a los grupos a
planificar, realizar e institucionalizar y difundir un servicio efectivo en pro de
la sociedad y comunidad educativa.

28
 LAS NORMAS O ESTANDARES PARA LA EVALUACION DE PROGRAMAS,
PROYECTOS Y MATERIALES.

Data de 1981 con actualizaciones en 1994, el total de normas o estándares son

de 30 y están agrupadas en cuatro categorías:

1. La utilidad.
2. La viabilidad.
3. La honradez o adecuación.
4. La precisión o exactitud de las evaluaciones.

LISTA DE CONTROL PARA LA EVALUACION

Es una herramienta ajustada al modelo CIPP, esta lista refleja la experiencia en

evaluación:

 Corresponde a las letras CIPP

 Integrada por 10 componentes:

1.- Acuerdos contractuales para realizar la evaluación. 2.- Componentes de la

evaluación de contexto, 3.- entrada, 4.- procesos, 5.- impacto, 6.- efectividad, 7.-
sostenibilidad, 8.- transferencia, 9.- meta-evaluación y 10.- el informe de síntesis
final.

El informe final del evaluador debe presentar el resumen de los resultados de la

evaluación, así como la planificación de los siguientes pasos a dar.

Cuando este institucionalizada la evaluación se deben mantener por lo menos

reuniones dos veces al año, esto con el fin de llegar a tomar acuerdo en caso de
que se deban implementar cambios en la organización.

En conclusión la lista de control ayuda a los evaluadores, a los miembros de la

organización como guía para la elaboración de programas y los recursos necesarios
para llevarlos a cabo.

29
TABLA RESUMEN DEL MODELO DE EVALUACION DE PROGRAMAS DE
STUFFLEBEAM

30
 TEMA 7

RAMON PEREZ JUSTE: LA EVALUACION DE PROGRAMAS EDUCATIVOS

Es catedrático de la facultad de Educación Nacional a

Distancia (UNED), actualmente es presidente de la
sociedad Española de Pedagogía, su obra más reciente se
titula “Evaluación de Programas Educativos” (2006).

Su modelo educativo propuesto tienen una coherencia

entre lo teórico y metodológico.

LA TEORIA EVALUATIVA DE LOS PROGRAMAS EDUCATIVOS

Para este autor el programa educativo es un plan sistemático de intervención,

específico e intencionalmente elaborado, al servicio de metas consideradas valiosas
desde una perspectiva pedagógica.

Los programas educativos están conformados por los siguientes aspectos:

 Complejidad: integra los programas educativos en los proyectos educativos

del centro con el fin de lograr la colaboración del personal para obtener como
resultado la eficacia.
 Dificultad: lograr programas actividades dirigidas para alcanzar las metas del
programa.
 Duración: contar con el tiempo suficiente para el rediseño de la mejora, se
debe tomar en cuenta la participación de los docentes, observando siempre
el desarrollo de los procesos.
 Procesuabilidad: lo que significa traducibilidad de las metas en la
implementación de los mismos, es decir, la interpretación de los fines que se
pretenden alcanzas en los programas.
 Mantenimientos y transferencia: se busca incluir el programa exitoso a otros
ámbitos pero no dejando de lado la contribución a la formación intelectual,
madurez y autonomía personal del sujeto.

31
LA CONCEPCION EDUCATIVA

Para Juste la evaluación de programas tiene el siguiente significado:

“Es el proceso sistemático, diseñado intencional y técnicamente, de recogida de

información rigurosa, valiosa, valida y fiable, orientando a valorar la calidad y los
logros de un programa como del personal implicado y de modo indirecto del cuerpo
social en el que se encuentra inmerso” (1992:5)

Debe ser un proceso de exigencia y sistemático conteniendo una planificación

previa, dándole a cada área y etapa su importancia. Para lograr evaluar intencional
y justificadamente debemos contextualizar los datos obtenidos para darle un sentido
de forma que se pueda facilitar la interpretación a través de la validez, credibilidad
y fiabilidad de la información, buscando que sea lo bastante amplia al abarcar todas
las áreas y participantes.

No centrándose solo en los resultados, ya que las mejoras del programa no se

deben basar solo a los resultados estas deben incluir al personal.

En conclusión la evaluación puede ser limitativa en alcance real, debe ser

consensuada por los evaluadores, debe englobar la evaluación del programa en su
planteamiento como en su desarrollo o proceso sin excluir a los resultados y a las
personas que se benefician como los clientes, los docentes, los alumnos, los
colegas, otros centros, etc.

MODELO EVALUATIVO PARA LA PRACTICA EVALUATIVA

Se hace con la fiabilidad de constatar el grado de eficacia para alcanzar metas, se

base en tres momentos, los cuales contribuyen a la mejora del programa en su
totalidad.

Momentos:

 Inicial: es de carácter indicador, adecuada al contexto y a la situación de

partida, busca dar respuesta a las necesidades y priorizarlas, se basa en
tres principios claves, 1.- poner en marcha el programa en condiciones

32
 favorables, minimizando el riesgo al fracaso, 2.- en caso de fracaso, poder
retirar el programa mismo.

El criterio fundamental será la coherencia del programa y sus bases psicosocio-

pedagogicas, su metodología será el análisis crítico del contenido en contraste con
la instrumentación propia del programa. La calidad técnica del programa será
referida a las posibilidades con las que se puede transmitir información para la
decisión sobre la eficacia cumpliendo con tres condiciones: 1.- claridad y precisión
del lenguaje, 2.- el contenido explicitado en el marco teórico que busca satisfacer
los indicadores de progreso y su temporalización, 3.- su metodología, que incluya
evidencias para la decisión sobe su calidad, optimizando las variables que
concretan las metas y objetivos y la obtención de información / datos los cuales
puedan ser analizados.

El contexto será un aspecto importante ya que se debe considerarla parte físico,

como la psicológica y la socióloga en respuesta a las necesidades planteadas.

 Procesual: cómo se va a implantar y bajo que marco se va a trabajar

(contexto, clima y ambiente), tomando en cuenta algunos aspectos como el
tiempo, las secuencias, la flexibilidad y la coherencia. La evaluación tiene
por lo menos dos propósitos, 1.- facilitar la toma de tiempo de las decisiones
inmediatas de mejora partir de los resultados de la evaluación formativa, 2.-
acumular decisión para posteriores decisiones, una vez evaluado el
programa, para la evaluación sumativa
 Final: medir y valorar los logros para la toma de decisiones y la
incorporación de las mejoras tomando en cuenta la rigidez y flexibilidad que
se requiera así como la participación de los docentes para la
implementación de nuevos programas.
 Institucionalización de la evaluación: esta debe ser parte de los programas
de mejora y se debe mostrar un seguimiento.

33
CRITERIOS PARA LA EVALUACION DE LA IMPLEMENTACION DE LOS
PROGRAMAS

Los criterios claves según Pérez:

1. La conformidad con la planificación: mediante…

a. La constatación de la existencia de desfases y desajustes.
b. La comprobación de resultados parciales.
c. Lo observación de la aparición de efectos no planeados.
d. La incardinación8 efectiva en el proyecto educativo del centro.
2. La satisfacción del personal, constatada a través de entrevistas a las
personas y a los grupos para conocer su visión del programa

METODOLOGIA ADECUADAA LA EVALUACION DE PROCESOS

Se realiza mediante la técnica de triangulación

 El enfoque de evaluación: considera quien debe realizar la evaluación, es

mixto la evaluación interna (puede ser realizada por el personal propio del
programa) buscando incrementar la reflexión y la racionalidad y externa (con
asesoramiento y apoyo técnico), quiere decir que se puede contratar a un
evaluador externo.
 Complejidad de los métodos: el objetivo de la investigación determina la
metodología, (cualitativa, cuantitativa, mista, por citar algunos ejemplos).
 Complejidad de técnicas: se recomienda el uso de la observación como
técnica básica, el dialogo y las entrevistas formales, otras técnicas formales
como los auto informes, cuestionarios, inventarios, etc. todo en pro de
comprobar el logro de los objetivos en las diferentes etapas.
 Organización y valoración de los datos: se debe de recurrir al contraste de
datos mediante la triangulación, ejemplo las auditorias

8
Incorporar a alguien a algo como una colectividad o institución

34
ETAPA FINAL: EVALUACION DE LOS RESULTADOS DE LOS PROGRAMAS

Supone la conveniencia de incardinar9 los resultados de la evaluación de los

procesos con la evaluación de los logros del programa, incluyendo la evaluación
inicial.

EL PROGRAMA EN SUS LOGROS

Básicamente es la comprobación de la eficacia del mismo, absoluto o relativo, se

puede mantener, cambiar, modificar, mejorar o suprimir.

LA VALORACION DE LOS RESULTADOS

La subjetividad es un aspecto que puede dañar o alterar los resultados planteados,

Pérez sugiere que el evaluador o el equipo manifieste los resultados obtenidos
explicándolos razonablemente, permitiéndole al lector tener la vista de los datos y
juicios para que él ismo tome sus propias decisiones.

INSTITUCIONALIZACION DE LA EVALUACION DE PROGRAMAS

Pérez nos dice que la evaluación de los programas debe formar parte del mismo
programa con la única finalidad de que el proceso de elaboración del programa,
aplicación, evaluación, decisiones de cambio y mejora formen parte de los
instrumentos de mejora mediante la auto-evaluación siguiendo el ciclo de “Ruda de
Deming” de planificar, realizar, evaluar y actuar en consecuencia. Lo que nos lleva
a que este proceso final (por llamarlo así), realmente es el proceso inicial del
siguiente ciclo.

LA PAUTA PARA LA EVALUACION DE PROGRAMAS EDUCATIVOS

Debe contener indicadores, que son aspectos en los que se fija la atención por
presentar variables a mejorar y a estos se les aplican criterios.

La “pauta” está planteada sobre la base de un programa que se diseña a partir de

una evaluación de necesidades.

9
Incorporar a una persona a una institución de manera que quede vinculada a ella.

35
TABLA DE RESUMEN DEL MODELO DE EVALUACION DE PROGRAMAS DE
PEREZ JUSTE

36