Repblica Bolivariana de Venezuela Ministerio de la Defensa Universidad Nacional Experimental Politcnica de la Fuerza Armada Nacional Decanato de Investigacin y Postgrado

Diseo Tecnolgico Instruccional

Expositores: Claudia Ceballos Plcida Daz Eliana Fermn Douglas Garca

20/06/2012 16:43:16

EQUIPO IV

La Evaluacin
Proceso sistemtico implcito e integrante del diseo de la instruccin, que se aplica en todas las fases de ste con el fin de corregir los procedimientos para la toma de decisiones y orientadas a mejorar la prctica didctica

20/06/2012 16:43:16

EQUIPO IV

Caractersticas de la Evaluacin
Proceso sistemtico de compilacin de informacin Organiza los elementos de la informacin Sistematiza las fases Temporaliza secuencias Provee recursos Sirve para construir y seleccionar instrumentos

20/06/2012 16:43:16

EQUIPO IV

Caractersticas de la Evaluacin
Es Flexible Ha de valorarse la informacin una vez compilada sistemticamente Est orientada a la toma de decisiones Orientada a la mejora de la prctica

20/06/2012 16:43:16

EQUIPO IV

Dimensiones de la Evaluacin
Objeto El qu? Modelo Cmo?

Finalidad Para qu?

La Evaluacin

Evaluador Quin?

Momento Cundo?

Instrumento Con qu?

20/06/2012 16:43:16

EQUIPO IV

Dimensiones de la Evaluacin Objeto

Contexto Necesidades Objetivos Contenidos Instituciones

EQUIPO IV

Profesores Alumnos Metodologa Recursos

6

20/06/2012 16:43:16

Dimensiones de la Evaluacin Finalidad

20/06/2012 16:43:16

EQUIPO IV

Dimensiones de la Evaluacin Momento

20/06/2012 16:43:16

EQUIPO IV

Dimensiones de la Evaluacin Instrumentos

Observacin
Entrevistas
Cuestionarios Test

Instrumentos de evaluacin

Pruebas objetivas Escalas Validez Fiabilidad Pruebas objetivas

20/06/2012 16:43:16

EQUIPO IV

Dimensiones de la Evaluacin Evaluador

Profesores Alumnos Equipo directivo Usuario Experto Autoevaluacin Heteroevaluacin Interna-externa

20/06/2012 16:43:16

EQUIPO IV

10

REFERENTES
Coherencia con las finalidades definidas por la poltica de formacin Adecuacin a las necesidades formativas del contexto inmediato Adecuacin a los participantes (necesidades, expectativas, intereses)

20/06/2012 16:43:16

EQUIPO IV

11

Dimensiones de la Evaluacin Modelos

Experimental
Naturalista

Basado en la demanda
Basado en Costos Toma de decisiones Verificacion de logros

Cuantitativa
Cualitativa

20/06/2012 16:43:16

EQUIPO IV

12

Modelos de la Evaluacin
Modelo Objetivista Consideran que la evaluacin es: la determinacin del valor o mrito de un programa. Los criterios de evaluacin, son el grado de productividad y el nivel de eficiencia del programa Modelo de Tyler Est orientado a la toma de decisiones

20/06/2012 16:43:16

EQUIPO IV

13

Modelos de la Evaluacin
Modelo Cronbach: Uno de los aspectos claves determinante en la evaluacin es su funcin poltica.

20/06/2012 16:43:16

EQUIPO IV

14

Modelos de la Evaluacin
Modelo de Stuflebeam (C.I.P.P) La evaluacin es un proceso mediante el cual se proporciona informacin til para la toma de decisiones.

20/06/2012 16:43:16

EQUIPO IV

15

Modelos de la Evaluacin
Modelo Scriven El modelo sin referencia a objetivos surge como una fuerte oposicin al modelo basado en objetivos, Scriven propone que el evaluador desconozca deliberadamente los objetivos del programa.

20/06/2012 16:43:16

EQUIPO IV

16

Modelos de la Evaluacin
Modelos subjetivistas La evaluacin es concebida como la comprensin y valoracin de los procesos y resultados de un programa educativo. Modelo Stake Este modelo inclua el estudio de los antecedentes del proceso y los juicios previos sobre el mismo, adems de los resultados

20/06/2012 16:43:16

EQUIPO IV

17

Modelos de la Evaluacin
Parlett y Hamilton Estos autores proponen un modelo de evaluacin que implica el estudio intensivo de un programa educativo como un todo, con sus fundamentos, evaluacin, estrategias de aplicacin, logros y dificultades en el contexto escolar o ambiente de aprendizaje. Sus propsitos eran resaltar problemas, cuestiones y caractersticas principales del programa

20/06/2012 16:43:16

EQUIPO IV

18

Modelos de la Evaluacin
Mc Donald
Segn el autor los evaluadores no slo viven en el mundo de la poltica evaluativa, sino que influye de hecho en sus cambiantes relaciones de poder. La evaluacin proporciona informacin que sirve a intereses y valores personales.

20/06/2012 16:43:16

EQUIPO IV

19

Modelos de la Evaluacin
Modelo crtico Desde esta perspectiva, la evaluacin de un programa, es un proceso de recogida de informacin que fomenta la reflexin crtica de los procesos y conduce a la toma de decisiones pertinentes de cada situacin especfica.

20/06/2012 16:43:16

EQUIPO IV

20

El programa y su evaluacin
Qu es un programa?

Segn Gairn (1993) es cualquier propuesta estructurada para producir cambios en las personas que se exponen a ellos.

20/06/2012 16:43:16

EQUIPO IV

21

El programa y su evaluacin
Evaluacin de un programa Proceso continuo, sistemtico y multidimensional de recogida de informacin relevante, vlida y fiable que permite tomar decisiones sobre el valor o mrito del mismo para mejorar su funcionamiento.

20/06/2012 16:43:16

EQUIPO IV

22

RELACIN ENTRE EL NIVEL DE PLANIFICACIN Y EVALUACIN DE UN PROGRAMA

INFORME INICIAL DIAGNSTICA
CONTEXTO NECESIDADES VIABILIDAD DESTINATARIOS DISEO
REALIDAD

INFORME DE PROGRESO FORMATIVA

INFORME FINAL SUMATIVA

REALIZACIN DESARROLLO RESULTADOS GESTIN EVALUACIN CONTINUA

RESULTADOS PRODUCTOS IMPACTO COSTES

INICIAL
NECESIDAD DE CAMBIO

FINAL / DIFERIDA

PROGRAMA PROYECTO

DESARROLLO PROGRAMA

RESULTADOS= REALIDAD NUEVA

20/06/2012 16:43:16

EQUIPO IV

23

El programa y su evaluacin
Secuencias estructural
JUSTIFICACIN DISEO Objetivos Acciones Recursos Responsables Evaluacin Temporalizacin OPERATIVA Espacios Tiempos Profesorado

Secuencia conceptual
EVALUACIN DIAGNSTICA Contexto socio-cultural Poltica de la institucin Poltica de formacin EVALUACIN-PLANIFICACIN Elaboracin del programa EVALUACIN- PROCESO Desarrollo del programa EVALUACIN-RESULTADOS Evaluacin del programa

Secuencia operativa
DEFINIR: Finalidades Grupo destinatario Grupo autonoma DETECTAR NECESIDADES Instrumentalizacin Configurar grupo de incidencia ESTRUCTURAR Configurar grupo Establecer mecanismos de seguimiento y control ESTATBLECER Receptores Informacin Ncleos de decisin

Secuencia conceptual, estructural y operativa de la elaboracin de programas de formacin. Gairn (1993).

20/06/2012 16:43:17 EQUIPO IV 24

El programa y su evaluacin

20/06/2012 16:43:17

EQUIPO IV

25

Proceso de evaluacin de programas

FASE 1. FORMULACIN DE LA EVALUACIN 2. VALORACIN DE LA EVALUABILIDAD

FASE

PROPSITO Identificacin y precisin de la naturaleza de la evaluacin. Anlisis a priori de la credibilidad y utilidad de la evaluacin que se va a efectuar. Reordenacin de la misma. Implementacin de la evaluacin. Ejecucin del proceso evaluativo.

ACTIVIDAD QUE IMPLICA Definir la audiencia. Determinar el propsito. Identificar los aspectos relevantes. Listado de los componentes bsicos: objetivos, resultados y efectos. Eleccin de los ms relevantes. Anlisis crtico de la posibilidad de analizarlos a travs del estudio evaluativo. Eleccin del modelo. Determinacin de la metodologa. Elaboracin del diseo. Recogida de la informacin. Anlisis e interpretacin de la informacin. Informe de evaluacin. Toma de decisiones.

3. PLANIFICACIN DE LA EVALUACIN 4. EJECUSIN DE LA EVALUACIN 5. UTILIZACIN DE LA EVALUACIN

Toma de decisiones a partir de las conclusiones elaboradas en el informe evaluativo y otros aspectos a considerar. Evaluacin de la evaluacin.

6.METAEVALUACIN

Eleccin de los criterios referenciales evaluativos. Anlisis y valoracin efectuada en base a dichos objetivos.
El proceso de evaluacin a partir de Mateo (1994).

20/06/2012 16:43:17

EQUIPO IV

26

TRABAJO DE CAMPO

IDEA DEL PROYECTO

R E F L E X I N E N

TRABAJO INTERNO

DISEO PRESENTACIN DOCUMENTACIN PRESENTACIN E Q U I P O COMPROMISO ANLISIS DE DOCUMENTOS E INSTRUMENTALIZACIN ANLISIS DE LAINFORMACIN SISTEMATIZACIN ORGANIZACIN LTIMA PUESTA EN COMN INFORME FINAL

NEGOCIACIN

RECOLECCIN DE LA INFORMACIN

AMPLIACIN Y CONTRASTACIN

Ideograma de flujo en evaluacin de Programas. Tomado de Jimnez, 1996

20/06/2012 16:43:17

EQUIPO IV

27

Instrumentalizacin en la evaluacin de programas

OBJETO CRITERIOS INDICADORES REFERENTES Cuestiones de evaluacin Los objetivos definidos son relevantes con la poltica de formacin? Los objetivos formulados son suficientes para satisfacer las necesidades de los destinatarios? La seleccin de contenidos es pertinente con el contexto? La metodologa permite la participacin activa? La duracin de las sesiones se adecua a las necesidades del contexto? Las prcticas realizadas satisfacen las necesidades de los participantes? Nivel de los objetivos logrados? Satisfaccin de las expectativas de los participantes? Nivel de cambio producido en la prctica profesional? Suficiencia del presupuesto asignado? Instrumento Abierto /Cerrado
20/06/2012 16:43:17 EQUIPO IV

Instrumento Extenso/ Limitado

28

OBJETO QU? REFERENTE Coherencia con las finalidades definidas por la poltica de formacin Adecuacin a las necesidades formativas del contexto inmediato. Adecuacin a determinados principios psicopedaggicos . Adecuacin a los participantes (necesidades, expectativas, intereses)
CONTENIDO NECESIDADES OBJETIVOS, CONTENIDOS INSTITUCIONES PROFESORES, ALUMNOS METODOLOGA RECURSOS

FINALIDAD PARA QU?

DIAGNSTICA FORMATIVA SUMATIVA

EVALUACIN
INICIAL CONTINUA FINAL DIFERIDA

EXPERIMENTAL, NATURALISTA BASADO EN DEMANDA, BASADO EN COSTOS TOMA DE DECISIONES, VERIFICACIN DE LOGROS CUANTITATIVA, CUALITATIVA

MODELO CMO?

MOMENTO CUNDO?

OBSERVACIN ENTREVISTAS CUESTIONARIOS, TESTS PRUEBAS OBJETIVAS ESCALAS, VALIDEZ FIABILIDAD, PERTINENCIA

PROFESORES ALUMNOS EQUIPO DIRECTIVO USUARIO EXPERTO. AUTOEVAUACIN HETEROEVALUACIN INTERNA-EXTERNA

EVALUADOR QUIN?

INSTRUMENTO CON QU?

20/06/2012 16:43:17 EQUIPO V 29

Problemticas de los programas de Evaluacin

Terico-Conceptuales Sustantivas (plan de evaluacin) Metodolgicas (validez, fiabilidad y Generales pertinencia)
Diseo-implementacin del programa (objetivos, cronogramas, monitoreo) Diseo de Evaluacin (contexto, destinatarios, responsables) Desarrollo de la Evaluacin Especficas (Informe parcializado, normas de evaluacin) El evaluador como problema Los destinatarios y su participacin (conflictos institucionales, clima organizacional)

20/06/2012 16:43:17

EQUIPO IV

30

Patologas generales de la Evaluacin

Segn Santos (1993), se presentan cuando se evala: Unilateralmente Slo lo explcito u observable Negativamente Descontextualizadamente En forma esterotipada Para controlar Slo en forma Interna Incoherentemente Competitivamente Apartado de la tica Sin realizar paraevaluacin, metaevaluacin y/o autoevaluacin Se realiza distemporalmente

20/06/2012 16:43:17

EQUIPO IV

31

Abusos en la Evaluacin
Elogiar a quien la realiza. Tener una visin sesgada del proceso. Hacer evaluaciones diferentes en cuanto al rigor para eventos de similar importancia. Convertirla en instrumento de dominio. Encargarla a equipos y/o personas subjetivas o sin independencia en la toma de decisiones. Omitir o falsificar resultados por conveniencia. Atribuir los malos resultados a los usuarios y no al programa. Descalificar la evaluacin si los resultados no favorecen el evaluador.

20/06/2012 16:43:17

EQUIPO IV

32

Algunas alternativas para la superacin de las dificultades problemticas en el proceso de evaluacin

Estudio del diseo del programa. Comprobacin del proceso de implementacin-desarrollo del programa. Disponer de un plan preciso, claro y negociado sobre la evaluacin y su proceso. Complementar evaluacin interna con la externa. Operar desde enfoques paradigmticos no exclusivistas, sino ms bien complementarios. Considerar las normas de evaluacin.

20/06/2012 16:43:17

Grupo V

33

NORMAS DE EVALUACIN
Joint Committee on Standards for Educational Evaluation (2010)
UTILIDAD Credibilidad del evaluador Atencin a las audiencias Fines negociados Valores explcitos Informacin relevantes Procesos y productos significativos Oportuna y adecuada comunicacin y presentacin de los informes Preocupacin por las consecuencias y la influencia

VIABILIDAD Gestin de proyectos Procedimientos prcticos Viabilidad contextual Uso de recursos

LEGITIMIDAD Orientacin de confianza e integradora Acuerdos formales Derechos humanos y respeto Claridad y equidad Transparencia y divulgacin Conflicto de intereses Responsabilidad fiscal

PRECISIN Conclusiones y decisiones justificadas Informacin vlida Informacin fiable Descripciones explicitas del programa y del contexto Gestin de la informacin Razonamiento explcito de la evaluacin Comunicacin y presentacin de los informes

20/06/2012 16:43:17

EQUIPO IV

34