El Examen Nacional de Educacin Superior ENES

Harvey Spencer Snchez Restrepo Profesor, UNAM

CONTENIDO

1. La importancia de la evaluacin en la sociedad actual

2. Diseo del ENES

3. De la puesta en marcha

4. Planeacin estratgica

La importancia de la evaluacin en la sociedad actual

Un sistema imprescindible

Sobre la escasez

Una de las preguntas ms frecuentes en la administracin pblica es cmo obtener informacin confiable para tomar las mejores decisiones? Una segunda pero no menos importante es cmo optimizar la distribucin de los recursos disponibles? La respuesta no es nica pero si la motivacin central: la escasez de los recursos humanos y materiales. Analizar un problema significa

observarlo, entenderlo, hacer hiptesis, verificarlas. Y para qu? Para establecer relaciones, pero no por el mero hecho acadmico, sino para utilizarlas y ayudar a tomar decisiones, formar estndares, unificar criterios y evaluar los avances, las amenazas y las oportunidades. La informacin es la base de la toma decisiones.

Qu es evaluar?

Verbo

cuya etimologa se remonta al francs valuer y que

permite indicar, valorar, establecer, apreciar o calcular la importancia de una determinada cosa o asunto.
Acopio de informacin que sirve de base para una adopcin racional de

decisiones. Se basa en la necesidad de claridad y oportunidad de la informacin. (L. Cronbach, 1963; R E. Stake, 1975).
La

utilizacin de una metodologa plural y predominantemente

naturalista en la recoleccin de la informacin (E. Eisner, 1985).

Evaluar se refiere simplemente a emitir un juicio acerca de algo (Aguilar-

Morales, J.E., 2011).

El fin de la evaluacin

La evaluacin implica una actividad constante mediante el tipo comparativo desde una diversidad de dimensiones. As pues, para que sea til, deben cumplirse tres requisitos:

1. Definir el objeto de medida 2. No conducir los resultados 3. Interpretar y contextualizar los resultados. (Harvey Snchez, 2011).

La evaluacin en la educacin

La emisin de un juicio acerca del sistema educativo en su totalidad o

de cada unidad dentro de este sistema.

Los elementos del sistema que pueden ser evaluados son: El

aprendizaje del estudiante, la enseanza del maestro, los mtodos y tcnicas empleados, los planes y programas de estudios, y el subsistema administrativo. Aqu solo nos referiremos a la evaluacin del aprendizaje (Aguilar-Morales, J.E., 2011).

Funciones de la evaluacin educativa

La evaluacin del sistema educativo o de sus elementos tiene una

funcin principal que es la de establecer un sistema de control de calidad, en este sistema de control de calidad se encuentran dos aspectos importantes: 1. Vigilar el logro de los objetivos instruccionales por parte de los estudiantes, a fin de determinar que instruccin correctiva o

suplementaria se necesita. 2. Localizar defectos en instruccin y determinar las razones de esos defectos. (Aguilar-Morales, J.E., 2011).

Tareas implicadas en la evaluacin

La evaluacin del aprendizaje implicar siempre necesariamente tres tareas:

1. La bsqueda de informacin a partir de la cual se emitir el juicio. 2. La comparacin de esta informacin con un punto de referencia (en este caso el punto de referencia sern los objetivos de medida). 3. La emisin del juicio.

Estas tres tareas son comunes tanto a una evaluacin formal como a una informal, la diferencia esencial radica en que en la primera se sigue un procedimiento definido y se utilizan instrumentos objetivos, en la segunda no.

Clasificacin de la evaluacin

Las evaluaciones se pueden clasificar por el nivel de objetivad o por sus fines. Por el nivel de objetivad se clasifican en:
1. Objetivas o formales 2. No objetivas o Informales

Por sus fines se clasifican en:

1. Diagnstica 2. Formativa 3. Sumaria

Evaluacin formal u objetiva

La evaluacin formal busca emitir un juicio acerca de determinados elementos del sistema educativo siguiendo un procedimiento ya definido y utilizando instrumentos de medicin confiables.

Es

recomendable

utilizar

la

evaluacin

formal

cuando

existen

probabilidades suficientes de que todos los alumnos ya posean los conocimientos y habilidades que se les van a evaluar y cuando se quiere realizar una evaluacin lo ms transparente y confiable posible.

Evaluacin por sus fines

1. Evaluacin diagnstica: En donde se investiga el nivel de conocimientos que posee el participante antes de una experiencia de aprendizaje. 2. Evaluacin formativa: que se realiza durante el proceso de enseanza aprendizaje para realizar los ajustes necesarios. 3. Evaluacin sumaria: En donde se evalan los conocimientos adquiridos durante todo el proceso de enseanza.

Qu es una prueba objetiva?

Es un instrumento de medicin integrado por tems de respuesta estructurada con solucin nica, destinado a obtener informacin que sea comparable entre todos los aspirantes que se someten a la medida. La finalidad, de acuerdo con la legislacin ecuatoriana, es asignar los espacios y recursos destinados a la educacin superior en Ecuador de una manera objetiva, justa, confiable y transparente basada en el mrito.

Propiedades del instrumento de medicin

Validez. Se refiere a la congruencia que existe entre lo que se plane medir y lo que se mide a travs del instrumento.

Confiabilidad. Es la estabilidad y consistencia de los resultados de la medicin.

Objetividad. Indica que los resultados en el instrumento son independientes de las persona que lo aplicas o califican.

Caracterizacin

1.

Los tems se basan en una muestra de habilidades y aptitudes que son representativos del conjunto de medicin de inters.

2. 3.

Se aplicar a escala nacional. Las reglas de diseo y calificacin se han estandarizado para todos los procesos de aplicacin.

4.

Los resultados de la evaluacin servirn como indicativos para la toma de decisiones.

5.

Bajo ninguna circunstancia benefician a un grupo o clase social, econmica cultural o de cualquier otra ndole.

Caracterizacin

6. 7. 8. 9.

Exigen la mxima concentracin y ejecucin del aspirante. Se componen por tems de cuatro opciones de respuesta. Contienen tems con diferente grado de dificultad y de complejidad. Sus versiones son equivalentes aunque contengan una mezcla distinta de tems, lo que las vuelve comparables en el tiempo y en el espacio.

10. Se califican a travs de reglas fijas por procesos automatizados dirigidos por computadora.

Diseo del ENES

Pasos firmes hacia un sistema de educacin superior de alta calidad

Sobre la generacin de la prueba

De acuerdo a las necesidades actuales de la Repblica de Ecuador, se requiere de una prueba de admisin, denominada Examen Nacional para la Educacin Superior (ENES), que debe ser un instrumento de tipo normativo que tenga como finalidad la seleccin de los aspirantes con las mayores potencialidades para culminar con xito sus estudios profesionales.

El Examen Nacional para la Educacin Superior (ENES)

Est diseado para asistir al gobierno en el proceso de asignacin de los aspirantes a ingresar a estudios de nivel superior en las IES pblicas.

Contiene 120 tems, doce de ellos son piloto. Es de tipo normativo. El tiempo para resolverlo es de dos horas.

Estructura del ENES

Estructura del examen

Componentes Aptitud verbal Razonamiento numrico Razonamiento abstracto Total

tems para calificar 36 36 36 108

tems piloto 4 4 4 12

Total 40 40 40 120

Tiempo de resolucin: 2:00 horas

Se sugiere que todos los aspirantes que presenten el examen sean calificados con la misma mtrica.

Sistema de piloteo 2011

Razonamiento Numrico

Razonamiento Abstracto

Aptitud Verbal

tems candidatos
Forma 1 Forma 2 Forma 3 Forma 4 Forma 5 Forma 6

Sistema de calibracin 2011

Forma 4 Forma 2

Forma 1

Forma 6

Forma 3 Forma 5

tems Calibrados
Descartados En observacin Aceptados

El proceso de calibracin
El proceso consiste en someter los tems a la verificacin emprica de acuerdo con las cualidades estadsticas que se logren observar a travs del desempeo de los aspirantes en cada uno de ellos. Para lograr este fin, se han empleado las dos teoras psicomtricas vigentes de dos parmetros: Teora Clsica (TC) y Teora de Respuesta al tem (TRI).

Para ambas, el objetivo central es medir la calidad del tem y ubicar el nivel de dificultad que ofrece. El primer atributo depende de la capacidad para reconocer y separar a aquellas respuestas correctas que fueron dadas por azar, de aquellas atribudas a la habilidad del sustentante.

El proceso de calibracin
El segundo se basa directamente en la proporcin de estudiantes que contestan correctamente el tem.

A estos parmetros se les conoce como Poder de Discriminacin e ndice de Dificultad. En TC, las estimaciones de los parmetros se realiza a travs de la Correlacin Punto Biserial y la proporcin de respuestas correctas; en la TRI, se emplean los valores denominados y .

Resultados de la calibracin
De los 2,250 tems elaborados se seleccionaron 720 para conformar las seis formas sujetas al Proceso de Piloteo 2011 con la siguiente distribucin:

33.3%

33.3%

Razonamiento Numrico Razonamiento Abstracto

33.3%

Aptitud Verbal

Sobre la dificultad
Respecto al ndice de Dificultad, los 720 tems se distribuyeron de la siguiente forma:
1.000 0.900 0.800 0.700 0.600 0.500 0.400 0.300 0.200 0.100 0.000 1 26 51 76 101 126 151 176 201 226 251 276 301 326 351 376 401 426 451 476 501 526 551 576 601 626 651 676 701 No tiles Subptimos ptimos

Detalle de resultados
De los 720 tems sujetos al Proceso de Piloteo 2011, se analizaron aquellos cuyo coeficiente de Coeficiente de discriminacin fuera mayor a 0.20 y se obtuvieron los siguientes resultados respecto al ndice de Dificultad:
120 100 80 60 40 20 0 Forma 1 Forma 2 Forma 3 20-80 Forma 4 Forma 5 Forma 6

10-90

Utilizados

Sistema de ensamble 2012

Razonamiento Numrico

Razonamiento Abstracto

Aptitud Verbal

Pruebas para 2012

La funcin del instrumento

El examen de admisin es elaborado con referencia a la norma, por lo que los resultados de cada aspirante se ordenan siguiendo una ley de distribucin estadstica denominada normal.

La finalidad es ubicar el lugar que ocupa cada persona entre la poblacin que asiste a ala aplicacin del examen y decidir su ubicacin en una institucin y carrera elegida por el sustentante con base en la oferta de las universidades pblicas del Ecuador.

La regla de diseo del instrumento

Los exmenes y cada una de sus secciones se disearn con base en un modelo de distribucin de dificultades denominado 20-80; lo cual implica que los parmetros y sean cercanos a los valores 50 y 16.67, respectivamente. Por ahora el modelo ser 40-60, hasta consolidarlo.
70.0 65.0 60.0 55.0 50.0 45.0 40.0 35.0 30.0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 Modelo terico Logro emprico

Lo que se espera del instrumento

Dado que la prueba distribuye a la poblacin del menor al mayor puntaje. Es deseable que las frecuencias de los resultados se acomoden de manera cercana a la grfica mostrada abajo.
2.50% Frecuencia 2.00% 1.50% 1.00% 0.50% 0.00% 400 430 460 490 520 550 580 610 640 670 700 730 760 790 820 850 880 910 940 970 1,000 Puntajes
Muy bajo Promedio Muy alto

Resultados de la calibracin
La conformacin del Banco de tems a partir de las formas se muestra en la grfica siguiente: 35 30 25 20 15 10 5 0 Forma 1 Forma 2 Forma 3 Forma 4 Forma 5 Forma 6

Aptitud Verbal

Razonamiento Numrico

Razonamiento Abstracto

Banco de tems
A partir de los 720 tems sujetos al Proceso de Piloteo 2011 se obtuvo un Banco de tems con las siguientes caractersticas:
Forma 1 120 100 80 Forma 6 60 40 20 0 Forma 2

Banco con 443 tems

162 36% 109 25%

172 39%
Forma 3

Forma 5

Forma 4 Utilizados 10-90 20-80

Aptitud Verbal Razonamiento Numrico Razonamiento Abstracto

De la puesta en marcha del ENES

Calidad tcnica y altas especificaciones

Mxima calidad tcnica

A partir de la confiabilidad de los resultados, se tuvieron las condiciones para disear una versin nacional de alta calidad, el logro emprico del modelo terico se muestra en la grfica.
Recta de diseo de la Versin Nacional 1
60.0

50.0

40.0 1 11 21 31 41 51 61 Ideal 71 Real 81 91 101 111 120

La demanda del ENES a nivel nacional

Resultados estadsticos
La distribucin de los tems respecto a la dificultad es como sigue: 5.00% 4.50% Porcentaje de aspirantes 4.00% 3.50% 3.00% 2.50% 2.00% 1.50% 1.00% 0.50% 0.00% 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 Nmero de aciertos Forma 1 Forma 2 Forma 3 Forma 4 Forma 5 Forma 6 TOTAL

Planeacin estratgica del ENES

Hacer planeacin es dotar al futuro de espacio para las ideas

Qu es un programa de anclaje?

Es el conjunto de reglas que acompaan al diseo de las formas destinado a mantener, a travs del tiempo y el espacio, a algunos tems de alta calidad que permitan vincular las pruebas. Se trata de tener tems comunes que hayan demostrado su fiabilidad, estabilidad y significancia a la hora de evaluar un aspecto concreto del contenido de una prueba. La inclusin de este tipo de tems permite realizar comparaciones longitudinales y valorar la evolucin dinmica de los resultados. La comparabilidad es un aspecto relevante para comprobar el grado de eficacia de las medidas que han ido tomando y es de utilidad para la reflexin y el autoaprendizaje, as como para la administracin educativa y el anlisis de buenas prcticas en los centros.

De la continuacin del ENES

Agosto de 2011

Febrero de 2012

Mayo de 2012

Noviembre 2012
Nacional 3 (n cuadernillos) Nacional 4 (n cuadernillos)

Piloto 1

Piloto 2 (6 cuadernillos)

Nacional 1 (6 cuadernillos) Nacional 2 (6 cuadernillos)

Nacional N (n cuadernillos)

Instalacin del Consejo Nacional del ENES

El Consejo Nacional es un grupo de expertos que integran una figura de autoridad conformada por un grupo colegiado. La organizacin por consejo se opone al de la organizacin lineal porque el trabajo se realiza en forma conjunta, siendo los miembros del grupo iguales en cuanto a jerarqua y tomando las decisiones democrticamente.

El problema de la seleccin radica principalmente en que, de un grupo de candidatos, se desea identificar uno muy selecto que deber comprenderse de individuos que puedan triunfar en una tarea especfica que les es comn.

Instalacin del Consejo Nacional del ENES

Cul es la medida de xito de un consejero?

No recae solo en el cumplimiento puntual y la calidad de sus estudios, sino la capacidad de integrarse a un equipo interdisciplinario, porque las medidas concretas de xito que tenemos son el Consejo en s, y no solo a los miembros que las componen. En general, hay cuatro puntos que deben tomarse en cuenta para integrar a alguien al Consejo:

1. Vocacin 2. Aptitudes 3. Preparacin acadmica 4. Antecedentes personales

Instalacin del Consejo Nacional del ENES

Para la seleccin se debe tener en cuenta al menos tres variables:

1. Que de cada candidato pueda confirmarse su calidad profesional. 2. Que exista mayor nmero de candidatos que el nmero de los que integren el subgrupo que se quiere elegir. 3. Que el trabajo colegiado pueda realizarse sin que existan intereses en conflicto.

El primer factor se ve limitado debido al desconocimiento y a la minora notable de candidatos que son elegibles para esta labor. El segundo es una cualidad deseable que garantiza la elegibilidad y conformacin del consejo. El tercero es un fenmeno psicolgico muy difcil de prever pero sobre el que debemos cuestionarnos.

Instalacin del Consejo Nacional del ENES

En estos puntos se establecen requerimientos mnimos: tener una vocacin social, poseer las facultades fsicas y psicolgicas para una labor que dista mucho de ser fcil, tener la preparacin adecuada, al menos el ttulo que demuestre haber hecho los estudios

correspondientes, y no tener antecedentes negativos que puedan denotar falta de honorabilidad y de honestidad.

Es importante aclarar que este cargo honorario no es remunerado y que algunas veces demanda esfuerzos muy altos y tareas muy exhaustivas.

Propuesta de conformacin del Consejo Nacional del ENES

2 DELEGADOS POR EL MINISTERIO COORDINADOR 2 DELEGADOS POR INSTITUTOS TCNICOS Y TECNOLGICOS 5 DELEGADOS POR LAS UNIVERSIDADES

2 DELEGADOS POR EL MINISTERIO DE EDUCACIN

2 DELEGADOS DE SENESCYT

1 EXPERTO INTERNACIONAL

1 SECRETARIO TCNICO DEL CONSEJO

Propuesta de conformacin del Consejo Nacional del ENES

FUNCIN
EMITIR CRITERIOS SOBRE LA ESTRUCTURA DEL ENES VALIDAR LAS PROPUESTAS TCNICAS HECHAS POR LAS COORDINACIONES EVALUAR LA GESTIN DEL ENES VIGILAR LA PERTINENCIA DEL ENES

PERFILES
EXPERIENCIA DE DOCENCIA SUPERIOR DE POR LO MENOS 5 AOS TTULO DE CUARTO NIVEL EXPERIENCIA EN CARGOS DIRECTIVOS EXPERIENCIA EN EVALUACIN EDUCATIVA EXPERIENCIA EN GESTIN DE POR LO MENOS 2 AOS

Propuesta de conformacin de las Coordinaciones acadmicas

Ayudar a administrar los espacios educativos y optimizar la potencialidad de los estudiantes que aspiran a ingresar a una institucin de educacin superior. La informacin proveniente de una prueba con altas especificaciones tcnicas es til para la toma de decisiones y nos ayuda a lograr nuestro objetivo.

Propuesta de conformacin de las Coordinaciones acadmicas

CONSEJO NACIONAL

Coordinacin Acadmica de Aptitud verbal

Coordinacin Acadmica de Razonamiento Numrico

Coordinacin Acadmica de Razonamiento Abstracto

4 EXPERTOS

4 EXPERTOS

4 EXPERTOS

Propuesta de conformacin de las Coordinaciones acadmicas

FUNCIN
Determinar la estructura completa del ENES Establecer los contenidos a evaluar Establecer los estndares de dificultad de los tems Proponer los tems ejemplo en su especialidad

PERFILES
3 aos de docencia universitaria Titulo de cuarto nivel en el rea Experiencia de por lo menos 2 aos en el rea requerida Experiencia en la elaboracin de tems

Propuesta de conformacin de los Cuerpos tcnicos de validacin

SISTEMA DE NIVELACIN Y ADMISIN

Cuerpos tcnicos de validacin en Aptitud Verbal

Cuerpos tcnicos de validacin en Razonamiento Numrico

Cuerpos tcnicos de validacin en Razonamiento Abstracto

Expertos en generacin de tems

Expertos generacin de tems

Expertos en generacin de tems

Propuesta de conformacin de los Cuerpos tcnicos de validacin

FUNCIONES
Validar el contenido de cada uno de los tems propuestos Revisar la respuesta correcta Revisar la pertinencia de las opciones de respuesta Asegurar la calidad de los tems

PERFILES
3 aos de docencia universitaria Titulo de cuarto nivel en el rea Experiencia de por lo menos 2 aos en el rea requerida Experiencia en la elaboracin de tems

Sistema de anlisis y gestin del ENES (SAGE)

La adopcin de un sistema de gestin de la calidad es una decisin estratgica de cada organizacin. El diseo y la implementacin de un sistema de gestin del ENES proviene de diferentes necesidades, principalmente la innovacin.

La idea central es dotar al SNNA de un conjunto de herramientas para gestionar, evaluar y mejorar las distintas fases del proceso, la estructura organizativa, la previsin de recursos, la definicin de las polticas y directrices, as como el planteamiento de objetivos y los mtodos de evaluacin y seguimiento del propio sistema.

Sistema de anlisis y gestin del ENES (SAGE)

Se trata de que los objetivos cualitativos se cuantifiquen sobre la base de un conjunto de indicadores. El comit de gestin e innovacin deber incorporar la visin gerencial y organizativa, la tecnolgica (productos/procesos/servicios) y la visin financiera. Su correcta incorporacin coadyuvar a que la evaluacin educativa se considere desde un punto de vista amplio y en todas sus dimensiones (no nicamente para sus fines ms inmediatos).

Despus de todo, el propsito comn de los aqu convocados es:

Una mejor educacin superior para la Repblica de Ecuador Muchas gracias!

Harvey Spencer Snchez Restrepo harvey@comunidad.unam.mx