X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
1
LA PRUEBA ENLACE DESDE UN ANLISIS DIDCTICO. MS ALL QUE UNA POLTICA DE CALIDAD PARA LA EDUCACIN BSICA
ROSA AURORA PADILLA MAGAA
RESUMEN: La implementacin de exmenes a gran escala, accin que ha permeado los sistemas educativos desde la dcada de los noventa, ha ocasionado que la evaluacin del aprendizaje pueda dejar de ser parte de un proceso didctico y se convierta en una nueva forma de hacer poltica educativa. Un importante propsito de la evaluacin est siendo relegado: mejorar cualitativamente la enseanza. Ante la ausencia de una perspectiva didctica para el estudio de pruebas a gran escala como ENLACE, que ayude a situar los alcances y limitaciones de este tipo de exmenes, proponemos la construccin de un modelo de anlisis de reactivos con un enfoque didctico, para exmenes a gran escala como la prueba ENLACE. PALABRAS CLAVE: exmenes a gran escala, anlisis didctico.
INTRODUCCIN Dada la gran cantidad de exmenes a gran escala tanto nacionales como internacionales, que aquejan hoy a los sistemas educativos; 1 la enseanza y el aprendizaje se ha convertido hoy en una especie de adiestramiento para pasar
1 Si hacemos un recuento de los exmenes tanto nacionales como internacionales que presentan nuestros estudiantes de educacin bsica en Mxico, tenemos que, dependiendo del grado en el que se encuentren, aproximadamente son cuatro tipos diferentes de exmenes los que existen: El Instrumento de Diagnstico para Alumnos de Nuevo Ingreso a Secundaria (IDANIS) aplicado desde 1989 por la entonces Direccin General de Evaluacin Educativa (DGEE), hoy Unidad de Planeacin y Evaluacin de Polticas Educativas (UPEPE), el Examen Nacional de Ingreso a la Educacin Media EXANI-1, elaborado por el Centro Nacional de Evaluacin (CENEVAL) desde 1996, el Examen de Calidad de Logro Educativo EXCALE, realizado y aplicado por el Instituto Nacional de Evaluacin INEE a partir del 2005 y el ms reciente referente a la Evaluacin Nacional de Logro Acadmico en Centro Escolares, mejor conocido como ENLACE, que hasta la fecha lleva tres aplicaciones, 2006, 2007 y 2008. La proliferacin no slo de exmenes, sino de instituciones nacionales de evaluacin suscitada a partir de la dcada de los noventa, nos habla de una lucha por el poder y la hegemona en materia de exmenes a gran escala.
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
2 la prueba. 2 Ms que preocuparse por el aprendizaje de sus alumnos, los maestros procuran entrenarlos para aprobar exmenes como ENLACE. Para que la evaluacin cumpla con su funcin formativa de mejorar la enseanza y el aprendizaje, es necesario pasar de la evaluacin como objetivo, o ms an como indicador, a la evaluacin vinculada al proceso de aprendizaje, al contenido de evaluacin y a las formas de enseanza. Contrario a lo que se afirma que no es factible evaluar algo que no ha sido enseado, la visin didctica, que es la que dara cuenta de esta cuestin, se encuentra ausente en las evaluaciones a gran escala como ENLACE. Hasta este momento, hay una omisin en tomar en cuenta las aportaciones didcticas al campo de la enseanza en materia de evaluacin del aprendizaje mediante pruebas a gran escala. El propsito del presente trabajo que constituye parte de una investigacin doctoral, es reconocer la necesidad de abrir una discusin sobre el sentido didctico, de las pruebas a gran escala, centrado en el aprendizaje y su promocin. Ante la pregunta Qu revela un anlisis didctico de las pruebas a gran escala como ENLACE?, generadora de esta investigacin, proponemos un modelo de anlisis de reactivos, que permita ir ms all de ver a la evaluacin como parte de una poltica educativa y discutir las implicaciones didcticas de los resultados obtenidos en las pruebas a gran escala. No es a travs de exmenes a gran escala que se va a mejorar la educacin. Sin embargo, dada la proliferacin que stos han tenido en los ltimos tiempos y la era de la examinacin en la que nos encontramos, es importante ir ms all de los resultados y encontrar el sentido de los llamados exmenes masivos, 3
2 Llama la atencin que s raz de la importancia que ha cobrado para alumnos, docentes y padres de familia, los resultados obtenidos en la prueba ENLACE, recientemente, editoriales como Santillana han publicado Guas para pasar la prueba ENLACE, denominada Aprobado 3 Se conoce como exmenes masivos a los exmenes aplicados a un gran nmero de estudiantes. Su primeras aplicaciones ocurren a finales del siglo XIX en la cuna del pragmatismo estadounidense, cuando Rice, uno de los promotores principales de este movimiento, inicia la aplicacin de pruebas a un gran nmero estudiantes en 1894. Se trataba de una prueba de
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
3 mediante un anlisis de su contenido y estructura didctica, que de cuenta de los procesos de enseanza-aprendizaje implcitos en su resolucin.
CONSTRUCCIN METODOLGICA La realizacin del presente trabajo sigui varias fases. La primera consisti en la elaboracin de un estado del arte sobre los exmenes a gran escala. Identificamos en ste las corrientes de pensamiento para abordar los exmenes a gran escala, y ubicamos el estado actual que guarda la produccin sobre exmenes a gran escala en Mxico en los ltimos doce aos (1995-2007). Ante la deteccin de la ausencia de una perspectiva didctica para el estudio de los exmenes a gran escala, pasamos a la construccin de un modelo conceptual para el anlisis de reactivos, con un enfoque didctico y a la deteccin de algunas variables en la construccin del tem que afectan su resolucin. Seleccionamos como referente emprico para la aplicacin de nuestro modelo, algunos de los reactivos de la prueba ENLACE 2007 de 6 grado, que por su construccin llamaron nuestra atencin. Con base en el modelo propuesto, analizamos la estructura didctica y variables que afectan la resolucin de estos reactivos, lo que permiti dar cuenta de ciertas limitaciones encontradas en materia de enseanza-aprendizaje.
MODELOS EXISTENTES PARA EL ANLISIS DE PRUEBAS A GRAN ESCALA Y LA NECESIDAD DE UNA PERSPECTIVA DIDCTICA Una revisin a las corrientes de pensamiento que existen en el mbito de las pruebas a gran escala, permite percibir el predominio de enfoques centrados en la medicin, la rendicin de cuentas y la diferenciacin social. En la revisin de los modelos empleados para el anlisis de reactivos, se reconocen tres tipos de modelos: Los psicomtricos, cuya finalidad es
ortografa que no estaba an estructurada desde la teora del test aplicada a 16,000 alumnos. (Cremin, 1969)
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
4 seleccionar reactivos en funcin de sus propiedades. Los cognitivos que presentan un anlisis psico-cognitivo de las tareas implcitas en los reactivos. Su propsito es identificar mecanismos subyacentes al aprendizaje deseado en diferentes niveles de complejidad. (Castaeda, 2006). Y los que se proponen evaluar la calidad de la traduccin de pruebas internacionales como el Tercer Estudio Internacional de Matemticas y Ciencias (TIMSS) y el Programa Internacional de Evaluacin de Estudiantes (PISA) (Solano y Backhoff, 2003). Sin embargo, en ninguno se da una integracin y manejo didctico de todos los elementos que intervienen en la enseanza y el aprendizaje. Lo que hace necesario la construccin y aplicacin de un modelo didctico para el anlisis de los reactivos de pruebas a gran escala como ENLACE. Un tipo de anlisis que abandone el tratamiento meramente estadstico y psicolgico y permita desde un enfoque didctico identificar los elementos que se ponen en juego en las tareas de evaluacin y su relacin con el proceso de enseanza y aprendizaje.
FUNDAMENTOS PARA LA CONSTRUCCIN DE UN MODELO DE ANLISIS DE REACTIVOS DESDE LO DIDCTICO La estructura didctica que conforma el modelo de anlisis que aqu se presenta, considera que para conocer los procesos didcticos implcitos en una situacin de evaluacin, se requiere considerar los diversos elementos que intervienen en toda situacin de enseanza- aprendizaje. Con base en esto, proponemos una estructura conceptual que de cuenta del contenido y su organizacin, una estructura sociocultural que revele el significado que adquieren los contenidos en las diferentes contextos o situaciones y una estructura metodolgica, que ayude a identificar las experiencias de aprendizaje y tareas del aula en funcin del contenido y del contexto en el que ste se ubica. Esta organizacin de las experiencias de aprendizaje, de acuerdo con Taba (1974) tiene que ver con la naturaleza del conocimiento y las maneras en las cuales puede ser asimilado por los alumnos. La estructura didctica que conforma el modelo que proponemos para el anlisis de los reactivos, est compuesta por tres dimensiones, la social, la
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
5 conceptual y la metodolgica y siete ejes que tienen que ver con la enseanza y el aprendizaje, en cuanto a su organizacin y contextualizacin. Estos son: tarea de evaluacin, tipo de contexto, naturaleza del contenido, procesos cognitivos, nivel de conocimiento, grado de complejidad, tipo de aprendizaje, estrategias y tareas del aula que se derivan. Con la intencin de complementar el anlisis didctico de los reactivos, consideramos la revisin de otros elementos con respecto a la construccin de un reactivo, que pueden afectar su resolucin. Estos son: objetivo del tem, expresiones socioculturales del lenguaje, caractersticas perceptuales y de redaccin de los distractores y estrategias posibles que los alumnos pueden emplear para su resolucin.
ANLISIS DIDCTICO DE ALGUNOS REACTIVOS DE LA PRUEBA ENLACE 2007 (6 GRADO) A manera de ejemplo de la aplicacin del modelo propuesto, presentamos el anlisis didctico y la revisin de las variables que afectan la resolucin de dos reactivos de la prueba ENLACE 2007 para 6 grado, uno de espaol y otro de matemticas. 4
Anlisis didctico de un reactivo de espaol. Prueba ENLACE 07 M1 6 grado El reactivo nmero 120 (vase reactivo en la parte final del documento), comprende una tarea de evaluacin, prcticamente memorstica. Pide reconocer las partes de una carta. Aborda un contexto pblico. El contenido es factual, requiere del reconocimiento de los datos que integran una carta. Implica procesos de memoria, para recordar y reconocer el nombre de los datos de una carta. Se queda en un nivel cognitivo de recuerdo porque se necesita extraer cierta informacin almacenada en la memoria con respecto al nombre de los elementos de una carta. El grado de complejidad es bajo, se trata de un solo tipo de contenido que incluye slo dos procesos cognitivos bsicos. Comprende un
4 Los reactivos analizados se anexan en la parte final del documento.
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
6 aprendizaje de tipo memorstico, que requiere de estrategias de repaso y repeticin para recordar el remitente de una carta.
Variables de construccin del reactivo que afectan su resolucin El objetivo del tem de acuerdo con la tabla de especificaciones elaborada para este examen, est relacionado con la organizacin grfica de una carta. Sin embargo, tal y como est formulada la pregunta, ms bien se ve que lo que se pretende es ver si el alumno puede reconocer el significado de la palabra remitente en una carta e identificarlo. En cuanto a las expresiones socioculturales del lenguaje, la palabra remitente no es una palabra de uso comn. sta slo adquiere significado dentro de contextos culturales y grupos sociales especficos. Adems, con el uso del correo electrnico, la palabra remitente es cada vez menos utilizada. Con respecto a las caractersticas perceptuales y de redaccin de los distractores, no se observan dificultades, se trata slo de nmeros que hay que identificar. En las estrategias empleadas para su resolucin, si se desconoce el significado de la palabra remitente, es factible que la estrategia a la que recurran los alumnos sea la adivinacin.
Anlisis didctico de un reactivo de Matemticas. Prueba ENLACE 07 M1 6 grado El reactivo 15, (vase reactivo en la parte final del documento) presenta una tarea comn de tipo escolar que requiere de la ejercitacin y prctica, lo que la vuelve un tanto rutinaria. Est ubicada en un contexto educacional relacionado con una tarea de estudio. El contenido es conceptual porque requiere establecer relaciones entre la informacin presentada. Necesita el dominio de conceptos de nmero, mayor que y menor que, unidades, decenas, centenas y millares. Implica el empleo de procesos de identificacin de los numerales que se le presentan, clasificar stos con base en su valor posicional, establecer una organizacin jerrquica que permita establecer coherencia entre las cantidades manejadas, realizar un anlisis para dividir cada una de las cantidades y
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
7 separarlas, hacer uso de la inferencia para detectar y eliminar los distractores pertinentes, as como aplicar los pasos requeridos para la formacin y diferenciacin de cantidades; en s se tiene que recurrir a una planificacin de acciones que permitan analizar, sintetizar y evaluar los procedimientos para planear la ejecucin. Aunque tambin sera muy interesante ver cules son los procedimientos que el alumno aplica. Se ubica en un nivel de comprensin, porque requiere de organizacin y anlisis para establecer las relaciones entre las partes. Y aplicar un saber y un saber hacer con respecto al manejo de cantidades. El nivel de complejidad es alto, demanda varios procesos cognitivos para su resolucin. Refiere un tipo de aprendizaje que requiere estrategias de organizacin con tareas de categorizacin para dotar de significado al valor posicional de cada nmero.
Variables de construccin del reactivo que afectan su resolucin El objetivo de este tem segn la tabla de especificaciones es construir series numricas. Pero tal y como est planteado el ejercicio ms que construir series numricas, lo nico que se pide es seleccionar la serie ms adecuada. Dadas las caractersticas del ejercicio no se encontraron problemas de expresiones socioculturales como tal. Sin embargo la lectura de este tipo de cantidades resulta de difcil manejo, sobre todo para grupos y contextos donde estas cantidades no adquieren sentido ni tienen significado. El reactivo presenta problemas perceptuales importantes. De acuerdo con la teora de la estructura y la ley de la igualdad o equivalencia, cuando ocurren varios elementos iguales, hay una tendencia a la agrupacin perceptual, lo que dificulta su anlisis y organizacin. Si no se conoce el valor posicional de los nmeros y se llevan a cabo los procesos enunciados es factible que los alumnos recurran a la estrategia de eliminacin hasta dar con la respuesta correcta ms viable.
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
8 CONSIDERACIONES FINALES Los avances avances que presentamos en esta investigacin, no permiten an, tener una visin global de la prueba, ni generalizar las limitaciones encontradas en algunos de sus reactivos. Sin embargo, en los reactivos analizados encontramos, con respecto a los reactivos de espaol, lo siguiente: las tareas de evaluacin son en su mayora memorsticas y poco o nada significativas. Generalmente abordan cuestiones ajenas a la realidad y vida de los nios, slo algunas trabajan la comprensin. Se ubican en contextos: cientficos, social, pblicos y educacional. Manejan un contenido factual, aunque en ocasiones tambin es conceptual y procedimental. Los procesos que ms se requieren para su resolucin son: memoria, identificacin, clasificacin, resumen, sntesis, generalizacin y abstraccin. Se ubican en un nivel de recuerdo y comprensin. El grado de complejidad es bajo. El tipo de aprendizaje al que ms se recurre es de carcter memorstico y de recirculacin de la informacin; lo que lleva a deducir que las estrategias que ms se emplean son las de repaso. Con respecto a los reactivos de matemticas: la mayora de las tareas son escolares, centradas en una sucesin de ejercicios y tareas problema que plantean cuestiones a resolver que poco o nada tienen que ver con la situacin que los nios viven. Se encuentran tambin tareas memorsticas, sobre todo en cuestiones relacionadas con la geometra y algunas que prueban la comprensin. Los contextos en los que se ubican son de tipo educacional y pblico. Se manejan contenidos de tipo factual, conceptual y procedimental. Los procesos ms requeridos son la identificacin, la organizacin jerrquica, la aplicacin de procedimientos y planificacin de acciones. Tambin se requiere de la memoria. Se alude a niveles de comprensin y anlisis. Los grados de complejidad van desde el bajo hasta el alto. Refiere aprendizajes tanto memorsticos como con algn significado. En cuanto a su redaccin, se pueden identificar reactivos con objetivos no claros. Con marcados sesgos socioculturales, porque las expresiones utilizadas
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
9 slo adquieren significado para determinados grupos y en determinados contextos. El lenguaje es poco comn. Se encontraron algunos problemas perceptuales en la mayora de los casos. Lo que hace pensar que las estrategias a las que se recurre para su resolucin sean las de eliminacin y adivinacin. Esto lleva a pensar que ENLACE es una prueba en donde el contenido de algunos de sus reactivos, no corresponde a lo establecido en los Planes y programas de estudio para la educacin bsica en cuanto a habilidades y tipos de aprendizaje a desarrollar. En los reactivos analizados, encontramos un contenido ms de tipo mecnico y abstracto que significativo, que requiere de estrategias y procedimientos didcticos memorsticos y rutinarios. Lo que abre una discusin en dos sentidos: El tipo de aprendizaje que ENLACE mide es el tipo de aprendizaje que permitir elevar la calidad de la educacin bsica? qu tan valido es enjuiciar el trabajo de los docentes, por los resultados obtenidos en una prueba estandarizada que quiz poco o nada tenga que ver con las formas de trabajo en el aula y los contenidos y tipos de aprendizaje que ah se generan?
REFERENCIAS Castaeda, S. (coord). (2006). Evaluacin del Aprendizaje en el nivel universitario. Mxico: UNAM - CONACYT Cremin, L. A. (1969). La transformacin de la escuela. Argentina: Editorial Bibliogrfica Argentina. SEP (1993). Plan y Programas de Estudios 1993. Educacin Bsica Primaria. Mxico: SEP Solano, G. y Backhoff, E. (2003). La traduccin de pruebas en comparaciones internacionales: Mxico: INEE (consultado: abril de 2008, en http://www.inee.edu.mx/images/stories/documentos_pdf/Resultados_Evalu aciones/Estudios/Anteriores_2003/07_aspecs_lingu_traductimss95.pdf ) Taba, H. (1974). Elaboracin del currculo. Argentina: Troquel
.. X CONGRESO NACIONAL DE INVESTIGACIN EDUCATIVA | rea 2 currculo
10 ANEXO Reactivos de la prueba ENLACE_07_M1_6 grado
120. Cul de los nmeros que se sealan en la carta corresponde al remitente? A) 2 B) 3 C) 4 D) 5