Escolar Documentos
Profissional Documentos
Cultura Documentos
Resumen
En este trabajo se propone una estrategia para verificar si la distribucin de las alternativas correctas de las pruebas de seleccin de la Universidad de Los Andes sigue un patrn aleatorio. Dicha estrategia se basa en aplicar un conjunto de ensayos estadsticos sobre las plantillas de respuestas correctas antes de que cada prueba de seleccin sea aplicada. Para verificar la calidad de la estrategia, sta se aplica sobre cinco plantillas de respuestas de pruebas ya realizadas; as como en plantillas simuladas pseudo-aleatorias y no aleatorias. Los resultados muestran, por un lado, que la estrategia es vlida y conveniente; por otro lado, muestran que no todas las pruebas que realiza la Universidad de Los Andes satisfacen los criterios de aleatoriedad. Palabras clave: imagen institucional, anlisis de patrones, prueba chicuadrado, pruebas de admisin.
Abstract
IDENTIFICATION OF NON-RANDOM PATTERNS IN THE ADMISSION EXAMS IN THE UNIVERSITY OF LOS ANDES. This article proposes a strategy for verifying the randomness of the distribution of right choices in the Admission Tests of Universidad de Los Andes. This strategy is based on applying a set of statistic tests over the right answers sheet before each admission test is applied. For verifying the quality of this strategy, it is applied over five answers sheets of tests that were recently applied, as well as in simulated pseudo-random and random tests. Results show, on one hand, that the strategy is valid and convenient, on the other hand, that some of the admission tests in Universidad de Los Andes do not satisfy randomness criteria. Key words: Institutional Image, Pattern Analysis, Chi-square Tests, Admission Tests.
383
Investigacin
aclarar que OFAE disea las pruebas de todas las Facultades de la Universidad de Los Andes, excepto las de la Facultad de Ingeniera. La mayor parte de las preguntas incluidas en el diseo de las pruebas de la Facultad de Ingeniera son hechas sin la intervencin de OFAE. En la seccin de Resultados se describe la aplicacin de la estrategia planteada a cada uno de estos escenarios. Finalmente se presentan las conclusiones y recomendaciones.
ras la denuncia introducida por el representante de un aspirante a hacer estudios en la Facultad de Ingeniera, se precis la necesidad de contar con una estrategia que permita evitar Patrones No Aleatorios (PNA) en las planillas de respuestas correctas de las distintas pruebas de seleccin (Newman, 2003). Dicha denuncia indicaba la presencia de un PNA muy especfico y sencillo: todas B hasta la pregunta nueve; y pares: A, impares: B de la diez en adelante. Posteriormente se verific que dicho PNA se corresponda al diseo de esa prueba y que quien lo utilizara obtendra una calificacin que le garantizara el cupo en esa Facultad (Pachano, 2004). Evitar los PNA es de vital importancia en el diseo de pruebas de seleccin mltiple, como las utilizadas en la Universidad de Los Andes. Es evidente que si las respuestas muestran un PNA sencillo, se corre el riesgo de que los evaluados lo identifiquen, lo usen, y se pierdan los objetivos de la evaluacin. Adems, no se debe descartar la posibilidad de que quien disee una prueba introduzca intencionalmente PNA sencillos con fines ilegtimos y hasta fraudulentos. Los PNA pueden ser el producto de un diseo intencionalmente sesgado, de la falta de formacin del diseador en asuntos de evaluacin, o de simple casualidad. En este trabajo se propone una estrategia que permita evitar que las pruebas que se apliquen contengan PNA sencillos, independientemente del origen de los mismos. La estrategia consiste en la aplicacin de una serie de ensayos estadsticos sobre las plantillas de respuestas correctas de un diseo de examen. Si dicho examen pasa todos los ensayos, se tendr confianza de que el instrumento de evaluacin est bien diseado desde el punto de vista de la aleatoriedad. En la seccin de Consideraciones Metodolgicas se describe cada prueba y se muestran los basamentos conceptuales de cada una de ellas. La confianza que se tiene en la estrategia planteada nace del hecho de que la misma fue sometida a un proceso de validacin. Dicha validacin consisti en aplicarla a cinco pruebas reales: tres pruebas diseadas completamente por la Oficina de Admisin Estudiantil (OFAE), y dos pruebas no diseadas completamente por OFAE; as como a varios casos simulados: dos patrones pseudo-aleatorios generados con Excel y varios PNA sencillos. Es bueno
Objetivos y Metodologa
El objetivo general de este trabajo es el de proponerle a la Universidad de Los Andes una estrategia para verificar que los diseos de pruebas cumplen con el atributo de aleatoriedad en la distribucin de las opciones correctas en las plantillas de respuestas. Se plantean as mismo los siguientes objetivos especficos: 1) Indagar en la bibliografa sobre mtodos estadsticos para medir la aleatoriedad. 2) Proponer indicadores pertinentes a las pruebas de seleccin desarrolladas en la Universidad de Los Andes. 3) Evaluar la pertinencia de esos indicadores usando datos reales y simulados. 4) Evaluar pruebas ya realizadas a la luz de estos indicadores. Los objetivos planteados representan a su vez una gua metodolgica. Basta agregar que no se consider necesario revisar pruebas de todas las Facultades para satisfacer el cuarto objetivo. Por el contrario, se tomaron como muestra tres pruebas diseadas ntegramente por OFAE y dos pruebas diseadas fundamentalmente por otra dependencia (Facultad de Ingeniera). Tambin es oportuno indicar que el tipo de anlisis estadstico que se efecta pertenece bsicamente a la clase de Anlisis Categricos. Especficamente, se utilizan Pruebas de Bondad de Ajuste y Anlisis de Tablas de Contingencia. En consecuencia, se utiliza en esencia la prueba chi-cuadrado como criterio de decisin.
384
Investigacin
Pares verifica que cada par de secuencias de opciones tiene la misma probabilidad de ocurrencia. La Prueba de Intervalo verifica que el nmero de ensayos necesarios para que una opcin se repita siga una ley de probabilidad geomtrica. Estos tres tipos de ensayos son aplicables a las pruebas de la Universidad de Los Andes. Nuestras pruebas de admisin contienen aproximadamente 60 preguntas que valen uno, dos o tres puntos cada una. Se puede realizar sin inconveniente el ensayo correspondiente a frecuencia simple. El anlisis de secuencias dobles tambin es aplicable, pero se debe tener el siguiente cuidado. Existen 16 maneras de formar pares con las letras A, B, C y D en un muestreo con reposicin. En consecuencia, si hay 60 preguntas cada par debe aparecer aproximadamente 60/16 veces, es decir, un nmero esperado inferior a cuatro. Al realizar pruebas chi-cuadrado se recomienda que las celdas tengan al menos cinco observaciones para evitar inestabilidad en los resultados. En este trabajo, se consideraron celdas con al menos cuatro observaciones. Esto quiere decir que para el caso de la Prueba de Frecuencia de Pares que tiene 16 posibles combinaciones (celdas), se consideran independientemente las celdas con cuatro o ms observaciones y se agregan las dems en una categora denominada Otras. Una consideracin semejante se tiene que hacer con la Prueba de Intervalo. En este caso, se decidi analizar la opcin con mayor frecuencia simple, garantizando as suficientes datos para el anlisis. Aqu se plantea la hiptesis de que el nmero necesario de ensayos para que vuelva a salir la letra ms frecuente se distribuye geomtricamente con parmetro 0,25. Puede ocurrir que el nmero de observaciones por celda (nmero de ensayos observados) sea menor que cuatro y en consecuencia algunos datos deben agregarse racionalmente. Sinclair menciona otros ensayos que no son aplicables sobre el tipo de pruebas utilizado en la Universidad de Los Andes. Por ejemplo, la Prueba de Permutacin, una extensin de la Prueba de Frecuencia de Pares para secuencias de k>2 elementos, requiere de ms celdas que el nmero de datos disponibles. Ahora bien, la experiencia alcanzada con el Anlisis de Patrones hecho sobre la Prueba de la Facultad de Ingeniera 2003 muestra la conveniencia de realizar dos Anlisis de Tablas de Contingencia. El primero, examina la independencia entre la puntuacin de las preguntas (entre uno y tres puntos) y las opciones correctas. El segundo, evala la independencia entre las opciones correctas y la condicin de preguntas pares o impares. Otra par de pruebas que se incorporan se relacionan con la distribucin de los puntos. Si la prueba es diseada respetando la aleatoriedad, entonces el promedio de puntos asignado a cada opcin debe ser aproximadamente el mismo. Para verificar la hiptesis de igualdad de promedios se realiza una prueba t que compara el mayor promedio observado con el menor y determina si la diferencia es significativa. Adicionalmente, los puntos globales asignados a cada opcin deben estar alrededor de los 25 puntos. Se realiza entonces la prueba chi-cuadrado del caso. En resumen, se plantea realizar la siguiente batera de ensayos: (1) Prueba de Frecuencia Simple (2) Prueba de Frecuencia de Pares (3) Comparacin de Promedio de Puntos Asignados a cada Opcin. (4) Prueba de Asignacin de Puntos por Opcin. (5) Contingencia entre Opcin Correcta y Nmeros Pares. (6) Prueba de Intervalo.
Resultados
En esta seccin se muestran e interpretan los resultados obtenidos al aplicar los seis ensayos a los escenarios planteados: tres pruebas diseadas por OFAE correspondientes a los procesos de admisin del 2003 para la Facultad de Ciencias Econmicas y Sociales, la Facultad de Medicina, y la Facultad de Odontologa; dos pruebas no diseadas por OFAE correspondientes a los procesos de admisin de la Facultad de Ingeniera en los aos 2002 y 2003; y cuatro casos simulados.
385
Investigacin
ENSAYO Simple Pares Promedio de Puntos Total de Puntos Par - Opcin Intervalo Evaluacin Global FACES 2003 0,859 0,986 0,193 0,572 0,236 0,837 Pasa MED 2003 0,506 0,865 0,204 0,218 0,372 0,208 Pasa ODONTO 2003 0,954 0,870 0,074 0,686 0,286 0,683 Pasa ING 2002 3,52E-05 3,29E-07 1,61E-03 5,56E-11 8,32E-04 1,95E-07 No Pasa ING 2003 2,60E-04 1,66E-05 6,98E-05 5,20E-10 8,28E-04 4,93E-05 No Pasa
Tabla 1. Niveles de significacin alcanzados para los distintos ensayos en pruebas recientes
De la Tabla 1 se observa que no existen evidencias de falta de aleatoriedad en las pruebas diseadas por OFAE (FACES, Medicina y Odontologa) correspondientes a los Procesos de Admisin del ao 2003. Por otro lado, se demuestra con escassimo margen de error la existencia de PNA en las dos pruebas cuyo diseo es responsabilidad fundamental de la Facultad de Ingeniera (Procesos 2002 y 2003). La Tabla 1 se deriva de la aplicacin de los ensayos a cada uno de los escenarios. A continuacin se ilustra como se obtuvieron estos resultados mediante la descripcin de los anlisis hechos en uno de estos escenarios: el proceso 2002 de la Facultad de Ingeniera. Se seleccion esta prueba porque es la que tiene elementos ms interesantes para el anlisis y la que muestra de mejor manera la eficiencia de la estrategia planteada. La Prueba de Seleccin de la Facultad de Ingeniera 2002 tiene como particularidad el hecho de poseer 56 preguntas que equivalen a 93 puntos de calificacin. Al indagar en OFAE sobre esta situacin se argument que en la prueba se eliminaron cuatro preguntas por distintas razones (preguntas mal elaboradas, inconsistentes, o con mltiples respuestas correctas). Estas preguntan valan siete puntos que fueron agregados a la puntuacin de todos los aspirantes, para permitir calificaciones hasta 100 puntos.
OPCIN CORRECTA A B C D
FRECUENCIA ABSOLUTA 29 13 8 6
Tabla 2. Distribucin de opciones correctas en planilla de respuestas de la prueba de seleccin Facultad de Ingeniera 2002
COMBINACIN AB AA BA CA DA AD AC BC CC BB BD CD DC CB DB DD
FRECUENCIA 12 9 9 5 5 4 3 2 2 1 1 1 1 0 0 0
386
Investigacin
Ensayo de comparacin de promedio de puntos asignados a cada opcin
La Tabla 4 contiene el promedio de puntos asociados a cada letra, as como la frecuencia con la cual aparece cada una, y el total de puntos que corresponden. Al realizar una prueba t para comparar el promedio de puntos asignado a la letra A (promedio ms alto) con la letra C (promedio ms bajo) se encontr una significacin de 1,61E-03 que determina que debe rechazarse la hiptesis de distribucin aleatoria de la asignacin de puntos por letra. Se destaca que la letra A tiende a tener una valoracin alta, contrario a la letra C.
LETRA PROMEDIO FRECUENCIA PUNTUACIN
A B C D
29 13 8 6
53 20 10 10
Tabla 4. Comparacin de promedios de puntos asignados por opcin en la prueba de seleccin Facultad de Ingeniera 2002
PAR 22 2 2 2 28
TOTAL 29 13 8 6 56
Tabla 5. Contingencia entre opcin correcta y nmeros pares en la prueba de seleccin. Facultad de Ingeniera 2002
Ensayo de intervalo
La Tabla 6 muestra los datos para la Prueba de Bondad de Ajuste del nmero de ocurrencias necesarias para que aparezca nuevamente una A. Se seleccion esta letra porque tiene la mayor frecuencia simple entre las cuatro opciones. Si la seleccin es aleatoria, la distribucin del nmero de ocurrencias necesarias para que se repita una letra se distribuye geomtrica con parmetro 0,25. De all se deriva la frecuencia esperada que aparece en la tabla. Se nota una frecuencia observada mucho ms alta que lo esperado para dos ocurrencias. Lo que sugiere un PNA que alterna la letra A con otra opcin. Un valor-p de 1,88E-07 ratifica que la hiptesis de intervalos aleatorios entre las ocurrencias de las letras debe ser descartada. INTERVALO 1 2 >2 FRECUENCIA OBSERVADA 10 15 4 FRECUENCIA ESPERADA 7,5 5,625 16,875
Tabla 6. Ensayo de intervalo para la letra A en la prueba de seleccin Facultad de Ingeniera 2002
387
Investigacin
En funcin de las observaciones hechas con los anlisis anteriores, se pueden proponer los siguientes PNA simples relacionados con esta prueba. 1. Todas A. Le asegura al aspirante 53+7=60 puntos. 2. Primeras nueve: todo B; resto: pares A, nones B. Le asegura al aspirante 62+7=69 puntos. 3. Primeras nueve: pares B, nones A; resto: pares A, nones B. Le asegura al aspirante 65+7=72 puntos.
Pregunta Opcin Puntos Pregunta Opcin Puntos Correcta Correcta
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
A B C D A B B D C A D A B C C A D A A A D A B A B A B A
3 2 2 2 1 1 1 2 1 1 1 2 2 1 1 2 2 1 1 2 2 2 1 3 3 2 1 1
29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56
A A A A B A B A B A C A A C C A B A B A B A D A C A A A
2 2 1 2 2 2 2 1 1 2 1 2 1 1 2 2 2 2 1 3 1 3 1 1 1 2 2 2
Tabla 7. Opciones correctas y puntuacin por pregunta en la prueba de seleccin Facultad de Ingeniera 2002 ENSAYO FIBONACCI PATRN X PSEUDO1 PSEUDO2 Simple Pares Par Opcin Intervalo Evaluacin Global 4,98E-04 2,00E-13 3,9803E-07 0,021 No Pasa 1 0,22 0,45 0,084 0,0056 0,86 0,56 0,80 0,90
La Tabla 8 resume las significaciones alcanzadas de estas pruebas simuladas en los cuatro ensayos aplicables. Los ensayos 3 y 4 fueron descartados ya que no se consider aqu el impacto de los puntos por pregunta. Se observa que el Patrn Fibonacci no pasa ninguno de los criterios. El Patrn X genera una distribucin perfecta en relacin con las frecuencias simples y pasa los ensayos de frecuencia de pares y contingencia entre opcin correcta y pares/nones. Sin embargo, sta falla en el ensayo de intervalo. Entre las pruebas con generacin pseudo-aleatoria se observa que hay una que pasa y otra que no.
388
Investigacin
Conclusiones y recomendaciones
En este trabajo se propone una estrategia para evaluar la aleatoriedad de distintas Pruebas de Seleccin que se hacen en la Universidad de Los Andes. La estrategia consiste en verificar que los diseos de plantilla de respuestas correctas aprueben los seis ensayos propuestos. La estrategia planteada prob su pertinencia y eficiencia en un conjunto de escenarios. No se pretende asegurar que sea imposible conseguir un patrn no aleatorio simple que no sea detectado por este mecanismo. Lo que s est claro es que hasta ahora dicho patrn no ha sido descubierto. Se recomienda que la estrategia aqu planteada se incorpore como Mdulo de Validacin de Aleatoriedad dentro de un Sistema Automatizado de Generacin de Pruebas de Seleccin. Es bueno mencionar que dicho sistema ya se est desarrollando como tesis en Ingeniera de Sistemas bajo la tutora del profesor Domingo Hernndez. Entre otras cosas, este programa va a determinar las plantillas de respuestas correctas con un esquema pseudo-aleatorio. Como se ilustr con un ejemplo, no siempre esas plantillas satisfacen los criterios de aleatoriedad. Por lo tanto, se recomienda generar propuestas de plantillas de respuestas repetidamente, hasta que la misma satisfaga los criterios aqu esbozados. Por otro lado, antes de que el Sistema Automatizado se implemente, se recomienda que las pruebas diseadas pasen por estos filtros.
Bibliografa
Dodge, M. and Stinson, C. (2002). Microsoft Excel Versin 2002. Running + , McGraw-Hill. Ferrn, M. (2001). SPSS para Windows. Anlisis Estadstico, McGraw-Hill. Moreno, Mara. (1995). Didctica: Fundamentacin y Prctica. Mxico: Editorial Progreso. Newman, Rodolfo. (2003). Carta de denuncia ante el Consejo de la Facultad de Ingeniera. Archivos de la Facultad de Ingeniera. Pachano, F. y Padilla, D. (2004). Anlisis Estadsticos sobre el Patrn de Respuestas de la Prueba de Seleccin 2003 de la Facultad de Ingeniera de la Universidad de Los Andes, Archivos de la Facultad de Ingeniera. Pachano, Felipe. (2004). Anlisis de las Estadsticas del Proceso de Correccin de la Prueba de Seleccin 2003 de la Facultad de Ingeniera, Archivos de la Facultad de Ingeniera. Pea, Daniel. (2002). Anlisis de Datos Multivariantes, McGraw-Hill. Sinclair, Bart. (2004). How Ramdom is Ramdom(). Pgina web: www.owlnet.rice.edu/~elec428/ Consultado en abril 2004. Wackerly, D. et al. (2002). Estadstica Matemtica con Aplicaciones, Thompson.
389
Es satisfactorio saber que las pruebas que disea OFAE cumplen con los requerimientos de aleatoriedad. Por otro lado, es una contrariedad que las nicas plantillas no diseadas por OFAE en su integridad, las de la Facultad de Ingeniera, muestren recurrentemente claros patrones no aleatorios de configuracin simple y fcilmente comunicables. Se recomienda que la OFAE tenga la atribucin exclusiva de generar las plantillas de respuestas y que se suspenda la concesin a la Facultad de Ingeniera por falta de transparencia en sus procesos de admisin. As mismo, se recomienda que se realice una investigacin a fondo para evaluar la hiptesis de fraude en la administracin de la prueba en esa Facultad.