Suma Pstcolégica, Vol. 10. No.2: Septiembre de 2003, 235-245 ISSN 0121-4981 235 TEORIA DE RESPUESTA AL {TEM (TRI). OTRA ALTERNATIVA PARA LA MEDICION Y EVALUACION Bertha Lucia Avendano Prieto*, Fundacion Universitaria Konrad Lorenz, ABSTRACT The objective of this work was to make a comparative analysis of a knowledge test under the models of the Classical Test Theory (CTT) and the Item of Response Theory (IRT). A hypothetical example was given where the most relevant results could be outline to establish the psychometric characteristics of both models of items. The analysts of TCT was done With the software SPSS version 11 and the IRT with the software Winsteps. Key words: IRT, CTT, CCI, logit, normal distribution, measurement and assesment. El objetivo del presente trabajo fue realizar una comparacién del andlisis de items en una prueba de conocimientos bajo los modelos de la Teoria Cldsica de los Test (TCT) y Teoria de Respuesta al Item (TR. Se presenta un ejemplo hipotético que permite destacar los resultados mas relevantes para establecer las caractertsticas psicométricas de los items bajo los dos modelos. El andlisis bajo la TCT se realizé con el software SPSS versién 11 yet andlists bajo la TRI se realtzé con el software Winsteps. Palabras Clave: TRI, TCT, CCI. logit, distribucién normal, medicién y evaluactén. Colombia *Directora del Departamento de Evaluacién Académica de la Fundactén Universitaria Konrad Lorenz Calle 73 No. 10-45, Bogoti, Colombia. La correspondencia referida a este articulo puede dirigirse al correo electrénico: bavendano@fukledu236 Bertha Lucia Avendafo Prieto uando se decide construir un instrumento de medicién debe haber un grupo de personas sobre quienes se desea saber mas de lo que ya se sabe, si preocupa Ia calidad de la medici6n, como es de esperarse, debe construirse un instrumento con este fin. Un instrumento de medicién de co- nocimientos es un conjunto de items ca- librados de manera apropiada, que per- mite medir un objetivo especifico. Una prueba bien elaborada es aquella que mi- de adecuadamente en la regién dentro de la cual se espera que ocurran las medi- ciones. Medir bien significa medir con mayor precision (Wright y Stone, 1998) En el campo de la educacién como ‘en muchos otros, la evaluaci6n juega un papel crucial y es la psicometria la disci- plina que ofrece el soporte conceptual y metodolégico para realizar la medicién. La Psicometria entendida como el con- junto de modelos formales que posibi- litan la medicién de variables psicolé- gicas (Martinez, 1995), ha proporcionado a la evaluaci6n el avance en la medicién y ha elaborado modelos teéricos que le permiten llevar a cabo diferentes proce- sos de medicién, sentando las bases para que se realicen de forma adecuada. La necesidad de un modelo para estimar los errores de medida en psico- logfa como en cualquier otra disciplina, proviene del hecho elemental de que los errores no son conocidos con exactitud; en a psicometria se pueden resaltar dos modelos estadisticos que han tenido trascendencia en la construccién de pruebas: la teoria clasica de los test (TCT) y la teorfa de respuesta al item (TRI). La TCT ha sido la teoria més utili- zada para validar los diferentes instru- mentos empleados en la evaluacién. Este modelo se basa en el concepto de pun- tuaci6n observada de un test, que im- plica por una parte, la puntuacién verda- dera (la obtenida) y por otra el error de medida. La TCT ademas plantea que no existe correlacién entre las puntuaciones verdaderas de los participantes en un test y sus respectivos errores de medida, esto indica que el tamario de los errores no esta asociado con el tamafio de las puntuaciones verdaderas. Supone tam- bién que los errores de medida de los participantes en un test no correlacionan con sus errores de medida en otro test, por lo tanto, si se aplican correctamente los tests, los errores serén aleatorios en cada ocasién, no existiendo razén a pri- ori para que covarien sistematicamente unos con otros (Muftiz, 1994). Antes de utilizar una prueba como instrumento de medici6n apropiado para medir una variable bajo este modelo, debe obtenerse informacién sobre su confiabilidad y validez, dos conceptos fundamentales en los que se basa la TCT, la confiabilidad hace referencia a la consistencia de los resultados y la validez al grado en el cual la prueba mide aquello para lo que fue disefiada. La TCT se ha basado en la curva normal para representar la distribucién de las mediciones obtenidas con las pruebas, asumiendo que los atributos medidos en poblaciones se distribuyen normalmente; sin embargo, en la década del 80 se comprende el hecho de que la distribucién de los resultados que se ‘Suma Pstcolégica, Vol. 10, No. 2: 235-245, sep. 2003, Bogoté (Col.)obtienen en las pruebas, esta relacio- nada con los niveles de dificultad de las preguntas utilizadas; esta aseveracién cuestioné la aplicaci6n de la curva nor- mal en la interpretacién de resultados (Pardo, 2000) Atin cuando los modelos de la TRI son ya conocidos por los psicémetras, la ‘TCT sigue siendo empleada como marco para la construccién e interpretacion de pruebas, ya que puede ser utilizada en diferentes campos de aplicacién, es de facil manejo ¢ interpretacién y permite estimar los errores de medida asociados al proceso de medicién. Sin embargo, presenta limitaciones: En la Teoria Clasica la medida de una variable es in- separable del instrumento utilizado para medirla y esto constituye una seria limi- tacién, pues se acaba definiendo operati- vamente la variable por el instrumento con el que se mide. Ademas, las propie- dades del instrumento de medida, estan en funcién de los sujetos a los que se aplican; por ejemplo, el indice de difi- cultad de un item dependera de que el grupo de sujetos utilizados para calcu- larlo sea competente 0 no; en el primer caso seré facil y en el segundo dificil (Muniz, 1990). La TRI ha venido tomando impor- tancia en el campo de la psicometria, especialmente en la ultima década del siglo XX. En el campo nacional, el Insti- tuto Colombiano para el Fomento de la Educacién Superior ICFES, se basé en este modelo, a partir del afio 2000, para analizar el nuevo examen de estado. La interpretacién y el uso de los puntajes camblaron sustancialmente en compa- racién con los resultados obtenidos en Teoria de Respuesta al tem 237 el anterior tipo de examen. En el nuevo examen se habla del légito, término que indica la unidad de medida definida en inglés como “logit”. forma abreviada de “log odd ratio unit” que se traduce por: unidades en logaritmo, de la expectativa que se tiene de éxito con relacién al fracaso (Tristén, 2001), El puntaje obte- nido en el nuevo examen es la expresion del valor logit de cada persona que res- ponda las pruebas, en una escala que oscila entre cero (0) y cten (100) puntos, aproximadamente. En la parte inferior de la escala, una puntuacién de cero (0) equivale a no responder ninguna pregun- ta correctamente, sin embargo, la parte superior es abierta; es decir, clen (100) puntos es apenas una aproximacién y una referencia de la maxima competen- cia que puede obtener un estudiante {ICFES, 2000). Un estudiante con alto nivel de competencia puede obtener pun- tajes muy superiores a cien (100). Como la escala logit de donde se obtiene el puntaje, es independiente de los resulta- dos de los diferentes grupos de perso- nas, es decir, no se construye a partir de promedios 0 desviaciones estandar de alguna poblacién particular, permite comparaciones directas en el tiempo, contrastando las ejecuciones de los estu- diantes contra lo que mide una prueba en particular, El ICFES tomé como refe- rencia la aplicacién que realiz6 de los exdmenes de estado en marzo del afo 2000. En términos generales el puntaje refleja la competencia global del estu- diante en el area medida (ICFES, 2000). La TRI partiendo de supuestos 0 hipétesis fuertes como la unidimensiona- lidad o independencia local, intenta dar ‘Suma Psicol6gica, Vol. 10, No, 2: 235-245, sep. 2003, Bogoté (Col.)238 Bertha Lucia Avendatio Prieto una fundamentacién probabilistica al problema de la medicién de rasgos y constructos, liberando a la TCT de las limitaciones que presenta (Martinez, 1995). Como sefiala Lord (1980), la TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCT. El nombre Teoria de Respuesta a los Items proviene de que el item es la uni- dad basica de anilisis en lugar de las puntuaciones totales 0 globales de la prueba como sucede en la TCT, La TCT se basa en la distribucién: normal, la TRI en cambio utiliza la dis- tribuci6n logistica. Los modelos mAs usados en la TRI se fundamentan en la ojiva logistica o funcién de distribucién logistica, que representan una familia de curvas cuya forma es similar en apa- riencia a la ojiva normal. Bradley y Terry en los afos 50, aplicaron este modelo empiricamente, y a partir de ahi Birn- baum (1968) y Baker (1961) formularon un modelo logistico pero en anilisis de items. Baker desarrollé programas para computador que permitian la aplicaci6n del analisis logit y probit de los items y estudié su comportamiento con datos empiricos y simulados (Baker, 1959, 1963, citado por Wright y Stone, 1998). Los modelos de TRI asumen que existe una relacién funcional entre los valores de la variable que miden los items y la probabilidad de acertar estos, esta funcién fue denominada Curva Caracte- ristica de los items (CCI), Se parte del supuesto de que la probabilidad de acer- tar un item s6lo depende de los valores de la variable medida por el item; por tanto personas que tengan diferentes puntuaciones en dicha variable tendrén probabilidades distintas de superar determinado {tem (Mufiz, 1990). La caracteristica de cada ftem puede descri- birse por su CCI, siendo esta curva la unidad conceptual basica de la TRI. EJEMPLO DE APLICACION ANALIZADO BAJO LOS DOS MODELOS Con el propésito de ilustrar los anteriores planteamientos, se presenta un ejemplo Practico del andlisis de una prueba de conocimiento bajo los dos modelos TCT y TRI. La prueba tiene 20 items de seleccién multiple con tinica respuesta y fue contestada por 15 estudiantes, Las respuestas son hipotéticas puesto que el objetivo es realizar un anilisis didae- tico de los resultados que arrojan los dos modelos. El estudiante representado en la base de datos (ver tabla 1, al frente) con el cédigo AAAA contest correcta- mente todos los items, el estudiante con c6digo 0000 contests todos de forma incorrecta, otros estudiantes como en cualquier prueba objetiva de conoci- mientos, contestaron algunas en forma correcta y otras en forma incorrecta, algunos fueron incoherentes con sus respuestas ya que contestaron correc- tamente las ms dificiles e incorrecta- mente las més faciles, Bajo la TCT se presenta un resu- men general de los resultados de los puntajes obtenidos por las personas, la correlacién entre cada item y el puntaje total y el andlisis factorial realizado con las respuestas dadas a los diferentes items. Bajo la TRI se presenta un resu- men general de los resultados de los ‘Suma Psicol6giea, Vol. 10, No. 2: 235-245, sep. 2003, Bogota (Col.)Teoria de Respuesta al ftem 239 TABLA 1. Base de datos de las respuestas marcadas por los 15 estudiantes ee a eT) AAR tie ON Agi ot ty tee ad BBs te Midst haan 4 COCR Ay AN 04 ite dic t5 Ais Seen DOOD), Aja teat 1) Aeiseed) By a8 BEB phic lis dey Heir ¥) oh heed gelasdl POOR Aca Alia ed: $Me tthe Q0GBY AaiAs A athy. 3s) Vy da Sbalent HA pice cdivdel is (15054 illaart wt ‘a By Mic hepa 9% Say RbnOrl waite Us get peta Nas 8: of NOHO Ae tas ot Ald ago MI Aah a 8 wv NNNN 10100 oo 0 0 0000 0 0 0 0 9 0 OO Tol «13:12:14 w 09 8 8 8 puntajes obtenidos por las personas y de los datos arrojados por los items, la calibraci6n de los participantes y de los items a lo largo de la variable y el esca- lograma de Guttman, que representa el patron de respuestas dadas por las per- sonas. Se estableceré una comparaci6n entre los resultados arrojados y se resal- taré el aporte de la TRI. La tabla 1 presenta la base de da- tos, que muestra 15 estudiantes repre- sentados con los cédigos AAAA, BBBB, hasta OOOO. La prueba consta de 20 items, la persona BBBB contesté 18 {tems correctamente y la persona OOOO aunque los abordé todos, no respondi6 ninguno correctamente. El ntimero uno sefiala que el item fue contestado correc a a Ceo} Seat an as mea RS a torte 45 JOO ae AP 8 0 0 0 0-18 Tete “ $8: APIO (090! TH 0 9 48: 50 3 10 Oh Oec"4? 0 0/6" TO: oe tt Ree gy, ot 1 0 10 6 0) Of PO} yO POs 0.58, 4 1 1s ayo 4 oo 00140 3 o 000000 0 i 6444 32 tamente, el ntimero cero indica que el item fue contestado en forma incorrecta, los espacios en blanco indican que el item no fue contestado (ni en forma correcta, ni incorrecta). El item ntmero 1 fue contestado correctamente por 13 de los 15 sujetos que participaron en la prueba, el item 20 solo fue contestado correctamente por 2 de los participantes; AAAA ¢ III. Los items en la base de datos estan dispues- tos de mayor a menor dificultad ANALISIS BAJO LA TCT Analizando los resultados se puede esta- blecer que la pregunta de mayor difi- cultad es la (P20), ya que fue contestada correctamente por solo dos personas, el ‘Suma Psicoldgiea. Vol. 10, No. 2: 235-245. sep. 2003, Bogota (Col.)240 Bertha Lucia Avendano Prieto TABLA 2. Correlaciones significativas entre cada uno de los items y el puntaje total item mas facil es el #1 que fue contestado por 13 de las 15 personas. Se puede afirmar por ejemplo, que los items 8, 9 y 10 tienen el mismo grado de dificultad. La persona que obtuvo el mayor puntaje esta representada en la figura 1 (adelan- te) con el eédigo AAAA quien contesto todos los items en forma correcta. La persona 0000 no contesté correcta- mente ninguno de los items. Alestablecer la correlacién entre el puntaje total obtenido por cada uno de los participantes y cada uno de los items, se encontré correlacién significativa en- tre los items 3 al 14 (tabla 2, arriba) La consistencia interna arrojada por la prueba corresponde a un alpha de 0.9337. Si se elimina el item 19 la confiabilidad aumenta a 0.9408. Al eli- minar de uno en uno los items del 3 al 14, la confiabilidad disminuye a 0.92. Si se eliminan los items 1, 2, 15, 16, 17, 18 y 20, el valor del alpha no se afecta El andlisis factorial arrojé cuatro factores que explican el 90,64 por ciento de la varianza. Los items del 1 al 15, tienen carga factorial en el primer fac- tor; el item 16 tiene distribuida su carga factorial en el segundo y tercer factor, los items 17, 18 y 20 tienen su mayor carga factorial en el segundo factor y el item 19 tiene distribuida su carga en los factores tercero y cuarto. (Tabla 3). Es importante aclarar que el andlisis facto- rial bajo la TCT no es recomendable cuando el tamafio de la muestra es infe- rior a 50 casos, se recomienda que el niimero de casos sea cinco veces el de variables como minimo. ANALISIS BAJO LA TRI Los datos fueron analizados con el soft- ware WINSTEPS basado en el modelo de Rash, que arroja 24 tablas, solo se pre- sentan y deseriben algunas de ellas. La figura 1 (pag. 242) es un mapa que representa la posicién de las personas y los items. Basados en los resultados, se puede deducir que en las personas indica la posicién de las mismas a lo largo de la variable y respecto a los items, la calibracién de la dificultad de éstos. Observando el mapa se puede asegurar que las personas con mayor habilidad son AAAA y BBBB, las de menor habi- lidad son NNNN y OOOO. Las personas representadas con los simbolos DDDD y EEEE tienen habilidad equivalente. ‘Suma Psicol6giea, Vol. 10, No. 2: 235-245, sep. 2003, Bogoti (Col.)Teoria de Respuesta al tem — 241 TABLA 3. Distribucion de las cargas factoriales rT) rca erated Lea Pt 0.60 0.02 042 0.23 P2 0.59 0.87 0.36 0.34 P3 0.85 0.45 0.14 0.17 P4 0.85 045 0.14 0.17 PS 0.85 0.45 0.14 0.17 P6 0.85 0.45 014 0.17 P7 0.85 0.45 0.14 0.17 Ps 089 021 0.22 0.18 P9 0.89 021 0.22 0.18 P10 0.89 021 0.22 0.18 Pit 0.72 0.56 -0.30 0.06 P12 0.72 0.56 -0.30 0.06 P13 0.72 0.58 -0.30 0.96 P14 0.72 0.56 -0.30 0.06 PIs 0.61 041 0.00 -0.03 P16 0.28 057 0.60 0.44 PIT 0.39 0.83 0.25 -0.09 P18 0.39 0.83 0.25 -0.09 P19 -0.07 0.18 0.50 0.78 P20 0.15 0.82 0.26 0.07 Los items de mayor dificultad son el 20 yel 19 y los de menor dificultad el 01 y el 02. Los items 16,17 y 18 tienen la misma dificultad. La primera columna de la izquierda representa la distribucion logit que sirve tanto para las preguntas como para las personas. En este ejemplo, tanto los {tems como las personas se distribuyeron desde -4 hasta + 4 desvia- ciones logit. Las letras M. S y T que se encuen- tran a lado y lado de la linea punteada que separa las personas de los items, re- presentan la media, una y dos desviacio- nes logit respectivamente. Se puede obser- var que las medias coinciden y que las per- sonas e items estén distribuidos entre ~4 y +4 desviaciones logit aproximadamente Los espacios entre los items, indi- can pobre definicién o evaluacién de la ‘Suma Pstcolégica, Vol. 10, No. 2: 235-245, sep. 2003, Bogota (Col.)242 Bertha Lucia Avendano Prieto 4 AAAA + 1 20 ee BBBBT | 3 + 119 1 2 + | $16 17 18 ccccs | DDDD EEEE | 41 + FFFF | | 14 15 | HHHH | 11 12 13 | 0GGGG tl M+M | 08 09 10 KKKK | | 07 4 + Idd | 05 06 = 1 1 $03 04 ! -2LLLLMMMM + | | 02 NNNN | 3 + Tisgot hit: [ot “4 0000 + FIGURA 1. Mapa que representa la posicién de las personas y los items variable en esa region. Los items 08, 09 y 10 tienen una dificultad promedio; es decir, son contestados en forma correcta por aproximadamente el 50 por ciento de los evaluados. No hay items que midan con preci- sién a la persona BBBB, mientras que los items 11, 12 ¥ 13, miden adecuada- mente al sujeto HHHH. Las tablas 4 y 5 (al frente) presen- tan la media, desviacién estandar, coe- ficiente de confiabilidad, minimo y maxt- mo tanto de las personas como de los items. Las personas en promedio respon- dieron 10 preguntas, con una desviacion estandar de 4.6 y la confiabilidad obte- nida fue de 0.81. El valor maximo de items contestados correctamente fue 18 y el minimo 3. El paquete sélo analiz6 el comportamiento de 13 personas, ya que elimina los dos estudiantes que obtuvie- ron los puntajes extremos; puesto que considera que no aportan al andlisis, uno por que contesté todos los items correc- tamente y otro porque no contesté ningu- no correctamente. La confiabilidad de la prueba fue de 0.73. El nivel de ajuste para los pun- tajes bajo el método de minimos cuadra- dos estandarizados (MNSQ) alrededor de la media es de 0.97 y de 1.58 en los extremos; el modelo predice un rango de ajuste entre 0.7 y 1.3 en puntaje logit, el valor 1.58 se sale del rango, lo que indica que los items no se encuen- tran bien distribuidos segtin los para- metros que plantea el modelo. Los pun- tajes maximo y minimo estan dados en desviaciones logit. La tabla 6 (adelante) presenta el ajuste de las personas; los sujetos que ‘Suma Pstcol6gica, Vol. 10, No, 2: 235-245, sep. 2003, Bogoté (Col)Teoria de Respuesta al {tem 243 TABLA 4. Resumen de resultados obtenidos con las personas eed nanny Cr MO) Media 10.0 20.0 Desviacion 4.6 0 Maximo 18.0 20.0 Minimo 3.0 20.0 Confiabilidad .81 MNSQ ZSTD MNSQ 0.88 ~9 1.96 A 0.78 22 3.07 18 296 53 9.90 4.0 0.44 24 0.20 1.6 TABLA 5. Resumen de resultados obtenidos con los items CU nary Cee rn ML] Media 65 13.0 Desviacion 3.0 0 Maximo 120 13.0 Minimo 1.0 13.0 Confiabilidad .73 menos se ajustan son MMMM e Ill y corresponden en la base de datos a las personas 13 y 9, que respondieron 4 y 10 preguntas respectivamente. La per- sona MMMM respondié 4 items de los 6 ltimos que son los de mayor dificultad y obviamente éste comportamiento no es esperado; lo mismo ocurre con la per- sona III, que respondié correctamente el primer item y 9 de los 10 dltimos. Los valores 2.38 y 2.96 en el INFIT y 9.9 y LD a ct) Cre) 0.97 “4 1.58 +2 0.45 12 2.22 12 2.08 16 9.90 34 0.50 18 0.37 14 4.60 en el OUTFIT demuestran que no se ajustan ni en la media, ni en los extre- mos. La persona NNNN tampoco se ajus- ta pero solo en los extremos, el valor 7.18. en el OUTFIT asi lo demuestra La TRI permite estimar la habilidad de una persona a partir de la puntuacién obtenida y de su patron de respuesta. Se espera que los evaluados acierten los items faciles y fallen los dificiles (Wright y Stone, 1998). ‘Suma Pstcolégica, Vol. 10, No. 2: 235-245, sep. 2003, Bogota (Col.)244 Bertha Lucia Avendafio Prieto TABLA 6. Ajuste de las person: Nr RCCL rae) CT a Ly El andlisis del patron de respues- tas bajo la TRI se realiza a través de un escalograma de Guttman y es presenta- do en la Tabla 7 (al frente). En la parte superior del escalograma se encuentran los items, ordenados del més facil al més dificil, en la columna de la izquier- da se presentan los evaluados ordena- dos de mejor ejecucién a mas baja ejecu- ciény en el cuerpo de la figura aparecen los simbolos 1, 0, @ y A. El ntimero 1 indica una respuesta correcta que se esperaba fuera correcta. El numero 0 indica una respuesta incorrecta que de- bié ser incorrecta. El simbolo @ repre- senta una respuesta incorrecta que se esperaba fuera correcta y la letra A in- dica una respuesta correcta que debié ser incorrecta. (Avendafio y Medellin, 2001). Pte Rd MNSQ ZSTD _ Estudiante 7 4.60 0.88 0.46 0.20 0.40 0.28 0.36 0.34 0.34 0.32 0.28 1.96 3.07 DISCUSION Al cotejar el andlisis de items en una prue- ba de conocimientos bajo los modelos TCT y TRI, se encuentra que la TRI se basa en las propiedades de los items mas que en las del test global, establece comparacién entre personas ¢ items, sefiala la cohe- rencia de las respuestas dadas por los evaluados y resalta el comportamiento de aquellos sujetos que dan respuestas incoherentes o no esperadas. Por otro la- do, analiza también el patrén de respues- ta, indicando cules son esperadas y cud les no, aspectos que la TCT no presenta. Los anteriores andlisis de items, bajo la TCT y la TRI, permiten deducir como lo plantea Lord (1980), que los mo- delos no se contraponen; la TRI presenta mayor informacién y es una valiosa ‘Suma Psicologia, Vol. 10, No. 2: 285-245, sep. 2003, Bogoté (Col.)Teoria de Respuesta al {tem 245 TABLA 7. Escalograma de Guttman que representa el patron de respuesta do por las personas Ho2 8 4 sie ee 1 Heat.) 4, Weed 2 cele Mee Messe SE: 3 diets 4: diated et 4 Sioa 4) Aa ara 5 do 1 Aaa gee 6 oti 4. 10 Auetaen 8 ets 4. 4) Ata 7 We 1 Fore 9 1@eeeeee n fo A eg, 10 Ae 1 Tew AT 12 424A ALO) dno e 13 @@oooo0o00 14 1A000000 15 oo0o000000 alternativa en el campo de la medicién que intenta dar un fundamento proba- bilistico al problema de la medicién de cualidades y conductas no observables, campo que compete a docentes y profe- sionales interesados en el desarrollo y la investigacién en educacién. REFERENCIAS Avendafto,B,L. y Medellin E. (2001). *Consideraciones sobre las teorias de medicién: un ejemplo de aplicacton bajo la teoria de respuesta al ftem (TRIY. Revista ACTA Colombiana de Psicologia Néimero 5, ullo de 2001, Paginas 87-98. Bogoté Universidad Catdlica de Colombia. Se ey eee ee ICFES (2000). Admisién a ta Educactin Superior: Algunos temas de dliscusién. Bogota Lord, F (1980). Applications of tem response theory to practical testing problems. Hillsdale, N. J.: LEA. 011 16 17 18 19 20 14 copocos>e>pgQ---g ecco ee g tte eee a eceocc orc gst se eccoco sc gs+ssssy ecco eo sro g++ tte ecco co src0@+ +++ GZ ecoeoeo rere occo oss ecreocerpeeccocces ecrecexpecccc ee ory rpoecccc cc Coc ge ecoecc ores c ccc os Magnusson, D. (1990). Teoria de los Tests. México: Editorial Trillas, Martinez, R. (1995). Psicometria: Teoria de los Tests Psicoldgicos y Educattvos. Madrid: Editorial Sintesis S.A. Muniz, J. (1990), Teoria de Respuesta alos ftems. Ma: rid: Editorial Pirdmide. Pardo, C. (2000) Transformactones en las pruebas pa: ra.obtener resultados diferentes. Bogota: ICFES Santisteban C. y Alvarado J. (2001) Modelos Psico métricos. Madrid: UNED Ediciones. ‘Tristan, A; (2001). Andlists ce Rasch para Todos. Una guia stmplificada para evaluadores educativos. Centro Nacional de Evaluacién para la Educa- ci6n Superior. México. CENEVAL ‘Tristan, A: Vidal. R (2001). Introduccién al disefio de pruebas objetteas. Centro Nacional de Evaluaciin, para la Educacién Superior. México, CENEVAL Wrigth. B. Y Stone, M. (1998) Disefto de mejores pruebas. México: CENEVAL, Recibidlo en febrero y aceptado en mayo de 2003 ‘Suma Psicolégiea, Vol. 10, No. 2: 235-245, sep. 2003, Bogotd (Col.)