Escolar Documentos
Profissional Documentos
Cultura Documentos
1 : F a c u lt a d de C s. E x a ct as y N a t ur a le s - U N C a 2 : F a c u lt a d de T e c n o lo g a y C s. Ap l i c ad a s - U N C a n o r le or@ y a ho o . c om . ar
Abstract
Oneofthemainproblemsteachersfacewhenevaluatingstudentsisto decide what kind of instrument will be used. Generally, research in education does not analyse rigorously the internal consistence of the instrumentusedinevaluation.IntheinitialcourseofMathematicsinthe FacultyTechnologyandAppliedSciences,aninstrumentofperformance in Mathematics was applied. The aim of this work is to analyse the validation and reliability of the instrument. Validation techniques were usedaccordingtotheclassicaltheoryofTests.Theevaluation,wichwas applied to a population of 100 students enrolled in 2008 in Engineering careers, consists in 10 multiple choice exercises related to: numerical sets,polinomials,equations,functionsandtrigonometry.Thetechniques applied were: ratio of difficulty for all items, the method of extreme groups, index of homogeneity or discrimination (internal consistency) and to measure reliability the two halves method and Cronbach alpha coefficientwereused.Thevaliditytestshowsthatexercises3,4,6,8and 9 discriminate well and were included in the final examination. On the other hand, exercices 1 and 10 had to be reformulated since they were thelowerandhigherdifficultyrespectively.Exercises2,5and7couldbe improved. The internal consistency of the two halves (odd and even items) is moderate (50%) and Cronbach's alpha (0.54) indicates a moderate reliability of the examination. The analysis of reliability and validityoftheevaluationallowedthemodificationtheinorderofitems and for their degree of difficulty. It was also useful to reconsider the processofteachingandlearningdifferenttopicsofthecourse. Keywords:validation,reliability,mathematicalexamination.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 107
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
Resumen
Uno de los principales problemas que se enfrenta el profesor al querer evaluar el aprendizaje de los alumnos es decidir qu tipo de pruebas utilizar. En general, en investigaciones en enseanza no se hace un anlisis riguroso de la consistencia interna de los instrumentos empleados En el marco del curso de Nivelacin en la Facultad de TecnologayCienciasAplicadasseaplicuninstrumentoderendimiento enMatemticadecarcterobligatorioyeliminatorio.Elobjetivodeeste trabajoesanalizarlavalidezyconfiabilidaddelinstrumento.Seutilizaron tcnicasdevalidacinsegnlaTeoraClsicadelosTests.Laevaluacin fueaplicadaaunapoblacinde100alumnosingresantesenelao2008, a carreras de Ingeniera en Agrimensura, Electrnica e Informtica, consistente en 10 ejercicios de opcin mltiple referidos a: conjuntos numricos, polinomios, ecuaciones, funciones y trigonometra. Las tcnicas aplicadas fueron: ndices de dificultad para todos los tems, mtodo de los grupos extremos, ndice de homogeneidad o de discriminacin (consistencia interna) y para la confiabilidad se aplicaron elmtododedosmitadesyelcoeficientealfadeCronbach.Delavalidez surgequelosejercicios3,4,6,8y9discriminanbienyseincluyenenel examen final; en cambio se deberan reformular los ejercicios 1 y 10 por serdemenorymayordificultadrespectivamente.Losejercicios2,5y7se podranmejorar.Laconsistenciainternadelasdosmitades(itemparese impares) es moderada (50 %) y el alfa de Cronbach (0,54) indica una moderadaconfiabilidaddelexamen.Elanlisisdeconfiabilidadyvalidez permitimodificarlaevaluacintantoenelordendelostems,comoen elgradodedificultaddeellos.Tambinvaliparareplantearelproceso de enseanza aprendizaje de los diferentes temas del curso de nivelacin. PalabrasClave:Validacin;Confiabilidad;ExamendeMatemtica.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 108
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
humanidad. Los exmenes o prueba de tipo tradicional generalmente son subjetivos, por lo que los docentes deben tender a efectuar una comprobacinanalticaycompletaenlamedicindelrendimientoacadmico de los alumnos. Los test de rendimiento escolar son aquellos instrumentos que permiten evaluar los logros alcanzados por los alumnos en las distintas disciplinas. Estos test debieran construirse de acuerdo a los principios psicomtricosdelateoraclsicadelostest,validadosenmuestraspilotosy queestndeacuerdoalosobjetivosdelogrosestablecidosenlactedra. Engeneralenlasinvestigacionesenenseanzanosehaceun
anlisisrigurosodelaconsistenciainternadelosinstrumentosempleadosyla valoracin sin el uso de un instrumento de medicin validado debe ser cuestionado, porque podra llevar a errores de diferentes tipos, entre otros de:juicio,injusticiaenlacalificacindeuntema,interpretacinincorrectade consignas por parte del alumno. Es as que uno delos principales problemas que enfrenta el profesor al querer evaluar el aprendizaje de sus alumnos, es decidirqutipodepruebautilizar. Con el fin de dar respuesta a esta problemtica en el marco
del curso de Nivelacin en la Facultad de Tecnologa y Ciencias Aplicadas, se decidi validar el instrumento utilizado, por su carcter obligatorio y eliminatorio. El objetivo de este trabajo es analizar la validez y
confiabilidad del instrumento de rendimiento en Matemtica del curso de ingreso en la Facultad de Tecnologa y Ciencias Aplicadas de la Universidad NacionaldeCatamarca.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 109
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
(Spearman,1927).Lapalabratestesuntrminoqueseempleaparadesignar cualquier tipo de instrumento o procedimiento para medir aptitudes, rendimientos, personalidad u otro aspecto del comportamiento de una persona.Lapalabrainglesatestsehainternacionalizadoapesarquesesuele sustituirporpruebaoexamen.Lostestsonunconjuntodetareas,preguntas, problemas, estmulos, situaciones, etc. que intentan poner de relieve una muestradeloscomportamientosdelsujeto,representativadelatributoquese quiere evaluar. A estas preguntas o problemas de las denomina item o reactivo. Los test escolares son instrumentos pensados y realizados
conelobjetodeevaluarloslogrosalcanzadosporlosniosojvenesenedad escolar,enlasdistintasdisciplinas. Las dos cualidades que debe cumplir una prueba son la
confiabilidadylavalidez.Unprocedimientodemedicinesconfiableofiable cuandomideelgradodeestabilidad,precisinoconsistenciaquemanifiesta el test como instrumento de medicin de un rasgo determinado. La confiabilidad se refiere a la consistencia interna obtenido por los mismos individuosendistintasocasiones.ElcoeficientedeCronbachylatcnicadelas dosmitadespermitenevaluarlaconsistenciainternadeuntest. Un procedimiento de medicin tiene validez cuando esta
correlacionadoconalgunaevaluacindelxitoenlatareaparalacualeltest seusacomopronostico.Elmtodomssimpleparacalcularlavalidezdeuna prueba consiste en obtener el ndice de correlacin de Pearson entre el puntajedecadaitemenrelacinaltotaldeltest,paraellosepuedeutilizarel coeficientebiserial
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 110
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
que se mide el rasgo de inters y ello se puede efectuar estadsticamente usandolossiguientesindicadores: a) El ndice de dificultad: permite cuantificar el grado de dificultaddecadatemdeltestderendimientoptimo. b) El ndice de homogeneidad: llamado tambin ndice de discriminacindeuniteminformaelgradoenquedichoitem est midiendo lo mismo que la prueba global, es decir el gradoenquecontribuyealaconsistenciainternadeltest. c) El ndice de validez: permite comprobar que es lo que verdaderamenteseestevaluando. Metodologa correlacional. La poblacin en estudio fue de 100 alumnos ingresantes de El diseo de investigacin es cuantitativo, descriptivo
Matemticas de 10 ejercicios con opciones mltiples de 5 alternativas de respuestas,dondeslounaeracorrecta.Lostemseranreferidosalostemas: conjunto de nmeros reales, polinomios, ecuaciones, funciones y trigonometra. El procedimiento de validacin se llev a cabo mediante las
siguientes tcnicas bsicas para el anlisis de los reactivos o tem: ndices de dificultad para todos los tems, mtodo de los grupos extremos, ndice de homogeneidadodediscriminacin(consistenciainterna),graficodedificultad
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 111
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
versus discriminacin y para la confiabilidad se aplicaron el mtodo de dos mitadesyelcoeficientedeCronbach. Resumen y discusin Enrelacinalasnotasobtenidasenelexamensepresentaa
continuacinlatablaresultante.
NOTAS
0 1 2 3 4 5 6 7 8 9 Total
FRECUENCIA
1 2 5 16 13 16 23 14 6 4 100
TablaN1:NotasobtenidasporlosalumnosenelexamendeingresodeMatemtica. Ao2008.
correcto, y de 9 como mxima. La media fue de 5 y el desvi estndar de 2 puntos.El24%delosalumnoshanobtenidonotasmenoroiguala3puntos, calificados como deficiente rendimiento y con igual porcentaje los que han logrado rendimiento mayor o igual a 7 puntos. Considerando que dicho examenseapruebacon5puntos,aprobaronelmismoel63%delosalumnos.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 112
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
personasquecontestancorrectamentecadaitem,seobtienenlossiguientes resultados:
EJERCICIO CONTESTADO CONTESTADO NO O ITEM CORRECTAMENTE (BIEN O MAL) CONTESTADO (fa) (fa) (%) 1 77 97 3 2 32 62 38 3 38 73 27 4 33 62 38 5 69 89 11 6 64 80 20 7 75 81 19 8 42 63 37 9 57 75 25 10 25 34 66
TablaN2:Caractersticasdelosresultadosalaplicarelexamendeingresode Matemticaa100alumnosdelascarrerasdeingeniera.Ao2008
dificultad o de mayor conocimiento de los alumnos ingresantes, por el contrario el item 10 fue el ms difcil pues el 66% de los alumnos no lo contestaron.Lospuntos2,4y8nofueronrespondidospormsdeuntercio delosingresantes. En la mayora de las pruebas los reactivos deberan tener
diversos niveles de dificultad debido a que una buena prueba discrimina en varios niveles. Por lo tanto, se deberan analizar los ejercicios antes mencionados o los temas involucrados en ellos para replantear el proceso enseanzaaprendizaje.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 113
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
personas que responden correctamente reactivos particulares tambin han tenidoxitoenlapruebacompleta.Sepresentanacontinuacindosmtodos dediscriminacin:
EJERCICIO E1 E2 E3 E4 E5 E6 E7 E8 E9 E10
<3 0,63 0,17 0,08 0,17 0,42 0,33 0,38 0,04 0,21 0,08
>7 0,83 0,54 0,58 0,67 0,79 0,88 0,92 0,92 0,71 0,46
di 0,21 0,38 0,50 0,50 0,38 0,54 0,54 0,88 0,50 0,38
TablaN3:DiscriminacindelostemsporelMtododeGrupoExtremo
razonablemente bien (*) pues la diferencia entre los grupos de notas extremas(<3y>7puntos)esmayoroiguala0.50.Eltem1nodiscriminabien porqueelniveldexitoesaltoparaambosgrupos,debeserdemasiadofcil. Eltem10esmuydifcilporqueambosgruposelniveldexitoesbajo. Otra forma de examinar la discriminacin de los reactivos
consiste en obtener la correlacin entre el desempeo en cada tem y el desempeo en la prueba completa (Mtodo del Punto Biserial). El tem 1 debera ser eliminado o modificado del examen por que el coeficiente obtenidoesbajo(0.22).Losreactivos6y8sonlosquemejordiscriminan.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 114
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
caractersticasdelosreactivosqueseelaboracolocandoenelejehorizontalla puntuacintotaldelapruebayenelejeverticallaproporcindeexaminados que respondieron correctamente los tems. Se realiz este grfico para tres reactivosdelaprueba.
Proporcin de respuestas correctas 0,250 0,200 0,150 0,100 0,050 0,000 1 2 3 4 5 6 7 8 9 10 Notas obtenidas en el exam en EJERCICIO 1 EJERCICIO 2 EJERCICIO 8
GrficoN1:Curvascaractersticasdelostems1,2y8delexamendeMatemtica
contestado correctamente por mayor proporcin de alumnos, mientras que porcontrarioeltem8fuecontestadocorrectamenteporunabajaproporcin dealumnos,sinembargoseobservaqueparalasnotassuperioresoigualesa 7laproporcindealumnosquecontestaestetemesmayor.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 115
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
consiste en analizar la dificultad de los tems en uno de los ejes y la discriminacin(Correlacindelpuntobiserial)enelotroeje.Considerndose comoreactivosbuenoslosqueseubicanenunrangodedificultadentre0.30 y0.70yconunadiscriminacinsuperiora0.35.
DIFICULTAD (% de aprob)
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,00
7 3 2 6 10 9
5 4 8
0,20
0,40
0,60
0,80
DISCRIMINACION rpbis
GrficoN2:Relacinentredificultadydiscriminacindecadatem
Losejercicios3,4,6,8y9discriminanbienyseincluyenenel
examen final; en cambio se deberan reformular los ejercicios 1 y 10 por ser muyfcilydifcilrespectivamente. Se analizo la confiabilidad utilizando el mtodo de las dos
mitades(tempareseimpares)obtenindoseunafiabilidadmoderada(50%)y aplicando el alfa de Cronbach (0,54) confirma la moderada confiabilidad del examendeMatemticaaplicado.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 116
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
Conclusin Delavalidezsurgequelosejercicios3,4,6,8y9discriminan
bien y se incluyen en el examen final; en cambio se deberan reformular los ejercicios1y10porsermuyfcilydifcilrespectivamente.Losejercicios2,5y7 sepodranmejorar. Elanlisisdevalidezpermitimodificarlaevaluacintantoen
elordendelostems,comoenelgradodedificultaddeellos.Tambinvali parareplantearelprocesodeenseanzaaprendizajedelosdiferentestemas del curso de nivelacin. Las modificaciones que se realicen mejorara la confiabilidadmoderadaobtenidadelexamendeMatemticaanalizado. Recomendacin Seguir los principios de la Psicometra permite optimizar el
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 117
Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera
Bibliografa
Kaplan,R.;Saccuzzo,D.(2006)PruebasPsicolgicas.EditorialThompson.MxicoD.F.Cap.4, 5y6. Abad et al (2006) Introduccin a la Psicometra. Editorial Universidad Autnoma de Madrid. TemaIIIyIV. Cortada de Kohan, N. (1999). Teoras Psicomtricas y Construccin de Tests. Lugar Editorial S.A.BuenosAires.Cap4,5y6. Cohen,R.;Swerdlik,M.(2000):PruebasyEvaluacinPsicolgicaIntroduccinalasPruebasy alaMedicin.Mc.GrawHill.MexicoDF.Parte2.
Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 118