Rodrguez, N. L.; Herrera, C. G.

: Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

VALIDACIN Y CONFIABILIDAD DE UN INSTRUMENTO DE MEDICION PARA CARRERAS DE INGENIERIA

Rodrguez, Norma L. ( 1 ) ; Herrera, Carlos G. ( 2 )

1 : F a c u lt a d de C s. E x a ct as y N a t ur a le s - U N C a 2 : F a c u lt a d de T e c n o lo g a y C s. Ap l i c ad a s - U N C a n o r le or@ y a ho o . c om . ar

Abstract
Oneofthemainproblemsteachersfacewhenevaluatingstudentsisto decide what kind of instrument will be used. Generally, research in education does not analyse rigorously the internal consistence of the instrumentusedinevaluation.IntheinitialcourseofMathematicsinthe FacultyTechnologyandAppliedSciences,aninstrumentofperformance in Mathematics was applied. The aim of this work is to analyse the validation and reliability of the instrument. Validation techniques were usedaccordingtotheclassicaltheoryofTests.Theevaluation,wichwas applied to a population of 100 students enrolled in 2008 in Engineering careers, consists in 10 multiple choice exercises related to: numerical sets,polinomials,equations,functionsandtrigonometry.Thetechniques applied were: ratio of difficulty for all items, the method of extreme groups, index of homogeneity or discrimination (internal consistency) and to measure reliability the two halves method and Cronbach alpha coefficientwereused.Thevaliditytestshowsthatexercises3,4,6,8and 9 discriminate well and were included in the final examination. On the other hand, exercices 1 and 10 had to be reformulated since they were thelowerandhigherdifficultyrespectively.Exercises2,5and7couldbe improved. The internal consistency of the two halves (odd and even items) is moderate (50%) and Cronbach's alpha (0.54) indicates a moderate reliability of the examination. The analysis of reliability and validityoftheevaluationallowedthemodificationtheinorderofitems and for their degree of difficulty. It was also useful to reconsider the processofteachingandlearningdifferenttopicsofthecourse. Keywords:validation,reliability,mathematicalexamination.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 107

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Resumen
Uno de los principales problemas que se enfrenta el profesor al querer evaluar el aprendizaje de los alumnos es decidir qu tipo de pruebas utilizar. En general, en investigaciones en enseanza no se hace un anlisis riguroso de la consistencia interna de los instrumentos empleados En el marco del curso de Nivelacin en la Facultad de TecnologayCienciasAplicadasseaplicuninstrumentoderendimiento enMatemticadecarcterobligatorioyeliminatorio.Elobjetivodeeste trabajoesanalizarlavalidezyconfiabilidaddelinstrumento.Seutilizaron tcnicasdevalidacinsegnlaTeoraClsicadelosTests.Laevaluacin fueaplicadaaunapoblacinde100alumnosingresantesenelao2008, a carreras de Ingeniera en Agrimensura, Electrnica e Informtica, consistente en 10 ejercicios de opcin mltiple referidos a: conjuntos numricos, polinomios, ecuaciones, funciones y trigonometra. Las tcnicas aplicadas fueron: ndices de dificultad para todos los tems, mtodo de los grupos extremos, ndice de homogeneidad o de discriminacin (consistencia interna) y para la confiabilidad se aplicaron elmtododedosmitadesyelcoeficientealfadeCronbach.Delavalidez surgequelosejercicios3,4,6,8y9discriminanbienyseincluyenenel examen final; en cambio se deberan reformular los ejercicios 1 y 10 por serdemenorymayordificultadrespectivamente.Losejercicios2,5y7se podranmejorar.Laconsistenciainternadelasdosmitades(itemparese impares) es moderada (50 %) y el alfa de Cronbach (0,54) indica una moderadaconfiabilidaddelexamen.Elanlisisdeconfiabilidadyvalidez permitimodificarlaevaluacintantoenelordendelostems,comoen elgradodedificultaddeellos.Tambinvaliparareplantearelproceso de enseanza aprendizaje de los diferentes temas del curso de nivelacin. PalabrasClave:Validacin;Confiabilidad;ExamendeMatemtica.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 108

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Introduccin La evaluacin es probablemente tan antigua como la

humanidad. Los exmenes o prueba de tipo tradicional generalmente son subjetivos, por lo que los docentes deben tender a efectuar una comprobacinanalticaycompletaenlamedicindelrendimientoacadmico de los alumnos. Los test de rendimiento escolar son aquellos instrumentos que permiten evaluar los logros alcanzados por los alumnos en las distintas disciplinas. Estos test debieran construirse de acuerdo a los principios psicomtricosdelateoraclsicadelostest,validadosenmuestraspilotosy queestndeacuerdoalosobjetivosdelogrosestablecidosenlactedra. Engeneralenlasinvestigacionesenenseanzanosehaceun

anlisisrigurosodelaconsistenciainternadelosinstrumentosempleadosyla valoracin sin el uso de un instrumento de medicin validado debe ser cuestionado, porque podra llevar a errores de diferentes tipos, entre otros de:juicio,injusticiaenlacalificacindeuntema,interpretacinincorrectade consignas por parte del alumno. Es as que uno delos principales problemas que enfrenta el profesor al querer evaluar el aprendizaje de sus alumnos, es decidirqutipodepruebautilizar. Con el fin de dar respuesta a esta problemtica en el marco

del curso de Nivelacin en la Facultad de Tecnologa y Ciencias Aplicadas, se decidi validar el instrumento utilizado, por su carcter obligatorio y eliminatorio. El objetivo de este trabajo es analizar la validez y

confiabilidad del instrumento de rendimiento en Matemtica del curso de ingreso en la Facultad de Tecnologa y Ciencias Aplicadas de la Universidad NacionaldeCatamarca.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 109

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Marco Terico Este trabajo se sustenta en la Teora Clsica de los test

(Spearman,1927).Lapalabratestesuntrminoqueseempleaparadesignar cualquier tipo de instrumento o procedimiento para medir aptitudes, rendimientos, personalidad u otro aspecto del comportamiento de una persona.Lapalabrainglesatestsehainternacionalizadoapesarquesesuele sustituirporpruebaoexamen.Lostestsonunconjuntodetareas,preguntas, problemas, estmulos, situaciones, etc. que intentan poner de relieve una muestradeloscomportamientosdelsujeto,representativadelatributoquese quiere evaluar. A estas preguntas o problemas de las denomina item o reactivo. Los test escolares son instrumentos pensados y realizados

conelobjetodeevaluarloslogrosalcanzadosporlosniosojvenesenedad escolar,enlasdistintasdisciplinas. Las dos cualidades que debe cumplir una prueba son la

confiabilidadylavalidez.Unprocedimientodemedicinesconfiableofiable cuandomideelgradodeestabilidad,precisinoconsistenciaquemanifiesta el test como instrumento de medicin de un rasgo determinado. La confiabilidad se refiere a la consistencia interna obtenido por los mismos individuosendistintasocasiones.ElcoeficientedeCronbachylatcnicadelas dosmitadespermitenevaluarlaconsistenciainternadeuntest. Un procedimiento de medicin tiene validez cuando esta

correlacionadoconalgunaevaluacindelxitoenlatareaparalacualeltest seusacomopronostico.Elmtodomssimpleparacalcularlavalidezdeuna prueba consiste en obtener el ndice de correlacin de Pearson entre el puntajedecadaitemenrelacinaltotaldeltest,paraellosepuedeutilizarel coeficientebiserial

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 110

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

El anlisis de los tems se realizo considerando el grado en

que se mide el rasgo de inters y ello se puede efectuar estadsticamente usandolossiguientesindicadores: a) El ndice de dificultad: permite cuantificar el grado de dificultaddecadatemdeltestderendimientoptimo. b) El ndice de homogeneidad: llamado tambin ndice de discriminacindeuniteminformaelgradoenquedichoitem est midiendo lo mismo que la prueba global, es decir el gradoenquecontribuyealaconsistenciainternadeltest. c) El ndice de validez: permite comprobar que es lo que verdaderamenteseestevaluando. Metodologa correlacional. La poblacin en estudio fue de 100 alumnos ingresantes de El diseo de investigacin es cuantitativo, descriptivo

lascarrerasdeIngenieraenAgrimensura,ElectrnicaeInformtica El instrumento que se valido consisti en un examen de

Matemticas de 10 ejercicios con opciones mltiples de 5 alternativas de respuestas,dondeslounaeracorrecta.Lostemseranreferidosalostemas: conjunto de nmeros reales, polinomios, ecuaciones, funciones y trigonometra. El procedimiento de validacin se llev a cabo mediante las

siguientes tcnicas bsicas para el anlisis de los reactivos o tem: ndices de dificultad para todos los tems, mtodo de los grupos extremos, ndice de homogeneidadodediscriminacin(consistenciainterna),graficodedificultad

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 111

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

versus discriminacin y para la confiabilidad se aplicaron el mtodo de dos mitadesyelcoeficientedeCronbach. Resumen y discusin Enrelacinalasnotasobtenidasenelexamensepresentaa

continuacinlatablaresultante.
NOTAS
0 1 2 3 4 5 6 7 8 9 Total

FRECUENCIA
1 2 5 16 13 16 23 14 6 4 100

PORCENTAJE PORCENTAJE ACUMULADO

1,0 2,0 5,0 16,0 13,0 16,0 23,0 14,0 6,0 4,0 100,0 1,0 3,0 8,0 24,0 37,0 53,0 76,0 90,0 96,0 100,0

TablaN1:NotasobtenidasporlosalumnosenelexamendeingresodeMatemtica. Ao2008.

La nota mnima fue de 0 pues no respondi ningn tem

correcto, y de 9 como mxima. La media fue de 5 y el desvi estndar de 2 puntos.El24%delosalumnoshanobtenidonotasmenoroiguala3puntos, calificados como deficiente rendimiento y con igual porcentaje los que han logrado rendimiento mayor o igual a 7 puntos. Considerando que dicho examenseapruebacon5puntos,aprobaronelmismoel63%delosalumnos.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 112

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Al analizar la dificultad, determinada por la proporcin de

personasquecontestancorrectamentecadaitem,seobtienenlossiguientes resultados:
EJERCICIO CONTESTADO CONTESTADO NO O ITEM CORRECTAMENTE (BIEN O MAL) CONTESTADO (fa) (fa) (%) 1 77 97 3 2 32 62 38 3 38 73 27 4 33 62 38 5 69 89 11 6 64 80 20 7 75 81 19 8 42 63 37 9 57 75 25 10 25 34 66
TablaN2:Caractersticasdelosresultadosalaplicarelexamendeingresode Matemticaa100alumnosdelascarrerasdeingeniera.Ao2008

Se puede observar que los ejercicios 1 y 7 fueron de menor

dificultad o de mayor conocimiento de los alumnos ingresantes, por el contrario el item 10 fue el ms difcil pues el 66% de los alumnos no lo contestaron.Lospuntos2,4y8nofueronrespondidospormsdeuntercio delosingresantes. En la mayora de las pruebas los reactivos deberan tener

diversos niveles de dificultad debido a que una buena prueba discrimina en varios niveles. Por lo tanto, se deberan analizar los ejercicios antes mencionados o los temas involucrados en ellos para replantear el proceso enseanzaaprendizaje.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 113

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

La evaluacin de la discriminacin del tem, determina si las

personas que responden correctamente reactivos particulares tambin han tenidoxitoenlapruebacompleta.Sepresentanacontinuacindosmtodos dediscriminacin:

EJERCICIO E1 E2 E3 E4 E5 E6 E7 E8 E9 E10

<3 0,63 0,17 0,08 0,17 0,42 0,33 0,38 0,04 0,21 0,08

>7 0,83 0,54 0,58 0,67 0,79 0,88 0,92 0,92 0,71 0,46

di 0,21 0,38 0,50 0,50 0,38 0,54 0,54 0,88 0,50 0,38

OBSERVAC. Muy Fcil * * Fcil * * * * Muy Difcil

TablaN3:DiscriminacindelostemsporelMtododeGrupoExtremo

En la tabla 3, los tems 3, 4, 6 ,7 y 8 parecen discriminar

razonablemente bien (*) pues la diferencia entre los grupos de notas extremas(<3y>7puntos)esmayoroiguala0.50.Eltem1nodiscriminabien porqueelniveldexitoesaltoparaambosgrupos,debeserdemasiadofcil. Eltem10esmuydifcilporqueambosgruposelniveldexitoesbajo. Otra forma de examinar la discriminacin de los reactivos

consiste en obtener la correlacin entre el desempeo en cada tem y el desempeo en la prueba completa (Mtodo del Punto Biserial). El tem 1 debera ser eliminado o modificado del examen por que el coeficiente obtenidoesbajo(0.22).Losreactivos6y8sonlosquemejordiscriminan.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 114

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Una forma de representar los tems es graficando las

caractersticasdelosreactivosqueseelaboracolocandoenelejehorizontalla puntuacintotaldelapruebayenelejeverticallaproporcindeexaminados que respondieron correctamente los tems. Se realiz este grfico para tres reactivosdelaprueba.
Proporcin de respuestas correctas 0,250 0,200 0,150 0,100 0,050 0,000 1 2 3 4 5 6 7 8 9 10 Notas obtenidas en el exam en EJERCICIO 1 EJERCICIO 2 EJERCICIO 8

GrficoN1:Curvascaractersticasdelostems1,2y8delexamendeMatemtica

Se observa en las curvas una fuerte tendencia descendente

enlasnotasaltas(8,9,10)motivadoporlabajaproporcindealumnosque hanobtenidodichascalificaciones. Comparando los tems 1, 2 y 8 se observa que el tem 1 fue

contestado correctamente por mayor proporcin de alumnos, mientras que porcontrarioeltem8fuecontestadocorrectamenteporunabajaproporcin dealumnos,sinembargoseobservaqueparalasnotassuperioresoigualesa 7laproporcindealumnosquecontestaestetemesmayor.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 115

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Otra representacin grafica para analizar la discriminacin,

consiste en analizar la dificultad de los tems en uno de los ejes y la discriminacin(Correlacindelpuntobiserial)enelotroeje.Considerndose comoreactivosbuenoslosqueseubicanenunrangodedificultadentre0.30 y0.70yconunadiscriminacinsuperiora0.35.

DIFICULTAD (% de aprob)

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,00

7 3 2 6 10 9

5 4 8

0,20

0,40

0,60

0,80

DISCRIMINACION rpbis

GrficoN2:Relacinentredificultadydiscriminacindecadatem

Losejercicios3,4,6,8y9discriminanbienyseincluyenenel

examen final; en cambio se deberan reformular los ejercicios 1 y 10 por ser muyfcilydifcilrespectivamente. Se analizo la confiabilidad utilizando el mtodo de las dos

mitades(tempareseimpares)obtenindoseunafiabilidadmoderada(50%)y aplicando el alfa de Cronbach (0,54) confirma la moderada confiabilidad del examendeMatemticaaplicado.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 116

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Conclusin Delavalidezsurgequelosejercicios3,4,6,8y9discriminan

bien y se incluyen en el examen final; en cambio se deberan reformular los ejercicios1y10porsermuyfcilydifcilrespectivamente.Losejercicios2,5y7 sepodranmejorar. Elanlisisdevalidezpermitimodificarlaevaluacintantoen

elordendelostems,comoenelgradodedificultaddeellos.Tambinvali parareplantearelprocesodeenseanzaaprendizajedelosdiferentestemas del curso de nivelacin. Las modificaciones que se realicen mejorara la confiabilidadmoderadaobtenidadelexamendeMatemticaanalizado. Recomendacin Seguir los principios de la Psicometra permite optimizar el

sistemadeevaluaciones,alosefectosdecomprobarsiselogranlosobjetivos propuestosenladisciplina,afindegarantizarlaconfiabilidadyvalidezdelos instrumentosdeevaluacinqueseutilizan.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 117

Rodrguez, N. L.; Herrera, C. G. : Validacin y Confiabilidad de un Instrumento de Medicin para Carreras de Ingeniera

Bibliografa
Kaplan,R.;Saccuzzo,D.(2006)PruebasPsicolgicas.EditorialThompson.MxicoD.F.Cap.4, 5y6. Abad et al (2006) Introduccin a la Psicometra. Editorial Universidad Autnoma de Madrid. TemaIIIyIV. Cortada de Kohan, N. (1999). Teoras Psicomtricas y Construccin de Tests. Lugar Editorial S.A.BuenosAires.Cap4,5y6. Cohen,R.;Swerdlik,M.(2000):PruebasyEvaluacinPsicolgicaIntroduccinalasPruebasy alaMedicin.Mc.GrawHill.MexicoDF.Parte2.

Revista Electrnica Iberoamericana de Educacin en Ciencias y Tecnologa Volumen 2, Nmero 1, Julio 2010. Pgina 118