Escolar Documentos
Profissional Documentos
Cultura Documentos
PSICOMETRA
Tema 4.
Evaluacin del instrumento de
medida:
ANLISIS DE TEMS
TEMA 4: ANLISIS DE TEMS
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboracin en la elaboracin de este material
NDICE
1. Introduccin.
2. Parmetros del tem.
2.1. Dificultad del tem.
2.2. Discriminacin del tem.
2.3. ndice de fiabilidad del tem.
2.4. ndice de validez del tem.
2.5. Comparacin de las respuestas a los tems.
3. Anlisis de los distractores.
TEMA 4: ANLISIS DE TEMS
1
17/01/2014
1. INTRODUCCIN
1. INTRODUCCIN
2
17/01/2014
A
p=
N
Donde:
A = nmero de participantes que respondieron correctamente al tem
TEMA 4: ANLISIS DE TEMS
p oscila entre 0 y 1.
Donde:
0 ningn participante ha acertado el tem (extremadamente difcil).
1 todos los participantes han acertado el tem (extremadamente fcil).6
3
17/01/2014
Alumno 1 2 3 4 5 6 7 8 9 10
Respuesta 1 1 0 1 1 0 0 1 1 0
Alumno 1 2 3 4 5 6 7 8 9 10
Respuesta 1 1 0 1 1 1 1 1 1 1
Alumno 1 2 3 4 5 6 7 8 9 10
lgicamente es mayor
Resp. 1 1 0 1 1 1 1 1 1 1 (9/10) dificultad baja
A 1+1+ 0 +1+1+1+1+1+1+1 9
p= = = = 0,9
N 10 10
Es decir, la dificultad del tem va a depender de la muestra de
participantes en la que se calcule ya que, si la muestra es competente, el
tem va a resultar fcil y viceversa 8
4
17/01/2014
adivinacin.
pazar = proporcin de respuestas correctas
al azar 2.Para este grupo de
E = nmero de errores participantes, todas las
k = nmero de alternativas de respuesta alternativas tienen la misma
probabilidad de ser elegidas.
Si no se sospecha sobre la existencia de participantes que
responden al azar, conviene aplicar p 9
Alternativas
tem A B C D
1 5 200 105 190*
2 64 250* 80 106
TEMA 4: ANLISIS DE TEMS
3 5 492* 0 3
4 50 65 350* 35
5
17/01/2014
Procedimientos estadsticos:
-ndice de discriminacin D.
-Coeficientes de discriminacin. 12
6
17/01/2014
Proporcin de aciertos
pesar de que permite separar entre participantes se incrementa la
participantes con distinto nivel, hay probabilidad de acertar es mayor. El
participantes con baja aptitud que grupo de alta aptitud lo acierta en
tienden a acertar el tem, y de entre mucha mayor proporcin que los de
los participantes con alta aptitud baja aptitud.
existen otros tantos que tienden a
Baja aptitud Alta aptitud Baja aptitud Alta aptitud
fallarlo.
TEMA 4: ANLISIS DE TEMS
3. Discriminacin nula: La
4. Discriminacin inversa: los proporcin de aciertos no es funcin
participantes con menos competencia del nivel de aptitud de los
Proporcin de aciertos
Proporcin de aciertos
Aalto A bajo = nmero de participantes que han respondido correctamente en los grupos
alto y bajo respectivamente.
Ng = nmero de participantes correspondientes al 27% de la muestra.
TEMA 4: ANLISIS DE TEMS
Interpretacin:
-Valores altos: los participantes del grupo alto obtienen ms respuestas correctas
que los del grupo bajo (discrimina adecuadamente)
-Valores prximos a cero: ambos grupos se encuentran prximos entre s no
discrimina entre participantes de ambos grupos.
- Valores negativos: los participantes del grupo bajo obtienen ms respuestas
correctas que los del grupo alto favorece la disminucin de la precisin del
14
instrumento de medida.
7
17/01/2014
ndice de Interpretacin
discriminacin
D 0,40 El tem presenta un gran poder
discriminativo
0,30 D 0,39 Discriminacin aceptable
0,20 D 0,29 Discrimina poco y necesita una
revisin
0,10 D 0,19 tems no adecuados, que deber ser
TEMA 4: ANLISIS DE TEMS
15
16
8
17/01/2014
9
17/01/2014
rbp S x Si
rbp (c ) =
S + S x2 2rbp Si S x
i
2
tems
Participantes 1 2 3 4
TEMA 4: ANLISIS DE TEMS
A 0 1 0 1
B 1 1 0 1
C 1 1 1 1
D 0 0 0 1
E 1 1 1 0
20
10
17/01/2014
tems Total
Participantes 1 2 3 4 X (X-i) (X-i)2
A 0 1 0 1 2 1 1
B 1 1 0 1 3 2 4
TEMA 4: ANLISIS DE TEMS
C 1 1 1 1 4 3 9
D 0 0 0 1 1 1 1
E 1 1 1 0 3 2 4
9 19
21
5
La desviacin tpica del test es:
SX =
X 2
X =
2 19
1,82 = 0,56 = 0,75
N 5
22
11
17/01/2014
4
p= = 0,8
5
1
q= = 0,2
5
TEMA 4: ANLISIS DE TEMS
X1 XT p 2 1,8 0,8
rbp = = = 0,54
SX q 0,75 0,2
23
muestra
Sx = desviacin tpica de las puntuaciones en el test con todos los participantes
p= dificultad del tem
y= valor de la ordenada que le corresponde a la puntuacin tpica en la curva normal que
deja por debajo un rea igual a p. (se mira en tablas)
24
Con los datos del ejemplo anterior, calcular la correlacin biserial del tem 3.
12
17/01/2014
tems Total
Participantes 1 2 3 4 X (X-i) (X-i)2
A 0 1 0 1 2 2 4
B 1 1 0 1 3 3 9
C 1 1 1 1 4 3 9
TEMA 4: ANLISIS DE TEMS
D 0 0 0 1 1 1 1
E 1 1 1 0 3 2 4
11 27
25
5
La desviacin tpica del test es:
SX =
X 2
X =
2 27
2,2 2 = 5,4 4,84 = 0,56 = 0,75
N 5
26
13
17/01/2014
2
p= = 0,4
5
27
y
rbp = rb
pq
Ventajas e inconvenientes:
TEMA 4: ANLISIS DE TEMS
28
14
17/01/2014
tem
+ -
Test - a b a+b
+ c d c+d
a+c d+d
TEMA 4: ANLISIS DE TEMS
Donde:
a = nmero de participantes con NO XITO- en el test y que aciertan el tem
b = nmero de participantes con NO XITO- en el test y que no aciertan el tem
c = nmero de personas con XITO- en el test y que aciertan el tem.
d= nmero de personas con XITO- en el test y que no aciertan el tem.
29
bc ad
=
( a + b)(a + c )(c + d )(b + d )
tem
+ -
TEMA 4: ANLISIS DE TEMS
Test - a b a+b
+ c d c+d
a+c d+d
30
15
17/01/2014
tem 5 (X)
TEMA 4: ANLISIS DE TEMS
1 (acertado) 0 (fallido)
Test (Y) 0 (suspenso) 5 10
1 (aprobado) 30 5
31
tem 5 (X)
1 (acertado) 0 (fallido)
Test (Y) 0 (suspenso) 5 (a) 10 (b) 15
1 (aprobado) 30 (c) 5 (d) 35
35 15
TEMA 4: ANLISIS DE TEMS
bc ad 30 *10 5 * 5 275
= = = = 0,52
( a + b)(a + c )(c + d )(b + d ) 15 * 35 * 35 *15 525
Existe una alta correlacin entre el tem y el test; es decir, los
participantes que acertaron el tem generalmente aprobaron el
examen, mientras que quienes lo fallaron suspendieron en su
mayora. 32
16
17/01/2014
Donde:
Ppost = proporcin de participantes que contestan correctamente un tem
despus de recibir la instruccin.
Ppre= proporcin de participantes que contestan correctamente un tem antes
de recibir la instruccin.
33
ndice de discriminacin D.
34
17
17/01/2014
Ppre = = 0,25
40
35
NJX J X
RjX =
[NJ (J) ][NX (X ) ]
2 2 2 2
36
18
17/01/2014
R jX S X S j
R j( X j) =
S X2 + S 2j 2 R jX S X S j
TEMA 4: ANLISIS DE TEMS
37
tems
Participantes X1 X2 X3 X4
A 2 4 4 3
TEMA 4: ANLISIS DE TEMS
B 3 4 3 5
C 5 2 4 3
D 3 5 2 4
E 4 5 2 5
38
19
17/01/2014
C 5 2 4 3 14 42 9 196
D 3 5 2 4 14 56 16 196
E 4 5 2 5 16 80 25 256
20 72 292 84 1042
39
N JX J X
R jx = =
[ N J ( J ) *][ N X ( X ) ]
2 2 2 2
5 * 292 20 * 72
= 0,88
TEMA 4: ANLISIS DE TEMS
[5 * 84 20 2 ][5 *1042 72 2 ]
20
17/01/2014
X4 =
X20 4
=4 = X 2
4 2 84 2
SX4 = X4 = 4 = 0,8 = 0,89
N 5 N 5
XT =
X T = 72 = 14,4 X 2
T 2 1042
S XT = XT = 14,4 2 = 1,04 = 1,02
N 5 N 5
TEMA 4: ANLISIS DE TEMS
41
42
21
17/01/2014
Participantes X2
Grupo E (16) 5
superior
B (15) 4
Participantes X2
Grupo A (13) 4
inferior
C (14) 2 44
22
17/01/2014
Participantes X2 X 22
Grupo E (16) 5 25
superior
B (15) 4 16
9 41
Participantes X2 X 22
Grupo A (13) 4 16
inferior
C (14) 2 4
TEMA 4: ANLISIS DE TEMS
6 20
X sj =
X sj
=
9
= 4,5
ns 2
X ij =
X ij
=
6
=3 45
ni 2
S sj2 =
X 2
sj 2
X sj =
41
4,52 = 20,5 20,25 = 0,25
ns 2
S ij2 =
X 2
ij 2
X ij =
20 2
3 = 10 9 = 1
ni 2
X sj X ij 4,5 3
T= = = 1,9
(ns 1) S + (ni 1) S 1 1
2 2 (2 1)0,25 + (2 1)1 1 1
sj ij +
n + n
TEMA 4: ANLISIS DE TEMS
ns + ni 2 2+22 2 2
s i
23
17/01/2014
ns ( ns + 1) -Donde:
U s = ns ni + Rs
2 Rs =la suma de los rdenes del grupo superior
n ( n + 1)
U i = ns ni + i i Ri Ri =la suma de los rdenes del grupo inferior
2
47
IF = S j r jX
Donde:
Sj= desviacin tpica del tem.
rjX=correlacin del tem con la puntuacin en el test.
TEMA 4: ANLISIS DE TEMS
IV = r jY
Donde:
rjY=correlacin del tem con la puntuacin en el criterio.
48
24
17/01/2014
49
IV = rjY = 0,4
50
25
17/01/2014
S r
j =1
j jx IF
j =1
j 3. La dificultad de los tems (S2j=pq)
TEMA 4: ANLISIS DE TEMS
tem 1
tem 2 Acierto Error
Acierto 65 (a) 35 (b)
Error 35 (c) 65 (d)
Es equivalente el grado de dificultad de los tems? (NC = 95%). Podemos
utilizar la Chi-cuadrado propuesta por Harris y Pearlman (1977). La
hiptesis que planteamos es si la ejecucin en ambos tems es igual o
TEMA 4: ANLISIS DE TEMS
no. 2
( b c 1)
2 =
b+c
2 X2(, 1): Se acepta la hiptesis nula. El grado de dificultad de ambos
tems es equivalente.
2 > X2(, 1): Se rechaza la hiptesis nula. El grado de dificultad de ambos52
tems es diferente.
26
17/01/2014
2 ( b c 1) 2 ( 35 35 1) 2
= = = 0,014
b+c 70
(20,05;1) = 3,84
3. ANLISIS DE DISTRACTORES
ANLISIS DE DISTRACTORES:
Si tras anlisis de tems, aparecen elementos poco discriminativos o con
dificultad extrema, pero que deseamos mantener Revisin de las
alternativas o distractores.
El objetivo de un distractor es atraer la atencin de los participantes con
nivel medio o bajo en el constructo y que no tienen suficiente nivel para
responder correctamente al tem. Se consideran buenos si:
1. Son elegidas por un mnimo de participantes (al menos el 10%).
2. Son aproximadamente igual de atractivas para los participantes (misma
probabilidad).
TEMA 4: ANLISIS DE TEMS
27
17/01/2014
3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
Los distractores son igualmente probables si son
seleccionados por un nmero mnimo de
participantes y si son igual de atractivos para
quienes no saben la respuesta correcta.
2:
(FTi FOi )2
TEMA 4: ANLISIS DE TEMS
k
=
2
j =1 FTi
3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
Conclusin:
2 2 Se acepta la hiptesis nula. Los distractores son
O ( , k 1)
igualmente probables.
2
>
O
2
( , k 1)
Se rechaza la hiptesis nula. Los distractores no
son igualmente probables.
56
28
17/01/2014
3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
Ejemplo. Determinar si las alternativas
incorrectas son igual de atractivas ( = 0,05).
A B* C
Nmero de respuestas 136 142 92
TEMA 4: ANLISIS DE TEMS
57
3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
=2
k
(FTi FOi )2 =
(114 136) 2 + (114 92) 2
=
j =1 FTi 114
22 2 + 22 2 484 + 484 968
= = = = 8,49
114 114 114
TEMA 4: ANLISIS DE TEMS
136 + 92 228
FTi = = = 114
2 2
Para ser igualmente probables, cada distractor habra de
ser elegido por 114 participantes.
58
29
17/01/2014
3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores
Discriminacin alternativas incorrectas: A medida que
la aptitud aumenta, la alternativa incorrecta es
seleccionada por menos participantes
participantes que la seleccionan
TEMA 4: ANLISIS DE TEMS
60
30
17/01/2014
3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Alternativas del tem
A* B C D E
1. Alternativa B: no
funciona como un
Nivel de Superior 65 11 64 32 28 distractor eficaz ya que
aptitud inferior 15 30 20 68 67 no es elegida por un
mnimo de personas
Estadsticos P 0,30 0,08 0,19 0,21 0,22 (0,08).
X 11,1 8,3 13,2 8,9 7,8
D 0,25 -0,09 0,22 -0,18 -0,19
2. Alternativa C: no
TEMA 4: ANLISIS DE TEMS
61
3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Ejemplo. La tabla que se presenta a continuacin contiene las
respuestas de 5 participantes a 4 tems. Entre parntesis se
muestra la alternativa seleccionada por cada participante.
La respuesta correcta est marcada con un asterisco.
Calcular la discriminacin del distractor b en el tem 3.
tems
Participantes 1(a*) 2(b*) 3(a*) 4(c*)
TEMA 4: ANLISIS DE TEMS
A 0 (b) 1 0 (b) 1
B 1 1 0 (b) 1
C 1 1 1 1
D 0 (c) 0 (a) 0 (b) 1
E 1 1 1 0 (b)
62
31
17/01/2014
3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
tems Total
Participantes 1(a*) 2(b*) 3(a*) 4(c*) X (X-i) (X-i)2
A 0 (b) 1 0 (b) 1 2 2 4
B 1 1 0 (b) 1 3 3 9
C 1 1 1 1 4 3 9
D 0 (c) 0 (a) 0 (b) 1 1 1 1
E 1 1 1 0 (b) 3 2 4
11 27
TEMA 4: ANLISIS DE TEMS
X1 XT p 2 2,2 0,4
rbp = = = 0,22
SX q 0,75 0,6
Al encontrarse un resultado negativo, el distractor puede considerarse
bueno (fue principalmente elegido por participantes con bajo nivel de
conocimiento). 63
3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Clculos:
Media de las puntuaciones en el test de los participantes que
seleccionaron la alternativa b en el tem 3 (participantes A, B y D):
2 + 3 +1 6
X1 = = =2
3 3
Los dems clculos se realizan como es usual (nada cambia):
11
XT = = 2,2
TEMA 4: ANLISIS DE TEMS
5
27
SX = 2,2 2 = 5,4 4,84 = 0,56 = 0,75
5
2
p = = 0,4
5 64
q = 1 p = 1 0,4 = 0,6
32
17/01/2014
3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores. Utilidad de los mtodos grficos
REPRESENTACIN GRFICA:
CCI emprica del tem 18
120 1. Alternativa A (correcta): a medida que el nivel de aptitud
aumenta, es seleccionada por ms participantes
100
discriminacin positiva
80
a*
60
2. Distractores B y C: la tendencia es la contraria. En niveles
40 de aptitud bajo, son igualmente seleccionadas, y a medida que
b el nivel de aptitud aumenta la seleccionan cada vez menos
%en(1;1) IT18R
0 %en(3;3) IT18R
no-apto aprobado notable
nota criterial
CCI emprica del tem 22 3. Alternativa A (correcta): aproximadamente es igualmente
TEMA 4: ANLISIS DE TEMS
80
70
selecciona entre participantes poco competentes y muy
60
a* competentes discriminacin baja o prxima a cero.
50
40
b
30
4. Distractor B: es igualmente seleccionada indistintamente
20
c del nivel de aptitud de los participantes (lnea plana)
%en(1;1) IT22R
%en(2;2) IT22R
10
0
discriminacin prxima a cero.
%en(3;3) IT22R
no-apto aprobado notable
5. Distractor C: Prcticamente a lo largo de todo el continuo
nota criterial
de aptitud lo identifican como falso, y por tanto no lo
seleccionan ni los participantes menos competentes. 65
3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores. Utilidad de los mtodos grficos
Diagrama de caja y Diagrama de caja y
bigotes de un ANOVA bigotes de un ANOVA
de un BUEN tem de un MAL tem
15 15
12 12
9 9
X
X
6 6
3 3
0 0
1 2 3 4 1 2 3
TEMA 4: ANLISIS DE TEMS
33
17/01/2014
4. Funcionamiento
diferencial de los tems
TEMA 4: ANLISIS DE TEMS
67
34
17/01/2014
35
17/01/2014
16
14 menor que los
12 ancianos.
ancianos
10 participantes jvenes
jvenes
8 que procuran atencin
6 psicolgica urgente no
4 la reciban.
TEMA 4: ANLISIS DE TEMS
2
0
0 2 4 6 8 10 12 14 16
riesgo de suicio
Procedimientos estadsticos:
72
36
17/01/2014
5-9 20 30 50 5 20 25 25/50=0,50
0-4 10 10 20 0 5 5 5/20=0,25
Total 200 200 400 100 150 250
2. Expresa la proporcin de
1. Expresa el continuo aciertos. Es decir, el n de
de aptitud dividido en aciertos entre el total de
5 categoras. participantes en cada 73
categora.
37
17/01/2014
Procedimientos estadsticos:
38
17/01/2014
MH
Bk Ck
k =1 N k
Nios Nias
X Correctas Incorrectas Correctas Incorrectas
TEMA 4: ANLISIS DE TEMS
0-10 1 8 2 8
11-20 13 58 10 50
21-30 30 51 19 84
31-40 69 15 47 35
78
39
17/01/2014
En el nivel de aptitud
(0-X-10) Correctas Incorrectas comprendido entre 0 y 10
hay 19 participantes. En
GR 1 8
el G.R 1 ha acertado el
GF 2 8 tem, mientras que del
19 G.F han sido 2.
79
80
40
17/01/2014
Limitaciones:
1. No detecta DIF no uniforme, que a diferencia del
uniforme en el que el tem perjudica sistemticamente al
grupo focal en todos los niveles de aptitud, el no
uniforme para unas categoras perjudica a un grupo y
para otra perjudica al otro grupo.
2. A medida que se reduce el nmero de categoras,
TEMA 4: ANLISIS DE TEMS
81
5. BIBLIOGRAFA COMENTADA
1. Barbero, I., Garca, E. Vila, E., y Holgado, F.P. (2010). Psicometra:
Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye el
desarrollo de la solucin. El alumno podr completar desde un punto de
vista aplicado los conceptos y contenidos vistos en la parte terica; as
como adquirir las destrezas necesarias para la resolucin de problemas.
41
17/01/2014
5. BIBLIOGRAFA COMENTADA
83
42