Servicio de Innovación Educativa

La construcción de
pruebas objetivas

Charo Repáraz |creparaz@unav.es Carlota Pérez Sancho |cpsancho@unav.es

Introducción

LA MEDIDA DEL RENDIMIENTO ACADÉMICO

• Medir (v. contínuas)  contar (v. discontínuas)

• Distancia entre la medida y lo medido
(> cuanto más abstracto sea lo medido)
• Teoría Clásica de los Test (TCT):
X (puntuación) = V (puntuación verdadera) +e (error)

En consecuencia:
•El mismo rasgo puede dar distintas
medidas
•Contar con el error de nuestra
medida
•Prudencia, es una orientación…
Introducción| La medida del rendimiento académico
¿Cómo construir un buen test?: Paso 1

1. CONOCER LOS CONTENIDOS A EVALUAR

Conocer bien la estructura de los contenidos (especificar

los distintos apartados del programa de la asignatura) nos
permitirá:
No olvidar ningún aspecto importante.

Prescindir de lo anecdótico.

Ponderar cada apartado en función de su relevancia intrínseca

y relativa. Llegar a un aprueba equilibrada y coherente

Ofrecer puntuaciones o diagnósticos diferenciados

Estimar la duración de la prueba

Construcción del test | Paso 1: Contenidos a evaluar

¿Cómo construir un buen test?: Paso 2
2. DETERMINAR LOS OBJETIVOS
La diferencia principal entre…
CONOCIMIENTO El método más empleado para…
Las principales características…
T Recuerdo de material aprendido
anteriormente
El mejor ejemplo del principio…
a COMPRENSIÓN
x ¿Cuál es el significado de la fórmula….?
o Percepción del significado del ¿Cuál es la teoría que esta implícita en …?
Después de analizar los datos que se
n material
presentan….
o APLICACIÓN ¿Qué definición es aplicable para….?
m Utilización de la información en situaciones
¿Cuál es el procedimiento experimental más
adecuado para …?
í concretas ¿Qué aplicación ejemplifica el principio de
a ANÁLISIS
la….?
En el texto presentado ¿qué parte es la
B Fraccionamiento del material en sus
conclusión?
l elementos constitutivos
¿Qué elementos de la siguiente comunicación…
pueden considerarse factuales?
o SÍNTESIS ¿Cuál es el error lógico del siguiente argumento?
o Reunión de los elementos en un ¿Qué conclusión se puede extraer de…?
m todo ¿Cuál es la hipótesis de…?
EVALUACIÓN
Formulación de juicios sobre el valor de una cosa ¿Qué procedimiento es el más fiable para…
para un determinado propósito, utilizando ciertos ¿Cuál es el error lógico del siguiente
criterios. argumento?

Construcción del test | Paso 2: Determinar los objetivos

¿Cómo construir un buen test?: Paso 3

3. RELACIONAR
CONTENIDOS Y
OBJETIVOS
Tabla de especificaciones

Qué objetivos deben

cubrir los distintos
contenidos y viceversa.

No serán incluidos en el
instrumento aquellos
contenidos referidos a los
objetivos para los que no
se haya marcado X.

Construcción del test | Paso 3: Relacionar contenidos y objetivos

¿Cómo construir un buen test?: Paso 4

4. SELECCIONAR EL CONTENIDO DEL TEST

Imposibilidad de incluir todos los elementos MUESTR
A
SUFICIENCIA El número de elementos debe ser al menos aquel que
permita incluir a todos los grandes bloques de
contenidos y objetivos.
Ejemplo: Si tenemos 3 grandes apartados de contenidos
y trabajamos con 5 objetivos, debería haber, al menos,
3x5= 15 elementos.

REPRESENTATIVIDAD VALIDEZ DE CONTENIDO. No todos los

objetivos ni los contenidos son igualmente
relevantes:
•Atribuir a los grandes bloques un mayor
numero de elementos (dando a todos igual
valoración).
•Valorar más los elementos referidos a tales
objetivos
Construcción del test | Paso 4: y contenidos.
Seleccionar el contenido del test
¿Cómo construir un buen test?: Paso 4

Pero…
¿Cuántos ítems
debe tener un
test?
Prueba diagnóstica 20-30
Prueba sumativa > 50

Cálculo: Minuto por ítem

no exceder de 90 ítems
(hora y media de duración)

Construcción del test | Paso 4: Seleccionar el contenido del test

¿Cómo construir un buen test?: Paso 5

5. REDACTAR LOS ITEMS

 RESPUESTA ÚNICA EL USB fue creado en 1996: El conocimiento científico es:

a) verdadero 1) Un conocimiento fruto del pensar
b) falso espontáneo
2) Una forma de conocimiento práctico
3) El único capaz de resolver nuestros
Máximo 5 alternativas problemas
4) Un conocimiento demostrado
 RESPUESTA MÚLTIPLE

De las siguientes afirmaciones, ¿cuáles son correctas respecto a la literatura medieval portuguesa?

I. Un poema que narre el sufrimiento de una campesina, abandonada por el hidalgo que amaba por
causa de otra mujer, es una “cantiga de amor”.
II. Un poema que narre la desdicha de un hidalgo empobrecido que ama a una dama inaccesible es una
“cantiga de amigo”.
III. “Cantiga de amor” y “cantiga de amigo” son “poesías trovadorescas”.
IV. “Cantiga de amor” y “cantiga de amigo” eran cantadas con acompañamiento musical.

A) I, II, III y IV.

B) I, II y III.
C) I, II y IV.
D) I y II.
E) III y IV.

Construcción del test | Paso 5: Redactar los ítems | tipos de ítems

¿Cómo construir un buen test?: Paso 5
 AFIRMACIÓN INCOMPLETA  LAGUNA
El número de átomos de oxígeno que existen en 0,10 El “gorjeo” es propio del bebe de ….
moles de nitrato de bario es: meses:
a) 0,6 a) uno
b) 6,0 b) dos
c) 3,6 x 1022 c) tres
d) 6,0 x 1022 d) cuatro
e) 3,6 x 1023

Anotar en los paréntesis de la columna A (países), los números de los elementos de la

 ASOCIACIÓN,
columna B (capitales) que correspondan:
EMPAREJAMIENTO O
Columna A Columna B
CORRESPONDENCIA
( ) Japón (1) Pekín
( ) India (2) Tel Aviv
( ) China (3) Katmandú
( ) Nepal (4) Nueva Delhi
( ) Israel (5) Tokio
(6) Jerusalem
 SUSTITUCIÓN

Elige la frase que presenta la forma correcta de redacción

a) Esté dicho: sólo sé que no se nada.
b) Este dicho: sólo se que no se nada.
c) Éste dicho: solo sé que no sé nada.
d) Este dicho: sólo sé que no sé nada.
e) Éste dicho: solo se que no se nada.

Construcción del test | Paso 5: Redactar los ítems | tipos de ítems

¿Cómo construir un buen test?: Paso 5
IDENTIFICACIÓN O LOCALIZACIÓN
Identifica en ésta célula el núcleo ( ), el citoplasma ( ) y la membrana ( ).

 INTERPRETACIÓN

El gráfico siguiente muestra la duración, en días, del desarrollo embrionario del lepidóptero Ephestia
kühniella en función de la temperatura. De su examen concluimos que:

1) el desarrollo más rápido se produce cerca de los 30ºC

2) cuanto más alta es la temperatura, más rápido es el desarrollo
3) el desarrollo sigue una curva logarítmica
4) el animal sólo se encuentra en lugares tropicales
5) a temperaturas inferiores a 10ºC el huevo se muere.

Construcción del test | Paso 5: Redactar los ítems | tipos de ítems

¿Cómo construir un buen test?: Paso 5
5. REDACTAR LOS ITEMS
 Cuestiones generales a tener en cuenta
Ofrecer en lo que se denomina el pie del elemento toda la información
necesaria pero de forma breve y concisa.
Claridad en la formulación. Vocabulario correcto.
Brevedad del enunciado.
Corrección gramatical, ortográfica y sintáctica de los enunciados.
Redactar de forma afirmativa, evitando las dobles negaciones.
Ejemplo: La media no es una medida de variabilidad. SI-NO
Todas las alternativas deben ser plausibles.
Evitar situar la respuesta correcta en una posición preferente.
Evitar asociaciones entre el tronco del elemento y la respuesta correcta
Contar con un banco de preguntas lo suficientemente amplio para no
repetir de un curso a otro.
Construcción del test | Paso 5: Redactar los ítems | cuestiones generales
¿Cómo construir un buen test?: Paso 5
5. REDACTAR LOS ITEMS

 La independencia de los ítems

Difícil asegurarla: cualquier palabra en un ítem puede servir de pista o ayuda para
resolver otro u otros.
Procurar no incluir elementos en cadena, la forma de responder, o no, a uno de ellos
permita contestar, o no, a varios que le siguen.
EJEMPLO: 1. El “gorjeo” es propio del bebe de …. meses:
a) uno
b) dos
c) tres
d) cuatro

2. ¿Cuál de las siguientes afirmaciones es propia de la misma edad?

a) Sólo me despierto y lloro si tengo hambre o estoy incómodo
b) Boca abajo estoy tranquilo y me sostengo apoyado sobre las manos.
c) Si me pones un objeto en la mano seré capaz de sostenerlo y me lo llevaré a
la boca.
d) Soy capaz de sostenerme un ratito sentado pero necesito apoyarme delante
con las manos para no caerme.

Construcción del test | Paso 5: Redactar los ítems | la independencia de los ítems
¿Cómo construir un buen test?: Paso 6
6. ORDENAR LOS ITEMS

 Por tipos de elementos

Para presentar al principio de cada bloque instrucciones necesarias para resolverlo.
Facilitar la corrección ya que cada tipo de elemento puede tener reglas específicas.

 Por orden de dificultad

Situar los elementos más fáciles al principio da ánimos para seguir adelante.

 Lógica o cronológica
Seguir el orden que la estructura de la materia exige puede facilitar las
contestaciones.

 Al azar
Presenta más dificultades que ventajas.

Construcción del test | Paso 6: Ordenar los ítems

¿Cómo construir un buen test?: Paso 7
7. VALORAR LOS ÍTEMS
La tendencia natural puede ser atribuir un punto a la respuesta correcta y cero para
la incorrecta.
Pero la posibilidad de respuestas correctas por azar lleva a la necesidad de valorar los
elementos de forma diferente para disuadir de contestarlos cuando se sabe que esa
contestación es puramente al azar.

 A través de las siguientes fórmulas

Pruebas verdadero-falso
Resultado (R) =Aciertos (A) – Errores
(E)
Pruebas elección múltiple
E
RA-
n a -1
Donde na es el numero de respuestas que se ofrecen.

Construcción del test | Paso 7: Valorar los ítems

¿Cómo construir un buen test?: Paso 8
8. VALORAR LA PRUEBA
En ocasiones conviene que junto a la puntuación global obtengamos puntuaciones
diferenciadas al menos en dos niveles:
 Según los diferentes tipos de objetivos evaluados
Se trata de apreciar si hay objetivos
100
90
80
claramente superados y otros
70
60 Puntuación
50
deficientes, si el nivel es uniforme en
40 dife re nciada
30
20

sentido positivo o negativo.

10
0

Total
Valoración
Aplicación
Cálculo
Comprensión
Conocimiento
 Según las diversas unidades importantes de contenido
80
Un alumno puede obtener un valor 70
60
global suficiente pero con 50
40
Puntuación

determinadas unidades con 30 diferenciada

20
puntuación elevada y otras muy bajas. 10
0
estadística

individuales
Concepto

Correlación
Organización

Medidas
datos

Construcción del test | Paso 8: Valorar la prueba

¿Cómo construir un buen test?: Paso 9

9. ELEGIR LA MODALIDAD DE EVALUACIÓN

 Evaluación referida a la norma

Comparación de la realización del alumno con la realización del grupo,
muestra o población a la que pertenece.
Por ejemplo: MIR

 Evaluación referida al criterio

Comparación entre la realización del alumno y la realización objetiva

previamente establecida. Comparación con un criterio objetivo.
Por ejemplo: TOEFL

Construcción del test | Paso 9: Elegir la modalidad de evaluación

Características de un test
1. FIABILIDAD
Mide el error (la distancia entre la medida y lo medido).

A menor error, mayor fiabilidad.

Indica hasta qué punto las diferencias entre puntuaciones de dos

alumnos son atribuibles a diferencias reales entre ellos o a errores de
medida del test.

Ejemplo: una fiabilidad rxx= 0.85 significa que el 85% varianza verdadera
y 15% varianza error

No se deben admitir tests con fiabilidad menor de 0.80

CONDICIÓN NECESARIA PERO NO SUFICIENTE

2. VALIDEZ
Qué medimos? ¿Medimos lo que queremos medir?

Ninguna prueba es válida y fiable para todos los sujetos y ocasiones

LA MAQUINA DE CORRECCIÓN DE CIENCIAS NO CALCULA

Características de un test | Fiabilidad y validez

Características de un test
3. ANÁLISIS DE ÍTEMS
Estima la contribución de cada ítem a la fiabilidad y validez del test
1.- Índice de dificultad / facilidad: cociente entre quienes aciertan el ítem y quienes
lo intentan.
Muy difíciles: ID<0.25 (10%)
Difíciles: ID >0.25 y <0.45 (20%)
IDmax= 1 Normales: ID >0.44 y <0.55 (40%)
Fáciles: ID >0.54 y <0.75 (20%)
Idmin= 0
Muy fáciles: ID >0.74 (10%)

2.- Índice de discriminación: indica la capacidad del ítem para distinguir entre los
sujetos de mayor conocimiento y los de menor. Cálculo: la diferencia entre el %
del grupo superior que acierta el ítem y el % del grupo inferior que también lo acierta

D> 0.39 Excelente Conservar

Dmax= 1 D entre 0.30 y 0.39 Buena Mejorar
D entre 0.20 - 0.29 Regular Revisar
Dmin= -1
D entre 0.00 - 0.20 Pobre Descartar
D< -0.01 Pésima Descartar definitivamente

Características de un test | Análisis de ítems

Características de un test

4. ANÁLISIS DE LOS DISTRACTORES

Nos informa del nº de alumnos del grupo superior (27%) y del grupo inferior
(27%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan y
cuántos se distraen.

•¿Qué significa que un distractor sea elegido por un gran nº de alumno del
grupo superior?:
•ítem mal redactado o confuso
•problema generalizado de comprensión
•
¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo
inferior? (mínimo un 10%):
•disminuye la fiabilidad y la validez del test pues aumenta el acierto
por azar
•no cumple su función

Características de un test | Análisis de distractores

Características de un test
Puntuación (29) % Rendimiento
ORDEN EXPEDIENTE NOMBRE Rendimiento sobre 10

1 27 95995 APELLIDOS, NOMBRE 13,75 47,40 4,74

2 42 96123 APELLIDOS, NOMBRE 15,75 54,30 5,43
3 21 99844 APELLIDOS, NOMBRE 10,75 37,00 3,70
4 13 98639 APELLIDOS, NOMBRE 26,50 91,30 9,13
5 8 100188 APELLIDOS, NOMBRE 15,75 54,30 5,43
6 30 98798 APELLIDOS, NOMBRE 10,25 35,30 3,53
7 41 99830 APELLIDOS, NOMBRE 25,50 87,90 8,79
8 7 99851 APELLIDOS, NOMBRE 4,25 14,60 1,46
9 18 99361 APELLIDOS, NOMBRE 13,75 47,40 4,74
10 125 98795 APELLIDOS, NOMBRE 12,50 43,10 4,31
11 46 100167 APELLIDOS, NOMBRE 21,75 75,00 7,50
12 103 99447 APELLIDOS, NOMBRE 20,25 69,80 6,98
13 1 100235 APELLIDOS, NOMBRE 8,25 28,40 2,84
14 108 98968 APELLIDOS, NOMBRE 11,25 38,70 3,87
15 24 99355 APELLIDOS, NOMBRE 4,75 16,30 1,63
16 2 97571 APELLIDOS, NOMBRE 14,00 48,20 4,82
17 3 97273 APELLIDOS, NOMBRE 6,50 22,40 2,24
18 122 99471 APELLIDOS, NOMBRE 17,50 60,30 6,03
19 11 96624 APELLIDOS, NOMBRE 7,25 25,00 2,50
20 15 98732 APELLIDOS, NOMBRE 10,25 35,30 3,53
21 48 98786 APELLIDOS, NOMBRE 17,00 58,60 5,86
22 10 96153 APELLIDOS, NOMBRE 11,50 39,60 3,96
23 45 98689 APELLIDOS, NOMBRE 18,75 64,60 6,46
24 39 100133 APELLIDOS, NOMBRE 21,50 74,10 7,41
25 19 100092 APELLIDOS, NOMBRE 12,00 41,30 4,13
26 37 97480 APELLIDOS, NOMBRE 7,75 26,70 2,67
27 17 89238 APELLIDOS, NOMBRE 13,50 46,50 4,65
28 9 98554 APELLIDOS, NOMBRE 14,75 50,80 5,08
29 16 97143 APELLIDOS, NOMBRE 10,25 35,30 3,53
30 4 96765 APELLIDOS, NOMBRE 9,00 31,00 3,10
31 33 99819 APELLIDOS, NOMBRE 17,75 61,20 6,12

Informe de resultados de los alumnos

Características de un test
Num. ITEM DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21

8 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56

7 (6) 11 2 0 8 0 17,65 %

4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32

6 0 5 (19) 0 4 0 55,88 %

5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50

(11) 7 2 10 0 4 0 32,35 %

6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44

2 3 (9) 16 0 4 0 26,47 %

7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35

3 13 6 (5) 0 7 0 14,71 %

8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35

5 (6) 12 2 0 9 0 17,65 %

9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53

14 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03

8 (2) 7 6 0 11 0 5,88 %

Informe ordenado por número de ítem

 Índice de dificultad / facilidad --- Índice
Num. ITEM discriminación
DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 % Regula
r
2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21
8 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56

7 INDICE
(6) FACILIDAD
11 2 0 8 0 17,65 % muy
Muy difíciles: ID<0.25 (10%)
fácil
Difíciles:
4 2 ID >0.25
0 y <0.45
0 (20%)
(30) 0 1 0 88,24 % 0,72 0,32
Normales: ID >0.44 y <0.55 (40%)
6 0 5 (19) 0 4 0 55,88 %

Fáciles:
5 (28) ID >0.540 y <0.75
1 (20%)
3 0 2 0 82,35 % 0,57 0,50
Muy
(11) fáciles:
7 ID >0.74
2 (10%) 10 0 4 0 32,35 %

6 INDICE
2 0 DISCRIMINACIÓN
(24) 5 0 3 0 70,59 % 0,49 0,44
D> 0.39 Excelente Conservar 0
2 3 (9) 16 4 0 26,47 %

7 D entre
5 0.30
6 y 0.39 3 Buena(17)
Mejorar 0 2 1 50,00 % 0,32 0,35
D entre
3 0.20
13 - 0.296 Regular(5) Revisar0 7 0 14,71 %
D entre 0.00 - 0.20 Pobre Descartar
D< -0.01
8 1
Pésima
(18)
Descartar
4
definitivamente
3 0 8 0 52,94 %
norma
0,35 Excelente
0,35
5 (6) 12 2 0 9 0 17,65 %
l
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03

8 (2) 7 6 0 11 0 5,88 %

Muy difícil Pobre

 Análisis de los distractores
Num. ITEM DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21

8 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56

7 (6) 11 2 0 ¿Qué pasa si algún distractor
8 0 17,65 % muyno es elegido
4 2 0 0 (30) 0 por
1 ningún
0 alumno fácil inferior? 0,32
88,24 % del grupo
0,72
6 0 5 (19) 0
(mínimo
4
un 10%):
0 55,88 %

5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50

¿Qué significa que un distractor sea

(11) 7 2 10 0 •<
4 la fiabilidad
0 y la% validez pues > el acierto
32,35

elegido
6 2 por 0un gran
(24) nº de5 alumno
0
por
3
azar 0(0.25, 70,59
0.33,%
0.50) 0,49 0,44

del grupo superior?

2 3 (9) 16 0 4 0 26,47 %
•no cumple su función
•ítem7
mal
5
3
redactado
6
13
3
6
o confuso
(17)
(5)
0
0
2
7
1
0
50,00 %
14,71 %
0,32 0,35

•problema en la enseñanza
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %

9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53

14 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03

8 (2) 7 6 0 11 0 5,88 %