ENGLISH LANGUAGE TESTING

MULTIPLE CHOICE TESTS (MTC)

‘Principios de diseño’

Patrick McGloin
31-10-2011

1
ÍNDICE

Introducción…………………………………………………………………………..3

 Multiple Choice Tests………………………………………..……………….……..4

 Formato
 Modelos
 Principios de diseño

 Opciones / Distractors (gramática)……………………………………………..7

 Selección
 Gramaticalmente correctos
 Contexto

 Opciones / Distractors (vocabulario)…………………………………………..8

 Selección
 Campo léxico
 Contexto

2
 INTRODUCCIÓN

Para examinar el nivel que tienen los alumnos en una segunda lengua, y en
este caso inglés, tenemos que comenzar por distinguir entre los dos métodos
más conocidos y usados que son, “Discrete Item Testing” y “Integrative Tests”.

Discrete Item Testing (Tests Objetivos de Elementos de Lenguaje)

El principio básico de este enfoque es analizar cada elemento del idioma (la
gramática, el vocabulario, la pronunciación, u otras propiedades lingüísticas)
“por separado”. Los defensores de este enfoque ven el idioma como un
sistema compuesto de un número infinito de elementos. Creen que examinar
una muestra representativa de estos elementos proporcionará una estimación
exacta del dominio del idioma de los examinados.

Integrative Tests (Tests Integrales de las Habilidades)

Los Integrative Tests (Tests Integrales) por el contrario se enfocan en valorar las
habilidades usadas en la comunicación normal. Mediante este método se
examine el idioma en su contexto y por tanto se estudia principalmente el
efecto global de las capacidades de comunicación de los examinados Estas
pruebas ‘integrales’ procuran no separar los elementos. Algunas pruebas
integrales muy conocidas son: el dictado, comprensión auditiva, textos
comprensión, y entrevistas orales.

NOTA:

El objetivo de este análisis no es analizar hasta qué punto deberíamos

usar un método u otro para conocer el nivel de inglés de un alumno
sino plantear los principios a seguir en el diseño de Discrete Item Tests y
en particular Multiple Choice Tests, MCT

Ventajas de Discrete Item Testing

Al ser pruebas objetivas se puede incluir una amplia muestra de gramática,

vocabulario y fonología. Aunque a cambio a veces se sacrifica el uso
comunicativo del idioma existen varias razones por las qué estas pruebas
objetivas deben ser usadas.

Ventajas:

 Corrección mecánica.
 Puntuación objetiva.
 Son fiables; los resultados son consistentes y los mismos estudiantes
tienden a conseguir los mismos resultados en pruebas semejantes.
 Preguntas sobre algunos elementos pueden revelar debilidades.
 Los profesores no tienen que interpretar los resultados.


3
 MULTIPLE CHOICE TESTS

Formatos
El formato de tests de opción múltiple es ampliamente reconocido como el
formato más versátil y eficiente para pruebas en una gran variedad de áreas
académicas.
“Los usos de tests de opción múltiple y las reglas para escribirlos están bien
documentados tanto en la literatura publicada y disponible como en los
materiales propietarios de la instrucción de editores de prueba. Como sólo una
de las respuestas correctas es requerida para obtener el resultado, las
evaluaciones que usan pruebas de opción múltiple producen resultados
sumamente objetivos (Kubiszyn y Borich, 1987)”.

Modelos
Un ejemplo de opción múltiple consiste en una o más oraciones introductorias,
llamadas “Stem”, seguidas por una lista de dos o más respuestas posibles.
Típicamente, sólo una respuesta, conocida como la llave, es correcta. Las
respuestas inexactas se llaman “distractors” y representan típicamente errores
comunes que son igualmente plausibles a estudiantes que no han alcanzado
el nivel de conocimiento ni comprensión necesarios para reconocer a la llave
como la respuesta correcta (Linn y Gronlund, 2000; Popham 2000; Nitko, 2004).

1. Discrete item Testing “Multiple Choice”

Modelo 1 (una frase incompleta)

Tom shouldn’t ...................... me your secret, but he did. (Stem)

a. tell (Distractor)
b. having told (Distractor)
c. be telling (Distractor)
d. have told (Key)

Modelo 1 (una frase incompleta)

I ……………. you the goods will be delivered next week. (Stem)

a. assure (Key)
b. confirm (Distractor)
c. insist (Distractor)
d. call (Distractor)

4
 Modelo 2 (una frase completa)

Este tipo de MCT requiere que el alumno elija la opción correcta

según la información dada en la frase.

Everything we wanted was to hand (Stem)

a. under control (Key)

b. within reach (Distractor)
c. well cared for (Distractor)
d. being prepared (Distractor)

Modelo 3 (una pregunta)

According to the writer, what happened to Peter once the police left?

A He ran to the pub C. He began to shout

B He met his accomplice D. He phoned his wife

2. Reading Tasks (Pruebas de Lectura)

Tests con textos sencillos (y con apoyo grafico)

 Where can you see these notices?

 Mark A, B or C on your Answer Sheet

Please leave your

room key at reception

A in a shop
B in a hotel
C in a taxi

3. Multiple Choice Cloze

Un “cloze test” (texto de prueba de comprensión), es un examen que consiste

en ofrecer un texto con ciertas palabras eliminadas y se pide al participante
reemplazar las palabras quitadas. Los Cloze Tests requieren la capacidad de
comprender el contexto y vocabulario para identificar las palabras o el tipo
correcto de palabras que pertenecen a estos espacios.

5
Las palabras pueden ser borradas del texto mecánicamente (cada palabra
enésima) o selectivamente, dependiendo exactamente del aspecto que
queremos examinar.

Son las pistas contextuales las que los hacen interesantes para evaluar el
idioma. Para rellenar los espacios los estudiantes tienen que comprender el
contexto y completarlos de acuerdo con el significado y la función del texto.

Al hacer esto el estudiante demuestra capacidad para:

1. Leer o escuchar la información y procesarla.

2. Predecir y reconstruir el significado de las pistas contextuales que
rodean los espacios.
3. Mostrar un conocimiento de las reglas pertinentes de co-occurence
(gramatical, estilístico, y léxico)

Ejemplo:

Earth is the only (0) ……. we know of in the universe that can
support human life. (1) ..... human activities are making the
planet less fit to live on. As the western world (2) ....... on
consuming two-thirds of the world's resources while half of the
world's population do so (3) ...... to stay alive we are rapidly
destroying the (4) ....... resource we have by which all people
can survive and prosper.

Read the text and then select the correct answer, A, B, C or D.

There is an example at the beginning:
(0) A situation B place C position D site
(1) A although B still C yet D despite
(2) A continues B repeats C carries D follows
(3) A already B just C for D entirely
(4) A alone B individual C lone D only

Principios de Diseño de MCT

Un buen MCT no debe ser diseñado para buscar la respuesta inexacta del
participante. Muchos diseñadores son culpables de realizar MCTs con
preguntas diseñadas con este objeto. Todas las pruebas deben ser diseñadas
con la única intención de averiguar el conocimiento real del estudiante.
Un test de gran calidad debe tener distractors que representan errores
igualmente plausibles y comunes que un estudiante probablemente cometa.
“Si un distractor no es seleccionado con la frecuencia de otros en el mismo
examen reduce la calidad general del test y debe ser eliminado o revisado”
(Linn y Gronlund, 2000).

6
 Opciones y Distractores (Gramática)

Selección
Si queremos que los alumnos obtengan la opción correcta a través de una
selección directa y NO por la eliminación de opciones claramente incorrectas
ó inadmisibles (ver Gramaticalmente Correctos) podemos generar distractors
basados en:

 Un Análisis de Contraste (Contrastive Analysis) entre L1 y L2.

 Faltas de redacción de un conjunto de alumnos en el trabajo.
 La experiencia y conocimiento del diseñador.
 Usar repuestas dadas por alumnos en exámenes con preguntas abiertas
 Test antiguos de alumnos.

Nota:
La opción correcta debe aparecer en todas las posiciones (Ej. A, B, C, D, ó E)
aproximadamente el mismo número de veces.

Gramaticalmente correctos
Cada distractor debe ser gramaticalmente correcto; de otro modo los
participantes serán expuestos a formas inexactas
Ejemplo:

1) We enjoy..........

A to ski B skiing C to skiing D to make skiing

Opciones C y D son formas gramaticalmente incorrectas.

2) You didn’t eat..........

A any breads B a few bread C many bread D much bread

En este ejemplo sólo hay una forma correcta (D) lo cual facilita la elección (se
convierte en un proceso de eliminación)

NOTA:

Es necesario someter la prueba a revisiones de terceros que

puedan encontrar errores e incongruencias gramaticales antes
que administrar el examen a estudiantes.

7
Los distractores no deben ser demasiado difíciles ni demandar una pericia más
alta en el idioma que la opción correcta. Si son demasiado difíciles, sólo
conseguirán distraer al buen estudiante, que será llevado a considerar la
opción correcta demasiado fácil y conducido a una trampa.

Ejemplo:

You need a ……… to enter that Government building.

A permutation B perdition C permit D personality

Contexto
Una evaluación auténtica requiere que el diseñador cree frases y oraciones
‘reales’ y que elabore un contexto creíble para evaluar la capacidad del
alumno.
Los ejemplos deben ser lo más natural posible. El siguiente ejemplo es
demasiado mecánico:
This book belongs to Peter. It is ……..
A Peter’s book B the book to Peter C the book of Peter D the book of
Peter’s

Un stem mejor sería:

This book belongs to Peter, but that book is………..
A Mary’s book B the book to Mary C the book of Mary D the book of Mary’s

Es importante que los ejemplos que diseñemos tengan suficiente contexto,

tanto lingüístico como del escenario para acercarse lo más posible a
situaciones reales. Debe usarse diversidad en los textos al igual que en los
estilos de registro y género.
El contexto en si mismo debería estar a un nivel inferior o igual que el elemento
que esta siendo examinado; no debe incluir elementos o estructuras
gramaticales más difíciles que el área que esta siendo analizada.

Opciones y Distractores (Vocabulario)

Selección
La primera tarea en el diseño de una prueba de vocabulario es determinar el
grado en el que deseamos examinar el vocabulario activo o pasivo. La
siguiente tarea es decidir si la elección de los elementos léxicos debe ser
tomada de las formas habladas o escritas.
Por lo general cuanto más elemental sea el nivel de la prueba mayor será el
número de elementos léxicos de la forma hablada.

8
Podemos generar distractors basados en:

 Frequency lists (frecuencia de palabras) Concordances/Corpus Cobuild

 Un Análisis de Contraste (Contrastive Analysis) entre L1 y L2
 Errores en la lectura durante la clase.

Según investigaciones llevadas a cabo sobre la eficacia de los distractors la

selección tomada de los siguientes ejemplos nos podría ayudar en nuestro
diseño.

(a) el uso de sinónimos falsos; palabras con significados equivalentes a la

palabra clave pero inadecuada en el contexto particular:

I’d like to book two …………… in the circle, please.

seats = palabra correcta

chairs = sinónimo falso

(b) palabras contextualmente relevantes (palabras relacionados con el

contexto pero con diferente significado a la palabra clave de la oración):

“How much is a ………………… to London, please?

single = palabra correcta

ticket = contextualmente relevante

Los tests de vocabulario deben evitar usar estructuras gramaticales que los
estudiantes puedan encontrar difíciles de comprender.

Clase de vocabulario
Existen ciertos desacuerdos con respecto a la relación que debe haber entre
las opciones. Mientras algunos discuten que las opciones deberían estar
relacionadas con el mismo tema/área, otros prefieren examinar usando una
selección muy amplia de asociaciones.
A menos que sean elementos poco frecuentes creo que cada opción debe
pertenecer al mismo tipo de palabra que el stem. Si esta regla es observada,
habrá menos riesgo de mostrar pistas gramaticales importantes para los
examinados.

The ………………… beneath the streets of New York is rock.

A. dirt B. field C. ground D. soil

A building which was many ……………… high was first called a skyscraper.

9
A. stages B. stops C. storeys D. levels

Todas las opciones deben tener aproximadamente la misma longitud, en el

caso de las opciones que toman la forma de definiciones y la definición
correcta es larga, las demás también deben ser largas.

Contexto
El vocabulario es probado con más efectividad en un contexto, dado que es
éste el que da significado y relevancia específica a una palabra.
El siguiente tipo de ‘stem’ completo puede ser preferible a ítems incompletos
(con huecos) porque así la palabra aparece en contexto:

She drove continuously for a whole day.

A. heavily B. regularly C. without stopping D. at odd moments

Generalmente es conveniente proporcionar contextos bastante completos

para tests de vocabulario. Sin embargo uno de los problemas principales de
diseño de tests de vocabulario es precisamente el contexto; demasiado poco
contexto es insuficiente para establecer una situación con sentido, mientras
demasiado contexto puede proporcionar demasiadas pistas tanto
gramaticales como semánticas.

Bibliography:
(Spolsky, 1973). What does it mean to know a language
(Linn y Gronlund, 2000) Measurement an assessment in teaching Prentice Hall
(Kubiszyn y Borich, 1987)”Distractor Rationales Taxonomy: King,Gardner, Zucker,
Jorgensen Pearson
Goodrich H C 1977 Distractor Efficiency in Foreign Language Testing

10