Revista Electrnica de Metodologa Aplicada

2010, Vol. 15 n 1, pp. 12-18

12


Deteccin del DIF en tems politmicos mediante el uso de los mtodos Mantel-Haenszel

Angel M. Fidalgo
1
, Laura Quintanilla
2
, Rubn Fernndez
3
,
Francisco Pons
4
y Mara Ester Aguerri
5


1
Universidad de Oviedo,
2
UNED,
3
Universidad de Almera,
4
Universidad de Oslo,
5
Universidad de Buenos Aires

RESUMEN
Los mtodos Mantel-Haenszel (MH) constituyen uno de los procedimientos de
referencia usados para la deteccin del funcionamiento diferencial de los tems (DIF), tanto en
tems dicotmicos como politmicos. Hasta la fecha los estadsticos empleados para evaluar
el DIF han sido el estadstico ji-cuadrado MH, el test Mante-Haenszel generalizado y el test
de Mantel, pese a que slo permiten evaluar el DIF en dos grupos simultneamente. En este
artculo se analiza que estadsticos MH permiten analizar el DIF en tems politmicos cuando
deseamos analizar mltiples grupos.

Palabras clave: Estadsticos Mantel-Haenszel generalizados, Funcionamiento diferencial de
los tems, DIF, tems politmicos, Mtodos Mantel-Haenszel.

ABSTRACT
Mantel-Haenszel (MH) methods constitute one of the most popular non-parametric
differential item functioning (DIF) detection procedures, and have been applied for detecting
DIF in both dichotomous and polytomous items. To date, the statistics used for assessing DIF
has been the MH chi-square statistic, the generalized Mantel-Haenszel test and the Mantel
test, although they limit the analysis to two groups. This article analyses which MH statistics
permit DIF assessment in multiple groups and polytomous items.

Keywords: Differential item functioning, DIF, Generalized Mantel-Haenszel statistics,
Mantel-Haenszel methods, Politomous items.
.


Este artculo ha sido posible gracias a la financiacin proporcionada por el Ministerio Espaol de Ciencia y
Educacin [Proyectos de investigacin SEJ2006-07491 y PCI2006-A7-0553].

Direccin para correspondencia:
ngel M. Fidalgo.
Departamento de Psicologa, Universidad de Oviedo.
Plaza de Feijoo s/n, 33003 Oviedo, Espaa
e-mail: fidalgo@uniovi.es.
Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




13

1.- Introduccin

Como es sabido, el funcionamiento diferencial de los tems constituye una amenaza
sobre la validez de las puntuaciones obtenidas en tests y escalas psicolgicas y educativas.
Desde un punto de vista tcnico se dice que un tem funciona diferencialmente cuando
personas que tienen el mismo nivel en la variable medida por el test, pero que pertenecen a
diferentes subgrupos (por ejemplo, hombres/mujeres), tienen diferente probabilidad de
contestarlo correctamente. En el ejemplo puesto, el tem dara diferentes valores en funcin
del gnero de la persona evaluada. Se comprender porque la investigacin de tcnicas
estadsticas que permitan detectar el funcionamiento diferencial de los tems (differential item
functioning, DIF) ha sido un rea de creciente inters psicomtrico. Se han propuesto multitud
de procedimientos para detectar el DIF, desde complejos estadsticos basados en la TRI hasta
simples pruebas ji-cuadrado (para revisiones en espaol sobre esta temtica vase: Fidalgo,
1996; Hidalgo y Gmez, 1999). De entre todos ellos, y desde el principio, han destacado los
mtodos Mantel-Haenszel (MH), hasta el punto de convertirse en los procedimientos de
deteccin de referencia. Este artculo hace un revisin de los diferentes estadsticos MH que
podemos emplear para evaluar el DIF en tems politmicos, de sus equivalencias y ventajas.



2.- Estadsticos MH

Los mtodos Mantel-Haenszel se han empleado tanto para la evaluacin del DIF en
tems puntuados dicotmicamente como en tems politmicos. En el caso de los tems
dicotmicos fueron Holland y Thayer (1988) quienes propusieron emplear el estadstico ji-
cuadrado MH (
2
MH
) desarrollado por Mantel and Haenszel (1959). Tambin en el caso de los
tems politmicos se han propuesto varios estadsticos basados en los trabajos originales de
Mantel y Haenszel: el test MH generalizado (Mantel & Haenszel, 1959; Zwick, Donoghue, &
Grima, 1993) y el test de Mantel (Mantel, 1963; Zwick et al., 1993). El test MH generalizado
considera las categoras de respuesta del tem politmico como una variable nominal. De tal
forma que la hiptesis alternativa (H
1
)

de DIF especifica que la distribucin de las respuestas
al tem difiere entre los grupos. De otra parte, el test de Mantel considera la naturaleza
ordenada de las categoras de respuesta del tem politmico, especificando en este caso la H
1

de DIF que es la media de las puntuaciones correspondientes a las categorias de respuesta lo
que difiere entre los grupos. La principal limitacin de ambos estadsticos para evaluar el DIF
es que slo es posible comparar dos grupos simultneamente. Por tanto, en caso de que se
desee evaluar el DIF entre varios grupos sera necesario realizar tantos anlisis por tem como
pares de comparaciones posibles haya; lo que necesariamente afectar bien a la tasa de error
de tipo I (si no se controla aplicando, por ejemplo, la correccin de Bonferroni), bien a la
potencia de prueba (si se controla la tasa de error de tipo I aplicando la correccin de
Bonferroni); vase a este respecto Fidalgo y Scalon (2010). El lector puede encontrar una
buena aplicacin prctica tanto del test MH generalizado como del test de Mantel en Elosua y
Lpez-J auregui (2007).
Afortunadamente, tal y como han planteado Fidalgo y Madeira (2008), dentro de los
mtodos MH existen mejores alternativas para evaluar el DIF en tems politmicos que el test
de Mantel y el test MH generalizado. Como se seala all, en 1978 Landis, Heyman y Koch
Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




14

formularon un estadstico MH generalizado que subsuma tanto el test MH generalizado y el
test de Mantel, como el estadstico
2
MH
. A parte de la simplificacin inherente a una nica
formulacin, su principal ventaja para detectar el DIF es que permite, mediante un nico test
de significacin, evaluar el DIF simultneamente en varios grupos, y tanto en tems
dicotmicos como politmicos (Fidalgo y Scalon, 2010). A continuacin se describe el
estadstico MH generalizado y su correspondencia con los estadsticos habitualmente
empleados para detectar el DIF.


3.- Estadstico MH generalizado
En 1978 Landis et al. propusieron un estadstico MH generalizado para el anlisis de
tablas de contingencia de dimensiones Q: R x C, siendo Q el nmero de estratos o tablas de
contingencia, R el nmero de filas en cada tabla y C el nmero de columnas en cada tabla. En
la Tabla 1 se muestra la estructura y notacin correspondiente a dicha tabla general.

_____________________________________________________
Ni vel es Cat egor as de l a var i abl e de r espuest a
del f act or 1 2 j C Tot al
_____________________________________________________
1 n
h11
n
h12

n
h1j

n
h1C
N
h1

2 n
h21
n
h22

n
h2j

n
h2C
N
h2

M M

M

M

M

M

M
i n
hi1
n
hi2

n
hij

n
hiC
N
hi

M M

M

M

M

M

M
R n
hR1
n
hR2

n
hRj

n
hRC
N
hR

Tot al N
h1
N
h2
N
hj
N
hC
N
h

____________________________________________________
Nota: En un anl i si s de DI F, l os ni vel es del f act or ser an l os di f er ent es gr upos a
compar ar y l a var i abl e de r espuest a, l as cat egor as de r espuest a del t em. Cada
t abl a cor r esponder a a un ni vel de l a covar i abl e o var i abl e de empar ej ami ent o, que
suel e ser l a punt uaci n t ot al en el t est .

Tabla 1.Estructura de la Tabla de contingencia en el h-simo estrato.

El estadstico MH generalizado que sirve para someter a contrastacin la hiptesis
nula de no-asociacin entre el factor y la variable de respuesta, controlando el efecto de la
covariable, es definido en trmino de matrices por Landis et alius (1978) por:

=

=

= =
Q
h
h h h
Q
h
h h h
Q
h
h h h GMH
Q
1
1
1
'
1
' '
) ( ) ( m n A A V A A m n . (1)

donde n
h
, m
h
, V
h
and A
h
son, respectivamente, el vector de frecuencias observadas, el vector
de frecuencias esperadas, la matriz de covarianzas, y una matriz de funciones lineales
definidas de acuerdo con la hiptesis alternativa (H
1
) de inters. Dichos vectores y matrices se
definen a partir de la Tabla 1 como sigue:

n
h
=(n
h11,
n
h21,
, n
hRC
)' (CR x 1),
) (
* *
=
h h h h
N p p m (CR x 1),
Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




15

)} ( ) ){( 1 /(
' ' 2

=

h h p h h p h h h
h h
N N p p D p p D V (CR x CR),

donde p
h*
and p
h*
son, respectivamente, vectores con las proporciones marginales de las
columnas (p
hj
=N
hj
/ N
h
) y con las proporciones marginales de las filas (p
hi
=N
hi
/ N
h
),
denota el producto multiplicacin de Kronecker,
h
p
D es una matriz diagonal con los
elementos del vector
h
p en la diagonal principal, y
h
p
D es una matriz diagonal con los
elementos del vector
h
p en la diagonal principal.
Como se ha sealado anteriormente, la expresin 1 dar lugar a diferentes estadsticos,
en funcin de cmo se defina la matriz de funciones lineales A
h
(
h h h
R C A = ). As
obtendremos los siguientes estadsticos que pueden emplearse para la deteccin del DIF en
tems politmicos:
Q
GMH(1)
o estadstico MH generalizado nominal
.
Cuando tanto el factor (los grupos)
como la variable de respuesta (las categoras del tem) son variables nominales, la H
1
especifica que la distribucin de la variable de respuesta difiere a lo largo de los niveles del
factor. Aqu, R
h
=[I
R-1
, -J
R-1
] y C
h
=[I
C-1
, -J
C-1
], donde I
R-1
es una matriz de identidad de
dimensin (R-1 x R-1), y J
R-1
es un vector de unos. Por tanto, la dimensin de R
h
ser (R-1 x
R). De igual modo, I
C-1
es una matriz de identidad de dimensin (C-1 x C-1), y J
C-1
es un
vector de unos. Bajo H
0,
Q
GMH(1)
sigue aproximadamente una distribucin ji-cuadrado con
grados de libertad (gl) igual a gl =(R-1)(C-1).
Q
GMH(2)
o estadstico MH generalizado ordinal. Cuando la variable de respuesta (las
categoras del tem) es una variable medida como mnimo en una escala ordinal, la H
1
establece que la media de las respuestas difiere a lo largo de los niveles del factor. Aqu, R
h
se
define de igual manera que en el caso anterior y C
h
=(c
h1,
,c
hC
) es un vector de dimensin
(1 x C), donde c
hj
es una puntuacin que refleja apropiadamente la naturaleza ordinal de la
variable de respuesta en el estrato h-simo. En la literatura sobre DIF se suelen asignar
enteros sucesivos a las diferentes categoras del tem, aunque los valores de C
h
admiten otras
muchas posibilidades (Fidalgo y Madeira, 2008; Fidalgo et al. 2008, J ulio). Bajo H
0
, Q
GMH(2)

sigue aproximadamente una distribucin ji-cuadrado con gl =(R-1).
El lector interesado puede encontrar informacin ms detallada sobre estos estadsticos
en Fidalgo (2005) y Fidalgo y Madeira (2008).


4. Correspondencias entre los estadsticos MH
Los estadsticos presentados anteriormente subsumen tanto el estadstico
2
MH
, como
el resto de los estadsticos MH generalizados formulados por Mantel y Haenszel. As
podemos establecer las siguientes equivalencias entre los estadsticos habitualmente
empleados en la literatura sobre DIF y los estadsticos Q
GMH(1)
y Q
GMH(2).

1. Test Mantel-Haenszel generalizado. Cuando tenemos en el factor slo 2 niveles,
esto es, cuando en un anlisis del DIF comparamos slo dos grupos, Q
GMH(1)
es
idntico al test MH generalizado propuesto por Mantel y Haenszel (1959).
2. Mantel test. En el caso especial de 2 niveles en el factor (2 grupos), Q
GMH(2)
es
idntico al test de Mantel propuesto por Mantel (1963).
Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




16

3. Ji-cuadrado Mantel-Haenszel. Cuando tenemos tems puntuados dicotmicamente
y dos grupos, Q
GMH(1)
=Q
GMH(2)
=

2
MH
. Hacemos notar que para que se cumpla
esta correspondencia
2
MH
debe calcularse sin la correccin de continuidad que
habitualmente incluye.

5.- Uso de los estadsticos MH en la deteccin del DIF
La eleccin entre uno u otro de los estadsticos vistos en un anlisis del DIF debe estar
guiada por cuatro consideraciones: (a) el nmero de grupos sobre los que deseamos realizar el
anlisis del DIF, (b) el tipo de tem, dicotmico o politmico, (c) si podemos ordenar o no las
categoras de respuesta del tem, y (d) el tipo de DIF que estemos interesados en detectar en
funcin de la hiptesis alternativa que testa cada estadstico. As por ejemplo, si quisisemos
analizar el DIF en ms de 2 grupos, deberamos emplear necesariamente el estadstico MH
generalizado propuesto por Landis et al. (1978). En caso de que las categoras de respuesta del
tem no se puedan ordenar, es decir, estn en una escala de medida nominal, slo podremos
aplicar el estadstico Q
GMH(1)
. Sin embargo, cuando tenemos tems politmicos ordinales,
podremos elegir entre aplicar el estadstico Q
GMH(1)
o Q
GMH(2)
en funcin de patrn de DIF
que deseemos detectar. Como se describe en Fidalgo and Madeira (2008), Q
GMH(2)
incrementa
la potencia de prueba respecto de Q
GMH(1)
para detectar su particular patrn de asociacin: que
la media de las respuestas difieren a travs de los grupos comparados. Por eso, el estadstico
Q
GMH(2)
es ms efectivo para detectar lo que se denomina DIF constante, que es cuando el DIF
tiene la misma direccin y, ms o menos, la misma magnitud a lo largo de todas las categoras
de respuesta del tem. Por otro lado, Q
GMH(1)
, al permitir detectar patrones de asociacin ms
complejos tiene mucha ms potencia que Q
GMH(2)
para detectar el DIF balanceado, que se
produce cuando la magnitud del DIF est balanceada a lo largo de las categoras del tem de
forma que pueden cancelarse unas con otras dentro del mismo tem.
Para concluir, en un intento de presentar de forma clara y resumida la informacin
expuesta, la Figura 1 muestra en forma de un rbol de decisiones qu estadsticos MH
debemos emplear en funcin de las caractersticas de los tems y de la naturaleza y objetivos
de nuestro estudio del DIF.

Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




14

Nmero de grupos
Tipo de tem
2 grupos Ms de 2 grupos
Tipo de tem
Dicotmicos Politmicos
Patrn de DIF
Nominal Ordinal
Escala de Medida
Balanceado o
inespecfico
Continuo
Dicotmicos Politmicos
Escala de Medida
Nominal Ordinal
Patrn de DIF
Balanceado o
inespecfico
Continuo
Q
GMH(1)

Q
GMH(2
2
MH

Q
GMH(1)

Test MH
generalizado
Q
GMH(1)

Test MH
generalizado
Q
GMH(2)

Test de
Mantel
Q
GMH(1)

Q
GMH(2 )

Q
GMH(1)

Q
GMH(1)

Q
GMH(2)

Figura 1. Esquema con los tipos de estadsticos MH que se pueden emplear para detectar el DIF en funcin de las caractersticas del tem y de los objetivos del anlisis del DIF.
Cuando en los crculos aparece ms de un estadstico el resultado de aplicar uno u otro es equivalente.
Revista Electrnica de Metodologa Aplicada
2010, Vol. 15 n 1, pp. 12-18




18

6.- Referencias

Elosua, P. y Lpez-J uregui, A. (2007). Aplicacin de cuatro procedimientos de deteccin del
funcionamiento diferencial sobre tems politmicos. Psicothema, 19, 329-336.

Fidalgo, A.M. (1996). Funcionamiento diferencial de los tems. En J . Muiz (Ed.),
Psicometra (pgs. 371-455). Madrid : Universitas.

Fidalgo, A. M. (2005). Mantel-Haenszel Methods. In B. S. Everitt & D. C. Howell (Eds.),
Encyclopedia of Statistics in Behavioral Science (Vol.3, pp. 1120-1126). Chichester:
J ohn Wiley & Sons.

Fidalgo, A.M., y Madeira, J .M. (2008). Generalized Mantel-Haenszel methods for DIF
detection. Educational and Psychological Measurement, 68, 940-958.

Fidalgo, A.M., y Scalon, J .D. (2010). Using Generalized Mantel-Haenszel Statistics to Assess
DIF among Multiple Groups. Journal of Psychoeducational Assessment, 28, 60-69.

Fidalgo, A.M., Bartram, D., Quintanilla, L., Fernndez, R., y Pons, F. (2008, J uly). Effect of
the choice of scores assigned to the response variable on the Mantel test. In A. M.
Fidalgo & P. Elosua (Chairs), Mantel-Haenszel methods for DIF detection.
Symposium conducted at the III European Congress of Methodology, Oviedo, Spain.

Hidalgo, M.D., y Gmez, J . (1999). Tcnicas de deteccin de funcionamiento diferencial en
tems politmicos. Metodologa de las Ciencias del Comportamiento, 1, 39-60.

Holland, W. P., y Thayer, D. T. (1988). Differential item performance and the
Mantel-Haenszel procedure. En H. Wainer & H. I. Braun (Eds.), Test validity (pp.
129-145). Hillsdale, NJ : LEA.

Landis, J . R., Heyman, E. R., y Koch, G. G. (1978). Average partial association in three-way
contingency tables: A review and discussion of alternative tests. International
Statistical Review, 46, 237-254.

Mantel, N. (1963). Chi-square tests with one degree of freedom; extension of the Mantel-
Haenszel procedure. Journal of the American Statistical Association, 58, 690-700.

Mantel, N., y Haenszel, W. (1959). Statistical aspects of the analysis of data from
retrospective studies of disease. Journal of the National Cancer Institute, 22, 719-748.

Zwick, R., Donoghue, J . R., y Grima, A. (1993). Assessment of differential item functioning
for performance tasks. Journal of Educational Measurement, 30, 233-251.