Escolar Documentos
Profissional Documentos
Cultura Documentos
1496 PDF
1496 PDF
caractersticas e tendncias1
WAGNER BANDEIRA ANDRIOLA*
RESUMO
O artigo pretende descrever as novas tendncias da Psicometria Moderna, sintetizadas na
constatao do uso massivo dos modelos unidimensionais da Teoria da Resposta ao Item
(TRI). Para tanto, faz-se um breve relato histrico da TRI, apresentam-se os quatro modelos
unidimensionais da TRI, discutem-se os dois principais supostos da TRI unidimensionalidade
e independncia local dos itens e a tcnica estatstica mais adequada sua verificao a
anlise fatorial. Descrevem-se as fases de estimao dos parmetros mtricos dos itens e da
aptido dos indivduos, as respectivas provas para verificar o ajuste do modelo aos dados e,
finalmente, algumas ideias bsicas acerca da funo de informao dos itens.
Palavras-chave: psicometria, TRI, avaliao da educao.
RESUMEN
El artculo describe las nuevas tendncias de la Psicometra Moderna, sintetizadas en la
constatacin del uso intensivo de los modelos unidimensionales de la Teora de la Respuesta al
tem (TRI). Para ello, es hecho um breve relato histrico de la TRI, son presentados los cuatro
modelos unidimensionales de la TRI, son descriptos los dos principales supuestos de la TRI:
la unidimensionalidad y la independencia local de los tems, as como la tcnica estadstica
ms adecuada a su verificacin (el anlisis factorial). Son descriptas las fases de estimacin
1
Trabalho apresentado na I Reunio da Associao Brasileira de Avaliao Educacional
(Abave), realizada em Belo Horizonte (maio de 2006).
* Professor Adjunto IV da Universidade Federal do Cear (UFC); Professor do Programa de
Mestrado e Doutorado em Educao; Professor do Mestrado Profissional em Polticas Pblicas
e Gesto da Educao Superior (POLEDUC/UFC); Coordenador de Avaliao Institucional
(SDI/UFC) (w_andriola@yahoo.com/w_andriola@ufc.br).
ABSTRACT
This paper intends to describe the new trends of Modern Psychometry, summarized in the
massive use of the unidimensional models of the Item Response Theory (IRT). We presented a
brief historic review of the IRT, the four unidimensional models of IRT, the two main theorical
assumptions of the IRT unidimensionality and local independence of the items and the
statistical technique more adequate to its verification the factorial analysis. We emphasized
the steps for estimation of the metric parameters of items and the individual aptitude, the
respective tests for the verification of the adjusted model and, finally, we presented some basics
ideas on the item information function.
Keywords: psychometry, IRT, course evaluation.
3. Como ilustrao do amplo interesse pela TRI, mencione-se que a partir de 1980 mais de
300 artigos foram publicados por dois dos mais prestigiados peridicos internacionais: Journal
of Educational Measurement e Applied Psychological Measurement.
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2 c
0.1
b
0 0
-3 -2 -1 0 1 2 3
Theta
definida como o produto das probabilidades de acertar a cada um dos itens que
compem um teste unidimensional, isto : P(U1, U2, ..., Un | ) = P(U1|) x P(U2|)
x ... x P(Un|), na qual U a probabilidade de acerto a um determinado item, dado
certa magnitude de .
Cabe destacar um paradoxo interno a este suposto terico, caso houvesse o des-
cumprimento da independncia local dos itens. Ocorreria que a varivel unidimen-
sional no teria toda a sua varincia explicada pelos itens utilizados para medi-la.
Desse modo, far-se-ia necessrio empregar outros itens que medissem aspectos no
contemplados pelos itens j utilizados. Como resultado, conforme assevera Harri-
son (1986), a varincia a ser explicada j no dependeria somente dos itens inicial-
mente utilizados, seno tambm de um conjunto secundrio de itens. Nesse caso, a
unidimensionalidade da varivel latente estar ameaada.
Dessa contradio, possvel inferir que, sendo respeitado o suposto da unidi-
mensionalidade, pode-se corroborar, matematicamente, a independncia local dos
itens. Assim, comprovamos a equivalncia entre os conceitos de unidimensionalida-
de e independncia local dos itens, conforme a opinio de Goldstein (1980). O pro-
blema agora reside numa indagao de cunho tcnico: qual o procedimento estatstico
mais adequado verificao da unidimensionalidade de um grupo de itens?
De acordo com Gavria Soto (1988), Hattie (1984; 1985), Hattie e outros (1996),
Keeling (2000) e Nandakumar (1994), embora exista enorme diversidade de mto-
dos para a determinao da estrutura fatorial de um conjunto de dados dentre os
quais podem ser destacados: o procedimento de Bejar; o contraste de Gustaffson; o mto-
do de McDonald; o contraste Q1 e Q2 de Van den Wollenberg; a anlise de precedncia
modificada; o mtodo Hattie para a comparao de autovalores reais e simulados; o
mtodo da equao de regresso a maioria dos autores ainda recomenda o emprego
da anlise fatorial, cuja formulao matemtica :
X i = aiF1 + aiF2 + ... + akFk + uiDi, onde:
X i a pontuao obtida na varivel observada i;
aiF1 a carga fatorial da varivel observada X i no fator 1;
aiF2 a carga fatorial da varivel observada X i no fator 2;
akFk a carga fatorial da varivel observada X i no fator k;
uiDi a unicidade (varincia especfica ou no compartilhada) da varivel
observada X i no fator especfico Di.
De acordo com Martnez Arias (1997), esse modelo linear tenta explicar, assim, a
atuao de construtos latentes ou fatores (F) sobre variveis observadas (X), cada uma
delas com seus pesos especficos, intensidades, saturaes ou cargas fatoriais (a). Como
bvio, a totalidade da varincia nunca explicada pelos fatores comuns (F), pois exis-
te uma parte (varincia no explicada) que se deve aos fatores especficos (D), que tam-
bm exercem influncia com certa intensidade (u) sobre as variveis observadas (X).
Os modelos de TRI unidimensionais tm como objetivo extrair to-somente
um fator para sintetizar o modelo geral X i = aiF1 + uiDi. O problema que raras
vezes encontra-se unidimensionalidade perfeita, ou seja, to somente um fator que
explique 100% da varincia total. Desse modo, a unidimensionalidade converte-se
numa questo de graduao, isto , quanto mais varincia explique o primeiro fator,
maior grau de unidimensionalidade existir, conforme assevera Andriola (2002).
De acordo com Wherry e Gaylord (1944) existem duas causas responsveis pela
apario dos mencionados fatores de dificuldades:
MTODO DE KAISER-GUTTMAN
O mtodo est baseado nas ideias de L. Guttman discutidas no artigo Some ne-
cessary conditions for common factor analisys, publicado na revista Psychometrika, em
1954. Posteriormente, H. F. Kaiser publicou, em 1961, o texto A note on Guttmans
lower bound for the number of commnon factors, na revista British Journal of Sta-
tistical Psychology, que resultou num progresso das ideias iniciais de L. Guttman.
O critrio consiste em reter aqueles fatores com autovalores (eigenvalues) maiores
que um, e est fundamentado na ideia de que se um fator comum deve conter ao
menos a varincia equivalente a uma varivel. No entanto, h grandes discrepncias
acerca da adoo desse critrio, uma vez que alguns autores consideram que o seu
uso subestima o nmero de fatores, enquanto outros creem que o superestima (Ga-
vria Soto, 1988; Keeling, 2000).
MTODO SCREE-PLOT
Foi proposto por R. B. Catell, cujas ideias foram publicadas em 1966 sob o
ttulo The scree tests for the numbers of factors na revista Multivariate Behavioral
Research. Trata-se de um procedimento muito simples, fundamentalmente grfico
(Keeling, 2000). Como menciona Gavria Soto (1988), uma vez obtidos os autova-
lores para os fatores, estes so situados em um sistema cartesiano, no qual a abscissa
representa os sucessivos fatores e a ordenada a magnitude de cada autovalor. O pro-
cedimento consiste em traar uma reta paralela aos fatores que possuam autovalores
mais baixos, at que a mesma corte o eixo das ordenadas. So retidos tantos fatores
quanto o nmero de eigenvalues (autovalores) que esteja na parte superior da reta.
No obstante, esse procedimento apresenta problemas quando as diferenas entre as
magnitudes dos autovalores correspondentes aos fatores comuns e os fatores nicos
so muito pequenas.
Chegado a esse ponto, no qual os fatores foram extrados, caber, ento, ao
investigador estimar os parmetros dos itens e a aptido dos indivduos na varivel
latente medida ().
w ln L N
a ( P (T ) ci )(uia Pia (T ))
Construto : D i ia
wT a i 1 (1 ci )( Pia (T ))
O segundo modo de verificar o ajuste do modelo aos dados empricos pode ser
pela anlise dos resduos. Tambm, nesse caso, divide-se em vrias categorias ou
nveis, calculando-se, em seguida, o seu respectivo resduo. Sua formulao mate-
P(T j ) Pe (T j )
mtica dada por RE , na qual:
P(T j )Q(T j )
nj
Nj o nmero de sujeitos na categoria j;
P(j) o valor da CCI para o nvel j;
Pe(j) proporo de sujeitos que acertou o item na categoria j;
Q(j) o valor resultante de 1 - P(j).
Figura 2Figura
Curva caracterstica
2 Curva dodo
caracterstica item
item(CCI)
(CCI) eesua
suarespectiva
respectiva funo
funo de informao
de informao (FI) (FI)
0.3 0.1
c b
0 Funo
-1de Informao
0
0.2 -3 -2 0 1 2 3
Theta
0.1
b
0 0
-3 -2 -1 0 1 2 3
Theta
Como se v, a FI do item proporciona maior quantidade de informao no intervalo
compreendido entre -1,5 0,5 sendo, desse modo, mais til medida dessa varivel
latente para os sujeitos que tenham essa mesma magnitude em . Portanto, o item em
foco permite que se cometa menos erros na estimao de no intervalo -1,5 0,5.
Cabe ressaltar que, nos modelos logsticos de um e dois parmetros, a informa-
o dada pelos itens mxima quando = b. No modelo de trs parmetros a in-
1 1 1
formao mxima quando T b ln (1 8c) , sendo o termo
Da 2 2
Da uma constante de valor 1,7.
CONSIDERAES FINAIS
A prtica da avaliao psicolgica e educacional sofreu profundas modificaes
com o surgimento dos modelos de TRI. Como vimos, desde ento, foram propostos
distintos modelos unidimensionais para dados dicotmicos; desenvolveram-se va-
riados procedimentos para a estimao dos parmetros dos itens e da magnitude dos
sujeitos na varivel latente estimao de mxima verossimilhana condicional
e estimao de mxima verossimilhana conjunta; formularam-se distintas provas
para verificar o grau de ajuste do modelo aos dados empricos qui-quadrado e
anlise dos resduos.
Nesse novo contexto, o foco das sofisticadas anlises estatsticas desviou-se do
teste (que representa o macro) para o item (que representa o micro). A lgica para
tal cmbio a mesma utilizada pela Fsica Moderna: o micro exerce influncia sobre
o macro. Justifica-se, desse modo, a acentuada nfase no uso dos modelos de TRI,
visto que se prestam anlise acurada do micro.
Nos Estados Unidos, os modelos unidimensionais de TRI so utilizados pelo
reconhecido National Assessment Educational Progress (NAEP), pelas universidades
em seus processos seletivos, pelo Exrcito e, ainda, pelo Programme for International
Student Assessment (PISA). No Brasil, usados pelo Instituto Nacional de Estudos e
Pesquisas Educacionais Ansio Teixeira (Inep), rgo subordinado ao Ministrio da
Educao e do Desporto (MEC), sobretudo no Sistema Nacional de Avaliao da
REFERNCIAS BIBLIOGRFICAS
ANDRIOLA, W. B. Descrio dos principais Comunicaciones. p. 49-50.
mtodos para detectar o funcionamento _________ . Utilizao da teoria da resposta
diferencial dos itens DIF. Psicologia: reflexo e ao item TRI para a organizao de um banco
crtica, v. 14, n. 3, p. 643-652, 2001. de itens destinado avaliao do raciocnio
_________ . Deteccin del funcionamiento verbal. Psicologia: reflexo e crtica, v. 11, n. 3, p.
diferencial del tem DIF en tests de rendimiento: 295-308, 1998.
aportaciones tericas y metodolgicas. ANDRIOLA, W. B.; BARRETO, J. A. E. Anlise
2002. 629 p. Tese (Doutorado) - Universidade mtrica de um instrumento de medida da
Complutense de Madrid. aprendizagem atravs da teoria de resposta aos
_________ . Principales mtodos para la itens TRI. Ensaio: avaliao de polticas pblicas
determinacin del funcionamiento diferencial em educao, v. 14, n. 5, p. 59-74, 1997.
de los tems DIF. In: CONGRESO NACIONAL, ANSLEY, T. N.; FORSYTH, R. A. An Examination
12, IBEROAMERICANO DE PEDAGOGA, 1, of the characteristics of unidimensional IRT
2000, Madrid. Anais... 2000. t. II, Resmenes de parameters estimates derived from two