TEORIA DA RESPOSTA AO ITEM:

Conceitos, Modelos e Aplicaes

Dalton F. Andrade (dandrade@inf.ufsc.br)
Departamento de Informtica e Estatstica UFSC

IME/USP vero 2005

1

Contedo

Introduo
Modelos matemticos
Estimao: um nico grupo (populao)
Equalizao
Estimao: dois ou mais grupos
A escala de proficincia: construo e
interpretao
Modelos para dados longitudinais
Modelos Multidimensionais
Modelos Multivariados
2

Contedo

DIF e DRIFT
Recursos computacionais: em todos os tpicos
Principais aplicaes no Brasil em Educao
Aplicaes em outras reas
Qualidade de vida
Servios
Gesto pela qualidade
etc

Referncias iniciais

Lord, F.M., Norvick, M.R. (1968). Statistical Theories of

Mental Test Score. Reading: Addison-Wesley
Lord, F.M. (1980). Applications of Item Response Theory
to Practical Testing Problems. Hillsdale: Lawrence
Erlbaum Associates
Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).
Fundamentals of Item Response Theory. Newburry Park:
Sage Publications.
Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da
Resposta ao Item: Conceitos e Aplicaes. So Paulo:
Associao Brasileira de Estatstica.
4

Introduo

A Teoria da Resposta ao Item (TRI) um conjunto de modelos

matemticos que relacionam um ou mais traos latentes (no observados)
de um indivduo com a probabilidade deste dar uma certa resposta a um
item

Trao latente: habilidade/proficincia em Matemtica, grau de satisfao

do consumidor, grau de maturidade de uma empresa em Gesto pela
Qualidade, etc.

Item: questo (prova), pergunta (questionrio sobre qualidade de vida), ...

A partir de um conjunto de itens (questionrio,

prova, ...) deseja-se :

estimar os parmetros dos itens (calibrao)

estimar a habilidade, proficincia, grau de

satisfao, grau de maturidade, ...

Exemplos: prova de matemtica para alunos de

uma determinada srie, questionrio sobre os
recursos fsicos e pedaggicos da escola (Censo
Escolar do INEP/MEC), questionrio sobre
qualidade de vida de pacientes que foram
submetidos a determinado tratamento mdico, ..)

Modelos
Dependem do tipo de item
Item de mltipla escolha (corrigido como certo/errado)
Logstico (unidimensional) com 1, 2 ou 3 parmetros
( p/ itens corrigidos como certo/errado)

P( U ij 1 | j ) ci ( 1 ci )

1
1 e

ai ( j bi )

Modelo Logstico de 3 parmetros

Curva caracterstica do item - CCI

probabilidade de resposta
correta

1,0
a

0,8
0,6
0,4

0,2
0,0
-4,0

iiiiiiii

b
-3,0

-2,0

-1,0

0,0

1,0

2,0

3,0

4,0

habilidade (trao latente)

a: discriminao ou inclinao do item

b: dificuldade (medido na mesma mtrica do trao latente)
c: acerto casual (probabilidade)

Modelo Logstico de 3 parmetros

(a=2,5; b=1,2; c=0,2)

probabilidade

1
0,8
0,6
0,4
0,2
0

-6 -5

-4 -3

-2 -1

habilidade(trao latente)
P1

P0

 Modelo Nominal
(considera todas as categorias de resposta)

P (U ijs 1 | j )

exp[a is ( j bis )]
mi

exp[a
h 1

ih

( j bih )]

com a is e b is como no modelo Logstico

10

Probabilidade

Modelo Nominal
1,0
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
-4,0

a=(-2,-1,1,0) e b=(-2,-1,2,1)

-3,0

-2,0

-1,0

0,0

1,0

2,0

3,0

4,0

Trao latente
P1

P2

P3

P4

11

 Modelo de Resposta Gradual

(categorias ordinais)

1
P(U ijs 1 | j )
1 exp[ai ( j bis )]
1

1 exp[ai ( j bi ( s1) )]
bi1 bi 2 ... bim

12

Modelo Resposta Gradual

Probabilidade

a=1,2 e b=(-2,-1,1)
1,2
1,0
0,8
0,6
0,4
0,2
0,0
-4,0 -3,0 -2,0 -1,0 0,0

1,0

2,0

3,0

4,0

Trao latente
P0

P1

P2

P3

13

 Modelo de Crdito Parcial: Modelo de Resposta

Gradual sem o parmetro de discriminao a
Modelo de Escala Gradual: Modelo de Resposta
Gradual com bis = bi ds

14

Aplicaes em Avaliao Educacional

SAEB: Sistema Nacional de Avaliao da Educao Bsica

- anos: 95/97/99/2001/2003(outubro)
- sries: 4a. e 8a. do EF e 3a. do EM
- disciplinas: Matemtica, Portugus, Cincias, Fsica,
Qumica, Biologia, Histria, Geografia
- itens de mltipla escolha (95: itens 0,1,2)
- um grande nmero de itens para cobrir a grade curricular
- provas diferentes para uma mesma srie/disciplina (BIB)
- aluno faz somente uma das provas de uma das disciplinas
- http://www.inep.gov.br/basica/saeb/

15

Aplicaes em Avaliao Educacional

PISA Programme for International Student Assessment

(Programa Internacional de Avaliao de Alunos)
- anos: 2000(Leitura), 2003(Matemtica), 2006(Cincias)
- alunos com 15 anos (independente da srie)
- itens de mltipla escolha e itens abertos (corrigidos 0,1,2)
- modelo de 1 parmetro (somente parmetro b: dificuldade)
- esquema BIB
- 32 pases em 2000
- http://www.inep.gov.br/internacional/pisa/

16

Equalizao
Kolen, M.J., Brennan, R.L. (1995). Test Equating
Methods and Practices. New York: Springer.

Resultados de diferentes provas em uma mesma escala

Exemplo: SAEB (entre sries e anos)
Como obter resultados comparveis?
Itens comuns entre sries e anos

17

Equalizao
Calibrao em separado: equalizao pelo princpio da
invarincia
Exemplo: dados do SARESP

Estimativas dos parmetros dos itens comuns aos grupos 3 srie 96 e 97.
Item
C3S01
C3S02
C3S03
C3S04
C3S05
C3S06
C3S07
C3S08
C3S09
C3S10
C3S11

Parmetro a
3 . 96
3 97
1,37
1,04
2,29
1,33
2,24
1,18
1,25
1,08
1,63
1,54
1,32
1,57
1,03
0,79
1,04
0,80
1,37
1,70
0,85
1,17
0,99
1,56

Parmero b
3 . 96
3 97
-1,27
-2,18
-0,30
-0,90
0,09
-0,18
-2,33
-3,12
-2,09
-2,90
-2,43
-3,14
0,35
0,54
0,96
0,88
0,94
0,82
-0,83
-1,05
-0,12
-0,88

Parmetro c
3 . 96
3 97
0,01
0,01
0,01
0,01
0,01
0,01
0,20
0,25
0,21
0,24
0,19
0,24
0,22
0,19
0,29
0,25
0,29
0,27
0,19
0,23
0,22
0,17

18

Equalizao

3a. srie 1997

2
1
0
-4

-3

-2

-1

-1 0

-2
-3
-4
3a. srie 1996

19

Calibrao simultnea: Modelo dos Grupos Mltiplos

P( U ij 1 | kj ) ci ( 1 ci )

1
1 e

ai ( kj bi )

Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In Handbook

of Modern Item Response Theory. W.J. van der Linden and R.K.
Hambleton Eds. New York: Springer-Verlag
Andrade, D.F. (2001). Desempenhos de grupos de alunos por
intermdio da teoria da resposta ao item. Estudos em Avaliao
Educacional, no. 23, 31-70.

Questes:
- Nmero e distribuio de itens comuns
- Como posicionar novos grupos em uma escala j construda
- Avaliaes Estaduais e outras: itens calibrados + itens novos

20

Escala Nacional de Proficincia INEP/MEC

Rgua (mtrica) criada a partir dos resultados do SAEB
- Mdia 250 (rendimento mdio dos alunos da 8a. Srie em 1997)
- Desvio padro 50
- http://www.inep.gov.br/download/saeb/2004/
resultados/BRASIL.pdf

Interpretao pedaggica da escala

- Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale
anchoring. Journal of Educational Statistics, 17, 191-204.
- Valle, R.C. (2001). Construo e interpretao de escalas de
conhecimento: um estudo de caso. Estudos em Avaliao
Educacional, no. 23, 71-92.

21

Escala Nacional de Proficincia INEP/MEC

rendimento mdio

Lngua Portuguesa - Brasil

300
250
200
150
1995
4a.

8a.

1997

1999

3a.

anos

2001

2003

22

Escala Nacional de Proficincia INEP/MEC

rendimento mdio

Matemtica - Brasil
300
250
200
150
1995
4a.

8a.

1997

1999

3a.

anos

2001

2003

23

Dados Longitudinais
PDE/FUNDESCOLA
-Alunos de 4a. em 1999 acompanhados at a 8a. s em 2003
-Novos alunos podem entrar no estudo
-Dados Incompletos
- Duas disciplinas (Mat. e Port.): Bivariado

24

Dados Longitudinais

International Project on Mathematical Attainment - IPMA

(Profa. Ednia Consolin Poli UEL)

1999

2000

2001

2002

2003

G11.

G12.

G21.

G13.

G22.

G14.

G23.

G24.

22

22

22

20

18

24

16

17

Alunos

568

557

512

395

309

307

282

270

Escolas

20

40

20

60

40

80

60

80

sim

sim

Professores

No.deitens
FatoresAssoc.

25

Dados Longitudinais
Questes:
Modelos: Longitudinal, Multivariado
Programas computacionais
Referncia:
Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para
Dados Longitudinais. Tese de Doutorado. IME/USP.
Andrade, D.F. and Tavares, H.R. (2004). Item response theory for
longitudinal data: population parameter estimation. (aceito para
publicao em Journal of Multivariate Analysis).
Tavares, H.R. and Andrade, D.F. (2004). Item response theory for
longitudinal data: item and population parameter estimation. (aceito
para publicao em TEST).
26

 ENEM- Exame Nacional do Ensino Mdio

Prova multidisciplinar
Itens multidimensionais
Questes:
Estudar a dimenso: anlise fatorial
Unidimensional: eliminar itens multidimensionais
Multidimensional: Propor modelos
Interpretar as dimenses/criar escalas
Desenvolver programas computacionais
http://www.inep.gov.br/basica/enem/
27

Aplicaes em outras reas

Gesto pela Qualidade

Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Arajo, A.M.S.(2002).
Uma proposta de anlise de um construto para a medio dos fatores crticos
da gesto pela qualidade atravs da teoria da resposta ao item. Gesto &
Produo, v.9, n.2, p.129-141.

Servios/Marketing
- Costa, M.B.F. (2001). Tcnica derivada da teoria da resposta ao item aplicada
ao setor de servios. Dissertao de Mestrado PPGMUE/UFPR
- Bortolotti, S.L.V. (2003). Aplicao de um modelo de desdobramento da teoria
da resposta ao item TRI. Dissertao de Mestrado. EPS/UFSC
- Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of
Australasia, v. 1, no. 1, 8-16.

28

Aplicaes em outras reas

Mdica

- Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical

Methods for Quality of Life Studies. Dordrecht: Kluwer
Academic Publishers
- DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch
Analysis: exploring differences in depression between africanamerican and white children. Journal of Social Service
Research, v. 23, no. , 93-107.

Biologia/Gentica

- Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004).

Detection of determinant genes and diagnostic via item response
theory. (aceito para publicao em Genetics and Molecular
Biology).

29