Livro TRI

Keimelion
Reviso de textos
Teoria da Resposta ao Item:

Conceitos e Aplicaco
es
Dalton Francisco de Andrade1

Heliton Ribeiro Tavares2
Raquel da Cunha Valle3
Professor Titular do Departamento de Estatstica e Matematica Aplicada

da Universidade Federal do Cear
a (UFC). e-mail: dandrade@ufc.br
Professor do Departamento de Estatstica da Universidade Federal do Para

(UFPA). e-mail: heliton@ufpa.br
Estatstico da Fundac
ao Carlos Chagas (FCC). e-mail: rvalle@fcc.gov.br
Andrade, Tavares & Valle
SINAPE 2000
http://www.keimelion.com.br
Keimelion
Reviso de textos
ii
Para
Janete, Cristina e Fernando.

Regina e Henrique
SINAPE 2000
Keimelion
Reviso de textos
Apresentac
ao
A avaliac
ao educacional passou a ser, embora tardiamente, um dos pontos privilegiados das polticas educacionais. Ja sao in
umeros os projetos de
avaliac
ao conduzidos por org
aos respons
aveis pelos destinos da Educac
ao em
nosso pas. Reclamava-se, porem, por uma metodologia mais sofisticada e precisa, que permitisse nao so a avaliac
ao pontual mas, sobretudo, a construc
ao de
escalas de habilidades que pudessem levar a um acompanhamento do progresso
do conhecimento adquirido pelos alunos ao longo do tempo.
A Teoria Cl
assica, baseada em resultados obtidos em provas atraves de
escores brutos ou padronizados, largamente utilizada ate ent
ao, padece de
v
arias limitac
oes, como, por exemplo, ser dependente do conjunto de itens que
compoem o instrumento de medida, limitando assim, a sua aplicabilidade.
A Teoria da Resposta ao Item (TRI), que vem sendo progressivamente introduzida em nosso meio, e um instrumento poderoso nos processos quantitativos de avaliac
ao educacional, pelo fato de permitir, inclusive, a construc
ao
de escalas de habilidade calibradas. No entanto, a aplicabilidade da TRI tem
encontrado algumas dificuldades, tanto do ponto de vista teorico, devido a
problemas de difcil soluc
ao no campo da estimac
ao, como do ponto de vista
computacional.
O livro de Dalton F. Andrade, Heliton R. Tavares e Raquel C. Valle, vem ao
encontro de uma real necessidade dos pesquisadores clarificando alguns pontos
essenciais da teoria, trazendo um exemplo pr
atico de aplicac
ao em larga escala,
como e o caso do Sistema de Avaliac
ao do Rendimento Escolar do Estado de
S.Paulo (SARESP).
Escrito de forma extremamente did
atica, nao requerendo do leitor conhecimentos muito aprofundados do ponto de vista matem
atico-estatstico, com
excec
ao de algumas partes dos captulos de estimac
ao, aborda os principais
Keimelion
Reviso de textos
iv
Apresenta
c
ao
modelos matematicos utilizados, os problemas de estimac

ao e equalizac
ao, e
aponta os recursos computacionais adequados.
Certamente, o texto se tornar
a um referencial obrigatorio para todos aqueles interessados em contribuir para o progresso dos aspectos quantitativos e
metodologicos da Educac
ao Brasileira.
Rubens Murillo Marques

Prof. Titular Estatstica-Matem
atica da UNICAMP
Diretor Presidente da Fundac
ao Carlos Chagas
SINAPE 2000
Keimelion
Reviso de textos
Pref
acio
A ideia de escrever um texto introdutorio sobre a Teoria da Resposta ao

Item TRI, ate agora tao pouco conhecida pelos especialistas em avaliac
ao
e pelos estatsticos no Brasil, surgiu da necessidade de se divulgar o potencial dessa teoria tanto no seu aspecto estatstico-matem
atico quanto na sua
aplicac
ao e interpretac
ao na avaliac
ao da aprendizagem e em outras areas.
Nosso envolvimento com a TRI comecou em 1996, com a analise dos dados
gerados pela pesquisa AVEJU, da Secretaria de Estado da Educac
ao de Sao
Paulo, e continuou no Sistema de Avaliac
ao do Rendimento Escolar do Estado
de Sao Paulo SARESP e no Sistema de Avaliac
ao da Educac
ao Basica
SAEB do INEP/MEC. Esses dois sistemas de avaliac
ao possuem a sua base
metodologica fundamentada na TRI e sao, atualmente, os grandes exemplos
no Brasil da sua potencialidade.
Nossa maior preocupac
ao foi a de escrever um texto que pudesse ser utilizado nao so pelos estatsticos, mas tambem pelos especialistas em avaliac
ao.
O sucesso da TRI passa necessariamente pelo trabalho conjunto de especialistas dessas duas areas. Devido a enorme abrangencia da TRI. Nesse sentido,
procuramos detalhar alguns pontos que achamos importantes.
Muito do material e ideias apresentadas nesse livro foram desenvolvidos
durante o planejamento e a analise do SARESP e nos treinamentos que ministramos para tecnicos da Secretaria de Estado da Educac
ao de Sao Paulo, da
Fundac
ao para o Desenvolvimento da Educac
ao - FDE e da Fundac
ao Carlos
Chagas, aos quais queremos agradecer a paciencia e dedicac
ao. Gostariamos
tambem de expressar os nossos maiores agradecimentos a Yara L
ucia Esposito,
Ruben Klein e Heraldo Vianna pelos longos papos e discussoes sobre os aspectos teoricos e aplicados da TRI e a Profa. Rose Neubauer, Secretaria de
Keimelion
Reviso de textos
vi
Pref
acio
Estado da Educac
ao de Sao Paulo, pela utilizac
ao de parte dos resultados do
SARESP.
Devido a enorme abrangencia da TRI, procuramos detalhar os pontos que
achamos mais interessantes para um texto introdutorio e fornecer o maior
n
umero possvel de referencias bibliograficas que cobrissem os outros pontos.
Este trabalho foi parcialmente financiado pelo CNPq, pela CAPES, pelo
Projeto Tem
atico da FAPESP no. 96/01741-7 e pelo PRONEX no. 76.97.1081.00.
Fevereiro 2000
Dalton Francisco de Andrade
Heliton Ribeiro Tavares
Raquel da Cunha Valle
SINAPE 2000
Keimelion
Reviso de textos
Conte
udo
Apresenta
c
ao
iii
Pref
acio
Lista de Figuras
1 Introdu
c
ao
2 Modelos Matem
aticos
2.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Modelos envolvendo um u
nico grupo . . . . . . . . . . .
2.2.1 Modelos para itens dicotomicos ou dicotomizados
2.2.2 Modelos para itens nao dicotomicos . . . . . . .
2.3 Modelos envolvendo duas ou mais populac
oes . . . . .
3 Estima
c
ao: uma u
nica popula
c
ao
3.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . .
3.2 Estimac
ao dos parametros dos itens . . . . . . .
3.2.1 Aplicac
ao do algoritmo Newton-Raphson
3.2.2 Aplicac
ao do metodo Scoringde Fisher .
3.2.3 Erro-padrao . . . . . . . . . . . . . . . . .
3.2.4 Escore nulo ou perfeito . . . . . . . . . . .
3.2.5 Estimativas iniciais . . . . . . . . . . . . .
3.3 Estimac
ao das habilidades . . . . . . . . . . . .
3.3.1 Aplicac
3.3.2 Aplicac
ao do metodo Scoringde Fisher .
3.3.3 Erro-padrao . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
7
8
8
18
25
.
.
.
.
.
.
.
.
.
.
.
27
27
31
37
41
42
43
43
44
46
47
47
Keimelion
Reviso de textos
viii
3.4
3.5
3.6
3.7
Conte
udo
3.3.4 Escore nulo ou perfeito . . . . . . . . . . . . . . .
3.3.5 Estimativas iniciais . . . . . . . . . . . . . . . . .
Estimac
ao conjunta: parametros dos itens e habilidades
Maxima verossimilhanca marginal . . . . . . . . . . . .
3.5.1 Abordagem de Bock & Lieberman . . . . . . . .
3.5.2 Metodos iterativos . . . . . . . . . . . . . . . . .
3.5.3 Metodos de quadratura . . . . . . . . . . . . . .
3.5.4 Abordagem de Bock & Aitkin . . . . . . . . . . .
3.5.5 Aplicac
ao do algoritmo EM . . . . . . . . . . . .
Estimac
ao bayesiana . . . . . . . . . . . . . . . . . . .
3.6.1 Estimac
ao dos parametros dos itens . . . . . . .
3.6.2 Estimac
ao das habilidades . . . . . . . . . . . . .
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Equaliza
c
ao
4.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Diferentes tipos de equalizac
ao . . . . . . . . . . . . . . . . . . .
4.2.1 Um u
nico grupo fazendo uma u
nica prova . . . . . . . . .
4.2.2 Um u
nico grupo fazendo duas provas totalmente distintas
4.2.3 Um u
nico grupo fazendo duas provas parcialmente distintas
4.2.4 Dois grupos fazendo uma u
nica prova . . . . . . . . . . .
4.2.5 Dois grupos fazendo duas provas totalmente distintas . . .
4.2.6 Dois grupos fazendo duas provas parcialmente distintas .
4.3 Diferentes problemas de estimac
ao . . . . . . . . . . . . . . . .
4.3.1 Quando todos os itens sao novos . . . . . . . . . . . . . .
4.3.2 Quando todos os itens ja estao calibrados . . . . . . . . .
4.3.3 Quando alguns itens sao novos e outros ja estao calibrados
4.4 Equalizac
ao a posteriori . . . . . . . . . . . . . . . . . . . . . . .
5 Estima
c
ao: duas ou mais popula
c
oes
5.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Notac
oes e definic
oes . . . . . . . . . . . . . . . . . . .
5.3 Estimac
ao dos parametros dos itens . . . . . . . . . . .
5.4 Estimac
ao dos parametros populacionais . . . . . . . .
5.4.1 Estimac
ao conjunta: aplicac
ao do algoritmo EM
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
48
48
48
51
52
57
59
61
64
67
68
73
76
79
79
81
81
81
82
83
83
84
85
85
85
86
87
93
93
94
96
99
102
SINAPE 2000
Keimelion
Reviso de textos
ix
5.5 Estimac
ao bayesiana dos parametros dos itens
5.6 Estimaca
o das habilidades . . . . . . . . . . .
5.6.1 Estimac
ao por MV . . . . . . . . . . . .
5.6.2 Estimac
ao por MAP . . . . . . . . . . .
5.6.3 Estimac
ao por EAP . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6 A Escala de Habilidade e uma Aplica

c
ao Pr
atica
6.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 Construc
ao e interpretac
ao de escalas de habilidade . . . .
6.3 Uma aplicac
ao pratica . . . . . . . . . . . . . . . . . . . .
6.3.1 As caractersticas da aplicac
ao . . . . . . . . . . . .
6.3.2 O tipo de resultados alcancados . . . . . . . . . . . .
6.3.3 Um exemplo: a Lngua Portuguesa na 3.a e 4.a series
6.3.4 Interpretac
ao dos resultados . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
104
105
105
106
106
.
.
.
.
.
.
.
109
109
109
112
113
114
115
118
7 Recursos computacionais
7.1 Introduc
ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 Recursos computacionais . . . . . . . . . . . . . . . . . . . . . .
7.2.1 Os programas BILOG for Windows v. 3.09 e BILOG-MG
v. 1.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2.2 Metodos para a calibrac
ao dos itens . . . . . . . . . . . .
7.2.3 Metodos implementados para a estimac
ao das habilidades
7.3 A equalizac
ao nos programas BILOG e BILOG-MG . . . . . . .
7.3.1 O BILOG e o BILOG-MG frente a populac
oes e/ou provas
distintas . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3.2 O BILOG e o BILOG-MG frente ao conjunto de itens a
ser calibrado . . . . . . . . . . . . . . . . . . . . . . . . .
7.3.3 O uso do BILOG-MG quando desejamos fixar parte dos
itens e calibrar o restante, e ha mais de uma populac
ao
envolvida . . . . . . . . . . . . . . . . . . . . . . . . . . .
123
123
123
8 Considera
c
oes gerais
135
A
A.1
A.2
124
126
126
128
128
130
131
139
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
SINAPE 2000
Keimelion
Reviso de textos
Conte
udo
A.3
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
Refer
encias Bibliogr
aficas
147
SINAPE 2000
Keimelion
Reviso de textos
Lista de Figuras
2.1
Exemplo de uma Curva Caracterstica do Item CCI . . . . .
11
2.2
Curvas caractersticas e de informac

ao de varios itens . . . . .
14
2.3
Representac
ao grafica dos modelos de escala gradual e de resposta gradual . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
Representac
ao grafica de 6 situac
oes quanto ao n
umero de grupos e de tipos de provas . . . . . . . . . . . . . . . . . . . . . .
80
Grafico de dispersao das estimativas do parametro de dificuldade - b dos itens comuns da prova de Lngua Portuguesa da
8.a serie entre o RN e o SAEB . . . . . . . . . . . . . . . . . .
89
Grafico de dispersao das estimativas do parametro de discriminac

ao - a dos itens comuns da prova de Lngua Portuguesa
a
da 8. serie entre o RN e o SAEB . . . . . . . . . . . . . . . . .
90
4.1
4.2
4.3
6.1
Exemplo de 2 itens ancora . . . . . . . . . . . . . . . . . . . . . 111
6.2
Esquema da composic
ao da prova de ligac
ao . . . . . . . . . . . 116
6.3
Representac
ao grafica da distribuic
ao a posteriori das habilidades em Lngua Portuguesa dos alunos da 3.a serie . . . . . . . . 117
6.4
Representac
ao grafica da distribuic
ao a posteriori das habilidades em Lngua Portuguesa dos alunos da 4.a serie . . . . . . . . 118
7.1
Esquematizac
ao dos itens comuns entre as provas . . . . . . . . 132
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Captulo 1
Introduc
ao
Resultados obtidos em provas, expressos apenas por seus escores brutos ou

padronizados, tem sido tradicionalmente utilizados nos processos de avaliac
ao
e selec
ao de indivduos. No entanto, os resultados encontrados dependem do
particular conjunto de itens (questoes) que compoem o instrumento de medida, ou seja, as analises e interpretac
oes estao sempre associadas à prova
como um todo, o que e a caracterstica principal da Teoria Classica das Medidas. Assim, torna-se inviavel a comparac
ao entre indivduos que nao foram
submetidos às mesmas provas, ou pelo menos, ao que se denomina de formas paralelas de testes. Maiores detalhes sobre essa metodologia, incluindo
sua fundamentac
ao matematica, podem ser encontrados em Gulliksen (1950),
Lord & Novick (1968) e Vianna (1987), entre outros.
Atualmente, em v
arias areas do conhecimento, particularmente em avaliac
ao
educacional, vem crescendo o interesse na aplicac
ao de tecnicas derivadas da
Teoria de Resposta ao Item TRI, que propoe modelos para os tracos latentes, ou seja, caractersticas do indivduo que nao podem ser observadas
diretamente. Esse tipo de variavel deve ser inferida a partir da observac
ao de
vari
aveis secund
arias que estejam relacionadas a ela. O que esta metodologia
sugere s
ao formas de representar a relac
ao entre a probabilidade de um indivduo dar uma certa resposta a um item e seus tracos latentes, proficiencias
ou habilidades na area de conhecimento avaliada.
Uma das grandes vantagens da TRI sobre a Teoria Classica e que ela permite
a comparac
ao entre populac
oes, desde que submetidas a provas que tenham
alguns itens comuns, ou ainda, a comparac
ao entre indivduos da mesma populac
ao que tenham sido submetidos a provas totalmente diferentes. Isto porque uma das principais caractersticas da TRI e que ela tem como elementos
centrais os itens, e nao a prova como um todo.
Assim, varias questoes de interesse pratico na area da Educac
ao podem
Keimelion
Reviso de textos
Introdu
c
ao
possvel por exemplo, avaliar o desenvolvimento de uma

ser respondidas. E
determinada serie de um ano para outro ou comparar o desempenho entre
escolas p
ublicas e privadas.
Os primeiros modelos de resposta ao item surgiram na decada de 50, e eram
modelos em que se considerava que uma u
nica habilidade, de um u
nico grupo,
estava sendo medida por um teste onde os itens eram corrigidos de maneira dicotomica. Estes modelos foram primeiramente desenvolvidos na forma de uma
func
ao ogiva normal e, depois, foram descritos para uma forma matem
atica
mais conveniente, e que vem sendo usada ate ent
ao: a logstica.
Lord (1952) foi o primeiro a desenvolver o modelo unidimensional de 2
parametros, baseado na distribuic
ao normal acumulada (ogiva normal). Ap
os
algumas aplicac
oes desse modelo, o proprio Lord sentiu a necessidade da incorporac
ao de um parametro que tratasse do problema do acerto casual. Assim,
surgiu o modelo de 3 parametros. Anos mais tarde, Birnbaum (1968) substituiu, em ambos os modelos, a func
ao ogiva normal pela func
ao logstica, matematicamente mais conveniente, pois e uma func
ao explcita dos par
ametros
do item e de habilidade e nao envolve integrac
ao. Independentemente do trabalho de Lord, Rasch (1960) prop
os o modelo unidimensional de 1 parametro,
expresso tambem como modelo de ogiva normal e, tambem mais tarde descrito
por um modelo logstico por Wright (1968).
Samegima (1969) prop
os o modelo de resposta gradual com o objetivo de
obter mais informac
ao das respostas dos indivduos do que simplesmente se
eles deram respostas corretas ou incorretas aos itens. Bock (1972), Andrich
(1978), Masters (1982) e Muraki (1992) tambem propuseram modelos para
mais de duas categorias de resposta, assumindo diferentes estruturas entre
essas categorias.
Recentemente, Bock & Zimowski (1997) introduziram os modelos logsticos
de 1, 2 e 3 parametros para duas ou mais populac
oes de respondentes. A
introduc
ao desses modelos trouxe novas possibilidades para as comparac
oes
de rendimentos de duas ou mais populac
oes submetidas a diferentes testes
com itens comuns, conforme discutido em Hedges & Vevea (1997) e Andrade
(1999), por exemplo.
Um ponto crtico na TRI e a estimac
ao dos parametros envolvidos nos
modelos, em particular quando necessita-se estimar tanto os parametros dos
itens quanto as habilidades. Inicialmente, a estimac
ao era feita atraves do
SINAPE 2000
Keimelion
Reviso de textos
5
metodo da maxima verossimilhanca conjunta que envolve um n
umero muito
grande de parametros a serem estimados simultaneamente e, consequentemente, grandes problemas computacionais. Em 1970, Bock & Lieberman introduziram o metodo da maxima verossimilhanca marginal para a estimac
ao
dos parametros em duas etapas. Na primeira etapa estimam-se os par
ametros
dos itens, assumindo-se uma certa distribuic
ao para as habilidades. Na segunda etapa, assumindo os parametros dos itens conhecidos, estimam-se as
habilidades. Apesar do avanco que esse metodo trouxe para o problema, ele
requeria que todos os par
ametros dos itens fossem estimados simultaneamente.
Em 1981, Bock & Aitkin propuseram uma modificac
ao no metodo acima, utilizando o algoritmo EM de Dempster, Laird & Rubin (1977), de modo a permitir
que os itens pudessem ter seus parametros estimados em separado, facilitando
em muito o aspecto computacional do processo de estimac
ao. Mais recentemente, metodos bayesianos foram propostos para, entre outras coisas, resolver
o problema de estimac
ao dos par
ametros dos itens respondidos corretamente
ou incorretamente por todos os respondentes, e tambem o problema da estimacao das habilidades dos respondentes que acertaram ou erraram todos os
itens da prova.
Nas u
ltimas decadas, a TRI vem tornando-se a tecnica predominante no
campo de testes em v
arios pases. Aqui no Brasil, a TRI foi usada pela primeira
vez em 1995 na an
alise dos dados do Sistema Nacional de Ensino Basico SAEB. A introduc
ao da TRI permitiu que os desempenhos de alunos de 4a.
e 8a. series do Ensino Fundamental e de 3a. serie do Ensino Fundamental
pudessem ser comparados e colocados em uma escala u
nica de conhecimento.
A partir dos resultados obtidos no SAEB, outras avaliac
oes em larga escala,
como por exemplo o Sistema de Avaliac
ao de Rendimento Escolar do Estado
de Sao Paulo - SARESP, tambem foram planejadas e implemementadas de
modo a serem analisadas atraves da TRI. Uma lista das principais aplicac
oes
da TRI no Brasil em avaliac
oes educacionais pode ser encontrada em Andrade
& Klein (1999).
O objetivo desse livro e introduzir os principais conceitos, modelos e resultados que podem ser obtidos a partir da aplicac
ao da TRI. No Captulo 2
sao apresentados os modelos, com suas interpretac
oes e suposic
oes basicas.
No Captulo 3 discute-se o processo de estimac
ao dos parametros dos itens
e das habilidades dos respondentes pertencentes a uma u
nica populac
ao. O
SINAPE 2000
Keimelion
Reviso de textos
Introdu
c
ao
conceito de equalizacao e suas diferentes formas de obtenc

ao sao discutidos
no Captulo 4. Os metodos de estimac
ao sao retomados no Captulo 5 com o
modelo para duas ou mais populac
oes. No Captulo 6 discute-se a criac
ao de
escalas de habilidade e suas interpretac
oes e uma aplicac
ao a dados reais. No
Captulo 7 apresentam-se os principais recursos computacionais e no Captulo
8 apresentam-se comentarios sobre a utilizac
ao da TRI, inclusive em outras
areas, e possveis topicos para pesquisa. Por u
ltimo, apresentam-se demonstrac

oes de alguns dos resultados do Captulo 3 no Apendice e uma bibliografia
com outras referencias alem daquelas citadas no texto, com o objetivo de fornecer ao leitor o maior n
umero de informac
oes sobre a TRI.
Os autores recomendam fortemente a leitura de Lord (1980) e Hambleton, Swaminathan & Rogers (1991) para maiores detalhes dos fundamentos e
aplicac
oes dessa teoria.
SINAPE 2000
Keimelion
Reviso de textos
Captulo 2
Modelos Matem
aticos
2.1 Introduc
ao
A TRI e um conjunto de modelos matematicos que procuram representar a
probabilidade de um indivduo dar uma certa resposta a um item como func
ao
dos parametros do item e da habilidade (ou habilidades) do respondente. Essa
relacao e sempre expressa de tal forma que quanto maior a habilidade, maior
a probabilidade de acerto no item. Os varios modelos propostos na literatura
dependem fundamentalmente de tres fatores:
(i) da natureza do item dicotomicos ou nao dicotomicos;

(ii) do n
umero de populac
oes envolvidas apenas uma ou mais de uma;
(iii) e da quantidade de tracos latentes que esta sendo medida apenas um
ou mais de um.
Nesse livro estaremos somente considerando modelos que avaliam apenas um
traco latente ou habilidade, os chamados modelos unidimensionais. Modelos
que consideram que mais de uma habilidade est
a sendo medida, os chamados
modelos multidimensionais, podem ser encontrados em Linden & Hambleton
(1997), por exemplo.
Na Sec
ao 2.2 apresentaremos os modelos unidimensionais mais utilizados
para um u
nico grupo. Os modelos para dois ou mais grupos serao discutidos
na Sec
ao 2.3.
Keimelion
Reviso de textos
Modelos Matem
aticos

nico grupo
Em primeiro lugar, e importante definir os conceitos de grupo e populac
ao,
que serao largamente utilizados neste e nos demais captulos. Quando usarmos
o termo grupo, estaremos nos referindo a uma amostra de indivduos de uma
populac
ao. Neste trabalho, o conceito de grupo esta diretamente ligado ao
processo de amostragem e estaremos sempre considerando o processo de
amostragem aleat
oria simples. Portanto, quando falarmos em um u
nico grupo
de respondentes, nos referimos a uma amostra de indivduos retirada de uma
mesma populac
ao. Consequentemente, dois grupos ou mais de respondentes
sao dois conjuntos distintos de indivduos, que foram amostrados de duas ou
mais populac
oes.
Na
area de Avaliac
ao Educacional e comum que uma populac
ao seja definida
por determinadas caractersticas que podem variar, dependendo dos objetivos
do estudo, e portanto, podem ou nao ser relevantes para a diferenciac
ao de
populac
oes. Por exemplo, pode-se considerar que a 5.a serie do Ensino Fundamental de Sao Paulo e a populac
ao alvo. Da, toma-se uma u
nica amostra dos
alunos dessa populac
ao, composta de alunos do perodo diurno e do noturno.
Nesse caso, temos ent
ao um u
nico grupo de respondentes. Ja em outro estudo, poderamos considerar a 5.a serie diurna e a 5.a serie noturna do Ensino
Fundamental de Sao Paulo como duas populac
oes de interesse. Ent
ao, seriam
tomadas duas amostras: uma dos alunos do perodo diurno e outra dos alunos
do noturno. Nessa situac
ao, teramos dois grupos de alunos. Portanto, e pelo
pr
oprio processo de amostragem do estudo que identifica-se quantas (e quais)
populac
oes estao envolvidas.
Exemplos do que usualmente sao consideradas como populac
oes distintas
a
a
sao: series distintas (3. serie e 4. serie); perodos distintos (diurno e noturno);
uma mesma serie, mas em anos distintos (3.a serie de 1996 e 3.a serie de 1997),
etc.
A seguir, apresentaremos os modelos mais utilizados quando um teste e
aplicado a um u
nico grupo de respondentes.
2.2.1 Modelos para itens dicot

omicos ou dicotomizados
Os modelos apresentados nesta subsec
ao, podem ser utilizados tanto para
a analise de itens de m
ultipla escolha dicotomizados (corrigidos como certo
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
ou errado) quanto para a analise de itens abertos (de resposta livre), quando
avaliados de forma dicotomizada.
Na pratica, os modelos logsticos para itens dicotomicos sao os modelos de
resposta ao item mais utilizados, sendo que h
a basicamente tres tipos, que se
diferenciam pelo n
umero de parametros que utilizam para descrever o item.
Eles sao conhecidos como os modelos logsticos de 1, 2 e 3 par
ametros, que
consideram, respectivamente:
(i) somente a dificuldade do item;
(ii) a dificuldade e a discriminac
ao;
(iii) a dificuldade, a discriminac
ao e a probabilidade de resposta correta dada
por indivduos de baixa habilidade.
Neste livro, daremos maior enfase à explicac
ao do modelo logstico de 3
par
ametros, uma vez que e o mais completo e portanto os outros dois podem
ser facilmente obtidos a partir dele.
O modelo logstico de 3 par
ametros (ML3)
Definic
ao
Dos modelos propostos pela TRI, o modelo logstico unidimensional de 3
par
ametros (ML3) e atualmente o mais utilizado e e dado por:
P (Uij = 1|j ) = ci + (1 ci )
1
1+
eDai (j bi )
(2.1)
com i = 1, 2, , I, e j = 1, 2, , n, onde:
Uij e uma vari
avel dicotomica que assume os valores 1, quando o indivduo j
responde corretamente o item i, ou 0 quando o indivduo j n
ao responde
corretamente ao item i.
j representa a habilidade (traco latente) do j-esimo indivduo.
SINAPE 2000
Keimelion
Reviso de textos
10
Modelos Matem
aticos
P (Uij = 1|j ) e a probabilidade de um indivduo j com habilidade j

responder corretamente o item i e e chamada de Func
ao de Resposta do
Item FRI.
bi
e o parametro de dificuldade (ou de posic

ao) do item i, medido na mesma
escala da habilidade.
ai
e o parametro de discriminac
ao (ou de inclinac
ao) do item i, com valor
proporcional à inclinac
ao da Curva Caracterstica do Item CCI no
ponto bi .
ci
e o parametro do item que representa a probabilidade de indivduos

com baixa habilidade responderem corretamente o item i (muitas vezes
referido como a probabilidade de acerto casual).
e um fator de escala, constante e igual a 1. Utiliza-se o valor 1,7 quando

deseja-se que a func
ao logstica forneca resultados semelhantes ao da
func
ao ogiva normal.
Interpretac
ao e representaca
o gr
afica
Note que P (Uij = 1|j ) pode ser vista como a proporc
ao de respostas corretas ao item i dentre todos os indivduos da populac
ao com habilidade j . A
relac
ao existente entre P (Uij = 1|j ) e os parametros do modelo e mostrada
na Figura 2.1, que e chamada de Curva Caracterstica do Item CCI.
O modelo proposto baseia-se no fato de que indivduos com maior habilidade
possuem maior probabilidade de acertar o item e que esta relac
ao nao e linear.
De fato, pode-se perceber a partir do grafico acima que a CCI tem forma
de Scom inclinac
ao e deslocamento na escala de habilidade definidos pelos
parametros do item.
A escala da habilidade e uma escala arbitr
aria onde o importante sao as
relac
oes de ordem existentes entre seus pontos e nao necessariamente sua
magnitude. O par
ametro b e medido na mesma unidade da habilidade e o
parametro c nao depende da escala, pois trata-se de uma probabilidade, e
como tal, assume sempre valores entre 0 e 1.
Na realidade, o par
ametro b representa a habilidade necessaria para uma
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
11
Figura 2.1 Exemplo de uma Curva Caracterstica do Item CCI
prob. de resposta correta
Curva caracterstica do item - CCI

1.0
0.8
0.6
0.4
0.2
0.0
-4.0
iiiiiiii
-3.0
-2.0
-1.0
0.0
1.0
2.0
3.0
4.0
habilidade
probabilidade de acerto igual a (1 + c)/2. Assim, quanto maior o valor de b,

mais difcil e o item, e vice-versa.
O parametro c representa a probabilidade de um aluno com baixa habilidade
responder corretamente o item e e muitas vezes referido como a probabilidade
de acerto ao acaso. Entao, quando nao e permitido chutar, c e igual a 0 e b
representa o ponto na escala da habilidade onde a probabilidade de acertar o
item e 0,5.
O parametro a e proporcional à derivada da tangente da curva no ponto
de inflex
ao. Assim, itens com a negativo nao sao esperados sob esse modelo,
uma vez que indicariam que a probabilidade de responder corretamente o item
diminui com o aumento da habilidade. Baixos valores de a indicam que o item
tem pouco poder de discriminac
ao (alunos com habilidades bastante diferentes tem aproximadamente a mesma probabilidade de responder corretamente
ao item) e valores muito altos indicam itens com curvas caractersticas muito
ngremes, que discriminam os alunos basicamente em dois grupos: os que
possuem habilidades abaixo do valor do parametro b e os que possuem habilidades acima do valor do par
ametro b.
SINAPE 2000
Keimelion
Reviso de textos
12
Modelos Matem
aticos
Func
ao de Informac
ao do Item
Uma medida bastante utilizada em conjunto com a CCI e a func
ao de informac
ao do item. Ela permite analisar quanto um item (ou teste) contem de
informac
ao para a medida de habilidade. A func
ao de informac
ao de um item
e dada por:
h
Ii () =
i2
d
d Pi ()
Pi ()Qi ()
onde,
Ii ()
e a informac
aofornecida pelo item i no nvel de habilidade ;
Pi () = P (Xij = 1|)
Qi () = 1 Pi ().
No caso do modelo logstico de 3 parametros, a equac

ao pode ser escrita
como:
Ii () = D2 a2i
Qi () h Pi () ci i2
.
Pi ()
1 ci
Esta equac
ao mostra a importancia que tem os tres parametros sobre o
montante de informac
ao do item. Isto e, a informac
ao e maior:
(i) quando bi se aproxima de ;
(ii) quanto maior for o ai ;
(iii) e quanto mais ci se aproximar de 0.
Func
ao de Informac
ao do Teste
A informac
ao fornecida pelo teste e simplesmente a soma das informac
oes
fornecidas por cada item que compoe o mesmo:
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
I() =
I
X
13
Ii ().
i=1
Outra maneira de representar esta func

ao de informac
ao do teste e atraves
do erro-padrao de medida, chamado na TRI de erro-padrao de estimac
ao, que
e dado por
1
.
EP () = p
I()
importante notar que essas medidas de informac
E
ao dependem do valor de
. Assim, a amplitude do intervalo de confianca para dependera tambem do
seu valor.
Alguns exemplos de curvas caractersticas e de curvas de informac
ao (tracado
pontilhado) de itens com diferentes combinac
oes de valores dos parametros a
e b sao apresentados na Figura 2.2.
Comparando-se os itens 2 e 4 (e tambem os itens 1 e 3) pode-se perceber
que os itens com maior valor do parametro a tem a curva caracterstica com
inclinac
ao mais acentuada. A consequencia disto e que a diferenca entre as
probabilidades de resposta correta de dois indivduos com habilidades 2,00
e 1,00, por exemplo, e maior no item 4 (0,37=0,88-0,51) do que no item 2
(0,25=0,80-0,55). Em outras palavras, o item 4 e mais apropriado para discriminar estes dois indivduos do que o item 2. Por este motivo e que o parametro
a e denominado de par
ametro de discriminac
ao (ou de inclinac
ao) do item.
Por outro lado, comparando-se os itens 1 e 2 (e tambem os itens 3 e 4), podese perceber que os itens com maior valor do par
ametro b exigem uma habilidade
maior para uma mesma probabilidade de resposta correta. Por exemplo, a
habilidade requerida para uma probabilidade de resposta correta de 0,60 e
igual a -0,20 no item 1 e igual a 1,20 no item 2. Isto e, o item 2 e mais
difcil do que o item 1. Assim, o par
ametro b e denominado de par
ametro de
dificuldade (ou de posic
ao) do item.
Note que a cada item est
a associado um intervalo na escala de habilidade
no qual o item tem maior poder de discriminac
ao. Este intervalo e definido
em torno do valor do parametro b e esta mostrado nos graficos pelas curvas
de informac
ao (tracados pontilhados). Deste modo, a discriminac
ao entre bons
SINAPE 2000
Keimelion
Reviso de textos
14
Modelos Matem
aticos
Figura 2.2 Curvas caractersticas e de informac

ao de v
arios itens
Item 1: a1 = 0,80 b1 = - 0,20 c 1 = 0,20
Item 2: a2 = 0,80 b2 = 1,20 c 2 = 0,20
1,00
1,00
0,80
0,80
0,60
0,60
0,40
0,40
0,20
0,20
0,00
-3,00
-2,00
-1,00
0,00
1,00
2,00
3,00
0,00
-3,00
-2,00
-1,00
habilidade
Item 3: a3 = 1,30 b3 = - 0,20 c 3 = 0,20
1,00
2,00
3,00
Item 4: a4 = 1,30 b4 = 1,20 c 4 = 0,20
1,00
1,00
0,80
0,80
0,60
0,60
0,40
0,40
0,20
0,00
-3,00
0,00
habilidade
0,20
-2,00
-1,00
0,00
1,00
2,00
3,00
0,00
-3,00
habilidade
-2,00
-1,00
0,00
1,00
2,00
3,00
habilidade
alunos e feita a partir de itens considerados difceis e nao de itens considerados

f
aceis.
Apesar de receberem a mesma denominac
ao da Teoria Classica de Medida,
o parametro de dificuldade do item n
ao e medido por uma proporc
ao (valor
entre 0 e 1) e o parametro de discriminac
ao n
ao e uma correlac
ao (valor entre
-1 e 1). Na TRI, estes dois parametros podem, teoricamente, assumir qualquer
valor real entre e +. Porem, como ja foi dito, nao se espera um valor
negativo para o parametro a.
Na pratica, as habilidades e os parametros dos itens sao estimados a partir
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
15
das respostas de um grupo de indivduos submetidos a esses itens, mas uma

vez estabelecida a escala de medida da habilidade, os valores dos par
ametros
dos itens nao mudam, isto e, seus valores sao invariantes a diferentes grupos de
respondentes, desde que os indivduos destes grupos tenham suas habilidades
medidas na mesma escala.
A Escala de Habilidade
Diferentemente da medida escore em um teste com I quest
oes do tipo
certo/errado, que assume valores inteiros entre 0 e I, na TRI a habilidade pode
teoricamente assumir qualquer valor real entre e +. Assim, precisa-se
estabelecer uma origem e uma unidade de medida para a definic
ao da escala.
Esses valores s
ao escolhidos de modo a representar, respectivamente, o valor
medio e o desvio-padrao das habilidades dos indivduos da populac
ao em estudo. Para os graficos mostrados anteriormente, utilizou-se a escala com media
igual a 0 e desvio-padrao igual a 1, que sera representada por escala (0,1). Essa
escala e bastante utilizada pela TRI, e nesse caso, os valores do par
ametro b
variam (tipicamente) entre -2 e +2. Com relac
ao ao parametro a, espera-se
valores entre 0 e +2, sendo que os valores mais apropriados de a seriam aqueles
maiores do que 1.
Apesar da frequente utilizac
ao da escala (0,1), em termos praticos, nao faz
a menor diferenca estabelecer-se estes valores ou outros quaisquer. O importante sao as relac
oes de ordem existentes entre seus pontos. Por exemplo, na
escala (0,1) um indivduo com habilidade 1,20 esta 1,20 desvios-padrao acima
da habilidade media. Este mesmo indivduo teria a habilidade 248, e consequentemente estaria tambem 1,20 desvios-padrao acima da habilidade media,
se a escala utilizada para esta populac
ao fosse a escala(200;40). Isto pode ser
visto a partir da transformac
ao de escala:
a( b) = (a/40)[(40 + 200) (40 b + 200)] = a ( b ),
onde a( b) e a parte do modelo probabilstico proposto envolvida na transformac
ao. Assim, tem-se que:
1. = 40 + 200,
SINAPE 2000
Keimelion
Reviso de textos
16
Modelos Matem
aticos
2. b = 40 b + 200,
3. a = a/40,
4. P (Ui = 1|) = P (Ui = 1| ).
Por exemplo, os valores dos par

ametros a e b do item 1 mostrado anteriormente, na escala (0,1) s
ao, respectivamente, 0,80 e -0,20 e seus correspondentes
na escala(200;40) sao, respectivamente, 0,02 = 0,80 / 40 e 192 = 40 (-0,20)
+ 200. Alem disso, um indivduo com habilidade = 1, 00 medida na escala
(0,1) tem sua habilidade representada por = 40 1,00 + 200 = 240 na
escala(200;40) e
1
1 + e1,70,80(1(0,20))
1
= 0, 20 + (1 0, 20)
1,70,02(240192)
1+e
= P (U1 = 1| = 240) = 0, 87,
P (U1 = 1| = 1) = 0, 20 + (1 0, 20)
ou seja, a probabilidade de um indivduo responder corretamente a um certo

item e sempre a mesma, independentemente da escala utilizada para medir a
sua habilidade, ou ainda, a habilidade de um indivduo e invariante `
a escala
de medida. Assim, n
ao faz qualquer sentido querermos analisar itens a partir
dos valores de seus parametros a e b sem conhecer a escala na qual eles foram
determinados.
Suposic
oes do Modelo: Unidimensionalidade e Independencia Local
O modelo proposto pressupoe a unidimensionalidade do teste, isto e, a homogeneidade do conjunto de itens que supostamente devem estar medindo
um u
nico traco latente. Em outras palavras, deve haver apenas uma habilidade respons
avel pela realizac
ao de todos os itens da prova. Parece claro que
qualquer desempenho humano e sempre multideterminado ou multimotivado,
dado que mais de um traco latente entra na execuc
ao de qualquer tarefa. Contudo, para satisfazer o postulado da unidimensionalidade, e suficiente admitir
que haja uma habilidade dominante (um fator dominante) responsavel pelo
conjunto de itens. Este fator e o que se sup
oe estar sendo medido pelo teste.
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
17
Tipicamente, a dimensionalidade do teste e verificada atraves da analise

fatorial, feita a partir da matriz de correlac
oes tetracoricas. Mislevy (1986b)
discute as deficiencias da aplicac
ao deste procedimento e sugere um outro
procedimento baseado no metodo de maxima verossimilhanca.
Uma outra suposic
ao do modelo e a chamada independencia local ou independencia condicional, a qual assume que para uma dada habilidade as
respostas aos diferentes itens da prova s
ao independentes. Esta suposic
ao e
fundamental para o processo de estimac
ao dos parametros do modelo. Na realidade, como a unidimensionalidade implica independencia local (veja Hambleton & Swaminathan (1991)), tem-se somente uma e nao duas suposic
oes a
serem verificadas. Assim, itens devem ser elaborados de modo a satisfazer a
suposic
ao de unidimensionalidade.
As vantagens da utilizac
ao da TRI dependem fundamentalmente da adequac
ao (ajuste) dos modelos e seus pressupostos. Por exemplo, somente a
partir de modelos com bom ajuste e que pode-se garantir a obtenc
ao de itens
e habilidades invariantes. Uma excelente discuss
ao das consequencias da utilizac
ao de modelos inadequados aos dados e de metodos para verificac
ao do
ajuste e dos pressupostos do modelo utilizado, esta apresentada no Captulo
4 de Hambleton, Swaminathan & Rogers.
Outros modelos para itens dicot
omicos
Dois outros modelos podem ser facilmente obtidos a partir do modelo
logstico de 3 parametros. Por exemplo, quando nao existe possibilidade de
acerto ao acaso, pode-se considerar c = 0 no modelo anterior e tem-se o chamado modelo logstico unidimensional de 2 par
ametros (ML2), dado por:
P (Uij = 1|j ) =
1
1+
eDai (j bi )
(2.2)
com i = 1, 2, , I, e j = 1, 2, , n.
Se alem de nao existir resposta ao acaso ainda tivermos todos os itens com
o mesmo poder de discriminac
ao, tem-se o chamado modelo logstico unidimensional de 1 par
ametro (ML1), tambem conhecido como modelo de Rasch.
Este modelo e dado por:
SINAPE 2000
Keimelion
Reviso de textos
18
Modelos Matem
aticos
P (Uij = 1|j ) =
1
1+
eD(j bi )
(2.3)
com i = 1, 2, , I, e j = 1, 2, , n.
2.2.2 Modelos para itens n

ao dicot
omicos
Aqui s
ao includos os modelos tanto para a analise de itens abertos (de
resposta livre) quanto para a analise de itens de m
ultipla escolha que sao
avaliados de forma graduada, ou seja, itens que s
ao elaborados ou corrigidos
de modo a ter-se uma ou mais categorias intermediarias ordenadas entre as
categorias certo e errado. Nesse tipo de item n
ao se considera somente se o
indivduo respondeu à alternativa correta ou nao, mas tambem leva-se em
conta qual foi a resposta dada por ele.
Modelo de Resposta Nominal (Nominal Categories Model)
Bock (1972) desenvolveu um modelo baseado no modelo logstico de dois
parametros que pode ser aplicado a todas as categorias de resposta escolhidas
em um teste com itens de m
ultipla escolha. O proposito deste modelo de resposta nominal foi maximizar a precisao da habilidade estimada usando toda
a informac
ao contida nas respostas dos indivduos, e nao apenas se o item foi
respondido corretamente ou n
ao. Bock assumiu que a probabilidade com que
um indivduo j selecionaria uma particular opc
ao k (de mi opc
oes avali
aveis)
do item i seria representada por:
+
eai,k (j bi,k )
Pi,k (j ) = P
mi
ai,h (j bi,h )
h=1 e
(2.4)
com i = 1, 2, , I, j = 1, 2, , n, e k P
= 1, 2, , mi . Em cada j , a soma
mi
das probabilidades sobre as mi opc
oes,
e 1. As quantidades
k=1 Pi,k (j ),
+
+
(bi,k ; ai,k ) sao parametros do item i relacionados a k-esima opc
ao. O modelo
assume que n
ao h
a nenhuma ordenac
ao a priori das opc
oes de resposta.
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
19
Modelo de Resposta Gradual (Graded Response Model)

O modelo de resposta gradual de Samejima (1969) assume que as categorias
de resposta de um item podem ser ordenadas entre si. Este modelo, como o
modelo de Bock, tenta obter mais informac
ao das respostas dos indivduos do
que simplesmente se eles deram respostas corretas ou incorretas.
Suponha que os escores das categorias de um item i s
ao arranjados em
ordem do menor para o maior e denotados por k = 0, 1, , mi onde (mi + 1)
e o n
umero de categorias do i-esimo item. A probabilidade de um indivduo j
escolher uma particular categoria ou outra mais alta do item i pode ser dada
por uma extensao do modelo logstico de 2 parametros:
+
(j ) =
Pi,k
1
1+
eDai (j bi,k )
(2.5)
com i = 1, 2, , I, j = 1, 2, , n, e k = 0, 1, , mi , onde:
bi,k
e o parametro de dificuldade da k-esima categoria do item i.
Os demais parametros no modelo sao analogos aos ja definidos anteriormente.

No caso dos modelos para itens dicotomicos, o parametro de inclinac
ao
do item pode ser chamado de discriminac
ao do item. Entretanto, no caso
de modelos para itens n
ao dicotomicos, a discriminac
ao de uma categoria
especfica de resposta depende tanto do parametro de inclinac
ao, comum a
todas as categorias do item, quanto da dist
ancia das categorias de dificuldade
adjacentes.
Cabe ressaltar que, da definicao, devemos ter:
bi,1 bi,2 . . . bi,mi ,
ou seja, devemos ter necessariamente uma ordenac
ao entre o nvel de dificuldade das categorias de um dado item, de acordo com a classificac
ao de seus
escores.
A probabilidade de um indivduo j receber um escore k no item i e dada
ent
ao pela expressao:
+
+
Pi,k (j ) = Pi,k
(j ) Pi,k+1
(j ).
SINAPE 2000
Keimelion
Reviso de textos
20
Modelos Matem
aticos
+
+
Samejima tambem define Pi,0
(j ) e Pi,m
(j ) de modo que:
i +1
+
Pi,0
(j ) = 1
e
+
Pi,m
(j ) = 0.
i +1
Portanto,
+
+
+
Pi,0 (j ) = Pi,0
(j ) Pi,1
(j ) = 1 Pi,1
(j )
e
+
+
+
Pi,m (j ) = Pi,m
(j ) Pi,m
(j ) = Pi,m
(j ).
i +1
Entao, temos que:

Pi,k (j ) =
1
1+
eDai (j bi,k )
1
1+
eDai (j bi,k+1 )
(2.6)
Note que em um item com (mi + 1) categorias, mi valores de dificuldade

necessitam ser estimados, alem do parametro de inclinac
ao do item. Assim,
para cada item, o n
umero de parametros a ser estimado sera dado pelo seu
n
umero de categorias de resposta. Se, por exemplo, tivermos um hteste com I
PI
itens, cada um com (mi + 1) categorias de resposta, teremos entao
i=1 mi +
i
I par
ametros de item a serem estimados.
Modelo de Escala Gradual (Rating Scale Model)
Um caso particular do modelo de resposta gradual de Samejima e o modelo
de escala gradual. Analogamente ao modelo de resposta gradual, este modelo
tambem e adequado para itens com categorias de resposta ordenadas. No entanto, aqui e feita uma suposic
ao a mais: a de que os escores das categorias
s
ao igualmente espacados.
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
21
Este modelo, proposto por Andrich (1978), e dado por:

Pi,k (j ) =
1
1+
eDai (j bi +dk )
1
1+
eDai (j bi +dk+1 )
(2.7)
com i = 1, 2, , I, j = 1, 2, , n, e k = 0, 1, , m, onde:
bi e agora o parametro de locac
ao do item i e
dk e o parametro de categoria.
+
+
(j ) Pi,k+1
(j ) 0, ent
ao, dk dk+1 0. Ou seja, devemos ter:
Como Pi,k
d1 d2 dm .
Note que a maior distinc
ao entre o modelo de resposta gradual e o modelo
de escala gradual est
a na hipotese de nesse u
ltimo os escores das categorias
de resposta devem ser equidistantes. Assim, no modelo de escala gradual o
par
ametro bi,k e decomposto em um par
ametro bi de locac
ao do item e num
parametro de categoria dk , isto e:
bi,k = bi dk .
Cabe ressaltar que os par
ametros de categoria dk nao dependem do item,
isto e, sao comuns a todos os itens do teste. Logo, se os itens que comp
oem
a prova tiverem suas proprias categorias de resposta, que podem diferir no
n
umero, ent
ao este modelo nao e adequado.
Em um teste composto por itens com (m + 1) categorias de resposta cada
um, m par
ametros de categoria necessitam ser estimados, alem dos par
ametros
de inclinac
ao e de locac
ao de cada item. Logo, se o teste tiver I itens, teremos
[2I + m] parametros de item a serem estimados.
Na Figura 2.3 temos a representac
ao grafica do modelo de escala gradual e
do modelo de resposta gradual para alguns itens com 4 categorias de resposta.
Em todos os itens, o par
ametro ai foi mantido igual a 1,0. Dessa maneira,
podemos verificar a import
ancia dos parametros de categoria bi,k . Os itens 1
e 4, por terem os par
ametros de categoria igualmente espacados, podem ser
representantes do modelo de escala gradual. J
a o modelo de resposta gradual
poderia ser representado por qualquer um dos itens acima.
Observando o item 1, podemos notar que indivduos com habilidade ate 2,0 tem maior probabilidade de responder apenas a categoria 0. J
a indivduos
SINAPE 2000
Keimelion
Reviso de textos
22
Modelos Matem
aticos
Figura 2.3 Representac

ao gr
afica dos modelos de escala gradual e de resposta gradual
Item 1:
a1=1,0 b1,1=-2,0, b1,2=0,0, b1,3=2,0
Item 2:
P0
0,8
P1
P3
P2
0,6
0,4
0,2
0,0
-6,0
a2=1,0, b2,1=-2,0, b2,2=0,5, b2,3=2,0
1,0
1,0
-4,0
-2,0
0,0
2,0
4,0
P0
0,6
0,4
0,2
-4,0
-2,0
habilidade
1,0
Item 4:
a3=1,0, b3,1=-2,0 , b3,2=0,0, b3,3=0,5

P0
P3
P1
0,6
0,4
P2
0,2
-4,0
2,0
4,0
6,0
a4=1,0, b4,1=-2,0, b4,2=-1,0, b4,3=0,0
1,0
0,8
0,0
-6,0
0,0
habilidade
Item 3:
P3
P2
0,0
-6,0
6,0
P1
0,8
-2,0
0,0
2,0
4,0
6,0
P0
P3
0,8
0,6
0,4
P1
0,2
0,0
-6,0
habilidade
-4,0
P2
-2,0
0,0
2,0
4,0
6,0
habilidade
com habilidades entre -2,0 e 0,0, tem mais chance de alcancarem a categoria 1.
Para habilidades entre 0,0 e 2,0, a maior probabilidade e que os indivduos
respondam ate a categoria 2. Finalmente, indivduos com habilidade acima de
2,0, devem alcancar a u
ltima categoria de resposta (que devera representar o
acerto total).
Note que do item 1 para o 2, a distancia entre bi,2 e bi,3 tornou-se menor. A
consequencia disto e que aumenta a faixa de habilidade em que os indivduos
dever
ao responder somente ate a categoria 1: de -2,0 a 0,0 no item 1 para
-2,0 a 0,5 no item 2. Em outras palavras, a categoria 2 ficou mais difcil de
ser alcancada, uma vez que no item 1 indivduos com habilidades entre 0,0 e
2,0 tem maior probabilidade de conseguir responder à essa categoria do que
indivduos com habilidades entre 0,5 e 2,0 no item 2.
No item 3, praticamente nao ha chance dos indivduos responderem ate a
categoria 2: indivduos com habilidade entre -2,0 e 0,0 tem mais chance de
SINAPE 2000
Keimelion
Reviso de textos

nico grupo
23
conseguir responder somente `

a categoria 1, enquanto que os indivduos com
habilidade maior do que esse valor ja tem maior probabilidade de atingir a
u
ltima categoria do item.
Finalmente, o item 4 e um exemplo de item onde a maioria dos indivduos
ou responde somente à primeira categoria, ou consegue chegar ate a u
ltima.
Apenas indivduos com habilidades entre -2,0 e 0,0 apresentam uma chance
maior de responderem somente `
as categorias 1 e 2.
Modelo de Cr
edito Parcial (Partial Credit Model)
O modelo de credito parcial foi desenvolvido por Masters (1982) e e tambem
um modelo para analise de respostas obtidas de duas ou mais categorias ordenadas. Nesse sentido, esse modelo e utilizado com os mesmos propositos que
outros ja citados, inclusive o modelo de resposta gradual. O modelo de credito
parcial difere do gradual, entretanto, por pertencer `
a famlia de modelos de
Rasch. Na verdade, o modelo de credito parcial e uma extensao do modelo
de Rasch para itens dicot
omicos. Logo, todos os parametros no modelo sao
de locac
ao, sendo que o poder de discriminac
ao e assumido ser comum para
todos os itens.
Supondo que o item i tem (mi + 1) categorias de resposta orden
aveis (k =
0, 1, . . . , mi ), temos que o modelo de credito parcial e dado por:
hP
i
k
exp
(
b
)
j
i,u
u=0
hP
i,
(2.8)
Pi,k (j ) = P
mi
u
u=0 exp
v=0 (j bi,v )
com i = 1, 2, , I, j = 1, 2, , n, k = 0, 1, , mi e bi,0 0, onde:
Pi,k (j ) e a probabilidade de um indivduo com habilidade j escolher a categoria k, dentre as (mi + 1) categorias do item i.
bi,k e o parametro de item que regula a probabilidade de escolher a categoria k em vez da categoria adjacente (k 1) no item i. Cada parametro
bi,k corresponde ao valor de habilidade em que o indivduo tem a mesma
probabilidade de responder à categoria k e à categoria (k 1), isto e,
onde Pi,k (j ) = Pi,k1 (j ).
SINAPE 2000
Keimelion
Reviso de textos
24
Modelos Matem
aticos
Assim, para itens com (mi + 1) categorias de resposta, sera necessario estimar mi parametros de item. Note que para itens com apenas 2 categorias de
resposta, este modelo fica an
alogo ao modelo de Rasch para itens dicot
omicos.
Modelo de Cr
edito Parcial Generalizado (Generalized Partial Credit
Model)
O modelo de credito parcial generalizado MCPG foi formulado por Muraki (1992), que se baseou no modelo de creditos parciais de Masters, relaxando
a hip
otese de poder de discriminac
ao uniforme para todos os itens. O modelo
de credito parcial generalizado e dado por:
hP
i
k
exp
Da
(
b
)
i
j
i,u
u=0
hP
i,
Pi,k (j ) = P
mi
u
u=0 exp
v=0 Dai (j bi,v )
(2.9)
com i = 1, 2, , I, j = 1, 2, , n, e k = 0, 1, , mi .
Se o n
umero de categorias de respostas e (mi + 1), somente mi parametros
de categoria do item podem ser identificados. Qualquer um dos (mi + 1)
par
ametros de dificuldade das categorias pode ser arbitrariamente definido
com qualquer valor. A raz
ao e que o termo incluso no parametro e cancelado
no numerador e no denominador do modelo. Em geral, definimos bi,0 0.
Os par
ametros de categoria do item, bi,k , sao os pontos na escala de j em
as curvas de Pi,k1 (j ) e Pi,k (j ) se interceptam. Essas duas func
oes se interceptam somente uma vez, e a intersecc
ao pode ocorrer em qualquer ponto da
escala j . Ent
ao, sob a hipotese de que ai > 0,
se
j = bi,k
ent
ao
Pi,k (j ) = Pi,k1 (j ),
se
j > bi,k
ent
ao
Pi,k (j ) > Pi,k1 (j ),
se
j < bi,k
ent
ao
Pi,k (j ) < Pi,k1 (j ).
Da mesma maneira como no modelo de escala gradual, no MCPG o par

ametro
bi,k pode ser decomposto como:
SINAPE 2000
Keimelion
Reviso de textos
2.3 Modelos envolvendo duas ou mais popula

c
oes
25
bi,k = bi dk .
Mas, e importante ressaltar que, diferentemente do modelo de escala gradual, aqui os valores de dk n
ao s
ao necessariamente ordenados sequencialmente
dentro de um item. O par
ametro dk e interpretado como a dificuldade relativa
da categoria k em comparac
ao com as outras categorias do item ou o desvio
da dificuldade de cada categoria em relac
ao à locac
ao do item, bi .
Assim, em testes compostos por itens com (mi + 1) categorias de resposta,
mi parametros de categoria necessitam ser estimados, alem dos parametros de
inclinac
aho e de locac
ao ide cada item. Logo, se tivermos um teste com I itens,
PI
teremos
ametros de item a serem estimados.
i=1 mi + 2I par
2.3 Modelos envolvendo duas ou mais populac

oes
Alguns modelos j
a foram desenvolvidos para serem aplicados quando um
teste envolve mais de uma populac
ao, sendo basicamente, extens
oes dos modelos ate aqui apresentados. No entanto, um dos poucos modelos que j
a se
encontram implementados computacionalmente e que portanto, j
a estao sendo
utilizados na pratica, quando um teste e aplicado a dois ou mais grupos de respondentes, e uma generalizac
ao dos modelos logsticos unidimensionais de 1,
2 e 3 par
ametros, que foi recentemente proposta por Bock & Zimowski (1997).
O modelo e dado por:
P (Uijk = 1|jk ) = ci + (1 ci )
1
1+
eDai (jk bi )
(2.10)
com i = 1, 2, , I, j = 1, 2, , nk , e k = 1, 2, , K, onde:
Uijk e uma vari
avel dicotomica que assume os valores 1, quando o indivduo j
da populac
ao k responde corretamente ao item i, ou 0 quando o indivduo
n
ao responde corretamente ao item.
jk representa a habilidade do j-esimo indivduo da populac
ao k.
P (Uijk = 1|jk ) e a probabilidade de um indivduo j da populac
ao k, com
habilidade jk , responder corretamente ao item i.
SINAPE 2000
Keimelion
Reviso de textos
26
Modelos Matem
aticos
Os demais parametros ja foram descritos anteriormente.

Em geral, indivduos pertencentes a diferentes populac
oes nao sao submetidos todos aos mesmos itens. Mas, para que seja possvel a comparac
ao entre
populac
oes, e necessario que haja pelo menos alguns itens comuns entre elas.
Assim, I representa o n
umero total de itens distintos apresentados.
A recente implementac
ao computacional desse modelo para mais de um
grupo de respondentes foi um dos maiores avancos da TRI nos u
ltimos anos.
Atraves dele a comparac
ao de indivduos de grupos distintos, submetidos a
provas diferentes mas com itens comuns, passou a ser feita de uma maneira
bem mais eficiente do que era feito ate ent
ao, uma vez que diminui possveis
erros de modelagem que a metodologia anterior poderia vir a ter. Algumas
das questoes mais importantes envolvendo a comparac
ao de duas ou mais
populac
oes, incluindo os metodos de estimac
ao, serao discutidas no Captulo 5.
No proximo captulo apresentaremos os principais metodos de estimac
ao dos
par
ametros dos modelos para uma u
nica populac
ao.
SINAPE 2000
Keimelion
Reviso de textos
Captulo 3
Estima
c
ao: uma u
nica populac
ao
3.1 Introduc
ao
Uma das etapas mais importantes da TRI e a estimac
ao dos parametros dos
itens e das habilidades dos respondentes. Como foi visto no captulo anterior,
a probabilidade de uma resposta correta a um determinado item depende
somente da habilidade do indivduo e dos parametros que caracterizam o item.
Mas, em geral, ambos sao desconhecidos. Apenas as respostas dos indivduos
aos itens do teste sao conhecidas.
Assim, nos modelos de resposta ao item temos um problema de estimac
ao
que envolve dois tipos de parametros, os parametro dos itens e as habilidades
dos indivduos. Ent
ao, do ponto de vista te
orico, podemos dividir o problema
em tres situac
oes, quando ja conhecemos os parametros dos itens, temos apenas
que estimar as habilidades; se j
a conhecemos as habilidades dos respondentes,
estaremos interessados apenas na estimac
ao dos parametros dos itens e, por
fim, a situac
ao mais comum, em que desejamos estimar os parametros dos
itens e as habilidades dos indivduos simultaneamente. Na TRI, o processo de
estimac
ao dos parametros dos itens e conhecido como calibrac
ao.
Em qualquer uma das situac
oes citadas acima, geralmente a estimac
ao e feita
pelo Metodo da Maxima Verossimilhanca atraves da aplicac
ao de algum processo iterativo, como o algoritmo Newton-Raphson (ver Issac & Keller (1966),
por exemplo) ou Scoringde Fisher (ver Rao (1973), por exemplo). Alguns
procedimentos bayesianos tambem sao aplicados com bastante freq
uencia (ver
Mislevy (1986a), por exemplo).
Na situac
ao em que desejamos estimar tanto os parametros dos itens, quanto
as habilidades, ha duas abordagens usuais: estimac
ao conjunta, parametros dos
itens e habilidades, ou em duas etapas, primeiro a estimac
ao dos parametros
dos itens e, posteriormente, das habilidades. No caso da estimac
ao conjunta,
Keimelion
Reviso de textos
28
Estima
c
ao: uma u
nica popula
c
ao
o n
umero de par
ametros a serem estimados simultaneamente pode ser extremamente grande (3I + n, para o ML3), levando a uma enorme exigencia
computacional que envolve a invers
ao de matrizes dessa ordem. Para contornar esse problema, Birnbaum (1968) prop
os um processo vai e volta (backand-forth), que e iniciado com estimativas grosseiras das habilidades (escores padronizados, por exemplo) e envolve a estimac
itens considerando as habilidades conhecidas; ap
os a obtenc
ao das estimativas dos parametros dos itens, as estimac
oes das habilidades sao feitas considerando conhecidos os parametros dos itens. Esses passos s
ao repetidos ate
que algum criterio de parada do processo seja alcancado. A grande vantagem
desse metodo e que ele permite, a partir da Independencia Local discutida
no Captulo 2, que os itens sejam estimados individualmente, o que exige o
tratamento de matrizes 3 3 para o ML3. De forma similar, a partir da independencia entre as respostas oriundas de indivduos diferentes, as habilidades
tambem sao estimadas individualmente, e com isso a exigencia computacional diminui drasticamente. Entretanto, esse procedimento tem um problema
serio: sabe-se que, para os parametros dos itens conhecidos, os Estimadores de
M
axima Verossimilhanca (EMV) das habilidades convergem (ver Sen & Singer (1993), por exemplo) para os seus verdadeiros valores quando o n
umero de
itens cresce; com as habilidades conhecidas, os EMV dos par
ametros dos itens,
b , convergem para os seus verdadeiros valores quando o n
u
mero
de indivduos
i
cresce. Na estimac
ao conjunta, as habilidades s
ao denominadas de par
ametros
incidentais, pois o n
umero destes parametros (j ) cresce com o n
umero de
indivduos; os parametros dos itens sao denominados de par
ametros estruturais, e o n
umero desses parametros nao se altera quando a amostra cresce.
Essas denominac
oes sao devidas a Neyman & Scott (1948), que notaram, em
um contexto diferente ao da TRI, que na presenca de parametros incidentais o EMV dos par
ametros dos itens pode ser assintoticamente viesado. Esse
problema de falta de consistencia dos parametros dos itens (ou habilidades)
na presenca de um n
umero muito grande de indivduos (ou itens) foi notado
por Andersen (1973) e demonstrado para o modelo de Rasch (ML1). Porem,
quando o n
umero de itens e o n
umero de indivduos crescem, os EMV dos
par
ametros dos itens e das habilidades podem ser nao-viciados, como sugerido
por Lord (1968) e demonstrado apenas para o modelo de Rasch por Haberman (1975). Resultados numericos obtidos por Lord (1975) e Swaminathan &
SINAPE 2000
Keimelion
Reviso de textos
3.1 Introdu
c
ao
29
Gifford (1983) reforcam a conjectura de que os EMV dos parametros dos itens
e das habilidades sao nao-viciados, quando o n
umero de itens e o n
umero de
indivduos crescem.
O problema de possvel inconsistencia dos estimadores obtidos em uma etapa
levou ao desenvolvimento da estimac
ao em duas etapas por Bock & Lieberman (1970). Este metodo baseia-se na existencia de uma distribuic
ao (latente)
associada à habilidade dos indivduos da populac
ao em estudo (ver Andersen (1980) para maiores detalhes). Isso possibilita que a estimac
ao dos itens
seja feita pelo Metodo da M
axima Verossimilhanca Marginal, ou seja, considerando uma determinada distribuic
ao para a habilidade dos indivduos de
, cuja func
ao densidade de probabilidade (f dp) e g(|), onde e o conjunto de par
ametros associados à , e integrando a func
ao de verossimilhanca
com relac
ao a . Apos a estimac
ao dos parametros dos itens, as habilidades
sao estimadas individualmente por maxima verossimilhanca ou pela moda ou
media da distribuic
ao condicional de j dado uj. = (uj1 , , ujI ), o vetor
de respostas do indivduo j, j = 1, , n, com i = (ai , bi , ci ), o vetor de
parametros do item i, i = 1, , I, conhecidos. Embora este metodo tenha a
vantagem de envolver, na primeira etapa, apenas a estimac
ao dos parametros
dos itens, a estimac
ao e feita atraves de aplicac
ao de metodos numericos que
dependem das derivadas segundas da log-verossimilhanca com relac
ao a i e
k , i, k = 1, , I, que podem ser nao nulas para i 6= k. Com isso, h
a a necessidade da invers
ao de matrizes de ordem 3I 3I para o ML3, o que ainda
pode ser bastante exigente do ponto de vista computacional. Para contornar
esse problema, Bock & Aitkin (1981) fizeram uma modificac
ao no modelo de
Bock & Lieberman adicionando a suposic
ao de independencia entre os itens,
de forma que as derivadas segundas citadas acima para i 6= k sejam nulas.
Com isso, a matriz 3I 3I (no ML3) de derivadas segundas torna-se blocodiagonal, o que possibilita que os (parametros dos) itens sejam estimados individualmente. Adicionalmente, Bock & Aitkin prop
oem que a obtenc
ao das
estimativas de maxima verossimilhanca seja feita com a aplicac
ao do algoritmo
EM introduzido por Dempster, Laird & Rubin (1977).
Embora existam outras propostas de estimac
ao para os parametros dos itens
e habilidades, as citadas acima podem ser consideradas as mais importantes
e, portanto, ser
ao exploradas nesse texto. Na Sec
ao 3.2 consideraremos o caso
da estimac
ao dos parametros dos itens quando as habilidades s
ao conhecidas.
SINAPE 2000
Keimelion
Reviso de textos
30
Estima
c
ao: uma u
nica popula
c
ao
Na Sec
ao 3.3 consideraremos a situac
ao contr
aria: estimac
ao das habilidades
com os parametros dos itens conhecidos. Em complemento a essas duas sec
oes,
na Sec
ao 3.4, trataremos da estimac
ao conjunta: parametros dos itens e habilidades, em uma etapa. Na Sec
ao 3.5 tambem consideraremos a estimacao
conjunta dos par
ametros dos itens e habilidades, mas agora em duas etapas
atraves da maxima verossimilhanca marginal. Na Sec
ao 3.6 complementaremos a etapa de estimac
ao considerando a abordagem bayesiana, tanto dos
parametros dos itens quanto das habilidades. Recomenda-se a leitura de Baker (1992) para maiores detalhes das ideias e resultados que serao apresentados
nesse captulo.
Em todos os metodos de estimac
ao descritos a seguir, algumas notac
oes e
suposic
oes serao necessarias para o desenvolvimento do modelo. Em particular,
sejam j a habilidade e Uji a variavel aleatoria que representa a resposta
(bin
aria) do indivduo j ao item i, com
1, resposta correta,
Uji =
0, resposta incorreta.
Sejam U j. = (Uj1 , Uj2 , , UjI ) o vetor aleatorio de respostas do indivduo j
e U .. = (U 1. , , U n. ) o conjunto integral de respostas. De forma similar, representaremos as observac
oes por uji , uj. e u.. . Ainda, = (1 , , n ) representar
a o vetor de habilidades dos n indivduos e = ( 1 , , I ) o conjunto
de parametros dos itens.
As duas principais suposic
oes que usaremos em todo o restante deste texto,
sao as seguintes:
(S1) as respostas oriundas de indivduos diferentes sao independentes,
(S2) os itens s
ao respondidos de forma independente por cada indivduo (Independencia Local), fixada sua habilidade.
A suposic
ao (S2) necessita de uma discussao um pouco mais detalhada: ela
garante que, para cada valor de , se tomarmos um conjunto de indivduos
com habilidade , as covari
ancias entre as respostas para cada par de itens
ser
ao nulas. Entretanto, se for considerado um conjunto de indivduos com
habilidades variadas, estas covariancias nao necessariamente ser
ao nulas. Na
verdade, elas serao positivas (ver Lord & Novick (1968, p
ag. 361)).
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
31
Quando necessarias, outras suposic

oes serao adotadas. Em algumas situac
oes
usaremos notac
oes simplificadas. Por exemplo, as probabilidades P (Uji
= uji |.) poderao ser representadas por P (uji |.); o mesmo valendo para os vetores de observac
oes. Poderemos, ainda, usar algumas expressoes simplificadas,
tais como estimac
ao dos itens ao inves de estimac
itens. As demonstrac
oes dos principais resultados apresentados nesse captulo
poderao ser encontradas no Apendice A.
3.2 Estimac
ao dos par
ametros dos itens
Nesta sec
ao trataremos da estimac
ao dos parametros dos itens pelo metodo
da maxima verossimilhanca, quando as habilidades sao conhecidas. Embora
qualquer modelo descrito no Captulo 2 possa ser adotado para fins de aplicac
ao,
o ML3 tem sido amplamente empregado e, por isso, o usaremos para efeito
de exemplificac
ao. Os modelos ML1 e ML2 sao casos particulares do ML3; a
escolha desse u
ltimo leva a resultados que servem para os dois primeiros.
Pela independencia entre as respostas de diferentes indivduos (S1) e a independencia local (S2), podemos escrever a verossimilhanca, L() = P (U .. =
u.. |, ), como
L() =
n
Y
P (U j. = uj. |j , )
j=1
n Y
I
Y
P (Uji = uji |j , i ),
j=1 i=1
onde na u
ltima igualdade usamos que a distribuic
ao de Uji so depende de
atraves de i . Usando a notac
ao Pji = P (Uji = 1|j , i ) e Qji = 1 Pji , temos
que
P (Uji = uji |j , i ) = P (Uji = 1|j , i )uji P (Uji = 0|j , i )1uji
u
1uji
= Pjiji Qji
(3.1)
Portanto,
SINAPE 2000
Keimelion
Reviso de textos
32
Estima
c
ao: uma u
nica popula
c
ao
L() =
n Y
I
Y
1uji
Pjiji Qji
(3.2)
j=1 i=1
Segue que a log-verossimilhanca pode ser escrita como
log L() =
n X
I
X
{uji log Pji + (1 uji ) log Qji }.
(3.3)
j=1 i=1
Os Estimadores de M
axima verossimilhanca (EMV) de i , i = 1, , I, sao
os valores que maximizam a verossimilhanca, ou equivalente, sao as soluc
oes
da equac
ao
log L()
= 0,
i
i = 1, , I.
Notemos que
log L()
i
=
=
=
=
n
X
(log Pji )
(log Qji )
uji
+ (1 uji )
i
i
j=1
n
X
Pji
Pji
1
1
(1 uji )
uji
Pji i
Qji i
j=1
n
X
Pji
1
1
uji
(1 uji )
Pji
Qji
i
j=1
n
X
uji Pji
Pji
.
Pji Qji
i
(3.4)
j=1
Por conveniencia, consideremos a seguinte ponderac

ao:
Pji Qji
,
Wji =
Pji Qji
(3.5)
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
33
onde
Pji = {1 + eDai (j bi ) }1
Qji = 1 Pji .
(3.6)
Com isso, podemos reescrever a Equac

ao (3.4) como
log L()
i
n
X
j=1
Wji
(uji Pji )
Pji Qji
Pji
i
(3.7)
Para obter as equac

oes de estimac
ao, precisaremos das seguintes expressoes:
Pji
ai
Pji
bi
Pji
ci
= D(1 ci )(j bi )Pji Qji ,
(3.8)
= Dai (1 ci )Pji Qji ,
(3.9)
= Qji .
(3.10)
Para o parametro de discriminac

ao, temos de (3.7) e (3.8) que
log L()
ai
n
X
j=1
n
X
j=1
(uji Pji )
Pji
ai
Wji
Pji Qji
Wji
(uji Pji )D(1 ci )(j bi )Pji Qji
Pji Qji
n
X
= D(1 ci )
(uji Pji )(j bi )Wji .
(3.11)
j=1
Para o parametro de dificuldade, temos de (3.7) e (3.9) que

SINAPE 2000
Keimelion
Reviso de textos
34
Estima
c
ao: uma u
nica popula
c
ao
log L()
bi
n
X
j=1
n
X
(uji Pji )
j=1
Pji
bi
Wji
Pji Qji
Wji
(uji Pji )(1)Dai (1 ci )Pji Qji
Pji Qji
= Dai (1 ci )
n
X
(uji Pji )Wji .
(3.12)
j=1
Para o par
ametro de acerto ao acaso, temos de (3.7) e (3.10) que
log L()
ci
n
X
j=1
n
X
j=1
n
X
(uji Pji )
Pji
ci
(
(uji Pji )Qji
(
(uji Pji )
j=1
Wji
Pji Qji
)
Wji
Pji Qji
)
Wji
Pji
(3.13)
Em resumo, as equac
oes de estimac
ao para os parametros ai , bi e ci sao,
respectivamente,
ai :
D(1 ci )
n
X
(uji Pji )(j bi )Wji = 0,
(3.14)
j=1
bi :
Dai (1 ci )
n
X
(uji Pji )Wji = 0,
(3.15)
j=1
ci :
n
X
j=1
(uji Pji )
Wji
= 0.
Pji
(3.16)
Embora as constantes antepostas aos somat

orios em (3.14) e (3.15) possam
(em princpio) ser eliminadas nas apresentac
ao das referidas equac
oes, vamos
mante-las por todo o restante do texto.
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
35
Agrupamento das habilidades

Um procedimento alternativo de estimac
ao e considerar as habilidades
agrupadas em q categorias. Isso e possvel porque estamos considerando as
habilidades conhecidas, logo podemos agrupa-las definindo um conjunto de q
intervalos cujos valores centrais (ou alguma medida central dessas habilidades)
sejam denotados por k , k = 1, , q. Para fins de desenvolvimento, podemos
supor que todos os indivduos pertencentes à categoria k tem habilidade k ,
o que pode reduzir bastante a exigencia computacional tornando este metodo
mais atrativo.
De forma geral, consideremos que q grupos de fki , k = 1, , q, indivduos
com habilidades conhecidas k s
ao selecionados ao acaso da populac
ao em
estudo para responder ao item i. Seja rki o n
umero de indivduos do grupo k
que responderam corretamente ao item i. Vale notar que em algumas situac
oes
os mesmos grupos de indivduos responder
ao a todos os itens, e portanto
poderemos representar as quantidades fki e rki por fk e rk , respectivamente.
Ocorre que pela independencia local, podemos tratar da estimac
ao de cada
item individualmente e, por isso, e conveniente usar um ndice relativo ao
item a ser estimado. Entretanto, o motivo principal para o uso desta notac
ao
esta no fato de que, na pr
atica, e comum que alguns indivduos nao respondam
(ou anulem de outra forma) alguns itens. Isso possibilita que um grupo com
nk indivduos apresente nki respostas ao item i e nkl ao item l com nki 6=
nkl . Dessa forma, mesmo considerando (em princpio) que todos os indivduos
respondam a todos os itens, para tornar o tratamento mais geral adotaremos
o ndice i nas quantidadas fki e rki .
Pela independencia entre as respostas dos diferentes indivduos, podemos
assumir que rki , k = 1, , q, tem distribuic
ao Binomial com parametros fki
e Pki , onde Pki representa o ML3, com j substituda por k . De acordo com
isso, a verossimilhanca sera
q Y
I
Y
fki
rki fki rki
L() =
P Q
,
rki ki ki
k=1 i=1
e a log-verossimilhanca,
SINAPE 2000
Keimelion
Reviso de textos
36
Estima
c
ao: uma u
nica popula
c
ao
log L() = C +
q X
I
X
{rki log Pki + (fki rki ) log Qki } ,
(3.17)
k=1 i=1
ki
P
P
onde C = qk=1 Ii=1 log frki
e constante com relac
ao a . Tomando a derivada de (3.17) com relac
ao a i , teremos
q
X
1
Pki
1
Qki
=
rki
+ (fki rki )
Pki i
Qki i
k=1
q
X
1
Pki
=
(rki fki Pki )
Pki Qki
i
k=1
q
X
Pki
Wki
,
=
(rki fki Pki )
Pki Qki i
log L()
i
k=1
onde a u
ltima igualdade e devida a (3.5). Usando as expressoes (3.8) a (3.10),
temos que as equac
oes de estimac
ao para os parametros ai , bi e ci sao, respectivamente,
ai :
D(1 ci )
q
X
(rki fki Pki )(k bi )Wki = 0,
(3.18)
k=1
bi :
Dai (1 ci )
q
X
(rki fki Pki )Wki = 0,
(3.19)
k=1
ci :
q
X
Wki
(rki fki Pki ) = 0.
Pki
(3.20)
k=1
Estas equac
oes, bem como (3.14) a (3.16), nao possuem soluc
ao explcita e
por isso precisaremos de algum metodo iterativo para a obtenc
ao das estimativas de maxima verossimilhanca dos parametros dos itens. A seguir, damos
uma breve descric
ao do algoritmo Newton-Raphson e do metodo Scoringde
Fisher.
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
37
3.2.1 Aplicac
Seja l() = log L() a log-verossimilhanca, onde = ( 1 , , I ), com i =
b(0) = (a(0) , b(0) , c(0) )0 podem ser encontrados
(ai , bi , ci )0 . Se valores iniciais
i
b(1) =
b(0) +
b(0) , ou seja,
para i , ent
ao uma estimativa atualizada ser
a
i
i
i
(1)
(0)
(0)
(1)
ci
(0)
ci
(0)
ci ,
a
i
= a
i +
ai ,
(1)
(0)
(0)
b
= bi + bi ,
i
=
(3.21)
(0)
(0)
(0)
onde
ai , bi e
ci s
ao erros de aproximac
ao. Usando a expansao em
(0)
b , teremos
serie de Taylor de l()/ em torno de
i
l()
ai
l()
bi
l()
ci
2 b(0)
2 b(0)
2 b(0)
b(0) )
l(
(0) l( i )
(0) l( i )
(0) l( i )
i
b(0) ),
+
ai
+ bi
+
ci
+ Rai (
i
2
ai
ai bi
ai ci
ai
2 b(0)
2 b(0)
2 b(0)
b(0) )
l(
(0) l( i )
(0) l( i )
(0) l( i )
i
b(0) ),
+ bi
+
ci
+ Rbi (
+ bi
i
2
bi
bi ai
bi ci
bi
2 b(0)
2 b(0)
2 b(0)
b(0) )
l(
(0) l( i )
(0) l( i )
(0) l( i )
i
b(0) ),
+
ai
+
ci
+ Rci (
+ bi
i
2
ci
ci ai
ci bi
ci
b )/i representa a func

b.
onde l(
ao l( i )/i avaliada no ponto i =
i
i
Nessas express
oes estamos usando que l()/ i e func
ao apenas de i , nao
dependendo de l para l 6= i. Por isso, poderemos representa-la de forma
simplificada por l( i )/ i . Fazendo
l( i )
l( i )
l( i )
=
=
= 0,
ai
bi
ci
usando a notac
ao
SINAPE 2000
Keimelion
Reviso de textos
38
Estima
c
ao: uma u
nica popula
c
ao
(0)
b )
l(
i
L1 =
ai
L11
b(0) )
2 l(
i
=
a2i
L21
b )
2 l(
i
=
bi ai
L31
b )
2 l(
i
=
ci ai
(0)
(0)
L12
L22
b(0) )
2 l(
i
=
2
bi
L32
b(0) )
2 l(
i
=
ci bi
(0)
b )
l(
i
L2 =
bi
(0)
b )
l(
i
L3 =
ci
(0)
b )
2 l(
i
=
ai bi
(0)
L13
b )
2 l(
i
=
,
ai ci
L23
b(0) )
2 l(
i
,
=
bi ci
L33
b(0) )
2 l(
i
=
,
2
ci
(0)
(0)
(0)
e desprezando os restos Rai (bi ), Rbi (bi ) Rci (bi ), teremos
(0)
(0)
(0)
0 = L1 + L11
ai + L12 bi + L13
ci ,
(0)
(0)
(0)
0 = L2 + L12
a + L22 b + L23
c ,
0 = L3 +
i
(0)
L13
ai
i
(0)
L23 bi
i
(0)
L33
ci .
Colocando o resultado em forma matricial, teremos

(0)
a
L1
L11 L12 L13
i
L2 = L21 L22 L23 b(0)
.
i
(0)
L3
L31 L32 L33
ci
(0)
b , teremos
Resolvendo o sistema para
i
(0)
ai
L11 L12 L13
L1
(0)
bi = L21 L22 L23 L2 ,
(0)
L31 L32 L33
L3
ci
e finalmente, por (3.21)
(1) (0)
1
a
i
a
i
L11 L12 L13
L1
(1) (0)
bi = bi L21 L22 L23 L2 .
(1)
(0)
L31 L32 L33
L3
ci
ci
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
39
b(1) , este e considerado um novo ponto inicial para a obtenc

Apos obtido
ao
i
(2)
b
de i , e assim por diante. Este processo e repetido ate que algum criterio
b(t) =
b(t)
b(t1) seja
de parada seja alcancado. Por exemplo, ate que
i
suficientemente pequeno ou que um n

umero pre-definido, tmax , de iterac
oes
seja cumprido.
As expressoes Lk , k = 1, 2, 3 sao dadas por (3.11) a (3.13), respectivamente
e as expressoes Lkl , k, l = 1, 2, 3, s
ao obtidas de
log L()
i 0i

2
n
X
uji Pji
uji Pji
Pji 0
Pji
+
=
i
Pji Qji
i
Pji Qji
i 0i
j=1
2
n
X
vji
Pji 0
Pji
+ vji
,
(3.22)
=
i
i
i 0i
j=1
onde
vji =
uji Pji
Pji Qji
(3.23)
uji Pji
vji
=
=
i
i
Pji Qji
Pji
Pji Qji
1
(uji Pji )
=
Pji Qji
(Pji Qji )2
i
i
Pji
Pji
Pji
1
+ (uji Pji )
2Pji
=
Pji Qji
(Pji Qji )2
i
i
i
Pji
1
=
{Pji Qji + (uji Pji )(1 2Pji )}
(Pji Qji )2
i
Pji
1
,
=
(uji Pji )2
2
(Pji Qji )
i
Pji
2
.
(3.24)
= vji
i
SINAPE 2000
Keimelion
Reviso de textos
40
Estima
c
ao: uma u
nica popula
c
ao
Au
ltima igualdade segue do fato que uji = u2ji .
(t)
b a estimativa de na iterac
Considerando
ao t, ent
ao na iterac
ao t + 1
i
i
do algoritmo Newton-Raphson teremos que
b(t+1) =
b(t) [H(
b(t) )]1 h(
b(t) ).
i
i
i
i
(3.25)
onde, ver Apendice A.1 para as demonstrac

oes dos resultados,
log L()
i
(
)
n
X
Wji
=
(uji Pji ) (Pji Qji )hji
Pji Qji
h( i )
j=1
n
X
(uji Pji )Wji hji .
(3.26)
j=1
H( i )
=
=
log L()
i 0i
(
n
X
uji Pji
j=1
n
X
Pji Qji
(Pji Qji )H ji
uji Pji
Pji Qji
)
(Pji Qji )2 hji h0ji
(uji Pji )Wji H ji (uji Pji )Wji hji h0ji .
(3.27)
j=1
com
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
hji = (Pji Qji )1

e
H ji
Pji
i
41
D(1 ci )(j bi )
= Dai (1 ci ) ,
1
Pji
2 Pji
=
i 0i
D2 (1 ci )(j bi )2 (1 2Pji )
.
.
= D(1 ci ){1 + Dai (j bi )(1 2Pji )} D2 a2i (1 ci )(1 2Pji ) . .
D(j bi )
Dai
0
(Pji Qji )1
Para a abordagem utilizando as habilidades agrupadas em q categorias, as

express
oes para (3.26) e (3.27) sao
h( i ) =
q
X
(rki fki Pki )Wki hki ,
k=1
H( i ) =
q
X
(rki fki Pki )Wki H ki (rki fki Pki )Wki hki h0ki .
k=1
3.2.2 Aplicac
ao do m
etodo Scoringde Fisher
Para aplicac
ao do metodo Scoringde Fisher, devemos substituir os componentes da matriz de derivadas segundas usadas no processo iterativo de
Newton-Raphson pelos seus valores esperados. Notando que a vari
avel Uji so
pode assumir dois valores: 1, com probabilidade Pji e 0 com probabilidade
Qji , ent
ao Uji tem distribuic
ao Bernoulli(Pji ). Segue que E(Uji ) = Pji e
E(Uji Pji )2 = V ar(Uji ) = Pji Qji . Logo, de (3.27), temos que
SINAPE 2000
Keimelion
Reviso de textos
42
Estima
c
ao: uma u
nica popula
c
ao
( i ) E(H( i ))
=
N
X
E(Uji Pji )Wji H ji E(Uji Pji )2 Wji2 hji h0ji

j=1
N
X
Pji Qji Wji2 hji h0ji

j=1
N
X

Pji Qji Wji hji h0ji .
(3.28)
j=1
Para as habilidades agrupadas, a expressao acima fica
( i ) =
q
X

Pki
Qki Wki hki h0ki .
k=1
A expressao para estimativa de i na iterac

ao t + 1 sera
b(t+1) =
b(t) [(
b(t) )]1 h(
b(t) ).
i
i
i
i
3.2.3 Erro-padr
ao
Os estimadores de m
axima verossimilhanca gozam de propriedades assint
oticas conhecidas, tais como vcio nulo e eficiencia. Sob algumas condic
oes
de regularidade (ver Sen & Singer (1993), por exemplo) a distribuic
ao asb , e normal com vetor de
sint
otica do estimador de maxima verossimilhanca,
i
media i e matriz de covari
ancias dada pela inversa da matriz de informacao
I( i ) = E
2 log L()
i 0i
= ( i ),
(3.29)
onde ( i ) e obtida de (3.28). As razes quadradas dos elementos diagonais

de [I( i )]1 fornecem os erros-padrao dos estimadores b
ai , bbi e b
ci .
SINAPE 2000
Keimelion
Reviso de textos
3.2 Estima
c
ao dos par
ametros dos itens
43
3.2.4 Escore nulo ou perfeito

Alguns problemas ocorrem na estimac
ao por maxima verossimilhanca. Se
o item i e respondido incorretamente por todos os indivduos, istoQe, uji =
0, j = 1, , n, ent
ao a verossimilhanca (3.2) resume-se a L() = nj=1 Qji .
Considerando os valores ai , ci e j fixos, temos que mudancas no valor de
bi apenas transladam Qji , sem alterar seus valores maximo e mnimo. Com
isso, fixando ai , ci , i = 1, , I, bl , l 6= i e j , o valor que maximiza a verossimilhanca (EMV) sera bi = . Por outro lado, se o item i e respondido
corretamente por todos osQindivduos, isto e, uji = 1, ent
ao a verossimilhanca
(3.2) resume-se a L() = nj=1 Pji . Com o mesmo argumento anterior, temos
que o estimador de maxima verossimilhanca sera bi = +. Problemas similares a esse ocorrem com os par
ametros ai e ci . No Captulo 7, algumas formas
de tratar esses problemas ser
ao abordados.
3.2.5 Estimativas iniciais

Um ponto importante no processo de estimac
ao e a obtenc
ao de valores
iniciais para os par
ametros. Se o item i tem mi alternativas possveis, um
chute razoavel para o parametro de acerto ao acaso e ci = 1/mi . Richardson
(1936) e Tucker (1946) mostraram que se adotarmos a FRI Normal, ent
ao
ai
,
T,Ui = q
1 + a2i
1 < T,Ui < 1,
(3.30)
onde T,Ui e o coeficiente de correlac

ao bisserial, utilizado na Teoria Classica de
Medidas. Este coeficiente e estimado pelo coeficiente de correlac
ao de Pearson
(0)
entre os escores, Tj , e as respostas ao item i. Com isso, obtemos b
ai .
Em complemento, Tucker (1946) expressou o par
ametro de dificuldade associado ao item i da teoria classica de itens i (proporc
ao verdadeira de respostas
corretas) como
i = (i ),
i = bi T,Ui ,
(3.31)
onde e a func
ao de distribuic
ao associada à N(0,1). Vale notar que no caso de
SINAPE 2000
Keimelion
Reviso de textos
44
Estima
c
ao: uma u
nica popula
c
ao
usar a func
ao Logstica para a FRI, o fator D = 1, 702 torna os modelos Normal
e Logstico muito proximos (ver Halley (1952)) de forma que as express
oes
(3.30) e (3.31) produzem bons resultados para o modelo logstico.
3.3 Estimac
ao das habilidades
Nesta sec
ao vamos tratar da estimac
ao das habilidades quando os par
ametros dos itens sao conhecidos. Na pratica, essa situac
ao ocorre quando os itens
j
a foram calibrados (estimados) em outros testes. Como a calibrac
ao dos itens
deve ser feita com um n
umero grande de indivduos, a estimac
ao das habilidades de um grupo pequeno de indivduos e mais confiavel se forem utilizados
itens j
a calibrados.
Pela independencia entre as respostas de diferentes indivduos (S1) e a independencia local (S2), podemos escrever a log-verossimilhanca como em (3.3),
agora como func
ao de e nao de , ou seja,
log L() =
n X
I
X
{uji log Pji + (1 uji ) log Qji }.
(3.32)
j=1 i=1
O EMV de j e o valor que maximiza a verossimilhanca, ou equivalentemente, e a soluc

ao da equac
ao
log L()
= 0,
j
j = 1, , n.
(3.33)
Notemos, de (3.32), que

SINAPE 2000
Keimelion
Reviso de textos
3.3 Estima
c
ao das habilidades
log L()
j
45
I
X
(log Pji )
(log Qji )
uji
+ (1 uji )
(3.34)
j
j
i=1
I
X
Pji
Pji
1
1
uji
(1 uji )
Pji j
Qji j
i=1
I
X
Pji
1
1
(1 uji )
uji
Pji
Qji
j
i=1
I
X
uji Pji
Pji
(3.35)
Pji Qji
j
i=1
(
)
I
X
Wji
Pji
(uji Pji )
,
(3.36)
Pji Qji
j
=
=
=
=
=
i=1
onde a u
ltima igualdade segue de (3.5). Como
Pji
j
= Dai (1 ci )Pji Qji ,
(3.37)
obtem-se
log L()
j
I
X
i=1
= D
Wji
(uji Pji )Dai (1 ci )Pji Qji
Pji Qji
I
X
ai (1 ci )(uji Pji )Wji .
(3.38)
i=1
Segue entao que a equac

ao de estimac
ao (3.33) para j , j = 1, , n, e
I
X
ai (1 ci )(uji Pji )Wji = 0.
(3.39)
i=1
SINAPE 2000
Keimelion
Reviso de textos
46
Estima
c
ao: uma u
nica popula
c
ao
Novamente, esta equac

ao nao apresenta soluc
ao explcita para j e, por isso,
precisamos de algum metodo iterativo para obter as estimativas desejadas.
A seguir, obteremos as express
oes necess
arias para aplicac
oes dos processos
iterativos Newton-Raphson e Scoringde Fisher.
3.3.1 Aplicac
(t)
De forma similar ao que foi feito na Sec
ao 3.2.1, e considerando bj a
estimativa de j na iterac
ao t, ent
ao na iterac
ao t + 1 do algoritmo NewtonRaphson teremos que
(t+1)
(t)
(t)
(t)
bj
= bj [H(bj )]1 h(bj )
(3.40)
onde, ver Apendice A.2 para as demonstrac

oes dos resultados,
log L()
j
(
)
I
X
Wji
=
Pji Qji
h(j )
i=1
I
X
(uji Pji )Wji hji
i=1
e
2 log L()
j2
(
)
2
I
X
uji Pji
u
P
ji
ji
=
(Pji Qji )Hji
(Pji Qji )2 h2ji
Pji Qji
Pji Qji
H(j )
i=1
I
X
(uji Pji )Wji Hji (uji Pji )Wji h2ji
(3.41)
i=1
com
SINAPE 2000
Keimelion
Reviso de textos
3.3 Estima
c
ao das habilidades
47
hji =
(Pji Qji )1
Pji
j
= Dai (1 ci )
(3.42)
= D2 a2i (1 ci )(1 2Pji ).
(3.43)
Hji =
(Pji Qji )1
2 Pji
j2
3.3.2 Aplicac
ao do m
etodo Scoringde Fisher
Para aplicac
ao do metodo Scoringde Fisher, devemos substituir os componentes da matriz de derivadas segundas usadas no processo iterativo de
Newton-Raphson pelos seus valores esperados. Por (3.41) temos que
(j ) E(H(j ))
=
I
X
E(Uji Pji )Wji Hji E(Uji Pji )2 Wji2 h2ji

i=1
I
X
Pji Qji Wji h2ji .
(3.44)
i=1
Neste caso, a express

ao para estimativa de j , j = 1, , n, na iterac
ao t + 1
sera
(t+1)
(t)
(t)
(t)
bj
= bj [(bj )]1 h(bj ).
3.3.3 Erro-padr
ao
Sob algumas condic
oes de regularidade (ver Sen & Singer (1993), por exemplo) a distribuic
ao assint
otica do estimador de m
axima verossimilhanca, bj , e
normal com media j e vari
ancia dada pela inversa da matriz de informac
ao
I(j ) = E
2 log L()
j2
!
= (j ),
(3.45)
SINAPE 2000
Keimelion
Reviso de textos
48
Estima
c
ao: uma u
nica popula
c
ao
onde (j ) e obtida de (3.44). A raiz quadrada de I(j ) fornece o erro-padrao

de bj .
3.3.4 Escore nulo ou perfeito

Tal como na estimac
ao dos parametros dos itens, existe um problema a ser
contornado na estimac
ao por maxima verossimilhanca. Se o indivduo j obtem
escore nulo, isto e, uji = 0, i = 1, , I, ent
ao a verossimilhanca resume-se a
Q
L() = Ii=1 Qji . Como Qji , i = 1, , I, e decrescente com j , ent
ao L()
tambem e decrescente com j e da o estimador de maxima verossimilhanca
ser
a j = . Por outro lado, se o indivduo j obter o escore total, isto e,
Q
uji = 1, i = 1, , I, ent
ao a verossimilhanca resume-se a L() = Ii=1 Pji .
Como Pji , i = 1, , I, e crescente com j , ent
ao L() tambem e crescente
com j e da o estimador de maxima verossimilhanca sera j = +. Algumas
formas de como tratar esse problema serao abordadas ainda nesse captulo e
no Captulo 7.
3.3.5 Estimativas iniciais

A obtenc
ao de estimativas (valores) iniciais para o incio do processo de
estimac
ao pode ser feita com os escores padronizados. Se Tj e o escore do
indivduo j, m o escore medio e s o desvio-padrao dos escores dos n indivduos,
(0)
ent
ao bj = (Tj m)/s.
3.4 Estimac
ao conjunta: par
ametros dos itens e habilidades
Nesta etapa trataremos do caso mais comum, em que nem os parametros
dos itens e nem as habilidades sao conhecidos. As Sec
oes 3.2 e 3.3 compoem as
partes basicas da estimac
ao conjunta. Nas expressoes (3.14) a (3.16) e (3.39)
temos as equac
oes de estimac
ao para os parametros dos itens e habilidades.
Entretanto, estas equac
oes nao apresentam express
oes explicitas para os respectivos EMV. Por conta disso, algum processo iterativo deve ser aplicado
no processo de maximizac
ao e, como conseq
uencia, algumas quantidades ou
suposic
oes podem ser adicionadas ao modelo.
SINAPE 2000
Keimelion
Reviso de textos
3.4 Estima
c
ao conjunta: par
ametros dos itens e habilidades
49
A principal diferenca da estimac

ao conjunta se da no tratamento da metrica
(escala) em que todos os parametros sao estimados. Quando tratamos da estimac
ao dos parametros dos itens com as habilidades conhecidas, nao houve
necessidade do arbtrio da metrica, pois estes sao estimados na metrica das
habilidades. Por outro lado, quando tratamos da estimac
ao das habilidades
com os parametros dos itens conhecidos, estas s
ao estimadas na metrica dos
parametros dos itens. Na estimac
ao conjunta nao ha uma metrica definida e,
portanto, deveremos estabelece-la. A explicac
ao formal para a necessidade do
estabelecimento da metrica dos parametros consiste em um problema denominado falta de identificabilidade do modelo. Essa nao-identificabilidade ocorre
porque mais de um conjunto de par
ametros produz o mesmo valor no ML3, e
consequentemente, na verossimilhanca. Conforme ja citado no Captulo 2, se
j = j + , bi = bi + , ai = ai / e ci = ci , onde e sao constantes
reais com > 0, ent
ao
P (Uji = 1|j , i ) = ci + (1 ci ){1 + exp[Dai (j bi )]}1
h
i
ai
= ci + (1 ci ){1 + exp D (j + (bi + )) }1
= ci + (1 ci ){1 + exp[Dai (j bi )]}1

= P (Uji = 1|j , i ).
Essa n
ao-identificabilidade pode ser eliminada de varias formas, como fixando alguns valores para as habilidades, por exemplo. Entretanto, devemos
ressaltar que essa nao-identificabilidade esta intimamente relacionada `
a caractersticas da populac
ao envolvida no estudo. Ate agora nao espeficamos
quando uma habilidade pode ser considerada alta ou baixa, nem como diagnosticar o quanto uma habilidade est
a afastada de outra. Isso pode ser
resolvido especificando uma medida de posic
ao (media, por exemplo) e outra
de dispers
ao (desvio-padrao, por exemplo) para as habilidades. Dessa forma
estaremos definindo uma metrica (unidade de medida) para as habilidades e,
consequentemente, para os parametros dos itens. De forma geral, podemos dizer que estamos trabalhando com vari
aveis latentes, e nessa situac
ao sempre
ha a necessidade do estabelecimento da metrica. Neste livro, vamos eliminar o
problema de n
ao-identificabilidade do modelo padronizando as habilidades de
forma que estas tenham uma media especificada e desvio-padrao . Desta
SINAPE 2000
Keimelion
Reviso de textos
50
Estima
c
ao: uma u
nica popula
c
ao
forma, as habilidades e os parametros dos itens sao estimados na metrica (, ).

Em muitas situac
oes adota-se = 0 e = 1, valores que serao considerados
em todo o restante do livro.
Para aplicac
ao do algoritmo Newton-Raphson sao necessarias as derivadas
segundas da log-verossimilhanca, com relac
ao a i e j , i = 1, , I e j =
1, , n. Estas derivadas comp
oem uma matriz H quadrada de ordem (3I +
n) e essa dimensao pode ser suficientemente grande de forma a causar uma
enorme exigencia computacional. Por isso, precisamos explorar um pouco mais
a estrutura de H. Notemos que pela independencia local, temos
L(, )
= 0,
i 0l
para i 6= l.
(3.46)
Pela independencia entre as respostas de indivduos diferentes, temos que

L(, )
= 0,
j l
para j 6= l.
(3.47)
Vale notar que (3.46) e (3.47) sao conseq

uencias das suposic
oes inerentes do
modelo. Uma suposic
ao adicional que simplifica bastante a estrutura de H e
a de que nao existe correlac
ao entre itens e habilidades. Essa suposic
ao condiz
com situac
oes praticas, pois as habilidades sao inerentes dos indivduos, que
em nada dependem dos itens envolvidos no estudo. Como conseq
uencia desta
suposic
ao, temos que
L(, )
= 0,
i j
para i = 1, , I e j = 1, , n.
(3.48)
Assim, a matriz H torna-se bloco-diagonal, na qual os I primeiros blocos

sao matrizes 3 3 relativas aos parametros dos itens e os n blocos seguintes
s
ao escalares relativos às habilidades. As express
oes (3.46) a (3.48) facilitam
bastante a estrutura de H, mas nao diminuem sua dimens
ao. Entretanto, com
base nessa estrutura bloco-diagonal, Birbaum (1968) prop
os um algoritmo
em que os itens e as habilidades sao estimados individualmente, utilizando
o algoritmo Newton-Raphson ou o metodo Scoringde Fisher, no qual cada
iterac
ao e composta de dois estagios:
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
51
Est
agio 1: Comecando com estimativas iniciais para as habilidades (escores
padronizados, por exemplo) e tratando estas habilidade como conhecidas, estimamos i , i = 1, , I.
Est
agio 2: Comecando com estimativas iniciais (obtidas no Estagio 1) para
e tratando estes parametros como conhecidos, estimamos as habilidades
j , j = 1, , n.
No Estagio 1, os itens sao estimados empregando o desenvolvimento da
Sec
ao 3.2. No Estagio 2 as habilidades sao estimadas com a teoria desenvolvida
na Sec
ao 3.3. Este processo de dois est
agios e repetido ate a convergencia das
habilidades e dos parametros dos itens.
Coment
arios
b , i = 1, , I, e bj , j = 1, , n, continuam sendo
Os erros-padr
ao para
i
obtidos com o uso das express
oes (3.29) e (3.45). Alem disso, a estimac
ao
conjunta apresenta os mesmos problemas ja citados anteriormente, ou seja,
quando algum item e respondido corretamente, ou incorretamente, por todos
os indivduos, ou quando algum indivduo responde corretamente, ou incorretamente, a todos os itens. Mais adiante, nesse captulo e no Captulo 7,
veremos como tratar destes casos.
3.5 M
axima verossimilhanca marginal
O metodo da Maxima Verossimilhanca Marginal, proposto por Bock & Lieberman (1970 apresenta algumas vantagens em relac
ao ao metodo da Maxima
Verossimilhanca Conjunta. A proposta desse metodo e fazer a estimac
ao em
duas etapas: primeiro os parametros dos itens e, posteriormente, as habilidades. Como as habilidades n
ao sao conhecidas, precisaremos usar algum artifcio
de forma que a verossimilhanca nao seja mais func
ao das habilidades. Anderson (1980) argumenta que se considerarmos uma populac
ao composta por n
indivduos com habilidades j , j = 1, , n, e construirmos a distribuic
ao de
frequencia acumulada G()=(n
umero de j : j )/n, ent
ao, se n for suficientemente grande os j estar
ao bastante proximos de forma que G() pode ser
aproximada por uma distribuic
ao contnua. A densidade g(), relativa à G(),
SINAPE 2000
Keimelion
Reviso de textos
52
Estima
c
ao: uma u
nica popula
c
ao
pode realmente ser considerada a func

ao densidade para no experimento
de retirar um indivduo ao acaso da populac
ao e observar seu par
ametro
. Neste contexto, e importante ressaltar que, quando atribumos uma distribuic
ao de probabilidade para n
ao estamos aplicando nenhum argumento
bayesiano. A distribuic
ao de realmente existe, no sentido explicado acima,
como a densidade relativa à distribuic
ao G().
De acordo com isso, um artifcio para eliminar as habilidades na verossimilhanca consiste em marginalizar a verossimilhanca integrando-a com relac
ao à
distribuic
ao da habilidade. De forma geral, consideremos que as habilidades,
j , j = 1, , n, sao realizac
oes de uma vari
avel aleatoria com distribuicao
contnua e func
ao densidade de probabilidade (f dp) g(|), duplamente diferenci
avel, com as componentes de conhecidas e finitas. Para o caso em
que tem distribuic
ao Normal, temos = (, 2 ), onde e a media e 2 a
vari
ancia das habilidades dos indivduos de . Portanto, se desejarmos que os
itens sejam estimados na metrica (0,1), deveremos adotar = 0 e = 1.
3.5.1 Abordagem de Bock & Lieberman

Com as notac
oes acima, temos que a probabilidade marginal de U j. e dada
por
Z
P (uj. |, ) =
P (uj. |, , )g(|)d
ZIR
=
P (uj. |, )g(|)d,
(3.49)
IR
onde na u
ao de U j. n
ao e func
ao de
e IR representa o conjunto dos n
umeros reais. Usando a independencia entre as
respostas de diferentes indivduos, podemos escrever a probabilidade associada
ao vetor de respostas U .. como
P (u.. |, ) =
n
Y
P (uj. |, ).
(3.50)
j=1
Embora a verossimilhanca possa ser escrita como (3.50), tem sido freq
uente
utilizar a abordagem de Padr
oes de Resposta. Como temos I itens no total,
com 2 possveis respostas para cada item (0 ou 1), h
a S = 2I possveis respostas
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
53
(padroes de resposta). Quando o n

umero de indivduos e grande com relac
ao
ao n
umero de itens, pode haver vantagens computacionais em trabalhar com
o n
umero de ocorrencias dos diferentes padroes de resposta. Neste sentido,
daqui em diante vamos trabalhar considerando este raciocnio. O ndice j nao
mais representar
a um indivduo, mas sim um padr
ao de resposta.
Seja rj o n
umero de ocorrencias distintas do padrao de resposta j, e ainda
s min(n, S) o n
umero de padroes de resposta com rj > 0. Segue disso que
s
X
rj = n.
(3.51)
j=1
Pela independencia entre as respostas dos diferentes indivduos, temos que

os dados seguem uma distribuic
ao M ultinomial, isto e,
L(, ) = Qs
n!
j=1 rj !
s
Y
[P (uj. |, )]rj ,
(3.52)
j=1
e, portanto, a log-verossimilhanca e
(
n!
log L(, ) = log Qs
j=1 rj !
s
X
rj log P (uj. |, ).
j=1
As equac
oes de estimac
ao para os parametros dos itens sao dadas por
log L(, )
= 0,
i
i = 1, , I,
(3.53)
com
log L(, )
i
rj log P (uj. |, )
i
j=1
s
X
j=1
rj
P (uj. |, )
1
.
P (uj. |, )
i
(3.54)
SINAPE 2000
Keimelion
Reviso de textos
54
Estima
c
ao: uma u
nica popula
c
ao
Mas
P (uj. |, )
i
P (uj. |, )g(|)d
i IR
P (uj. |, ) g(|)d
=
IR i
!
Z
I
Y
P (ujl |, l ) g(|)d
=
i
IR
(3.55)
l=1
P (uj. |, )
i
P (uji |, i ) g(|)d
i
IR
l6=i
Z
P (uji |, i )/ i
=
P (uj. |, )g(|)d,
(3.56)
P (uji | i )
IR
Z
I
Y
P (ujl |, l )
onde a ordem da derivada e da integral em (3.55) pode ser permutada com

base no Teorema da Convergencia Dominada de Lebesgue (Chow & Teicher,
1978). Reescrevendo P (uji |, i ) como em (3.1), teremos que
uji 1uji
P (uji |, i ) =
P i Qi
i
i
1u
u
u 1 Pi
u
Qi ji + (1 uji )Qi ji
Pi Pi ji
= uji Pi ji
i
i
P
u 1 1u
u
u
i
.
=
uji Pi ji Qi ji (1 uji )Qi ji Pi ji
i
Notemos agora que o termo entre parenteses vale 1 quando uji = 1 e vale -1
quando uji = 0, portanto podemos reescreve-lo como (1)uji +1 . Com isso,
P (uji |, i ) = (1)uji +1
i
Pi
i
(3.57)
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
55
Notando agora que

(1)uji +1 Pi Qi
u
1u
Pi ji Qi ji
(
=
Qi
Pi
se uji = 1
se uji = 0,
(3.58)
podemos reescrever este termo como uji Pi . Segue que (3.56) pode ser escrita
como
P (uj. |, )
i
Z
=
IR
(uji Pi )
Pi Qi
Pi
i
P (uj. |, )g(|)d
(3.59)
Por conveniencia, consideremos a seguinte ponderac

ao:
Wi =
Pi Qi
,
Pi Qi
(3.60)
onde
Pi = {1 + eDai (bi ) }1
Qi = 1 Pi .
(3.61)
Com isso, podemos reescrever a Equac

ao (3.59) como
P (uj. |, )
=
i
Z
IR
(uji Pi )
Pi
i
Wi
P (uj. |, )g(|)d.
Pi Qi
(3.62)
Usando a notac
ao
gj () g(|uj. , , ) =
P (uj. |, )g(|)
,
P (uj. |, )
(3.63)
teremos que a func

ao de verossimilhanca (3.54) pode ser escrita como
log L(, )
i
s
X
j=1
Z
rj
IR
(uji Pi )
Pi
i
Wi
g ()d.
Pi Qi j
(3.64)
SINAPE 2000
Keimelion
Reviso de textos
56
Estima
c
ao: uma u
nica popula
c
ao
Resta agora a obtenc

ao das equac
oes especficas para cada parametro do vetor i = (ai , bi , ci )0 . As expressoes para as derivadas de Pi s
ao dadas por (3.8) a
(3.10) com Pji , Qji , Pji e Qji substitudas por Pi , Qi , Pi e Qi , respectivamente.
Para obtermos a equac
ao de estimac
ao para o parametro de discriminac
ao,
ai , notemos que da expressao (3.64) temos que
log L(, )
=
ai
Z
s
X
Pi
Wi
(uji Pi )
=
rj
Q gj ()d
a
P
i
IR
i
i
j=1
Z
s
X
Wi
=
rj
(uji Pi )D(1 ci )( bi )Pi Qi gj ()d
Pi Qi
I
R
j=1
Z
s
X
= D(1 ci )
rj
[(uji Pi )( bi )Wi ] gj ()d.
(3.65)
IR
j=1
Para o par
ametro de dificuldade, bi , temos que
log L(, )
=
bi
Z
s
X
Pi
Wi
=
rj
(uji Pi )
Q gj ()d
b
P
i
IR
i
i
j=1
Z
s
X
Wi
=
rj
(uji Pi )(1)Dai (1 ci )Pi Qi gj ()d
Pi Qi
IR
j=1
Z
s
X
= Dai (1 ci )
rj
[(uji Pi )Wi ] gj ()d.
(3.66)
j=1
IR
Para o par
ametro de acerto ao acaso, ci , temos que
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
57
Z
Pi
Wi
(uji Pi )
Q gj ()d
c
P
i
IR
i
i
j=1
Z
s
X
Wi
=
rj
(uji Pi )Qi gj ()d
Pi Qi
IR
j=1
Z
s
X
Wi
=
rj
(uji Pi ) gj ()d.
(3.67)
Pi
IR
log L(, )
ci
s
X
rj
j=1
Em resumo, as equac
oes de estimac
ao para os parametros ai , bi e ci s
ao,
respectivamente,
ai
D(1 ci )
s
X
Z
rj
j=1
bi
ci
:
:
Dai (1 ci )
s
X
j=1
Z
rj
IR
s
X
j=1
IR
[(uji Pi )( bi )Wi ] gj ()d = 0, (3.68)

Z
rj
IR
[(uji Pi )Wi ] gj ()d = 0,
Wi
(uji Pi ) gj ()d = 0,
Pi
(3.69)
(3.70)
as quais nao possuem soluc

ao explcita.
3.5.2 M
etodos iterativos
Para aplicac
ao do algoritmo Newton-Raphson, precisaremos das derivadas
segundas de log L(, ). Quando desenvolvemos as express
oes para a estimac
ao
de i na Sec
ao 3.2, a propriedade de independencia local foi suficiente para garantir que os (parametros dos) itens pudessem ser estimados individualmente,
pois a derivada segunda de log L() com relac
ao a i e l , para l 6= i, era
nula. Entretanto, na estimac
ao por maxima verossimilhanca marginal isso n
ao
acontece, levando à necessidade da estimac
ao dos I itens conjuntamente. As
expressoes para as derivadas segundas s
ao obtidas a partir de
SINAPE 2000
Keimelion
Reviso de textos
58
Estima
c
ao: uma u
nica popula
c
ao
log L(, ) 0
2 log L(, )
=
l
i
l 0i
0
s
X
P (uj. |, )
1

rj
=
l
P (uj. |, )
i
j=1
s
X
P (uj. |, )/( l 0i )
P (uj. |, )/ l
P (uj. |, )/ i 0
=
rj
.
P (uj. |, )
P (uj. |, )
P (uj. |, )
j=1
(3.71)
para i, l = 1, , I.
b(t) a estimativa de na iterac
Considerando
ao t, ent
ao na iterac
ao t + 1
teremos que
b(t+1) =
b(t) [H P I (
b(t) )]1 hP I (
b(t) )
(3.72)
onde
h( 1 )
hP I () = ...
h( I )
com
H( 1 , 1 )
..
..
H P I () =
.
.
H( I , 1 )
log L(, )
i
s
X Z
=
rj
(uji Pi )Wi hi gj ()d,
H( 1 , I )
..
,
.
H( I , I )
h( i ) =
j=1
(3.73)
IR
e
2 log L(, )
l 0i
s
n
o
X
=
rj H il(j) hi(j) h0l(j) .
H( i , l ) =
(3.74)
j=1
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
59
No Apendice A.3 o leitor encontrar

a as demonstrac
oes para os resultados
acima.
Para aplicarmos o algoritmo Scoringde Fisher, notemos que E[Hil(j) ] =
0, i, l = 1, , I e j = 1, , n. Segue ent
ao que
( i , l ) = E[H( i , l )] =
s
X
rj [hi(j) hi(j) ].
j=1
3.5.3 M
etodos de quadratura
Antes de prosseguir, vamos discutir um problema importante encontrado
na implementac
ao da estimac
ao dos parametros dos itens. Podemos notar que
as equac
oes (3.68) a (3.70), por exemplo, envolvem integrais que n
ao apresentam soluc
ao analtica. Por conta disso, algum meio deve ser encontrado para
a soluc
ao (aproximac
ao) numerica de uma integral. Embora existam muitos
metodos de aproximac
oes de integrais, na TRI tem sido freq
uente a aplicac
ao
do metodo Hermite-Gauss, usualmente denominado de metodo de quadratura
gaussiana. Se g(|) e uma func
ao contnua com integral finita, ela pode ser
aproximada, para qualquer grau de precisao, por uma outra func
ao que assume
um n
umero finito de pontos. Dessa forma, o problema de obter a integral de
uma func
ao contnua e substitudo pela obtenc
ao da soma das area de um
n
umero finito, digamos q, de retangulos. Os pontos medios de cada retangulo,
k , k = 1, , q, s
ao denominados de n
os (ou pontos de quadratura). Cada
no tem um peso Ak A(k ) associado que leva em conta a altura g(k |) e a
largura (k ) do respectivo intervalo, tal como Ak = g(k |) k . Os valores
k e Ak sao obtidos resolvendo-se um conjunto de equac
oes que envolvem a
func
ao g(|) e o n
umero de nos (ver Hildebrand (1956), paginas 327-330).
Uma tabela para k e Ak relativa a func
ao gaussiana pode ser encontrada em
Stroud & Sechest (1966). Para adaptar essa tabela para o caso em que g(|)
representa a f dp de uma vari

avel N (0, 1), basta multiplicar os nos k por 2
e dividir os pesos Ak por .
SINAPE 2000
Keimelion
Reviso de textos
60
Estima
c
ao: uma u
nica popula
c
ao
Equa
c
oes de estima
c
ao em forma de quadratura
Consideremos conhecidos os nos k e os pesos, Ak , k = 1, , q, com Ak =
g(k |) k . Com isso, podemos escrever
I
Y
u
1u
P (uj. |k , ) =
[Pkiji Qki ji ],
i=1
P (uj. |k , )g(k |) = P (uj. |k , )Ak 1

k ,
P (uj. |, ) '
q
X
P (uj. |k , )g(k |)k =
q
X
P (uj. |k , )Ak .
k=1
k=1
Segue que (3.63) pode ser escrita, em forma de quadratura, como

P (uj. |k , )Ak
1
gj (k ) ' Pq
k .
,
)A
P
(u
|
j.
k
k
k=1
(3.75)
Por exemplo, voltando `

a func
ao de verossimilhanca para ai dada por (3.68),
podemos reescreve-la em forma de quadratura como
log L(, )
ai
= D(1 ci )
' D(1 ci )
s
X
Z
rj
IR
j=1
q
s X
X
[(uji Pi )( bi )Wi ] gj ()d
rj (uji Pki )(k bi )Wki gj (k )k
j=1 k=1
Para que a express

ao em forma de quadratura fique o mais parecida possvel
com a original, podemos redefinir a quantidade gj (k ) de (3.75) por
P (uj. |k , )Ak
.
gj (k ) = Pq
k=1 P (uj. | k , )Ak
(3.76)
Desta forma, a func

ao de verossimilhanca para ai fica
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
ai : D(1 ci )
q
s X
X
61
rj (uji Pki )(k bi )Wki gj (k ).
(3.77)
j=1 k=1
De forma an
aloga, temos que as equac
oes de estimac
ao em forma de quadratura para os parametros bi e ci s
ao, respectivamente,
bi : Dai (1 ci )
ci :
q
s X
X
rj
j=1 k=1
q
s X
X
rj [(uji Pki )Wki ] gj (k ) = 0,
(3.78)
j=1 k=1
Wki
(uji Pki ) gj (k ) = 0.
Pki
(3.79)
Deve ser ressaltado que a func

ao gj (k ) nas equac
oes (3.77) a (3.79) deve
ser calculada por (3.76). Novamente, estas equac
oes nao apresentam soluc
oes
explcitas para os EMV dos parametros dos itens. Para aplicac
ao dos procedimentos Newton-Raphson ou Scoringde Fisher devemos notar que as derivadas segundas de log L(, ) com relac
ao a i e l , para i 6= l, nao sao nulas,
o que leva `
a necessidade da estimac
ao dos parametros dos I itens simultaneamente. Isso pode gerar uma grande limitac
ao na estimac
ao de um n
umero alto
de itens devido à necessidade da invers
ao de matrizes de dimensoes 3I 3I.
A proposta de Bock & Aitkin (1981), que apresentaremos a seguir, contorna
este problema.
3.5.4 Abordagem de Bock & Aitkin

Uma reformulac
ao da abordagem de Bock & Lieberman, que foi considerada satisfatoria do ponto de vista computacional, foi proposta por Bock &
Aitkin (1981). Esta reformulac
ao teve como base a suposic
ao de que os itens
sao independentes, de forma que
2 log L(, )
= 0,
i l
para i 6= l.
(3.80)
Essa suposic
ao modifica a matriz H P I () tornando-a bloco diagonal, uma
SINAPE 2000
Keimelion
Reviso de textos
62
Estima
c
ao: uma u
nica popula
c
ao
situac
ao similar à da Sec
ao 3.4 onde eram estimados os par
ametros dos itens
e as habilidades conjuntamente. Naquele caso, a independencia local foi suficiente para garantir (3.80) e, assim, possibilitar que os itens fossem estimados
individualmente, fixadas as habilidades. A proposta de Bock & Aitkin foi adotar a independencia entre os itens de forma a possibilitar que os itens sejam
estimados individualmente. Vale notar que as suposic
oes de independencia local e a suposic
ao de independencia dos itens sao completamente diferentes. A
primeira esta relacionada às respostas dos indivduos, enquanto a segunda se
refere apenas aos itens.
Com esta construc
ao, a estimac
ao pode ser feita adotando as mesmas expressoes desenvolvidas na sec
ao anterior, fazendo a adaptac
ao devida a (3.80).
Entretanto, Bock & Aitkin sugerem que a obtenc
ao das estimativas de maxima
verossimilhanca seja feita atraves do algortimo EM, introduzido por Dempster, Laird & Rubin (1977), e por isso algumas alterac
oes nas expressoes da
sec
ao anterior ser
ao necessarias.
De (3.68) temos que
log L(, )
ai
= D(1 ci )
= D(1 ci )
s
X
j=1
s
X
Z
rj
IR
Z
rj
j=1
log L(, )
ai
Z
= D(1 ci )
IR
IR
( bi ) uji gj () Pi gj () Wi d
s
s
X
X
rj uji gj () Pi
rj gj () Wi d
( bi )
j=1
Z
= D(1 ci )
IR
[(uji Pi )( bi )Wi ] gj ()d
j=1
( bi ) [ri () Pi fi ()] Wi d,
(3.81)
onde
ri () =
s
X
rj uji gj (),
fi () =
j=1
s
X
rj gj ().
j=1
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
63
Lembrando que gj () e a distribuic

ao condicional de j dado uj. , ent
ao
fi () representa o n
umero esperado de indivduos, dentre os que responderam
o item i em uma populac
ao de tamanho n, que tem habilidade . Para a quantidade ri () contribuem apenas os indivduos que responderam corretamente
ao item i. Logo, esta quantidade representa o n
umero esperado de indivduos,
dentre os que responderam corretamente ao item i em uma populac
ao de tamanho n, que tem habilidade .
Analogamente, de (3.69) e (3.70) temos que
Z
log L(, )
bi
= Dai (1 ci )
log L(, )
ci
IR
[ri () Pi fi ()] Wi d,
(3.82)
Z
IR
[ri () Pi fi ()] Wi d.
(3.83)
Equa
c
oes de estima
c
Considerando conhecidos os n
os k e os pesos, Ak , k = 1, , q, temos que
as equac
oes de estimac
ao em forma de quadratura para os parametros ai , bi e
ci sao, respectivamente,
ai
q
X
: D(1 ci )
(k bi ) [rki Pki fki ] Wki = 0,
(3.84)
k=1
bi : Dai (1 ci )
q
X
[rki Pki fki ] Wki = 0,
(3.85)
Wki
= 0.
Pki
(3.86)
k=1
ci :
q
X
[rki Pki fki ]
k=1
onde
rki =
s
X
rj uji gjk
,
j=1
fki =
s
X
rj gjk
e gjk
= gj (k ).
(3.87)
j=1
SINAPE 2000
Keimelion
Reviso de textos
64
Estima
c
ao: uma u
nica popula
c
ao
3.5.5 Aplicac
ao do algoritmo EM
O algoritmo EM e um processo iterativo para determinac
ao de estimativas
de m
axima verossimilhanca de parametros de modelos de probabilidade na
presenca de vari
aveis aleatorias nao observadas. Cada iterac
ao deste processo
e feita em dois passos: Esperanca (E) e Maximizac
ao (M ). No caso da TRI,
o objetivo e obter estimativas de na presenca das vari
aveis nao observadas
. Neste caso, u.. representa o vetor de dados incompletos e (u.. , ) o vetor de
dados completos. Seja f (u.. , |) a densidade conjunta do dados completos.
b(k) e uma estimativa de na iterac
Se
ao t, ent
ao os passos EM para obtencao
b(k+1) s
de
ao
b(k) ]
Passo E: Calcular E[log f (u.. , |)|u.. ,
b(k+1) que maximiza a func
Passo M: Obter
ao do Passo E.
No passo M a maximizac
ao pode ser feita pelo algoritmo Newton-Raphson
ou Scoringde Fisher. Com a suposic
ao de que os itens s
ao independentes,
(3.80), a matriz de derivadas segundas torna-se bloco diagonal, possibilitando
que os (par
ametros dos) itens sejam estimados individualmente, eliminando o
problema de trabalhar com matrizes de ordem 3I 3I e passando a operar
com matrizes 3 3.
Ha tres formas do algoritmo EM, distinguidas pela relac
ao entre a func
ao
(densidade) de probabilidade e a forma da famlia exponencial. A primeira
forma se aplica quando a func
ao e um membro regular da famlia exponencial;
a segunda, quando a func
ao n
ao e um membro regular da famlia exponencial,
mas um membro da famlia exponencial curvada (formada por distribuic
oes
em que ha restric
oes no espaco parametrico) e a terceira, quando a func
ao nao
tem nenhuma relac
ao com a famlia exponencial.
Se a FRI e um membro regular da famlia exponencial, o procedimento
torna-se relativamente simples. Embora o modelo logstico de 1 parametro
(modelo de Rasch) seja membro da famlia exponencial, os modelos de 2 e
3 par
ametros nao sao. Portanto, a terceira forma do algoritmo EM deve ser
aplicada nestes casos.
Para descrever brevemente o algoritmo EM aplicado à TRI, comecemos supondo que as habilidades est
ao restritas a um conjunto de q valores, k , k =
SINAPE 2000
Keimelion
Reviso de textos
3.5 M
axima verossimilhan
ca marginal
65
1, , q, com probabilidades k , k = 1, , q. (Essa suposic

ao pode ser feita
porque as aproximac
oes de integrais sao feitas por metodos de quadratura, e
os valores k corresponderao aos pontos de quadratura.) Seja fki o n
umeros
respondendo
de indiv
duos
com
habilidade
ao
item
i,
f
=
(f
,
, fqi )0 ,
1i
k
i
Pq
com k=1 fki = N , f = (f 1 , , f I ). Similarmente, seja rki o n
umeros de indivduos com habilidade k respondendo corretamente ao item i, r i = (r1i , ,
rqi )0 e r = (r 1 , , r I ). Estas definic
oes se assemelham bastante com as da
Sec
ao 3.2, quando tratamos da estimac
ao dos par
ametros dos itens com as
habilidades conhecidas e agrupadas em q categorias. Veremos que, de fato,
os resultados sao muito similares. Entretanto, na Sec
ao 3.2 as freq
uencias fki
e rki eram conhecidas, e no caso atual estas quantidades sao desconhecidas.
Essa e a grande vantagem do algoritmo EM, onde fki e rki podem ser tratadas
como quantidades n
ao observadas.
Se os n indivduos que responderao ao item i sao selecionados ao acaso da
populac
ao, a probabilidade conjunta que os fki indivduos tenham habilidades
k , k = 1, , q, e dada pela distribuic
ao multinomial:
P (f i |) = Qq
n!
k=1 fki !
q
Y
jfki ,
i = 1, , I.
k=1
Dados fki e k , a probabilidade de ocorrerem rki acertos ao item i dentre

as fki tentativas por indivduos com habilidade k e

fki
rki fki rki
Pki
Qki
,
P (rki |fki , k ) =
rki
onde Pki e a FRI adotada com j substituda por k . A probabilidade conjunta
de f e r, dados = (1 , , q ) e , e
P (f , r|, ) = P (f |, )P (r|f , , )
= P (f |)P (r|h, )
)
( I
)( I q
Y
YY
=
P (f i |)
P (rki |fki , k )
i=1
i=1 k=1
SINAPE 2000
Keimelion
Reviso de textos
66
Estima
c
ao: uma u
nica popula
c
ao
log L() = log P (f |) +

= log P (f |) +
q
I X
X
log P (rki |fki , k )
i=1 k=1
q
I X
X
log
i=1 k=1
= C+
q X
I
X
fki
+ rki log Pki + (fki rki ) log Qki
rki
{rki log Pki + (fki rki ) log Qki } ,
k=1 i=1

f
onde C = log P (f |) + i=1 k=1 log ki e constante com relac
ao a . Terki
mos que (f , r) sao nao-observ
aveis, mas tomando a esperanca da log-verossimilhanca, condicional em u.. e , e usando a notac
ao
PI
rki = E[rki |u.. , ],
Pq
f ki = E[fki |u.. , ] e C = E[C|u.. , ]
obtemos,
E[log L()] = C +
q
I X
X
rki log Pki + (f ki rki ) log Qki . (3.88)

i=1 k=1
Podemos notar que esta express

ao equivale a (3.17) da Sec
ao 3.2. As primeiras parcelas nessas duas expressoes s
ao constantes com relac
ao a . Os termos
restantes sao, praticamente, os mesmos, com fki e rki substitudos por f ki e
rki , respectivamente. Portanto, maximizar a equac
ao (3.88) com relac
ao a i e
equivalente a maximizar (3.17) e representa o Passo E do algoritmo EM. Mais
especificamente, os passos E e M s
ao
Passo E Usar os pontos de quadratura k , os pesos Ak , k = 1, , q e estib , i = 1, , I, para gerar
mativas iniciais dos parametros dos itens,
i
gj (k ) e, posteriormente, rki e f ki , i = 1, , I e k = 1, , q.
Passo M Com r e f obtidos no Passo E, resolver as equac
oes de estimacao
para i , i = 1, , I, usando o algoritmo Newton-Raphson ou Scoringde Fisher atraves das expressoes da Sec
ao 3.2.
SINAPE 2000
Keimelion
Reviso de textos
3.6 Estima
c
ao bayesiana
67
Estes passos comp

oem cada iterac
ao do algoritmo EM, as quais serao repetidas ate que algum criterio de parada seja alcancado. Apos a finalizac
ao do
processo, os erros-padrao sao obtidos com o uso de (3.29).
3.6 Estimac
ao bayesiana
A estimac
ao por maxima verossimilhanca apresenta problemas na estimac
ao
de itens que sao respondidos corretamente, ou incorretamente, por todos os
indivduos, e tambem das habilidades de indivduos que responderam corretamente, ou incorretamente, a todos os itens. Alem disso, ha a possibilidade
de que as estimativas dos parametros dos itens caiam fora do intervalo esperado, tal como valores de ai negativos, ou valores de ci fora do intervalo [0, 1].
A metodologia bayesiana apresenta uma soluc
ao em que estes problemas sao
contornados.
H
a varias propostas para a estimac
ao bayesiana dos parametros de interesse
na TRI. A mais utilizada e a Estimac
ao Bayesiana Marginal proposta por Mislevy (1986a), que e uma generalizac
ao da proposta de Bock & Aitkin (1981).
Basicamente, a estimac
ao bayesiana consiste em estabelecer distribuic
oes a
priori para os parametros de interesse, construir uma nova func
ao denominada distribuic
ao a posteriori e estimar os parametros de interesse com base
em alguma caracterstica dessa distribuic
ao. Consideremos que as componentes de s
ao variaveis aleatorias independentes e contnuas, com distribuic
oes
especificadas. Por estarmos tratando de uma extens
ao da proposta de Bock
& Aitkin, a estimac
ao e feita por maxima verossimilhanca marginal, em duas
etapas.
Para tornar o tratamento mais geral, vamos considerar que a distribuic
ao
da habilidade e func
ao de um vetor de parametros , com densidade g(|), e
que a distribuic
ao de i , i = 1, , I, e func
ao de um vetor de parametros ,
com densidade g(| ). Podemos, ainda, estabelecer distribuic
oes a priori para
os parametros e , digamos f ( ) e g(). Para definir a metrica, digamos
(0,1), em que os parametros dos itens (e, posteriormente, as habilidades) ser
ao
estimados, podemos adotar uma distribuic
ao degenerada para em (0,1) ou
uma distribuic
ao que tenha vetor de medias (0,1) e vari
ancias muito pequenas.
A primeira opc
ao equivale a eliminar a func
ao g(), mas para tornar o trataAndrade, Tavares & Valle
SINAPE 2000
Keimelion
Reviso de textos
68
Estima
c
ao: uma u
nica popula
c
ao
mento mais geral vamos mante-la no desenvolvimento da teoria. Com isso, a

densidade conjunta desses parametros e
f (, , , ) = f (| )g(|)f ( )g()
( I
) n
Y
Y
=
f ( i | )
g(j |) f ( )g().
i=1
j=1
Se quisermos fazer inferencias sobre todos esses parametros, devemos nos

basear na distribuic
ao a posteriori:
f (, , , |u.. ) L(u.. ; , )f (| )g(|)f ( )g().
(3.89)
Entretanto, geralmente estamos interessados em um n

umero reduzido de
parametros. Nesse caso, devemos trabalhar com uma posteriori que seja func
ao
apenas dos parametros de interesse.
3.6.1 Estimac
ao dos par
ametros dos itens
Para fazer inferencias com relac
ao aos parametros dos itens, e conveniente
marginalizara posteriori integrando com relac
ao a e , obtendo a distribuic
ao a posteriori de e :
Z Z
f (, |u.. ) = C
P (u.. ; , )f (| )g(|)f ( )g()dd

Z
Z
= Cg()
f (| )f ( )d
P (u.. ; , )g(|)d
L(, )f ()g(),
(3.90)
onde C representa uma constante, L(, ) P (u.. ; , ) e

Z
f () = f (| )f ( )d .
Como estimador de podemos escolher alguma caracterstica de f (, |u.. ),
SINAPE 2000
Keimelion
Reviso de textos
3.6 Estima
c
ao bayesiana
69
sendo que as mais adotadas sao a media e a moda. No que segue vamos considerar a moda da posteriori como o estimador de , ou seja, o valor de que
maximiza a posteriori marginal. Temos que
log f (, |u.. ) = Const + log L(, ) + log f () + log g(),
onde o primeiro termo representa uma constante. Pela suposic
ao de independencia entre os itens, a estimac
ao sera feita um item por vez. Notando
que a u
ltima parcela nao e funcao de i , temos que as equac
oes de estimac
ao
para os parametros dos itens i , i = 1, , I, sao dadas por
log L(, ) log f ()
f (, |u.. )
=
+
= 0.
i
i
i
(3.91)
A primeira parcela de (3.91) e exatamente a mesma obtida em (3.64). A

abordagem bayesiana adiciona uma nova parcela a (3.64) relativa à distribuic
ao a priori associada aos parametros dos itens. A primeira parcela de
(3.91) relativa às componentes de i e dada por (3.68) a (3.70). A segunda
parcela de (3.91) depende da priori adotada para cada parametro. Como o
parametro ai deve ser positivo, bi pode assumir qualquer valor real e ci deve
estar no intervalo [0, 1], deveremos assumir distribuic
oes que levam em conta
essas limitac
oes e isso exige um tratamento diferenciado para cada um destes
par
ametros. Em seguida trataremos destes casos, considerando as suposic
oes
mais freq
uentes na pratica.
Distribui
c
ao a priori para ai
Geralmente, adota-se as distribuic
oes Log-normal ou Chi-Quadrado para
ai . Neste texto, vamos supor que cada parametro ai tem distribuic
ao Log2
normal com parametro = (a , a ). Uma justificativa teorica para a adoc
ao
desta distribuic
ao e que na pratica os ai s
ao, em geral, positivos, sugerindo
que a distribuic
ao de ai pode ser modelada por uma distribuic
ao unimodal
e com assimetria positiva (ver Mislevy (1986a)), tal como a log-normal. A
transformac
ao i = log ai resulta em cada i tendo uma distribic
ao Normal
2
2
2
2
( , ), onde a = exp[ + /2] e a = (exp( ) 1) exp[2 + 2 ]. Alguns
autores (ver Baker (1992), por exemplo) preferem desenvolver expressoes para
SINAPE 2000
Keimelion
Reviso de textos
70
Estima
c
ao: uma u
nica popula
c
ao
a estimac
ao de i ao inves de ai e sugerem a utilizac
ao da propriedade de
invari
ancia do estimador de m
axima verossimilhanca para a obtenc
ao de b
ai
pela trasformac
ao b
ai = exp(b
i ). Entretanto, para uniformidade desse texto,
vamos continuar apresentando a equac
ao para o par
ametro ai .
Como a distribuic
ao de ai e log-normal, sua densidade e
f (ai |a , a2 )
1
1
2
=
exp 2 (log ai a ) .
2a
2ai a
Segue que a segunda parcela de (3.91) pode ser escrita como
log f (ai |a , a2 )
1
log ai a
1+
.
=
ai
ai
a2
(3.92)
Distribui
c
ao a priori para bi
Como os par
ametros de dificuldade estao na mesma escala da habilidade,
em geral, sup
oem-se que cada bi s tem distribuic
ao Normal com vetor de
parametros = (b , b2 ). Desta forma, a segunda parcela de (3.91) pode ser
escrita como
log f (bi |b , b2 )
(bi b )
.
=
bi
b2
(3.93)
Distribui
c
ao a priori para ci
Como ci so pode pertencer ao intervalo [0; 1], uma priori Beta foi proposta
por Swaminathan & Gifford (1986). A func
ao densidade da distribuic
ao Beta
com parametros s + 1 e t + 1 e dada por
f (ci |s, t) =
(s + t + 2) s
c (1 ci )t ,
(s + 1)(t + 1) i
(3.94)
onde (d) e a func

ao Gama, definida por
SINAPE 2000
Keimelion
Reviso de textos
3.6 Estima
c
ao bayesiana
71
Z
(d) =
xd1 ex dx.
A media desta distribuic

ao e dada por
s+1
.
s+t+2
Swaminathan & Gifford propoem, ainda, a seguinte reparametrizac
ao:
p=
= mp + 1
= m(1 p) + 1,
onde m = s+t+2. Desta forma, p = (s+1)/m e, consequentemente, s = mp1

e t = m s 2 = m(1 p) 1. Segue disso que
s=2
e t = 2.
Retornando a (3.94), obtemos
f (ci |, ) =
( + 2) 2
c
(1 ci )2 .
( 1)( 1) i
(3.95)
Neste caso, a media p passa a ser interpretada como a probabilidade de

acerto por indivduos com baixa habilidade. Desta forma, os parametros e
sao definidos para que p tenha o valor desejado. Entretanto, Swaminathan &
Gifford sugerem que a escolha de m deva se situar no intervalo {15, , 20},
o que leva a uma certa restric
ao na escolha de e .
Para chegarmos a expressao para a segunda parcela de (3.91), notemos que
log f (ci |, ) = Const + ( 2) log ci + ( 2) log(1 ci ).
(3.96)
Consequentemente,
2
2
log f (ci |, )
.
=
ci
ci
1 ci
(3.97)
Com as componentes (3.92), (3.93) e (3.97), temos que as equac

oes de estimacao para as componentes de i s
ao
SINAPE 2000
Keimelion
Reviso de textos
72
Estima
c
ao: uma u
nica popula
c
ao
1
log ai a
1+
= 0,
: D(1 ci ) ( bi ) [ri () Pi fi ()] Wi d
ai
a2
IR
(3.98)
Z
(bi b )
= 0,
: Dai (1 ci )
[ri () Pi fi ()] Wi d
(3.99)
b2
IR
Z
2
2
Wi
= 0.
:
[ri () Pi fi ()] d +
(3.100)
P
c
1
ci
i
IR
i
Z
ai
bi
ci
Para efeito de aplicac

ao dos procedimentos iterativos Newton-Raphson ou
Scoringde Fisher, precisaremos das derivadas segundas das express
oes (3.98)
a (3.100). Como as derivadas segundas das primeiras parcelas dessas express
oes
j
a foram obtidas na Sec
ao 3.2, resta apenas a obtenc
ao das segundas parcelas,
que s
ao as seguintes:
2 log f (ai |a , a2 )
a2i
2 log f (bi |b , b2 )
b2i
2 log f (ci |, )
c2i
1 2
a + log ai a 1 ,
2
ai a
1
,
b2
2
2
.
2
(1 ci )2
ci
(3.101)
Equa
c
oes de estima
c
Considerando conhecidos os n
os k e os pesos Ak , k = 1, , q, temos que
as equac
oes de estimac
ao em forma de quadratura para os par
ametros ai , bi e
ci sao, respectivamente,
SINAPE 2000
Keimelion
Reviso de textos
3.6 Estima
c
ao bayesiana
ai : D(1 ci )
q
X
k=1
73
1
log ai a
1+
= 0,
(k bi ) [rki Pki fki ] Wki
ai
a2
(3.102)
bi : Dai (1 ci )
q
X
[rki Pki fki ] Wki
k=1
ci :
q
X
k=1
[rki Pki fki ]
(bi b )
= 0,
b2
(3.103)
2
Wki 2
= 0.
+
Pki
ci
1 ci
(3.104)
3.6.2 Estimac
ao das habilidades
Tal como na estimac
ao por maxima verossimilhanca marginal, a estimac
ao
bayesiana das habilidades e feita em uma segunda etapa, considerando os
par
ametros dos itens fixos. Atraves da suposic
ao de independencia entre as
habilidades de diferentes indivduos, podemos fazer as estimac
oes em separado
para cada indivduo.
Vamos assumir que a distribuic
ao a priori para j , j = 1, , n, e Normal
2
com vetor de parametros = (, ) conhecidos. A posteriori para a habilidade
do indivduo j pode ser escrita como
gj (j ) g(j |uj. , , ) P (uj. |j , )g(j |).
(3.105)
Novamente, podemos adotar alguma caracterstica de gj (j ) como estimador

de j , sendo que as mais adotadas sao a media e a moda. A seguir, trataremos
da obtenc
ao de cada uma destas caractersticas.
Estima
c
ao pela moda da posteriori - MAP
A estimac
ao pela moda da posteriori (ou MAP: maximum a posteriori)
consiste em obter o m
aximo de (3.105). Por facilidade, vamos trabalhar com
o logaritimo da posteriori
log gj (j ) = Const + log P (uj. |j , ) + log g(j |).
SINAPE 2000
Keimelion
Reviso de textos
74
Estima
c
ao: uma u
nica popula
c
ao
Segue que a equac

ao de estimac
ao para j e
log gj (j )
log P (uj. |j , ) log g(j |)
=
+
= 0.
j
j
j
(3.106)
Pela independencia local, temos que

" I
#
I
Y
X
log P (uj. |j , ) = log
P (uji | i , j ) =
log P (uji | i , j ).
i=1
i=1
Portanto,
log P (uj. |j , )
j
I
X
log P (uji | i , j )
=
j
i=1
I
X
i=1
P (uji | i , j )/j
.
P (uji | i , j )
1uji
Lembramdo que P (uji | i , j ) = Pjiji Qji

(3.34) a (3.38), teremos que
(3.107)
e usando o desenvolvimento de
X
log P (uj. |j , )
=D
ai (1 ci )(uji Pji )Wji .
j
(3.108)
i=1
Como estamos adotando a priori Normal (, 2 ) para j , a segunda parcela

de (3.106) e
(j )
log g(j |)
.
=
j
2
(3.109)
Por (3.108) e (3.109), temos que a equac

ao de estimac
ao para j e
I
X
ai (1 ci )(uji Pji )Wji
i=1
(j )
= 0.
2
(3.110)
SINAPE 2000
Keimelion
Reviso de textos
3.6 Estima
c
ao bayesiana
75
Como esta equac

ao nao tem soluc
ao explcita, podemos aplicar algum metodo
iterativo para resolve-la. Para isso sera necessaria a derivada segunda de
log g(j |uj. , , ) com relac
ao a j , cuja expressao e
H(j ) =
I
X
i=1
1
(uji Pji )Wji Hji (uji Pji )Wji h2ji 2 ,
(3.111)
onde hji e Hji s

ao dados por (3.42) e (3.43), respectivamente. Para aplicarmos
o metodo Scoringde Fisher, devemos tomar a esperanca da expressao acima,
resultando em
(j ) =
I
X
Pji Qji Wji h2ji
i=1
1
.
2
(3.112)
Estima
c
ao pela m
edia da posteriori - EAP
A estimac
ao de j pela media da posteriori (ou EAP: expected a posteriori)
consiste em obter a esperanca da posteriori, que pode ser escrita como
g(|uj. , , ) =
P (uj. |, )g(|)
.
P (uj. |, )
(3.113)
Segue que a esperanca da posteriori e

R
g(|)P (uj. |, )d
b
j E[|uj. , , ] = RIR
.
IR g(|)P (uj. |, )d
(3.114)
Esta forma de estimac

ao tem a vantagem de ser calculada diretamente, n
ao
necessitando da aplicac
ao de metodos iterativos. Alem disso, as quantidades
necessarias para o seu calculo sao um produto final da etapa de estimac
ao.
Por conta disso alguns autores (por exemplo, Mislevy & Stocking (1989)) recomendam esta escolha para a estimac
ao das habilidades.
SINAPE 2000
Keimelion
Reviso de textos
76
Estima
c
ao: uma u
nica popula
c
ao
3.7 Resumo
A seguir, faremos um sntese das vantagens e desvantagens dos metodos
citados neste livro. Vale ressaltar que existem ainda outros metodos de estimac
ao propostos na literatura.
Na sntese abaixo, o smbolo representar
a uma caracterstica positiva,
enquanto representar
a uma caracterstica negativa.
Estimac
ao dos Par
ametros dos Itens
M
axima Verossimilhan
ca Marginal - MVM :
Possui propriedades assint
oticas: as estimativas dos par
ametros ai , bi
e ci s
ao consistentes;
Uma vez estimados os parametros dos itens, pode-se estimar as habilidades atraves do metodo da Sec
ao 3.3 ou 3.6.2;
Nao esta definido para itens com acerto total ou erro total;
bastante trabalhoso computacionalmente;
E
Necessidade do estabelecimento de uma distribuic
ao para ;
Apresenta problemas na estimac
ao do parametro ci em alguns casos;
deve ser usado somente com um n
umero suficientemente grande de
respondentes.
Bayesiano :
Definido para qualquer padrao de resposta;
Uma vez estimados os parametros dos itens, pode-se estimar as habilidades atraves do metodo da Sec
ao 3.3 ou 3.6.2;
mais trabalhoso computacionalmente do que o MVM;
E
Necessidade de distribuic
oes a priori para os par
ametros dos itens.
SINAPE 2000
Keimelion
Reviso de textos
3.7 Resumo
77
Estimac
ao das habilidades
M
axima Verossimilhan
ca - MV :
Para testes longosproduz estimadores nao viciados;
N
ao esta definido para alguns padroes de resposta.
Bayesiano - EAP :
Possui o menor erro medio;
Viciado;
Exige calculos mais complexos do que o metodo de MV;
Necessidade de uma distribuic
ao a priori para .
Bayesiano - MAP :
Viciado.
Exige calculos mais complexos do que o metodo de MV;
Necessidade de uma distribuic
ao a priori para .
Estimac
ao dos par
ametros dos itens e das habilidades
M
axima Verossimilhan
ca Conjunta - MVC :
Serve como base para outros procedimentos;
Apresenta problemas de indeterminac
ao;
N
ao possui propriedades assint
oticas, pois o aumento do n
umero de
respondentes aumenta o n
umero de parametros a serem estimados;
E bastante trabalhoso computacionalmente;

SINAPE 2000
Keimelion
Reviso de textos
78
Estima
c
ao: uma u
nica popula
c
ao
Apresenta problemas na estimac
ao do parametro ci em alguns casos;
deve ser usado somente com um n
umero suficientemente grande de
respondentes;
Nao esta definido para alguns padroes de resposta.
No proximo captulo introduziremos e discutiremos o conceito de equalizac

ao.
SINAPE 2000
Keimelion
Reviso de textos
Captulo 4
Equalizac
ao
4.1 Introduc
ao
No captulo anterior, apresentamos os metodos de estimac
ao mais utilizados
quando todos os parametros dos itens de uma u
nica prova devem ser estimados.
No entanto, esta e apenas uma das possveis situac
oes que na pratica iremos
encontrar. A seguir, listaremos os 6 casos possveis, quanto ao n
umero de
grupos e de tipos de prova envolvidos. Esses casos est
ao esquematizados na
Figura 4.1.
1. Um u
nica prova.
2. Um u
nico grupo, dividido em dois subgrupos, fazendo duas provas, totalmente distintas (nenhum item comum).
3. Um u
nico grupo, dividido em dois subgrupos, fazendo duas provas, apenas parcialmente distintas, ou seja, com alguns itens comuns.
4. Dois grupos fazendo uma u
nica prova.
5. Dois grupos fazendo duas provas, totalmente distintas (nenhum item
comum).
6. Dois grupos fazendo duas provas, apenas parcialmente distintas, ou seja,
com alguns itens comuns.
Note que para simplificar, listamos os casos acima utilizando apenas duas
provas e duas populac
oes, mas as situac
oes envolvendo um n
umero maior de
provas e/ou de populac
oes sao analogas.
Alem disso, os problemas de estimac
ao tambem podem diferir dependendo
do conjunto de itens que necessita ser estimado, ou seja, se nosso conjunto de
itens e composto de:
Keimelion
Reviso de textos
80
Equaliza
c
ao

ao gr
afica de 6 situac
oes quanto ao n
umero de grupos e de
tipos de provas

(a) apenas itens novos (ou seja, itens que ainda nao foram calibrados);
(b) apenas itens ja calibrados;
(c) itens novos e itens calibrados.
Em primeiro lugar, e importante definir o conceito de Equalizac
ao (ver Kolen
& Brennan (1995), por exemplo), que e um dos mais importantes da TRI e um
dos grandes objetivos das Avaliacoes Educacionais. Equalizar significa equiparar, tornar comparavel, o que no caso da TRI significa colocar parametros de
itens vindos de provas distintas ou habilidades de respondentes de diferentes
SINAPE 2000
Keimelion
Reviso de textos
4.2 Diferentes tipos de equaliza

c
ao
81
grupos, na mesma metrica, isto e, numa escala comum, tornando os itens e/ou
as habilidades comparaveis.
Existem dois tipos de equalizac
ao: a equalizac
ao via populac
ao e a equalizac
ao via itens comuns. Isto significa que h
a duas maneiras de colocar parametros, tanto de itens quanto de habilidades, numa mesma metrica: na primeira
usamos o fato de que se um u
nico grupo de respondentes e submetido a provas
distintas, basta que todos os itens sejam calibrados conjuntamente para termos
a garantia de que todos estar
ao na mesma metrica. Ja na equalizac
ao via itens
comuns, a garantia de que as populac
oes envolvidas ter
ao seus parametros
em uma u
nica escala sera dada pelos itens comuns entre as populac
oes, que
servirao de ligac
ao entre elas.
4.2 Diferentes tipos de equalizac

ao
Uma vez listadas as diversas situac
oes e casos que podemos ter, vamos
agora discutir cada uma delas. Obviamente, podemos ter as situac
oes 1 a
6 combinadas com os casos (a) a (c). Mas, mais uma vez para facilitar a
explicac
ao, trataremos inicialmente das situac
oes 1 a 6 considerando sempre
o caso mais simples, ou seja, o caso (a).
Cabe ainda ressaltar que todas as analises e coment
arios deste captulo ser
ao
feitos considerando-se o modelo logstico unidimensional de 3 parametros.
4.2.1 Um u
nica prova
Este e o caso trivial, em que se aplicam diretamente os modelos matematicos e os metodos de estimac
ao descritos nos captulos anteriores. Foi
o caso considerado ate agora, nos Captulos 2 e 3, e pela propria natureza do
problema, nao e necess
ario nenhum tipo de equalizac
ao.
Um exemplo para ilustrar este caso seria uma prova de 30 itens aplicada
à 4.a serie diurna do Ensino Fundamental da rede p
ublica estadual de S
ao
Paulo.
4.2.2 Um u
nico grupo fazendo duas provas totalmente distintas
Este e um caso classico do que chamamos de equalizac
ao via populac
ao.
Para resolve-lo, basta que todos os itens de ambas as provas sejam calibrados
SINAPE 2000
Keimelion
Reviso de textos
82
Equaliza
c
ao
simultaneamente. O fato de todos os indivduos representarem uma amostra

aleat
oria de uma mesma populac
ao e que garante que todos os parametros
envolvidos estarao na mesma escala.
Um exemplo para este caso seria quando duas provas distintas (tipo A e
tipo B), com 30 itens cada, sao aplicadas, de maneira aleatoria, aos alunos
da 4.a serie diurna do Ensino Fundamental da rede p
ublica estadual de Sao
Paulo. Ao final dos processos de estimac
ao, todos os resultados obtidos serao
compar
aveis, nao importando a que tipo de prova cada aluno tenha sido submetido.
4.2.3 Um u
nico grupo fazendo duas provas parcialmente distintas
Este caso e bastante semelhante ao caso anterior, e aqui tambem podemos
fazer a equalizac
ao via populac
ao. Assim, valem os mesmos coment
arios da
Sec
ao 4.2.2.
Um exemplo dessa situac
ao seria a aplicac
ao de duas provas (tipo A e tipo
B), com 30 itens cada e com 10 itens comuns entre elas, aos alunos da 4.a
serie diurna do Ensino Fundamental da rede p
ublica estadual de Sao Paulo.
Aqui, o n
umero total de itens a serem calibrados seria 50 (= 30 + 30 - 10).
Analogamente ao exemplo anterior, ao final dos processos de estimac
ao todos
os resultados obtidos ser
ao comparaveis, nao importando a qual prova cada
aluno tenha sido submetido.
Outro exemplo bastante interessante para este caso, seria a aplicac
ao do
SAEB Sistema Nacional de Avaliac
ao da Educac
ao Basica. Nesse estudo,
uma das populac
oes alvo e a 3.a serie do Ensino Medio. Como a aplicac
ao e
de carater nacional, alunos de varios estados do pas sao avaliados, mas todos
s
ao considerados como respondentes vindos da mesma populac
ao, ou seja,
como um u
nico grupo. Alem disso, o SAEB procura cobrir a grade curricular
de forma completa, e para tanto, e considerado um grande n
umero de itens
distintos em cada disciplina. Como seria inviavel a aplicac
ao de todos os itens
a um u
nico aluno, as provas sao montadas segundo um esquema BIB Blocos
Incompletos Balanceados no qual os itens sao divididos em blocos, que por
sua vez sao reunidos em cadernos, e estes cadernos que nada mais sao do
que diferentes provas , e que sao aplicados aos alunos. No caso da 3.a serie
do Ensino Medio, os itens foram divididos em 13 blocos com 13 itens distintos
SINAPE 2000
Keimelion
Reviso de textos
4.2 Diferentes tipos de equaliza

c
ao
83
cada um. Foram ent

ao montados 26 cadernos, cada um composto por 3 blocos
importante notar que
distintos. Assim, cada aluno responde a 39 itens. E
diferentes blocos n
ao tem itens comuns entre si, mas que diferentes cadernos
podem ou n
ao ter itens comuns: basta que tenham algum bloco em
comum. Concluindo, desta maneira foram aplicados diferentes tipos de provas
representados pelos 26 cadernos com itens comuns a um u
nico grupo de
respondentes alunos da 3.a serie do Ensino Medio brasileiro.
O SAEB tambem e um bom exemplo pratico do que chamamos de provas
com itens n
ao apresentados. Podemos considerar que a prova e composta dos
169 itens, mas que apenas 39 s
ao submetidos a cada aluno. Consequentemente,
temos 130 itens que nao foram apresentados para cada aluno. Quando temos
provas com um n
umero originalmente grande de itens, podemos resolver o
problema utilizando esquemas semelhantes ao usado no SAEB. Assim, o que
inicialmente poderia ser considerado como uma u
nica prova, pode vir a ser
considerado como v
arias provas, se n
ao submetermos todos os itens a todos os
alunos.
4.2.4 Dois grupos fazendo uma u

nica prova
Este e um exemplo de equalizac
ao via itens comuns (so que no caso, todos).
Como as duas populac
oes fazem exatamente a mesma prova, basta que os
itens sejam calibrados utilizando-se as respostas dos respondentes de ambos os
grupos simultaneamente. Para tanto, devemos apenas utilizar um modelo para
duas populac
oes, como apresentado no Captulo 2. Detalhes sobre o processo
de estimac
ao serao fornecidos no Captulo 5.
Um exemplo para este caso seria a aplicac
ao de uma u
nica prova, composta
de 40 itens, nos perodos diurno (populac
ao 1) e noturno (populac
ao 2) da 8.a
serie do Ensino Fundamental da rede p
ublica estadual de Sao Paulo. Ao final
dos processos de estimac
ao, todos os resultados obtidos serao comparaveis,
nao importando a que populac
ao o aluno pertence.
4.2.5 Dois grupos fazendo duas provas totalmente distintas

Este e o u
nico dos 6 casos que nao pode ser resolvido pela TRI. Obviamente
e possvel calibrar separadamente os itens das duas provas, mas o problema e
que n
ao podemos fazer nenhum tipo de comparac
ao entre os resultados obAndrade, Tavares & Valle
SINAPE 2000
Keimelion
Reviso de textos
84
Equaliza
c
ao
tidos, uma vez que eles estarao em metricas diferentes. Neste caso, nao faz
sentido comparar os resultados destes dois grupos, assim como n
ao faz sentido
comparar diretamente 40o C com 40o F . Assim como essas duas temperaturas est
ao em escalas de medida diferentes, os parametros obtidos nestas duas
provas tambem estarao. A diferenca e que, no caso das temperaturas, h
a uma
relac
ao conhecida entre as duas escalas, e assim, e possvel colocarmos uma
das temperaturas na mesma escala que a outra, possibilitando ent
ao, a comparac
ao. Ja no caso das provas, n
ao existe nenhuma relac
ao entre elas e nem
entre os dois grupos, que torne possvel a comparac
ao.
Um exemplo que ilustra esta situac
ao seria a elaborac
ao de duas provas
distintas: uma, composta de 30 itens, seria aplicada à 4.a serie diurna (populac
ao 1) e a outra prova, composta de 40 itens, seria aplicada à 5.a serie
diurna (populac
ao 2) do Ensino Fundamental da rede p
ublica estadual de Sao
Paulo. Estas duas provas poderiam ser calibradas separadamente e seus resultados poderiam ser interpretados isoladamente dentro de cada serie, mas nao
poderamos comparar os resultados dos itens e nem das habilidades estimadas
para os indivduos das duas series.
4.2.6 Dois grupos fazendo duas provas parcialmente distintas

Finalmente, vamos comentar o caso em que dois grupos sao submetidos
a duas provas diferentes, mas que tem alguns itens comuns. Assim como na
Sec
ao 4.2.4, este tambem e um exemplo de equalizac
ao via itens comuns. Este
caso representa o melhor exemplo do uso e da importancia da equalizac
ao e
sem d
uvida, ilustra o maior avanco da TRI sobre a Teoria Classica. O uso de
itens comuns entre provas distintas aplicadas a populac
oes distintas permite
que todos os par
ametros estejam na mesma escala ao final dos processos de
estimac
ao, possibilitando comparac
oes e a construc
ao de escalas do conhecimentointerpret
aveis, que sao de grande import
ancia na area educacional. A
resoluc
ao deste caso e bastante semelhante ao que foi descrito na Sec
ao 4.2.4,
com a diferenca que aqui apenas alguns dos itens (e nao a prova toda) fazem
a ligac
ao entre as duas populac
oes envolvidas. Este caso sera abordado mais
detalhadamente atraves de um exemplo pratico, apresentado no Captulo 6.
Um exemplo que ilustra bem esta situac
ao seria a aplicac
ao de uma prova
a
com 30 itens `
a 3. serie diurna (populac
ao 1) e de outra prova, tambem com
30 itens, à 4.a serie diurna da rede p
ublica estadual de S
ao Paulo (populac
ao
SINAPE 2000
Keimelion
Reviso de textos
4.3 Diferentes problemas de estima

c
ao
85
2). Entre elas poderiam haver 10 itens comuns (por exemplo, 10 itens da matriz curricular da 3.a serie). Desta maneira, no final do processo de estimac
ao
teramos todos os 50 itens numa mesma metrica, possibilitando comparac
oes
entre alunos de 3.a e 4.a series, e tambem possibilitando a criac
ao de uma
a
a
escala de conhecimentoda 3. e da 4. serie nesta dada disciplina. Como veremos no Captulo 6, esta escala possibilitaria a verificac
ao dos conte
udos que
os alunos destas duas series dominam, dos conte
udos onde ha falhas, acompanhar a evoluc
ao do conhecimentode uma serie para outra, etc.
4.3 Diferentes problemas de estimac

ao
Vamos agora considerar outro ponto bastante importante na TRI: o conjunto de itens a ser calibrado. Vamos comentar inicialmente os casos (a) a (c),
considerando-se o caso 1, ou seja, o caso em que uma u
nica prova foi aplicada
a um u
nico grupo de respondentes.
4.3.1 Quando todos os itens s

ao novos
Neste caso, todos os itens s
ao considerados novos, ou seja, deseja-se calibrar o conjunto completo de itens. Este e o caso trivial, que foi considerado
ate agora. Para resolver este problema basta utilizar alguma das tecnicas de
estimac
ao descritas no captulo anterior.
Trata-se exatamente da mesma situac
ao descrita na Sec
ao 4.2.1 e, portanto,
poderamos utilizar o mesmo exemplo: a aplicac
ao de uma prova, composta
de 30 itens novos (ou seja, com 30 itens que desejamos calibrar), aos alunos
da 4.a serie diurna da rede p
4.3.2 Quando todos os itens j

a est
ao calibrados
Este e o caso em que todos os itens ja foram calibrados anteriormente, ou
seja, quando nao desejamos calibrar nenhum dos itens e estamos interessados
apenas em estimar as habilidades dos respondentes. Este e um caso tambem
bastante frequente na TRI, devido ao impulso que esta teoria deu na criac
ao de
bancos de itens. Tais bancos sao formados por conjuntos de itens que ja foram
testados e calibrados a partir de um n
umero significativo de indivduos de uma
dada populac
ao. Desta maneira, assumimos que os parametros desses itens ja
SINAPE 2000
Keimelion
Reviso de textos
86
Equaliza
c
ao
s
ao conhecidos, ou seja, assumimos que conhecemos os verdadeiros valores
dos par
ametros desses itens e assim, sempre que desejarmos, podemos aplicar
novamente alguns desses itens do banco a outros indivduos (ou ate mesmo a
um u
nico indivduo) e poderemos ent
ao estimar apenas suas habilidades, que
estarao sempre na mesma metrica dos parametros dos itens.
A quest
ao da metrica e um ponto que deve ser considerado com bastante
cuidado numa situac
ao como esta. Quando se constr
oium banco de itens,
uma informac
ao fundamental e a escala em que aqueles itens foram calibrados.
Isto porque as habilidades de indivduos que serao estimadas futuramente
a partir daqueles itens estarao nesta mesma metrica e portanto, quaisquer
comparac
oes diretas so poderao ser feitas com outro sujeitos que tambem
tenham suas habilidades nesta escala.
Assim, para resolver este problema, basta utilizar um dos processos de estimac
ao das habilidades dos indivduos quando os parametros dos itens ja sao
conhecidos, que foram descritos na Sec
ao 3.3 do Captulo 3.
Um exemplo para este tipo de situac
ao seria a aplicac
ao de uma prova, composta de 30 itens de 4.a serie que ja foram calibrados numa aplicac
ao anterior
(por exemplo, numa aplicac
ao de nvel nacional como o SAEB), aos alunos da
4.a serie da rede p
ublica estadual de Sao Paulo. Este tipo de procedimento
e bastante comum, e nesse caso, o objetivo seria comparar a rede p
ublica
paulista com o desempenho nacional.
4.3.3 Quando alguns itens s

ao novos e outros j
a est
ao calibrados
Neste caso, temos itens novose itens ja calibrados, ou seja, desejamos
calibrar alguns itens e manter os par
ametros de outros, que j
a foram calibrados
anteriormente. Este tambem e uma situac
ao que esta tipicamente ligada à
criac
ao de bancos de itens. Isto porque um banco de itens esta continuamente
em formac
ao, ou seja, e bastante comum estarmos interessados em acrescentar
novos itens ao conjunto que ja se encontra no banco (assim como tambem e
comum a retirada de itens do banco). Neste caso, o problema fundamental e
garantir que os itens novos sejam calibrados na mesma metrica em que estao
os outros itens do banco.
Na pr
atica, este e um problema de soluc
ao mais complexa do que possa
parecer em princpio. Isto porque e indispensavel o uso de programas computacionais especificamente desenvolvidos para a analise de itens via TRI e esses
SINAPE 2000
Keimelion
Reviso de textos
4.4 Equaliza
c
ao a posteriori
87
programas ainda apresentam algumas dificuldades com relac

ao a situac
oes
como essa. Vamos comentar especificamente os problemas que podem surgir
em casos como esse no Captulo 7.
Um exemplo para esse caso seria a aplicac
ao de uma prova, composta de 30
a
itens, aos alunos da 4. serie diurna da rede p
Desses 30 itens, 15 sao itens novos e 15 sao itens que ja foram calibrados numa
aplicac
ao de nvel nacional do SAEB. Na pr
atica, esta e uma situac
ao bastante
comum, pois quando sao feitas avaliac
oes regionais, por um lado h
a o interesse
em criar e aplicar itens novos, mas por outro lado, ha tambem o interesse em
que os resultados obtidos possam ser comparados aos resultados nacionais.
Ilustramos ate aqui, os casos (a), (b) e (c) considerando-se a situac
ao 1. As
outras situac
oes onde tratamos apenas de uma populac
ao (situac
oes 2 e 3),
sao analogas. No entanto, quando temos duas (ou mais) populac
oes envolvidas
(situac
oes 4 e 6), e desejamos estimar itens novos e manter fixos os par
ametros
dos itens j
a calibrados (caso (c)), poderemos ter problemas com a metrica. Os
casos (a) e (b) nao apresentam problemas, sendo an
alogos à situac
ao anterior.
Sempre que ha mais de uma populac
ao envolvida nos processos de estimac
ao,
como ja foi comentado anteriormente, existem problemas de indeterminac
ao
de escala. Para resolver este problema, devemos definir uma das populac
oes
como sendo a referencia, e ent
ao, as demais populac
oes serao posicionadas com
relacao a ela.
Este tipo de problema sempre ira ocorrer quando fazemos a equalizac
ao
entre duas ou mais populac
oes durante o processo de estimac
ao dos itens.
Uma outra maneira de solucionarmos o problema seria atraves da chamada
equalizac
ao a posteriori, que ser
a discutida a seguir.
4.4 Equalizac
ao a posteriori
Ate aqui discutimos formas de equalizac
ao entre 2 ou mais populac
oes
feitas durante o proprio processo de estimac
ao dos par
ametros. Mas, tambem e
possvel fazer a equalizac
ao a posteriori, isto e, depois de terminado o processo
de calibrac
ao dos itens. Basicamente, a equalizac
ao a posteriori e feita da
seguinte maneira: calibra-se separadamente os dois conjuntos de itens, que
foram submetidos `
as duas populac
oes de interesse. Obviamente, a condic
ao
necessaria e que hajam itens comuns entre os dois conjuntos. Assim, para os
SINAPE 2000
Keimelion
Reviso de textos
88
Equaliza
c
ao
itens comuns, teremos dois conjuntos de estimativas, cada uma na metrica

de suas respectivas populac
oes. Da, atraves dessas duas estimativas para os
itens comuns estabelece-se algum tipo de relac
ao que permita colocarmos os
parametros de um dos conjuntos de itens na escala do outro. Com todos os
itens na mesma metrica, pode-se ent
ao estimar as habilidades de todos os
respondentes, que entao estarao tambem na mesma escala.
Pela propriedade de invari
ancia, ja discutida no Captulo 2, dado que o modelo e adequado aos dados, os parametros a e b de um certo item apresentado
a 2 grupos de respondentes devem satisfazer, a menos de flutuac
oes amostrais,
as seguintes relac
oes lineares:
bG1 = bG2 +
e aG1 =
1
aG2 ,
(4.1)
onde bG1 e bG2 sao os valores do parametro de dificuldade e aG1 e aG2 sao
os valores do parametro de discriminac
ao nos grupos 1 e 2, respectivamente.
Uma vez determinados os coeficientes e , as estimativas dos parametros
dos itens do grupo 2 podem facilmente ser colocados na mesma escala das
estimativas do grupo 1.
Varios metodos, que se baseiam nessas relac
oes lineares existentes entre os
par
ametros de um mesmo item medidos em escalas diferentes, poderiam ser
entao utilizados para determinar os coeficientes e . A soluc
ao mais natural
pelo proprio tipo de relac
ao existente entre os parametros seria determinar esses coeficientes atraves de uma regressao linear simples. No entanto, a
crtica feita à utilizac
ao desse metodo e que ele n
ao e simetrico, ou seja, uma
regress
ao de x por y e diferente de uma regressao de y por x.
Um dos metodos de equalizac
ao a posteriori existentes que nao apresenta
esse problema, ou seja, e invariante (simetrico) em relac
ao às vari
aveis utilizadas, e denominado Media-Desvio (Mean-Sigma). O metodo Media-Desvio
utiliza:
=
SG1
SG2
e = MG1 MG2 ,
(4.2)
onde SG1 e SG2 sao os desvios-padrao e MG1 e MG2 as medias amostrais das
estimativas dos parametros de dificuldade dos itens comuns nos grupos 1 e 2,
respectivamente. Da mesma forma, as habilidades dos respondentes do grupo
SINAPE 2000
Keimelion
Reviso de textos
4.4 Equaliza
c
ao a posteriori
89
2 podem ser colocadas na mesma escala das habilidades dos respondentes do

grupo 1 a partir da relac
ao
1
G2
= G2 + ,
(4.3)
1
onde G2
e o valor da habilidade G2 na escala do grupo 1. Maiores detalhes
sobre este e outros metodos de equalizac
ao, como por exemplo Media-Desvio
Robusto e Curva Caracterstica, podem ser encontrados em Kolen & Brennan
(1995).
Exemplificando, uma avaliacao feita no estado do Rio Grande do Norte
(ver Fundac
ao Carlos Chagas (1997)) utilizou alguns itens do SAEB 95, com
o intuito de colocar os resultados obtidos na mesma metrica do SAEB. As
Fuguras 4.2 e 4.3 mostram as relac
oes entre as estimativas dos parametros a
e b nas duas avaliac
oes, para a disciplina Lngua Portuguesa da 8.a serie do
Ensino Fundamental.
Figura 4.2 Gr
afico de dispers
ao das estimativas do par
ametro de dificuldade - b dos
itens comuns da prova de Lngua Portuguesa da 8.a serie entre o RN e o SAEB
5
4
8 srie - SAEB 95
3
2
1
0
-3
-2
-1
-1
-2
-3
8 srie - RN
SINAPE 2000
Keimelion
Reviso de textos
90
Equaliza
c
ao
Figura 4.3 Gr
afico de dispers
ao das estimativas do par
ametro de discriminac
ao - a
dos itens comuns da prova de Lngua Portuguesa da 8.a serie entre o RN e o SAEB
8 srie - SAEB 95
0
0
8 srie - RN
Utilizando o metodo Media-Desvio, os coeficientes e obtidos foram:

=
SSAEB
1, 614
= 1, 462,
=
SRN
1, 104
= MSAEB MRN = 0, 363 1, 462 0, 162 = 0, 126.

Logo, as estimativas dos par
ametros obtidas na avaliac
ao feita com os alunos
do Rio Grande do Norte foram colocadas na mesma metrica do SAEB 95
atraves das seguintes expressoes:
OV O
aN
=
RN
1
1
aRN =
aRN ,
1, 462
OV O
bN
= bRN + = 1, 462bRN 0, 126,
RN
SINAPE 2000
Keimelion
Reviso de textos
4.4 Equaliza
c
ao a posteriori
91
N OV O
RN
= RN + = 1, 462RN 0, 126.
Uma u
ltima observac
ao sobre equalizac
ao deve ser feita com relac
ao `
a quantidade de itens comuns. Certamente, quanto maior o n
umero de itens comuns,
melhor sera a qualidade da equalizac
ao. Assim, o melhor caso de equalizac
ao
entre dois grupos distintos e a situac
ao da Sec
ao 4.2.4, ou seja, quando trata-se
exatamente da mesma prova. No entanto, ja sabemos que nao e necessario que
todos os itens sejam comuns. O n
umero mnimo de itens comuns necessario
para uma boa equalizac
ao entre duas populac
oes depende basicamente de dois
fatores: do tipo de equalizac
ao que sera feita e da qualidadedesses itens
comuns.
Equalizac
oes feitas durante o processo de calibrac
ao, com os modelos para
duas ou mais populac
oes que serao discutidos no proximo captulo, sao mais
eficazese portanto, exigem um n
umero menor de itens comuns do que equalizac
oes feitas a posteriori. Alem disso, se os itens comuns utilizados na equalizac
ao tiverem nveis de dificuldade baixos ou altos demais com relac
ao às populacoes envolvidas, ou ent
ao se apresentarem baixo poder de discriminac
ao,
havera necessidade de um n
umero maior de itens.
Alguns autores tem sugerido pelo menos 6 itens comuns entre 2 provas de
30 itens, quando a equalizac
ao e feita durante a calibrac
ao. Um estudo de simulac
ao considerando diferentes situac
oes de equalizac
ao pode ser encontrado
em Andrade (1999).
SINAPE 2000
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Captulo 5
Estima
c
ao: duas ou mais populac
oes
5.1 Introduc
ao
Como descrito no captulo anterior, e freq
uente a situac
ao em que temos
duas ou mais populac
oes envolvidas na analise. Estas populac
oes podem ser
caracterizadas por diferentes graus de escolaridade, regi
ao, sexo, tipo de escola,
etc. O primeiro passo para que os resultados relativos às varias populac
oes
possam ser compar
aveis e a exigencia de itens comuns nos testes aplicados a
estas populac
oes, criando uma estrutura de ligac
ao entre as mesmas. Nessa
situac
ao, o procedimento usual e fazer a estimac
ao para cada populac
ao e
utilizar uma das tecnicas de equalizac
ao descritas na Sec
ao 4.3.
Um abordagem alternativa e o Modelo para Varias Populac
oes proposto
por Bock & Zimowski (1997), introduzido na Secc
ao 2.3, que representou um
grande avanco na TRI. Nesse modelo considera-se que h
a K populac
oes independentes em estudo e e feita uma an
alise conjunta das respostas amostrais dessas populac
oes. Considera-se que a distribuic
ao da habilidade dos
indivduos da populac
ao k segue uma determinada distribuic
ao com vetor de
par
ametros k . Frequentemente adota-se a distribuic
ao Normal com k =
(k , k2 )0 , sendo que estes par
ametros representam, respectivamente, a media
e a vari
ancia das habilidades da populac
ao k, k = 1, , K.
A grande vantagem da abordagem de Bock & Zimowski esta no fato que a
equalizac
ao e feita automaticamente no proprio processo de estimac
ao. Desta
forma, nao estamos mais sujeitos a diferencas nas estimativas dos par
ametros
devidas ao metodo de equalizac
ao escolhido. Alem disso, na presenca de varias
populac
oes (digamos, K 5), com as equalizac
oes sendo feitas entre os testes
k e k + 1, temos erros (relativos à regressao, por exemplo) associados a cada
equalizac
oes, que serao acumulados para a estimac
ao de
2 ), podendo levar a uma m
(2 ,22 ), (3 ,32 ), , e principalmente de (K ,K
a
Keimelion
Reviso de textos
94
Estima
c
c
oes
estimac
ao destes par
ametro. Alem disso, essa abordagem requer um n
umero
menor de itens comuns, em comparac
ao com outros metodos, para produzir
resultados similares, conforme discutido no captulo anterior.
Sejam ukji a resposta (binaria) ao item i oriunda do j-esimo indivduo do
grupo k, e kj a habilidade do j-esimo indivduo do grupo k. (Por grupo k
entenderemos a amostra relativa à populac
ao k.) Embora no desenvolvimento
que segue a func
ao de resposta possa assumir qualquer uma das formas descritas no Captulo 2, para fins de aplicac
ao utilizaremos a func
ao ML3, que
tem sido a func
ao mais utilizada pelos pesquisadores da
area, dada abaixo
P (ukji = 1|kj ) = ci + (1 ci )
1
1+
eDai (kj bi )
Algumas suposic
oes serao necessarias para a construc
ao do modelo. Alem
da independencia local, assumiremos que as respostas oriundas de indivduos
diferentes serao independentes. Vamos considerar a mesma func
ao de resposta
para todos os itens.
5.2 Notaco
es e definic
oes
Embora tenhamos K testes, devemos notar que alguns itens estar
ao em
dois ou mais testes. Por conta disso vamos fazer uma ordenac
ao nos I itens
que compoem o conjunto dos K testes, representando-os por = ( 1 , , I )
e denotando por I k o conjunto dos ndices dos itens aplicados P
ao grupo k.
Considerando Ik o n
umero de itens no teste k, teremos que I K
k=1 Ik . Sejam nk o n
umero de indivduos do grupo k e n o n
umero total de indivduos
na amostra. Sejam ainda, U kj. = (Ukj1 , Ukj2 , , UkjIk ) o vetor aleatorio de
respostas do indivduo j do grupo k; U k.. = (U 1.. , U 2.. , , U nk .. ) o vetor
aleatorio de respostas do grupo k e U ... = (U 1.. , U 2.. , , U n.. ) o vetor total de respostas. De forma similar, representaremos as respostas observadas
por ukji , ukj. , uk.. e u... . Com esta notac
ao e a independencia local, podemos
escrever a probabilidade associada ao vetor de respostas U kj. como
Y
P (ukji |kj , i ).
P (ukj. |kj , ) =
iI k
SINAPE 2000
Keimelion
Reviso de textos
5.2 Nota
c
oes e defini
c
oes
95
Como comentado no Captulo 3, o metodo da Maxima Verossimilhanca Marginal, bem como o Bayesiano, tem sido preferidos ao metodo da Maxima Verossimilhanca Conjunta para a estimac
ao dos parametros de interesse. Alem
disso, o fato de podermos associar distribuic
oes para a habilidade da populac
ao
em estudo nos permite criar estruturas para os par
ametros das respectivas
func
oes densidade de probabilidade, que serao fundamentais nesse modelo. De
forma geral, consideremos que as habilidades dos indivduos da populac
ao k,
jk , j = 1, , nk , sao realizac
oes de uma variavel aleatoria, k , com distribuic
ao contnua e func
ao densidade de probabilidade g(| k ), duplamente
diferenci
avel, com as componentes de k conhecidas e finitas. Para o caso em
que k tem distribuic
ao Normal, temos k = (k , k2 ), onde k e a media e k2
a vari
ancia das habilidades dos indivduos da populac
ao k, k = 1, , K.
Na situac
ao em que temos uma u
nica populac
ao em estudo, nao ha necessidade de estimac
ao dos parametros populacionais. Isso ocorre porque a
metrica e estabelecida fixando-se os parametros populacionais, geralmente em
= 0 e = 1, onde e a media e e o desvio-padrao das habilidade da
populac
ao considerada. Na presenca de varias populac
oes, temos mais um
conjunto de parametro a estimar: = ( 1 , , K ), que ser
ao referidos como
Par
ametros Populacionais. Entretanto, ainda ha a necessidade do estabelecimento da metrica e isso pode ser resolvido fixando-se os parametros relativos
a qualquer uma das populac
oes. Neste livro adotaremos a seguinte referencia:
1 = 0,
1 = 1.
(5.1)
Logo, resta apenas a estimac

ao de 2 , , K . Novamente, a estimac
ao neste
modelo e feita por maxima verossimilhanca marginal, com o diferencial que a
primeira etapa envolve a estimacao dos parametros dos itens e dos parametros
populacionais; as habilidades individuais sao estimadas na segunda etapa.
Cabe notar aqui uma grande contribuic
ao do modelo de Bock & Zimowski, a
de que as medias populacionais podem ser estimadas diretamente, ao passo
que o procedimento anterior era fazer a estimac
ao das habilidades para cada
grupo, adotar um metodo de equalizac
ao para coloca-las na mesma escala e,
finalmente, obter a media amostral das habilidades de cada grupo.
Como faremos a estimac
ao por maxima verossimilhanca marginal, havera
alguma similaridade com o desenvolvimento da Sec
ao 3.5. Porem, devido a
SINAPE 2000
Keimelion
Reviso de textos
96
Estima
c
c
oes
importancia deste modelo, a maioria dos detalhes ser

ao apresentados. Para
ressaltar a diferenca nos desenvolvimentos das equac
oes de estimac
ao para os
parametros dos itens e populacionais, abordaremos a estimac
ao dos par
ametros
dos itens na Sec
ao 5.3 e dos parametros populacionais na Sec
ao 5.4. As equacoes
para a estimac
ao conjunta dos parametros dos itens e populacionais sera o conjunto das equac
oes desenvolvidas nas duas referidas sec
oes.
5.3 Estimac
ao dos par
ametros dos itens
Embora as equac
oes de estimac
ao a serem desenvolvidas nesta sec
ao tenham como prioridades compor o conjunto das equac
oes para estimac
ao conjunta dos parametros dos itens e populacionais, cabe notar que elas tambem
poderao ser adotadas na situac
ao em que os par
ametros populacionais sao conhecidos. Uma situac
ao dessas ocorre quando tais par
ametros populacionais
foram estimados em outra an
alise, talvez com um n
umero de indivduos bem
maior, de forma que nao ha interesse na reestimac
ao desses parametros.
Com as notac
oes definidas acima, temos que a probabilidade marginal de
U kj. e dada por
Z
P (ukj. |, k ) =
IR
P (ukj. |, , k )g(| k )d
Z
=
IR
P (ukj. |, )g(| k )d,
onde na u
ao de U kj. n
ao e func
ao de
k .
Usando a independencia entre as respostas de diferentes indivduos, podemos escrever a probabilidade associada ao vetor de respostas U ... como
P (u... |, ) =
nk
K Y
Y
P (ukj. |, k ).
(5.2)
k=1 j=1
Embora a verossimilhanca possa ser escrita como (5.2), tem sido freq
uente
utilizar a abordagem de Padr
oes de Resposta. Como temos Ik itens no teste
SINAPE 2000
Keimelion
Reviso de textos
5.3 Estima
c
ao dos par
ametros dos itens
97
k, com duas possveis respostas para cada item (0 ou 1), h

a Sk = 2Ik possveis
respostas (padr
oes de resposta) associados a esse teste. Seja rkj o n
umero
de ocorrencias distintas do padrao de resposta j no grupo k, e ainda sk
min(nk , Sk ) o n
umero de padrao de respostas com rkj > 0. Segue que
sk
X
rkj = nk .
(5.3)
j=1
Pela independencia entre as respostas dos diferentes indivduos, temos que

os dados seguem uma distribuic
ao P roduto M ultinomial, isto e,
L(, ) =
K
Y
sk
Y
k=1
j=1
n !
Qsk k
j=1 rjk !
[P (ujk. |, k )]rjk
(5.4)
E, portanto, a log-verossimilhanca e
log L(, ) =
K
X
(
log
k=1
n !
Qsk k
j=1 rjk !
)
+
sk
K X
X
rjk log P (ujk. |, k ).
(5.5)
k=1 j=1
As equac
oes de estimac
ao para os parametros dos itens sao dadas por
log L(, )
= 0,
i
i = 1, , I,
(5.6)
com
log L(, )
i
sk
K X
rjk log P (ukj. |, k )
i
k=1 j=1
sk
K X
X
k=1 j=1
sk
K X
X
k=1 j=1
rjk
P (ukj. |, k )
1
P (ukj. |, k )
i
Z
Wi
Pi
rkj
(ukji Pi )
Q gkj ()d,
P
IR
i
i
i
(5.7)
SINAPE 2000
Keimelion
Reviso de textos
98
Estima
c
c
oes
onde
gkj
() g(|ukj. , , k ) =
P (ukj. |, )g(| k )
.
P (ukj. |, k )
(5.8)
As equac
oes especficas para cada parametro do vetor i = (ai , bi , ci )0 podem
ent
ao ser obtidas de (5.7). Para o parametro de discriminac
ao ai , usando
tambem (3.8), obtem-se
log L(, )
=
ai
Z
sk
K X
X
Wi
Pi
g ()d
=
rkj
(ukji Pi )
ai Pi Qi kj
IR
k=1 j=1
Wi
rkj
(ukji Pi )D(1 ci )( bi )Pi Qi gkj
()d
Pi Qi
IR
sk
K X
X
k=1 j=1
= D(1 ci )
sk
K X
X
Z
rkj
k=1 j=1
IR
[(ukji Pi )( bi )Wi ] gkj

()d.
Para o par
ametro de dificuldade bi , usando tambem (3.9), obtem-se
log L(, )
=
bi
Z
sk
K X
X
Pi
Wi
=
rkj
(ukji Pi )
Q gkj ()d
b
P
i
IR
i
i
k=1 j=1
sk
K X
X
k=1 j=1
Z
rkj
IR
= Dai (1 ci )
(ukji Pi )(1)Dai (1 ci )Pi Qi
sk
K X
X
k=1 j=1
Wi
g ()d
Pi Qi kj
Z
rkj
IR
[(ukji Pi )Wi ] gkj

()d.
Por u
ltimo, para o parametro de acerto ao acaso ci , usando tambem (3.10),
obtem-se
SINAPE 2000
Keimelion
Reviso de textos
5.4 Estima
c
ao dos par
log L(, )
ci
sk
K X
X
Z
rkj
(ukji Pi )
k=1 j=1
IR
sk
K X
X
Z
rkj
(ukji
k=1 j=1
IR
sk
K X
X
Z
rkj
IR
k=1 j=1
99
Pi
ci
Pi )Qi
Wi
g ()d
Pi Qi kj
Wi
g ()d
Pi Qi kj
Wi
(ukji Pi ) gkj ()d.
Pi
Em resumo, as equac
oes de estimac
ao para ai , bi e ci sao, respectivamente,
ai : D(1 ci )
sk
K X
X
Z
rkj
k=1 j=1
bi : Dai (1 ci )
sk
K X
X
k=1 j=1
ci :
sk
K X
X
k=1 j=1
Z
rkj
IR
IR
[(ukji Pi )( bi )Wi ] gkj

()d = 0, (5.9)
Z
rkj
IR
[(ukji Pi )Wi ] gkj

()d = 0,
Wi
(ukji Pi ) gkj ()d = 0,
Pi
(5.10)
(5.11)
as quais nao possuem soluc

ao explcita.
5.4 Estimac
ao dos par
Novamente, embora as equacoes de estimac
ao a serem desenvolvidas nesta
sec
ao tenham como prioridades compor o conjunto das equac
oes para estimacao conjunta dos parametros dos itens e populacionais, cabe notar que
elas tambem poderao ser adotadas na situac
ao em que os parametros dos
itens sao conhecidos.
Considerando a log-verossimilhanca obtida em (5.5), as equac
oes de estimacao para as habilidades medias e vari
ancias das populac
oes sao obtidas
por
SINAPE 2000
Keimelion
Reviso de textos
100
Estima
c
c
oes
log L(, )
=0
k
log L(, )
= 0,
k2
k = 2, , K.
Mas,
log L(, )
k
sk
X
j=1
sk
X
1
rjk
P (ukj. |, k )
Z
IR
P (ukj. |, )
g(| k )
k
Z
1
log g(| k )
g(| k )d
=
rjk
P (ukj. |, )
P (ukj. |, k ) IR
k
j=1
Z
sk
X
log g(| k )
gkj
=
rjk
()d.
k
IR
j=1
Se utilizarmos a distribuic
ao N (k , k2 ) para k , teremos que
k
log g(| k )
=
k
k2
k2 ( k )2
log g(| k )
.
=
k2
2k4
Assim, as formas finais das equac
oes de estimac
ao sao
k :
k2
(k2 )1
(2k4 )1
sk
X
j=1
sk
X
Z
rkj
IR
Z
rkj
j=1
IR
( k )gkj
()d = 0,
(5.12)
2

k ( k )2 gkj
()d = 0.
(5.13)
Note que, se fizermos

Z
kj
2
kj
ZIR
IR
gkj
()d,
(5.14)
( kj )2 gkj
()d,
(5.15)
SINAPE 2000
Keimelion
Reviso de textos
5.4 Estima
c
ao dos par
101
que representam a media e a vari

ancia da distribuic
ao condicional da habilidade da populac
ao k, dado {U kj. = ukj. }, respectivamente, ent
ao, por (5.3),
(5.12) e (5.14), segue que
sk
X
0 =
j=1
sk
X
j=1
sk
X
Z
rkj
IR
gkj
()d
bk
sk
X
Z
rkj
IR
j=1
rkj
bkj
bk
sk
X
gkj
()d
rkj
j=1
rkj
bkj nk
bk ,
j=1
de onde conclumos que
bk =
sk
1 X
rkj
bkj .
nk
(5.16)
j=1
Tambem, por (5.13), (5.15) e usando que k = ( kj ) + (kj k ),

temos
0 =
sk
X
Z
rkj
bk2
j=1
bk2
sk
X
IR
rkj
j=1
nk
bk2
gkj
()d
sk
X
Z
rkj
j=1
sk
X
sk
X
Z
rkj
j=1
(
IR
IR
(
bk )2 gkj
()d
bkj )2 gkj
d
+
IR
(b
kj
bk )2 gkj
()d
bkj + (b
kj
bk )2 ,
rkj
j=1
de onde conclumos que
bk2 =
sk
2
1 X
rkj
bkj + (b
kj
bk )2 .
nk
(5.17)
j=1
SINAPE 2000
Keimelion
Reviso de textos
102
Estima
c
c
oes
() depende dos par

Note que gkj
ametros dos itens e tambem dos parametros
populacionais e, consequentemente, seu valor nas expressoes acima deve ser
calculado a partir de estimativas desses par
ametros.
Representando por k. a media das esperancas condicionais kj , por 2k.
2 e por 2 uma medida adequada de
a media das vari
ancias condicionais kj
k.
variabilidade entre as medias condicionais, todas associadas ao grupo k, ou
seja,
sk
1 X
rkj kj ,
k. =
nk
2k.
j=1
sk
1 X
2
rkj kj
=
nk
2
k.
j=1
sk
1 X
rkj (kj k )2 ,
=
nk
j=1
podemos escrever as equac

oes (5.16) e (5.17) como
bk.
bk =
2
b2k. + c
e
bk2 =
k. ,
k = 2, , K.
(5.18)
Estas expressoes nos permitem interpretac

oes bastante intuitivas. Primeiro,
notemos que os somat
orios nas definic
oes acima podem ser adaptados de forma
a considerar as respostas individuais ao inves dos padroes de respostas. Com
isso, o estimador para a habilidade media da populac
ao k e a media obtida
com os estimadores das medias da distribuic
ao condicional da habilidade, dados os vetores de respostas individuais ukj. . Por outro lado, o estimador para
a variancia das habilidades da populac
ao k n
ao e simplesmente a media entre
estimadores das vari
ancias da distribuic
ao condicional da habilidade, dados os
vetores de respostas individuais ukj. . Existe tambem uma outra contribuic
ao
relativa à variabilidade entre os estimadores das medias da distribuic
ao condicional da habilidade com relac
ao ao estimador da media populacional associada.
5.4.1 Estimac
ao conjunta: aplicac
ao do algoritmo EM
De forma similar ao que foi feito na Sec
ao 3.5.5, podemos escrever a equac
ao
de estimac
ao para i como
K Z
X
k=1
IR
(rki () Pi fki ())
Pi
i
Wi
d = 0,
Pi Qi
(5.19)
SINAPE 2000
Keimelion
Reviso de textos
5.4 Estima
c
ao dos par
103
onde
fki () =
sk
X
j=1
rkj gj ()e rki () =
sk
X
rkj ukji gkj

()
j=1
representam, respectivamente, o n
umeros de indivduos do grupo k com habilidade respondendo ao item i e o n
umeros destes indivduos que respondem
corretamente ao item i. Novamente, as integrais sao aproximadas atraves de
quadratura Gaussiana. Fixados os q n
os kl e os pesos Akl , l = 1, , q, k =
b , i = 1, , I,
1, , K, e com estimativas iniciais dos par
ametros dos itens,
i
as equac
oes (5.18) podem ser resolvidas diretamente para obtenc
ao das estimativas desejadas. A estimac
ao e feita em separado para cada item, e por isso
poderemos utilizar o desenvolvimento da Sec
ao 3.2. Reformulando-se os passos
do algoritmo EM descritos na Sec
ao 3.5.3, para a situac
ao de duas ou mais
populac
oes, teremos
Passo E
1. Usar os pontos de quadratura kl , os pesos Akl , l = 1, , q e
estimativas iniciais dos parametros dos itens , i , i = 1, , I, e
dos par
ametros populacionais, k e k2 , k = 1, , K, para gerar
( ) e, posteriormente, r
gkj
kl
kli e f kli , i = 1, , I e k = 1, , q.
( ) para obter
2 por
2. Usar os pontos de quadratura e gkj
bkj e
bkj
kl
(5.14) e (5.15), e poteriormente,
bk e
bk2 por (5.18).
Passo M Com r, f e obtidos no Passo E, resolver as equac

oes de estimac
ao
para i , i = 1, , I, usando o algoritmo Newton-Raphson ou Scoringde Fisher atraves das expressoes da Sec
ao 3.2.
Estes passos comp
oem cada iterac
ao do algoritmo EM, as quais serao repetidas ate que algum criterio de parada seja alcancado. Apos a finalizac
ao do
processo, os erros-padrao sao obtidos com o uso de (3.29).
Devemos notar que no passo M as expressoes para a maximizac
ao sao um
pouco modificadas, com relac
ao às expressoes da Sec
ao 3.2, devido a introduc
ao
(t)
b
de novos grupos. Se e uma estimativa de na iterac
ao t, o processo
i
b(t+1) e dado pela expressao

iterativo de Newton-Raphson para obtenca
o de
i
(3.25), onde
SINAPE 2000
Keimelion
Reviso de textos
104
Estima
c
c
oes
q
K X
X
h( i ) =
(rkli fkli Pkli )Wkli hkli ,
H( i ) =
k=1 l=1
q
K X
X
(rkli fkli Pkli )Wkli H kli (rkli fkli Pkli )Wkli hkli h0kli ,
k=1 l=1
com Pkli , Wkli , H kli e hkli similares à Sec

ao 3.2, com k substituda por kl .
Para a aplicac
ao do metodo Scoringde Fisher, devemos substituir H( i )
pelo seu valor esperado, ou seja,
( i ) =
q
K X
X

Pkli Qkli Wkli hkli h0kli .
k=1 l=1
5.5 Estimac
ao bayesiana dos par
ametros dos itens
Como podemos perceber no caso da estimac
ao por MVM, as equac
oes
de estimac
ao quando temos varias populac
oes em estudo sao bastante similares ao caso em que temos apenas uma populac
ao em estudo, com algumas modificac
oes das componentes devidas à presenca de outras populac
oes.
Isso tambem se reflete no caso da estimac
ao bayesiana, onde sao utilizadas as
equac
oes de estimac
ao obtidas por MVM, com o incremento de parcelas relativas `
as distribuic
oes a priori adotadas para os parametros dos itens. Neste
captulo, vamos adotar as mesmas distribuic
oes a priori consideradas na Secao
3.6.1.
Com isso, as equac
oes de estimac
ao podem ser escritas como
SINAPE 2000
Keimelion
Reviso de textos
5.6 Estima
c
ao das habilidades
ai : D(1 ci )
K Z
X
k=1
bi : Dai (1 ci )
ci :
K Z
X
k=1
IR
IR
105
( bi ) [rki () Pi fki ()] Wi d
K Z
X
k=1
IR
[rki () Pi fki ()] Wi d
[rki () Pi fki ()]
1
log ai a
1+
= 0,
ai
a2
(bi b )
= 0,
b2
2
2
Wi
d +
= 0.
Pi
ci
1 ci
As derivadas segundas destas expressoes sao facilmente obtidas pela Sec

ao 3.2
e por (3.101). A aplicac
ao do algoritmo EM se da de forma identica à estimac
ao
por MVM, delineada na sec
ao anterior.
5.6 Estimac
ao das habilidades
Uma etapa que pode ser considerada opcional e a estimac
ao das habilidades. Talvez o interesse da an
alise se concentre apenas na estimac
ao dos
parametros dos itens e populacionais, sem relevar a estimac
ao das habilidades. Em caso contr
ario, as habilidades podem ser estimadas por MV, como
descrito na Sec
ao 3.3, ou de forma bayesiana, como descrito na Sec
ao 3.6.2.
Devido a presenca de varios grupos na analise, as expressoes para obtenc
ao das
habilidades sao ligeiramente modificadas, e por isso as apresentaremos nesta
sec
ao.
Vale ressaltar que em todos os metodos de estimac
ao descritos abaixo, consideraremos fixos os parametros dos itens e os populacionais.
5.6.1 Estimac
ao por MV
Neste caso, a estimac
ao das habilidades e feita iterativamente pelo algo(t)
ritmo Newton-Raphson ou metodo Scoringde Fisher. Considerando bkj uma
estimativa de kj na iterac
ao t, ent
ao na iterac
ao t + 1 teremos que
(t+1)
(t)
(t)
(t)
bkj = bkj [H(bkj )]1 h(bkj ),
(5.20)
SINAPE 2000
Keimelion
Reviso de textos
106
Estima
c
c
oes
onde
H(kj ) =
(ukji Pkji )Wkji Hkji (ukji Pkji )Wkji h2kji ,
iI k
com Pkji , Wkji , Hkji e hkji similares à Sec

ao 3.3, com j substituda por kj .
Para aplicac
ao do metodo Scoringde Fisher, devemos substituir H(kj ) pelo
seu valor esperado, ou seja,
(kj ) =
Pkji
Qkji Wkji h2kji .
iI k
5.6.2 Estimac
ao por MAP
A estimac
ao pelo maximo da posteriori (MAP) tambem e obtida iterativamente pela aplicac
ao de (5.20), com
H(kj ) =
X
iI k
1
(ukji Pkji )Wkji Hkji (ukji Pkji )Wkji h2kji 2 , (5.21)
k
onde hkji e Hkji s

ao dados por (3.42) e (3.43), respectivamente, com j substituda por kj . Para aplicarmos o metodo Scoringde Fisher, devemos tomar
a esperanca da expressao acima, resultando em
(kj ) =
Pkji
Qkji Wkji h2kji
iI k
1
.
k2
(5.22)
5.6.3 Estimac
ao por EAP
A estimac
ao de kj pela media da posteriori (EAP) consiste em obter a
esperanca da posteriori, que pode ser escrita como
g(|ukj. , , k ) =
P (ukj. |, )g(| k )
.
P (ukj. |, k )
(5.23)
SINAPE 2000
Keimelion
Reviso de textos
5.6 Estima
c
ao das habilidades
107
Segue que a esperanca da posteriori e

R
g(| k )P (ukj. |, )d
b
kj E[|ukj. , , k ] = RIR
.
IR g(| k )P (ukj. |, )d
(5.24)
Esta forma de estimac

ao tem a vantagem de ser calculada diretamente, n
ao
necessitando da aplicac
ao de metodos iterativos. Alem disso, as quantidadas
necessarias para o seu calculo sao um produto final da etapa de estimac
ao.
Por conta disso alguns autores (por exemplo, Mislevy & Stocking (1989)) recomendam esta escolha para a estimac
ao das habilidades.
No proximo captulo apresentaremos a construc
ao e interpretac
ao da escala
de habilidade e uma aplicac
ao pratica.
SINAPE 2000
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Captulo 6
A Escala de Habilidade e uma Aplicac

ao
Pr
atica
6.1 Introduc
ao
Neste captulo vamos descrever os procedimentos para a construc
ao de escalas de habilidade e em seguida iremos ilustrar como e feita sua interpretac
ao
atraves de uma aplicac
ao pratica da TRI na
area de avaliac
ao da aprendizagem.
6.2 Construc
ao e interpretac
ao de escalas de habilidade
Uma vez que todos os par
ametros dos itens e que todas as habilidades dos
respondentes tanto individuais como populacionais de todos os grupos
avaliados est
ao numa mesma metrica, ou seja, quando todos os parametros
envolvidos sao comparaveis, pode-se ent
ao construir escalas de conhecimento
interpret
aveis.
Devido à natureza arbitraria das estimativas dos parametros dos itens e
das habilidades, j
a comentada anteriormente, sabemos que podemos comparar
entre si as habilidades obtidas para os diferentes respondentes, mas que no
entanto, elas nao possuem de per si qualquer significado pratico em termos
pedag
ogicos. Assim, a menos que efetue-se uma ligac
ao desses valores com os
conte
udos envolvidos na avaliac
ao, pode-se dizer apenas que um indivduo com
habilidade 1,80 na escala (0,1) deve possuir um conhecimento muito maior do
conte
udo avaliado do que um indivduo com habilidade -0,50, e tambem que
o primeiro indivduo tem uma habilidade 1,80 desvios-padrao acima da media
da populac
ao avaliada enquanto que o segundo tem habilidade 0,50 desvios-
Keimelion
Reviso de textos
110
A Escala de Habilidade e uma Aplica

c
ao Pr
atica
padrao abaixo da media dessa mesma populac

ao. Por outro lado, nao podemos
afirmar nada a respeito do que o indivduo com habilidade 1,80 sabe a mais
do que aquele com habilidade -0,50.
Estes fatos motivaram entao a criac
ao de escalas de conhecimento tambem
chamadas de escalas de habilidade , que tornam possvel a interpretac
ao pedag
ogica dos valores das habilidades. Essas escalas s
ao definidas por nveis
ancora, que por sua vez sao caracterizados por conjuntos de itens denominados itens
ancora. Nveis ancora sao pontos selecionados pelo analista na escala
da habilidade para serem interpretados pedagogicamente. Ja os itens ancora
s
ao itens selecionados, segundo a definic
ao dada abaixo, para cada um dos
nveis ancora.
Definic
ao de item
ancora: Considere dois nveis ancora consecutivos Y e Z
com Y < Z. Dizemos que um determinado item e
ancora para o nvel Z se e
somente se as 3 condic
oes abaixo forem satisfeitas simultaneamente:
1. P (U = 1| = Z) 0, 65
2. P (U = 1| = Y ) < 0, 50
3. P (U = 1| = Z) P (U = 1| = Y ) 0, 30
Em outras palavras, para um item ser
ancora em um determinado nvel
ancora da escala, ele precisa ser respondido corretamente por uma grande
proporc
ao de indivduos (pelo menos 65%) com este nvel de habilidade e
por uma proporc
ao menor de indivduos (no m
aximo 50%) com o nvel de
habilidade imediatamente anterior. Alem disso, a diferenca entre a proporcao
de indivduos com esses nveis de habilidade que acertam a esse item deve ser
de pelo menos 30%. Assim, para um item ser
ancora ele deve ser um item
tpicodaquele nvel, ou seja, bastante acertado por indivduos com aquele
nvel de habilidade e pouco acertado por indivduos com um nvel de habilidade
imediatamente inferior.
Como u
ltimo coment
ario, podemos dizer que e bastante comum fazer uma
transformac
ao linear em todos os par
ametros envolvidos antes da construc
ao
das escalas. Tal procedimento tem como u
nico objetivo facilitar a construc
ao
e utilizac
ao da escala, uma vez que procura transformar valores negativos ou
decimais em n
umeros positivos e inteiros.
SINAPE 2000
Keimelion
Reviso de textos
6.2 Constru
c
ao e interpreta
c
ao de escalas de habilidade
111
Na Figura 6.1 sao apresentados, em uma escala de habilidade com nveis

ancora 3, 2, 1, 0, 1, 2 e 3, exemplos de 2 itens
ancora (item 0 e item 2)
para os nveis ancora 0 e 2, respectivamente. Os parametros dos itens sao:
a0 = 1, 52 ,
b0 = 0, 47
e c0 = 0, 13
a2 = 1, 97 ,
b2 = 1, 50 e c2 = 0, 13.
Figura 6.1 Exemplo de 2 itens

ancora
Exemplo de itens ncora

1,0
0,9
0,8
0,7
Item 2
Item 0
0,6
0,5
0,4
0,3
0,2
0,1
0,0
-3
-2
-1
habilidade
A partir das express

oes abaixo, pode-se verificar que os dois itens satisfazem
a definic
ao de item ancora:
(i) P (U0 = 1| = 0) = 0, 80 0, 65
(ii) P (U0 = 1| = 1) = 0, 31 < 0, 50
(iii) P (U0 = 1| = 0) P (U0 = 1| = 1) = 0, 80 0, 31 = 0, 49 0, 30
SINAPE 2000
Keimelion
Reviso de textos
112

c
ao Pr
atica
e
(i) P (U2 = 1| = 2) = 0, 86 0, 65
(ii) P (U2 = 1| = 1) = 0, 27 < 0, 50
(iii) P (U2 = 1| = 2) P (U2 = 1| = 1) = 0, 86 0, 27 = 0, 59 0, 30.
A priori, n
ao se pode ter certeza de quantos itens ancoras serao selecionados
para cada nvel ancora e nem se existirao no teste aplicado itens ancoras para
todos os nveis ancora determinados. Por isto, e fundamental que os nveis
ancoras sejam escolhidos nao muito proximos uns dos outros e tambem que
o n
umero de itens aplicados seja bastante grande de modo a possibilitar a
construc
ao e interpretac
ao da escala de habilidade. No SAEB por exemplo,
foram aplicados 130 itens para cada uma das disciplinas avaliadas na 4.a serie
do Ensino Fundamental e 169 itens de cada uma das disciplinas da 8.a serie
do Ensino Fundamental e tambem da 3.a serie do Ensino Medio. Como ja
foi comentado anteriormente, essa quantidade de itens foi aplicada visando
cobrir amplamente a grade curricular de cada uma das series nas disciplinas
avaliadas e tambem propiciou a identificac
ao e caracterizac
ao de diversos nveis
ancora para a construc
ao das escalas de habilidades. Maiores detalhes sobre

construc
ao e interpretac
ao de escalas de habilidade poder
ao ser encontrados
em Beaton & Allen (1992).
6.3 Uma aplicac

ao pr
atica
A Secretaria de Estado da Educac
ao de Sao Paulo SEE/SP implantou,
em 1996, o Sistema de Avaliac
ao de Rendimento Escolar do Estado de S
ao
Paulo SARESP, visando alcancar dois objetivos. O primeiro seria ampliar
o conhecimento do perfil de realizac
ao dos alunos, fornecendo aos professores
informac
oes sobre o desempenho dos alunos de modo a subsidiar o trabalho a
ser desenvolvido em sala de aula. Assim, os docentes poderiam identificar, no
comeco do ano escolar, os pontos fortes e fracos do desempenho dos alunos e,
a partir desse diagnostico, adotar estrategias pedagogicas apropriadas.
O segundo seria fornecer informac
oes essenciais para a melhoria da gestao do
sistema educacional, na medida em que identifica os pontos crticos do ensino e
SINAPE 2000
Keimelion
Reviso de textos
6.3 Uma aplica

c
ao pr
atica
113
possibilita à SEE, por meio de seus

org
aos centrais e das Delegacias de Ensino,
apoiar as escolas e os educadores com recursos, servicos e orientac
oes.
6.3.1 As caractersticas da aplicac

ao
As provas do SARESP s
ao elaboradas a partir de matrizes curriculares,
ou seja, tabelas de especificac
ao de conte
udos e objetivos, que indicam os
temas e metas do currculo a serem desenvolvidos em cada serie e disciplina.
Esses parametros fundamentam-se nas Propostas Curriculares elaboradas pela
Coordenadoria de Estudos e Normas Pedag
ogicas CENP e, desde 1997, os
itens que compoem as provas vem sendo construdos pelos professores da Rede
Estadual de Ensino.
Ate o momento o SARESP foi realizado em 3 anos consecutivos, e a aplicac
ao
das provas foi feita segundo a Tabela 6.1.
Tabela 6.1 Esquema da aplicaca
o das Provas do SARESP
Ano de
Aplicaca
o
Series e perodos
avaliados
1996
3.a serie diurna do

Ensino Fundamental
7. a serie diurna e noturna
do Ensino Fundamental
1996
1997
1997
1998
1998
4.a serie diurna do

Ensino Fundamental
8.a serie diurna e noturna
do Ensino Medio
Provas compostas
pelas Disciplinas
1-Lngua Portuguesa e 2-Matem
atica
1-Lngua Portuguesa, 2-Matem
atica,
3-Ciencias e 4-Hist
oria e Geografia
atica
atica,
3-Ciencias e 4-Hist
oria e Geografia
atica
atica,
3-Ciencias e 4-Hist
oria e Geografia
Como as avaliac
oes sao sempre realizadas no incio do ano letivo, as provas
de cada uma das series-alvo sao baseadas em conte
udos abordados no ano
anterior. Exemplificando, em 1996, as provas dos alunos da 3.a e 7.a series
foram elaboradas com base nos conte
udos relativos ao Ciclo Basico e à 6.a
serie, respectivamente.
SINAPE 2000
Keimelion
Reviso de textos
114

c
ao Pr
atica
Em todos os anos foram avaliados todos os alunos que frequentavam as

series envolvidas: trata-se, portanto, de uma avaliac
ao de carater censitario.
Cada aluno, entretanto, e avaliado em apenas uma disciplina, ou seja, na 3.a e
4.a series metade dos alunos responde `
a prova de Lngua Portuguesa e a outra
metade, à de Matem
atica. Essa divisao e feita de maneira aleatoria. Nas demais
series, os alunos sao divididos, tambem aleatoriamente, e 25% deles fazem
cada uma das 4 provas: Lngua Portuguesa, Matem
atica, Ciencias ou Historia
e Geografia. Essa u
ltima prova e a u
nica onde aparecem duas disciplinas. No
entanto, em termos de an
alise, as duas disciplinas sao obviamente consideradas
separadamente.
6.3.2 O tipo de resultados alcancados

A cada ano de aplicac
ao, todos os itens que compoem as provas de cada
uma das disciplinas consideradas s
ao cuidadosamente avaliados e interpretados, dentro de cada serie envolvida. Para tanto, sao considerados tanto seus
par
ametros obtidos atraves da TRI como tambem algumas estatsticas fornecidas pela Teoria Cl
assica. A partir dessas informac
oes, um conjunto de
especialistas em cada uma das disciplinas faz um diagn
ostico completo de
cada item (assunto abordado, grau de dificuldade, grau de discriminac
ao, erros mais frequentes, etc.), e tambem da prova como um todo. Com base nessas
informac
oes, pode-se ter uma visao geral do desempenho dos alunos e verificar
quais as principais deficiencias da serie naquele ano.
No entanto, essa avaliac
ao isolada feita ano a ano em cada serie, n
ao nos
permite comparar o desempenho dos alunos de um ano para o outro, ou seja,
verificar se houve realmente um ganho no conhecimento de uma serie para a
seguinte. Para responder a esta quest
ao, seria necessario que os itens de duas
series consecutivas fossem compar
aveis, ou seja, estivessem na mesma metrica.
E isto poderia ser conseguido atraves de uma Equalizac
ao.
No entanto, as provas de um ano para outro n
ao apresentavam itens comuns. Como fazer ent
ao uma equalizac
oes que foram
submetidas a provas totalmente diferentes? A soluc
ao encontrada foi a criac
ao
de uma prova adicional, que serviria de ligac
ao, uma vez que seria composta
de itens que haviam sido submetidos a essas duas populac
oes.
a
a
Exemplificando, as provas aplicadas em 1997, na 4. e 8. series, nao tinham
itens comuns com as provas aplicadas no ano anterior, na 3.a e 7.a series,
SINAPE 2000
Keimelion
Reviso de textos
6.3 Uma aplica

c
ao pr
atica
115
respectivamente. Assim, foram montadas duas provas de ligac

ao: a primeira,
a
composta de itens que haviam sido submetidos `
a 3. serie e à 4.a serie e a
segunda composta de itens que haviam sido submetidos `
a 7.a e à 8.a series.
Essas duas provas adicionais foram aplicadas no final do ano de 1997, a uma
amostra de alunos da 3.a e da 7.a series, respectivamente. Cabe ressaltar, que
estes dois grupos adicionais foram introduzidos no estudo com o u
nico objetivo
de possibilitar a equalizac
ao, nao havendo nenhum interesse em estudar o
desempenho destas populac
oes.
A partir destas provas de ligac
ao foi possvel a criac
ao de uma escala u
nica
para as series consecutivas, permitindo assim a comparac
ao dos resultados e a
criac
ao de escalas de conhecimento interpretaveis. No SARESP essas escalas
foram construdas para as disciplinas Lngua Portuguesa e Matematica, por
serem as u
nicas disciplinas avaliadas em todas as series, todos os anos.
Vamos descrever mais detalhadamente esse processo usando como exemplo
as provas de Lngua Portuguesa da 3.a e 4.a series.
6.3.3 Um exemplo: a Lngua Portuguesa na 3.a e 4.a s

eries
Em 1996 foi aplicada uma prova de 28 itens de Lngua Portuguesa aos
alunos da 4.a serie. Em 1997, os alunos da 4.a serie foram avaliados nessa
disciplina atraves de uma prova composta de 30 itens, totalmente distinta da
prova aplicada no ano anterior.
Num primeiro momento, cada uma destas provas teve seus itens calibrados
e interpretados dentro de suas respectivas series. Mas, para que a equalizac
ao
entre as duas series pudesse ser possvel, foi criada uma prova de ligac
ao,
composta de 32 itens, sendo 11 provenientes da prova da 3.a serie e 21 da
prova da 4.a serie, como mostra a Figura 6.2. Esta prova foi entao submetida
a uma amostra de alunos que cursavam a 3.a serie, no final de 1997. Esta nova
populac
ao foi introduzida no estudo apenas para possibilitar a equalizac
ao.
Cabe ressaltar que a prova de ligac
ao foi composta de mais itens da prova
da 4.a serie do que da prova da 3.a , pois houve a preocupac
ao de montarse uma prova com diferentes graus de dificuldade e com um bom nvel de
discriminac
ao. Uma vez que as provas de 96 e 97 ja haviam sido analisadas
separadamente atraves da TRI, foram selecionados os itens com tais caractersticas e a prova da 4.a serie de 97 apresentou um n
umero maior deles.
Tambem e importante notar que a populac
ao escolhida para fazer a prova de
SINAPE 2000
Keimelion
Reviso de textos
116

c
ao Pr
atica
Figura 6.2 Esquema da composica

o da prova de ligac
ao
3. srie de 1996
4. srie de 1997
28 itens
30 itens
11 itens
21 itens
prova de ligao
3. srie de 1997
ligac
ao foi a 3.a serie de 1997, pois como ja foi dito, os itens das provas da 3.a
serie de 96 e da 4.a serie de 97 foram elaboradas com base nos conte
udos dos
anos anteriores, ou seja, eram referentes aos conte
udos do Ciclo Basico e da
3.a serie, respectivamente. Como a prova de ligac
ao foi aplicada no final do
ano letivo de 1997, a serie mais indicada para ser submetida a tal prova era,
portanto, a 3.a serie.
Todos os 58 itens, respondidos pelos alunos das 3 populac
oes envolvidas
foram ent
ao calibrados simultaneamente, atraves do modelo de 3 populac
oes
discutido no Captulo 5. Foram utilizados procedimentos bayesianos para a
estimac
ao dos parametros dos itens e das habilidades. Assim, foram consideradas distribuic
oes a priori para cada um dos par
ametros dos itens e tambem
distribuic
oes normais padrao a priori, para cada uma das populac
oes envolviAndrade, Tavares & Valle
SINAPE 2000
Keimelion
Reviso de textos
6.3 Uma aplica

c
ao pr
atica
117
das. O grupo submetido à prova de ligac

ao (3.a serie de 97) foi considerado
a populac
ao de referencia. Portanto, as outras series foram posicionadas em
relac
ao à ela. No final do processo de estimac
ao, foram fornecidas as estimativas das distribuic
oes a posteriori, para cada uma das populac
oes.
Cabe ressaltar novamente que n
ao havia interesse em estudar o desempenho
dos alunos submetidos à prova de ligac
ao, ou seja, ao grupo da 3.a serie de 97. O
n
umero de alunos que fizeram essa prova foi apenas o suficiente para atender às
exigencias da TRI, no que se refere ao n
umero mnimo de sujeitos necessarios
para obter-se boas estimativas dos parametros dos itens. As Figuras 6.2 e
6.3 ilustram a forma dessas distribuic
oes, obtidas para as duas populac
oes de
interesse. Para a construc
ao desses graficos foi utilizada uma amostra de 2059
alunos da 3.a serie de 1996 e 1989 alunos da 4.a serie de 1997.
ao gr
afica da distribuic
ao a posteriori das habilidades em
Lngua Portuguesa dos alunos da 3.a serie

-4,0
-3,0
-2,0
-1,0
0,0
1,0

2,0
3,0
4,0
5,0
SINAPE 2000
Keimelion
Reviso de textos
118

c
ao Pr
atica

ao gr
afica da distribuic
ao a posteriori das habilidades em
Lngua Portuguesa dos alunos da 4.a serie

-4,0
-3,0
-2,0
-1,0
0,0
1,0

2,0
3,0
4,0
5,0
6.3.4 Interpretac
ao dos resultados
Podemos observar que o grafico da 4.a serie encontra-se deslocado para a
direita, com relac
ao ao grafico da 3.a serie. Houve um aumento na media da 4.a
serie em relac
ao à 3.a (representada pela linha tracejada). Tambem podemos
observar que os alunos da 4.a serie parecem ser mais homogeneos do que os
alunos da serie anterior, com relac
ao à habilidade em Lngua Portuguesa.
Foi feita uma transformac
ao linear nas estimativas dos parametros dos itens
e das habilidades dos alunos, visando um melhor entendimento dos resultados. Ap
os essa transformac
ao, a media e o desvio-padr
ao das habilidades dos
a
alunos da 3. serie de 1996 em Lngua Portuguesa foram fixados em 50 e 16,
respectivamente. Para a 4.a serie os valores obtidos foram 62 e 13.
SINAPE 2000
Keimelion
Reviso de textos
6.3 Uma aplica

c
ao pr
atica
119
Com todos os 58 itens na mesma metrica, o proximo passo foi a identificac

ao
de nveis ancora conforme descrito na Sec
ao 6.1 que pudessem caracterizar
a escala de conhecimento em Lngua Portuguesa da 3.a e 4.a series.
Assim, foi possvel a caracterizac
ao de 5 nveis ancora (nos pontos 5, 30, 45,
60 e 75) na escala de habilidades de Lngua Portuguesa da 3.a e 4.a series. Cada
um desses nveis ancora e formado por um conjunto de itens, que caracterizam
esse ponto na escala de habilidades, de acordo com a natureza e o grau de
conhecimentos que eles exigem.
Ap
os a identificac
ao dos nveis ancora, um grupo de especialistas analisa
e interpreta o conjunto de itens que o compoem, a fim de caracterizar cada
ponto da escala. A seguir, exemplificamos como ficou a caracterizac
ao de um
determinado nvel ancora da escala de habilidades em Lngua Portuguesa da
3.a e 4.a series do SARESP:
N
vel 60 - L
ngua Portuguesa
Neste nvel, os alunos s
ao capazes de identificar o narrador e revelam ter
noc
oes relativas ao papel geral que este assume na hist
oria. Com relac
ao ao uso
e interpretac
ao da Lngua Portuguesa, reconhecem a func
ao do sinal de interrogac
ao no texto. Nos textos narrativos-descritivos, identificam os diferentes
elementos que estruturam o texto, discernindo ou reconstituindo a seq
uencia
l
ogica dos fatos narrados. Em texto de correspondencia (bilhete), conseguem
interpretar o sentido da mensagem, percebendo implicaco
es l
ogicas entre as
informac
oes contidas no texto.
Demonstram, ainda, certa familiaridade com a leitura de hist
orias em quadrinhos, fazendo a leitura de imagens e inferindo o significado atribudo a uma
express
ao onomatopaica como, por exemplo, PLOFT, identificado como o
barulho de um livro ao ser fechado.
Alem da interpretac
ao de cada ponto que caracteriza a escala de habilidades,
tambem foi calculada a porcentagem de alunos em cada serie que dominavam
os assuntos descritos em cada nvel, visando avaliar os ganhos, em termos de
conhecimentos, de um ano para outro. Por exemplo, para o nvel 60, descrito
anteriormente, chegamos aos seguintes resultados:
Em 1996, a porcentagem de estudantes que respondiam quest
oes desse nvel
SINAPE 2000
Keimelion
Reviso de textos
120

c
ao Pr
atica
era de 26,6%. Em 1997, essa porcentagem passa a ser de 55,8%. Ou seja,

houve um ganho de 29,2% (pontos percentuais) da 3.a para a 4.a serie.
Por fim, foi estimada a habilidade media (e o respectivo erro-padrao) em
Lngua Portuguesa, para cada escola. Assim, cada uma delas recebeu um boletim, indicando o desempenho medio da escola, da delegacia da qual ela faz
parte e tambem o resultado medio geral (ou seja, da populac
ao toda, que no
caso, sao todas as escolas p
ublicas estaduais de Sao Paulo). Com base nessas
informac
oes, cada instituic
ao de ensino pode verificar qual sua situac
ao em
relac
ao às demais, alem de avaliar os ganhos de seus alunos de um ano para
outro, e de ter indicac
oes sobre quais os assuntos em que seus alunos ainda
est
ao deficientes.
Obviamente, todos os resultados obtidos s
ao tambem enviados para as Delegacias de Ensino e para a Secretaria de Estado da Educac
ao de Sao Paulo.
Assim, a partir das informac
oes fornecidas pelo SARESP, as ac
oes podem ser
tomadas tanto a nvel de cada instituic
ao de ensino, quanto em proporc
oes
estaduais.
Dando prosseguimento ao estudo, em 1998 uma das series avaliadas pelo
SARESP foi a 5.a serie do Ensino Fundamental, nos perodos diurno e noturno.
Para cada uma das disciplinas avaliadas dois tipos de provas, com alguns itens
comuns, foram aplicados em cada uma das populac
oes diurna e noturna.
Novamente, as provas aplicadas nao tinham itens comuns com as provas dos
anos anteriores.
Mais uma vez, foi montada uma prova de ligac
ao, composta de itens utilizados nas provas de 3 das 4 populac
oes de interesse: 4.a serie de 1997, 5.a serie
a
diurna de 1998 e 5. serie noturna de 1998. Essa prova foi aplicada ent
ao a
uma amostra de alunos que cursavam a 4.a serie em 1998. Essa populac
ao adicional tambem foi introduzida no estudo apenas com o objetivo de possibilitar
a equalizac
ao.
Cabe ressaltar que a meta agora era colocar os alunos da 3.a serie de 96,
a
4. serie de 1997 e 5.a series diurna e noturna de 98, todos na mesma escala.
Nessa nova equalizacao, os itens da 3.a serie nao precisaram mais entrar na
prova de ligac
ao, pois a 3.a e a 4.a series ja haviam sido colocadas na mesma
metrica. Na verdade, agora e como se fossemos apenas colara 5.a serie nas
series anteriores. Assim, essa segunda equalizac
ao foi realizada de uma maneira bastante distinta da primeira. Os itens calibrados no ano anterior foram
SINAPE 2000
Keimelion
Reviso de textos
6.3 Uma aplica

c
ao pr
atica
121
mantidos fixos durante o processo de estimac

ao e apenas os itens aplicados à
a
5. serie foram calibrados, resultando ao final do processo, num conjunto de
itens de 3.a `
a 5.a series, todos na mesma escala. Dessa maneira, a escala de
habilidades da 3.a e da 4.a series pode ser ampliada com a entrada da 5.a serie
e interpretada para todo esse conjunto de alunos.
Concluindo, esse estudo, alem de avaliar o desempenho da rede estadual
de Sao Paulo ano a ano, tambem vem fornecendo indicadores quantitativos
de como as intervenc
oes no ensino p
ublico tem afetado o conhecimento dos
alunos de uma serie para outra, e esse tipo de quest
ao so pode ser respondida
atraves das ferramentas fornecidas pela TRI.
No proximo captulo, discutiremos alguns dos recursos computacionais disponveis para a analise de dados via TRI. Em particular, descreveremos o
desempenho de dois programas computacionais frente aos diferentes tipos de
equalizac
ao abordados no Captulo 4.
SINAPE 2000
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Captulo 7
Recursos computacionais
7.1 Introduc
ao
Sem d
uvida alguma, o crescimento e a divulgac
ao da TRI sempre estiveram
intimamente ligados ao desenvolvimento paralelo de recursos computacionais
que viabilizassem sua utilizac
ao. Isto porque as ferramentas matematicas necessarias para sua aplicac
ao sao muito mais complexas do que as tecnicas
empregadas na Teoria Classica de Medidas.
Desde suas primeiras aplicac
oes, pesquisadores tem desenvolvido seus pr
oprios programas computacionais, mas e certo que sua utilizac
ao em larga escala
depende diretamente da disponibilidade de programas computacionais comerciais no mercado. Na Europa e nos Estados Unidos, desde a decada de 70
foram lancados varios programas especficos para analise via TRI. Aqui no
Brasil, onde a utilizac
ao da TRI e bem mais recente, ha uma variedade bem
menor de programas computacionais comerciais sendo usados.
Neste captulo, vamos comentar os programas computacionais comerciais
mais usados atualmente no Brasil e que se prop
oem a resolver, na pratica,
muitos dos problemas abordados pela TRI e que foram descritos nos captulos
anteriores.
7.2 Recursos computacionais

Iniciaremos pelo programa TESTFACT (ver Wilson et al.(1991)) que produz varias estatsticas descritivas para os itens de um teste, inclusive algumas
das utilizadas pela teoria classica, mas que tambem tem recursos importantes
para a TRI, usados na verificac
ao da dimensionalidade dos testes: tecnicas de
analise fatorial especficas para serem aplicadas em itens. Dois tipos especiais
de analise fatorial, que foram elaboradas para vari
aveis dicot
omicas (como e
Keimelion
Reviso de textos
124
o caso dos itens, quando sao considerados como certo ou errado), est
ao implementados neste programa. Uma delas e a analise fatorial feita a partir da
matriz de correlac
ao tetrac
orica, que e um tipo especial de correlac
ao, utilizada quando as vari
aveis assumem apenas os valores 0 ou 1 (ver Divgi (1979)).
A outra tecnica implementada e a analise fatorial plena, baseada no metodo
de maxima verossimilhanca (ver Mislevy (1986b)).
Para a an
alise de itens nao dicotomicos, podemos citar o programa PARSCALE (ver Muraki & Bock (1997)), que tem implementados os modelos de
Resposta Gradual e de Creditos Parciais, descritos no Captulo 2. Em sua
vers
ao mais recente, e possvel fazer analises para mais de um grupo de respondentes.
Dos programas disponveis no mercado, os que sao atualmente mais utilizados nas analises envolvendo a TRI - aqui no Brasil - sao o BILOG (ver Mislevy
& Bock (1990) e o BILOG-MG (ver Zimowski et al. (1996)). Estes dois programas s
ao especficos para analises via TRI de itens dicot
omicos ou dicotomizados e ambos tem implementados os modelos unidimensionais logsticos de 1,
2 e 3 par
ametros. A diferenca basica entre eles e que o BILOG-MG permite a
analise de mais de um grupo de respondentes, enquanto que o BILOG permite
apenas analisar respondentes considerados como provenientes de uma u
nica
populac
ao.
Vamos comentar a seguir quais dos metodos de estimac
ao descritos nos
Captulos 3 e 5 estao implementados nestes dois programas e tambem dar
uma enfase especial ao desempenho deles perante as diversas situac
oes que
envolvem equalizac
oes, descritas no Captulo 4.
7.2.1 Os programas BILOG for Windows v. 3.09 e BILOG-MG

v. 1.0
Esses dois programas executam a an
alise em tres etapas, chamadas de fases 1, 2 e 3, que se caracterizam pelo tipo de tarefas realizadas em cada uma
delas. Na fase 1, que e a fase de entrada e leitura de dados, o usuario deve
fornecer ao programa basicamente dois tipos de informac
ao: a identificac
ao
de cada indivduo com suas respectivas respostas ao teste e o gabarito (que
e uma sequencia contendo as alternativas corretas dos itens que compoem o
teste). Tambem e possvel fornecer as respostas ja corrigidas, ou seja, j
a codificadas como 0 ou 1. Nesse caso nao ha a necessidade do gabarito, pois o
SINAPE 2000
Keimelion
Reviso de textos
125
programa ir
a interpretar 1 como acerto e 0 como erro. No caso de esquemas
amostrais complexos, pode-se fornecer ao programa pesos diferentes para cada
um dos indivduos. Essas informac
oes devem estar em arquivos do tipo ASCII.
Os arquivos de sada, fornecidos ao usuario, tambem estarao neste formato.
Nessa fase e feita acorrec
aoda prova de cada respondente (no caso de ter
sido fornecido o arquivo com as respostas originais) e sao calculadas algumas
estatsticas descritivas, tais como: n
umero de indivduos submetidos a cada
item, n
umero e porcentagem de acerto em cada item e algumas correlac
oes de
interesse, como as correlac
oes bisserial e ponto bisserial (ver Lord & Novick
(1968), por exemplo), usadas na Teoria Classica de Medida. A importancia
dessa etapa do processamento, alem da verificac
ao de que a leitura dos dados
foi feita corretamente, e que estas estatsticas sao utilizadas posteriormente
como valores iniciais para os processos de estimac
ao realizados nas fases seguintes. Alem disso, estatsticas como a correlac
ao bisserial, fornecem um diagn
ostico preliminar dos itens, servindo por exemplo, na identificac
ao de itens
com problemas no gabarito.
A fase 2 e a fase da calibrac
ao dos itens. Nesta fase, sao estimados os
par
ametros dos itens, com seus respectivos erros-padrao. Os metodos de estimac
ao disponveis serao comentados na pr
oxima sec
ao. O BILOG fornece
ainda graficos contendo algumas informac
oes de interesse, tais como as curvas
caractersticas e as curvas de informac
ao de cada item e do teste. No BILOGMG esses gr
aficos tambem podem ser obtidos, mas com uma resoluc
ao bastante
baixa. Isto se deve ao fato de que o programa BILOG ja esta disponvel para
o sistema Windows, enquanto que o BILOG-MG ainda s
o tem vers
oes para
o sistema operacional DOS. Junto com a curva caracterstica de cada item e
fornecido tambem um teste de ajuste do modelo utilizado.
A fase 3 e a fase da estimac
ao das habilidades dos respondentes. Aqui sao
estimadas as habilidades de cada um dos indivduos, a partir dos resultados
obtidos na fase anterior. Essas habilidades inicialmente sao estimadas na escala
dos parametros dos itens. No entanto, pode-se especificar alguns tipos de mudancas na escala, que serao feitas tanto nas habilidades como nos par
ametros
estimados na fase anterior. Maiores detalhes quanto aos metodos de estimac
ao
realizados nesta fase que estao disponveis nesses programas serao fornecidos
na proxima sec
ao.
SINAPE 2000
Keimelion
Reviso de textos
126
7.2.2 M
etodos para a calibrac
ao dos itens
Como foi dito na sec
ao anterior, esses dois programas realizam inicialmente
a calibrac
ao (estimac
ao dos parametros) dos itens e depois a estimac
ao das habilidades dos respondentes. Dois metodos de estimac
ao para os parametros dos
itens estao implementados, tanto no BILOG, como no BILOG-MG: maxima
verossimilhanca marginal e um metodo bayesiano de estimac
ao por maximizac
ao da distribuic
ao marginal a posteriori.
Assim, como foi descrito nos Captulos 3 e 5, para que os parametros dos
itens possam ser estimados atraves de qualquer um desses dois metodos, e
necess
aria a utilizac
ao de distribuic
oes de probabilidade para as habilidades
dos respondentes. Esses programas assumem que os respondentes representam
uma amostra aleatoria de uma populac
ao de habilidades que pode ser assumida
como tendo ou uma distribuic
ao normal padrao, ou uma distribuic
ao discreta
arbitrariamente especificada pelo usu
ario, ou ainda uma distribuic
ao emprica,
a ser estimada conjuntamente com os parametros dos itens. Esta distribuic
ao
emprica e representada na forma de uma distribuic
ao discreta, atraves de
pontos de quadratura.
No caso de mais de um grupo de respondentes, quando usamos o BILOGMG, ao final do processo de calibrac
ao dos itens sao fornecidas tambem estimativas da media e desvio-padrao da distribuic
ao de habilidades a posteriori
para cada populac
ao.
Tambem, como ja foi citado nos captulos sobre estimac
ao, na estimac
ao
por maximizac
ao da distribuic
ao marginal a posteriori, distribuic
oes a priori
s
ao definidas para os parametros dos itens. No caso desses dois programas,
o usuario pode especificar prioris normais para o parametro de dificuldade,
prioris log-normais para os parametros de discriminac
ao e prioris beta para o
par
ametro de acerto casual.
O BILOG e o BILOG-MG utilizam duas formas de resolver as equac
oes de
verossimilhanca marginal: o algoritmo EM e o metodo Scoringde Fisher.
7.2.3 M
etodos implementados para a estimac
ao das habilidades
Uma vez terminada a calibrac
ao dos parametros, sera feita a estimac
ao
das habilidades dos respondentes. O BILOG e o BILOG-MG tem implementados os metodos de estimac
ao por maxima verossimilhanca, por esperanca a
SINAPE 2000
Keimelion
Reviso de textos
127
posteriori (EAP) e por maximo a posteriori (MAP). No metodo da maxima

verossimilhanca, as estimativas das habilidades dos respondentes sao calculadas pelo metodo de Newton-Raphson, utilizando-se uma transformac
ao linear
do logito do percentual de acertos dos indivduos como valores iniciais. Os problemas ja descritos com as estimativas dos respondentes que tiveram erro total
ou acerto total sao contornados atraves de um artifcio: os alunos que erraram
todos os itens ganham um meio certo no item mais f
acil. Alunos que acertaram todos os itens, perdem um meio certo no item mais difcil. Apesar dessas
alternativas implementadas pelos dois programas, este metodo nem sempre
fornece boas estimativas nestes casos. No metodo EAP, as estimativas para
as habilidades sao calculadas utilizando-se pontos de quadratura para aproximar a distribuic
ao a priori das habilidades de cada respondente. O n
umero de
pontos de quadratura e definido pelo usuario, que pode tambem escolher entre
uma priori que seja normal (e cujos par
ametros podem ser especificados pelo
usuario), ou uma distribuic
ao discreta arbitraria (fornecida pelo usuario), ou
ainda uma distribuic
ao discreta emprica, atraves do uso dos pontos de quadratura e de seus respectivos pesos gerados na fase 2. As estimativas EAP para
as habilidades dos respondentes est
ao sempre definidas, qualquer que seja o
padr
ao de respostas. Alem disso, quando utilizamos a estimac
ao por EAP, e
fornecida uma estimativa da distribuic
ao de habilidades da populac
ao de respondentes, na forma de uma distribuic
ao discreta, dada pelos pontos de quadratura. Esta distribuic
ao e obtida acumulando-se as densidades a posteriori
de todos os sujeitos em cada ponto de quadratura. As somas s
ao ent
ao normalizadas para obter-se as probabilidades estimadas em cada ponto. Tambem
sao fornecidos a media e o desvio-padrao para essa distribuic
ao estimada. No
metodo MAP, as estimativas das habilidades s
ao calculadas pelo metodo de
Newton-Gauss. Este procedimento sempre converge e fornece estimativas para
assumida uma distribuic
todos os padr
oes de resposta possveis. E
ao a priori
normal, cujos parametros podem ser especificados pelo usu
ario, sendo que o
padrao definido nesses programas e a normal padrao.
SINAPE 2000
Keimelion
Reviso de textos
128
7.3 A equalizac
ao nos programas BILOG e BILOGMG
Quando desejamos que a equalizac
ao seja feita durante o processo de calibrac
ao dos itens, o uso de programas computacionais especificamente desenvolvidos para esse fim sao uma ferramenta bastante importante. O BILOG-MG
e um bom exemplo de um programa que pode ser utilizado na maioria dos
casos descritos no Captulo 4. Nesta sec
ao, vamos ent
ao descrever quando e
possvel sua utilizac
ao em cada um daqueles casos e em quais deles o BILOG
tambem pode ser usado. Os casos 1 a 6 tratam, respectivamente, das situac
oes
descritas nas Sec
oes 4.2.1 a 4.2.6 do Captulo 4. Ja os casos (a) a (c) tratam,
respectivamente, das situac
oes descritas nas Sec
oes 4.3.1 a 4.3.3.
7.3.1 O BILOG e o BILOG-MG frente a populaco

es e/ou provas
distintas
Caso 1: Aqui temos um u
nica prova. Por se tratar
do caso mais b
asico, em que nao se faz necessario nenhum tipo de equalizac
ao,
podemos utilizar qualquer um dos programas computacionais disponveis que
tratam da TRI, inclusive o BILOG e o BILOG-MG.
nico grupo fazendo duas provas totalmente diferentes. Por se tratar de um caso de equalizac
ao via populac
ao, basta que
todos os itens de ambas as provas sejam calibrados simultaneamente. Para
tanto, devemos fazer apenas uma ligeira alterac
ao nos modelos ja propostos,
incorporando a informac
ao da prova a que cada aluno foi submetido, uma vez
que a cada prova esta associado um conjunto de itens distintos. Este tambem
e um caso bastante comum que a maioria dos programas computacionais para
analise via TRI e capaz de resolver. No BILOG-MG est
a situac
ao e tratada
sem maiores problemas. Ja no BILOG, h
a uma limitac
ao tecnica: as respostas
dos alunos devem estar ja corrigidas (codificadas com 0 ou 1), para que nao
haja necessidade de utilizar os gabaritos das provas, uma vez que o programa
n
ao consegue ler 2 tipos de gabaritos distintos.
SINAPE 2000
Keimelion
Reviso de textos
7.3 A equaliza
c
ao nos programas BILOG e BILOG-MG
129

nico grupo fazendo duas provas parcialmente
diferentes, isto e, com alguns itens comuns. Este caso e bastante semelhante
ao caso anterior, ou seja, a equalizac
ao tambem pode ser feita via populac
ao. A
u
nica observac
ao que podemos acrescentar e que devemos ter bastante cuidado
que embora esses itens aparecam nas duas
no tratamento dos itens comuns. E
provas, eles nao podem sercontadosduas vezes, ou seja, o n
umero total de
itens a ser calibrado e o total de itens da prova A, mais o total de itens da
prova B, menos o n
umero de itens comuns entre A e B.
Caso 4: Aqui temos dois grupos fazendo uma mesma prova. Por se tratar
de uma situac
ao onde se faz necessaria uma equalizac
ao via itens comuns, este
caso necessita de programas computacionais para analise via TRI que tenham
implementados modelos para mais de um grupo. O BILOG, por exemplo, n
ao
comporta esse tipo de problema, enquanto que o BILOG-MG foi especialmente
desenvolvido para modelar esse tipo de situac
ao. Se so dispusessemos do BILOG, uma alternativa seria calibrar as provas dos dois grupos separadamente,
e depois realizar uma equalizac
ao a posteriori, como foi descrito no Captulo 4.
Nesse caso, como todos os itens sao comuns, metodos de equalizac
ao a posteriori, como o metodo Media-Desvio, produzem resultados bastante satisfatorios,
quando comparados à equalizac
ao feita durante o processo de calibrac
ao dos
itens (ver Andrade (1999), por exemplo).
Caso 5: Aqui temos dois grupos fazendo duas provas totalmente diferentes.
Como ja foi explicado no Captulo 4, nao ha nenhuma maneira de tornar
compar
aveis os resultados desses dois grupos.
Caso 6: Aqui dois grupos sao submetidos a duas provas diferentes, mas que
tem alguns itens comuns. Assim como no Caso 4, esta e uma situac
ao tpica
para ser abordada no BILOG-MG, utilizando-se um modelo para mais de uma
populac
ao e, portanto, nao e possvel o uso do BILOG. Como ja foi citado no
caso 3, devemos apenas ter o cuidado de n
ao considerar duas vezes os itens
repetidos. Assim como foi comentado no Caso 4, aqui tambem pode-se resolver
o problema atraves de uma equalizac
ao a posteriori. No entanto, o desempenho
desse tipo de equalizac
ao torna-se bastante inferior à equalizac
ao feita durante
o processo de calibrac
ao se o n
umero de itens comuns for pequeno.
SINAPE 2000
Keimelion
Reviso de textos
130
7.3.2 O BILOG e o BILOG-MG frente ao conjunto de itens a

ser calibrado
Caso (a): todos os itens saonovos. Quando desejamos calibrar o conjunto
completo de itens, temos o problema de estimac
ao mais comum e, portanto, ele
pode ser resolvido utilizando-se qualquer um dos programas computacionais
disponveis que tratam da TRI, inclusive o BILOG e o BILOG-MG.
Caso (b): todos os itens ja sao calibrados. Se nao desejamos calibrar nenhum dos itens, estamos interessados apenas em estimar as habilidades dos
respondentes. Este problema pode ser resolvido de maneira relativamente simples atraves dos programas BILOG e BILOG-MG, sendo necessario apenas
fornecermos um arquivo contendo as estimativas dos par
ametros de interesse.
No entanto, cabe aqui uma observac
ao: quando se utilizar o BILOG ou o
BILOG-MG e sempre recomendavel utilizar as estimativas dos parametros na
escala original, isto e, como foram fornecidas pelo programa, sem que tenham sofrido nenhum tipo de transformac
ao linear. Isto porque, quando se
utiliza os metodos EAP ou MAP para estimar as habilidades dos respondentes, faz-se necessario o uso de uma distribuic
ao a priori para a habilidade de
cada um desses respondentes, e o padr
ao desses programas e utilizar a distribuic
ao normal padrao ou outras distribuic
oes discretas, mas sempre com media
e desvio-padrao nas vizinhancas dos valores 0 e 1, respectivamente. Assim, se
por exemplo, a metrica da populac
ao em que os par
ametros foram estimados tiver sido transformada para (200,40), havera problemas na estimac
ao das
habilidades dos novos respondentes.
Caso (c): alguns itens s
aonovose outros ja estao calibrados. Neste caso,
desejamos calibrar alguns itens e manter os par
ametros de outros, que ja foram
calibrados anteriormente. Para que possamos fixar par
ametros de alguns itens
e calibrar o restante utilizando o BILOG e o BILOG-MG, deveremos necessariamente utilizar um metodo de estimac
ao bayesiano, uma vez que o u
nico
procedimento disponvel nesses programas para fixar apenas parte dos itens,
e o uso de distribuic
oes a priori convenientes para os par
ametros desses itens.
Para os itens novos, que desejamos calibrar, utilizamos as prioris padrao sugeridas pelo programa. J
a para os outros itens, definimos prioris cujas medias
SINAPE 2000
Keimelion
Reviso de textos
7.3 A equaliza
c
131
sao os proprios valores dos parametros que desejamos fixar e cujos desviospadr
ao sao tao pequenos que a distribuic
ao torna-se praticamente degenerada
naquele ponto. O que ocorre na pr
atica e que todos os parametros sao estimados novamente, mas a convergencia daqueles itens conhecidos e artificialmente
induzida para os valores que desejamos. Pode-se tambem reforcarainda mais
a convergencia utilizando-se outro recurso do programa, que e a definic
ao, por
parte do usuario, de valores iniciais convenientes. Mas, o uso deste tipo de procedimento pode acarretar alguns problemas. Por exemplo, se n
ao utilizarmos
novamente o mesmo grupo de respondentes da calibrac
ao inicial, poderemos ter
problemas para obter a convergencia nessa segunda calibrac
ao. E, na pratica,
muitas vezes nao dispomos do conjunto original de respondentes para juntarmos aos respondentes da nova aplicac
ao. E devemos ressaltar que estamos nos
referindo ao caso em que h
a uma u
nica populac
ao sendo submetida a uma
u
nica prova. O problema se torna ainda mais complexo, no caso de termos
mais de uma populac
ao envolvida (comentaremos essa situac
ao a seguir).
7.3.3 O uso do BILOG-MG quando desejamos fixar parte dos

itens e calibrar o restante, e h
a mais de uma populac
ao
envolvida
Quando ha duas (ou mais) populac
oes envolvidas (Casos 4 e 6), e utilizamos o BILOG-MG para estimar parte do conjunto de itens, fixando os demais
que, como ha mais de
(Caso (c)), poderemos ter problemas com a metrica. E
uma populac
ao envolvida nos processos de estimac
ao, para resolver os problemas de indeterminac
ao de escala, o programa pede ao usuario que defina
uma das populac
oes como sendo a referencia, que sera definida como tendo
media 0 e desvio-padrao 1, e ent
ao, as demais populac
oes serao posicionadas
com relac
ao à ela. Vamos ent
ao imaginar a seguinte situac
ao, ilustrada na Figura 7.1: utilizamos amostras das populac
oes 1 e 2 para calibrar um conjunto
de itens, provenientes de duas provas (A e B). Estas provas tinham 30 itens
cada, sendo 15 itens comuns. A populac
ao 1 foi utilizada como referencia. Ao
final do processo, temos um conjunto de 45 itens (= 30 + 30 - 15) calibrados,
alem das habilidades dos respondentes das duas populac
oes. Digamos que as
estimativas obtidas para os parametros populacionais dos dois grupos tenham
sido, respectivamente, (0,1) e (2,2). Desse modo, um item i, cuja estimativa
do par
ametro b foi 1 esta, usando-se como unidade o desvio-padr
ao da poAndrade, Tavares & Valle
SINAPE 2000
Keimelion
Reviso de textos
132
pulac
ao 1, 1 desvio-padrao acima da media da populac
ao 1 (e portanto, e
relativamente difcil para este grupo) e 1 desvio-padr
ao abaixo da media da
populac
ao 2 (e portanto, e relativamente facil para este grupo). Suponha agora
que temos outras duas provas C e D, que ser
ao submetidas, respectivamente,
a amostras das populac
oes 3 e 4. Ambas as provas sao compostas de 30 itens,
sendo que ha 10 itens comuns entre elas. Suponha ainda que alem disso, ha
10 itens na prova C que sao comuns com a prova B e, portanto, que ja foram
calibrados anteriormente.
Figura 7.1 Esquematizac
ao dos itens comuns entre as provas

!
Desejamos ent
ao fixar os parametros desses 10 itens obtidos na calibracao
anterior e estimar todos os restantes. O motivo para isto seria que, procedendo
desta maneira, faramos uma equalizac
ao entre as populac
oes 1, 2, 3 e 4, tornando possvel qualquer comparac
ao entre elas. Mas, o que aconteceria se,
para tanto, utiliz
assemos apenas as populac
oes 3 e 4? Para comecar, teramos
que definir uma populac
ao de referencia, digamos a populac
ao 3. Logo, essa
populac
ao sera definida como tendo parametros (0,1), para que a populac
ao 4
seja posicionada com relac
ao a ela. Supondo que aquele item i, cujo valor de b
e 1, foi um dos 10 itens que tiveram seus par
ametros fixados, que interpretacao
deveramos ter sobre a relac
ao desse item com a populac
ao 3? A mesma que
j
a tivemos com relac
ao à populac
ao 1: que ele esta 1 desvio-padrao acima da
media da populac
ao 3 e portanto, e relativamente difcil para este grupo. O
SINAPE 2000
Keimelion
Reviso de textos
7.3 A equaliza
c
133
fato de termos as populac

oes 1 e 3 necessariamente com a mesma distribuic
ao
de probabilidade e um problema, pois sabemos que se tratam de populac
oes
diferentes. Suponhamos que essas populac
oes sejam, respectivamente, a 3.a , a
4.a , a 5.a e a 6.a series do ensino fundamental. Seria perfeitamente razoavel
esperarmos que as medias das distribuic
oes de habilidades destas populac
oes
mantivessem uma relac
ao crescente de ordem. Assim, se a 3.a serie fosse fixada como tendo parametros (0,1) e a 4.a serie tivesse ent
ao seus parametros
estimados em (2,2), esperaramos ter uma media maior do que 2 para a 5.a
serie, e n
ao (0,1). Desta maneira, aquele item i, cujo parametro de dificuldade
foi estimado em 1, deveria estar necessariamente abaixo da media da 5.a serie.
Ha pelo menos 2 maneiras de solucionarmos este problema. A primeira, que
nem sempre e possvel, e utilizarmos novamente os respondentes utilizados nas
provas A e B no processo da calibrac
ao das provas C e D. Fixaramos todos
os itens das provas A e B enquanto calibraramos os itens novos das provas
C e D. Desta maneira, poderamos definir novamente a populac
ao 1 como
sendo a referencia, e ent
ao nao haveriam mais problemas no posicionamento
das populac
oes 3 e 4. Mas, como j
a foi dito, nem sempre e possvel proceder
desta maneira, pois poderamos nao dispor dos respondentes utilizados na primeira calibrac
ao. Uma outra maneira de solucionar o problema de maneira
adequada, seria fazer uma equalizac
ao a posteriori, que ja foi comentada na
Sec
ao 4.4.
No proximo captulo serao feitas considerac
oes finais sobre esse trabalho e
algumas sugestoes para futuras pesquisas e aplicac
oes.
SINAPE 2000
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Captulo 8
Considerac
oes gerais
Para finalizar, faremos uma breve discuss

ao sobre os problemas encontrados
na aplicac
ao dessa teoria, possveis topicos de pesquisa e a utilizac
ao da TRI
em outras
areas do conhecimento.
Nesse livro procuramos introduzir os principais conceitos, modelos, metodos
de estimac
ao e aplicac
oes da Teoria da Resposta ao Item, com o objetivo de
mostrar o grande potencial da sua aplicac
ao na area de avaliac
ao educacional,
em especial quando ha a necessidade da comparac
ao do desempenho de duas
ou mais populac
oes de indivduos.
Apesar desta teoria ter mais de 50 anos, somente nos u
ltimos 15 e que ela
vem sendo aplicada em larga escala nas principais avaliac
oes educacionais de
diferentes pases. Atribui-se este fato `
a complexidade matematica dos metodos
envolvidos, praticamente invi
aveis sem o auxlio do computador. O que temos
observado e que a teoria vem sendo desenvolvida num ritmo que ainda n
ao vem
sendo acompanhado pelo desenvolvimento de programas computacionais eficientes, que viabilizem sua utilizac
ao em maior escala. Alem disso, a aplicac
ao
apropriada desta teoria exige necessariamente o envolvimento de especialistas
em avaliac
ao e em estatstica. Nesse sentido, faz-se imprescindvel a elaborac
ao
de grupos de trabalho, que possibilitem a integrac
ao de profissionais de ambas
as areas. Justamente pelo fato da TRI ter sido ainda t
ao pouco explorada,
v
arios pontos tem sido levantados na literatura sobre sua adequac
ao. Alguns
deles ainda permanecem em aberto.
Podemos citar, por exemplo, a quest
ao da dimensionalidade do espaco de
tracos latentes envolvidos na avaliac
ao. Todos os modelos que vem sendo efetivamente utilizados pressupoem que o conhecimento que se deseja medir pode
ser representado por uma u
nica habilidade. Alguns autores tem defendido a
tese de que os modelos unidimensionais tem fornecido bons resultados, mesmo
em situac
oes multidimensionais, desde que uma das dimensoes possa ser con-
Keimelion
Reviso de textos
136
Considera
c
oes gerais
siderada predominante. Mais recentemente, modelos para mais de uma dimens

ao tem sido propostos, mas ainda nao tem sido aplicados devido a n
ao
disponibilidade de recursos computacionais e tambem à sua maior dificuldade
de interpretac
ao. Um estudo interessante seria o da dimensionalidade da prova
objetiva do Exame Nacional do Ensino Medio (ENEM), cujos itens sao elaborados a partir de situac
oes-problema devidamente contextualizadas na interdisciplinaridade das ciencias e das artes em sua articulac
ao com o mundo em
que vivemos.
A questao da equalizac
ao entre diferentes populac
oes tambem sempre foi
um ponto bastante discutido na literatura. Conforme comentamos neste trabalho, a proposta recente de modelos para varios grupos de Bock & Zimowski
(1997), que viabilizam a equalizac
ao durante o processo de calibrac
ao, deu um
novo rumo à soluc
ao desta questao, tendo em vista que os modelos anteriores
envolvem outros erros de modelagem, alem daqueles da propria teoria. Sugerimos a leitura de Goldstein & Wood (1989), Mislevy (1992), Goldstein (1994)
e Hedges & Vevea (1997), entre outros, para um melhor entendimento destes
problemas e suas soluc
oes.
Outro ponto que poderamos citar, foi levantado por Mislevy (1991) e diz
respeito à qualidade da estimac
ao da distribuic
ao das habilidades dos elementos de uma populac
ao. O autor discute a possibilidade de se obter melhores
estimativas da variabilidade das habilidades, utilizando-se tambem outras informac
oes dos respondentes que possam estar associadas com suas habilidades.
Exemplos dessas informac
oes seriam o grau de escolaridade dos pais, o h
abito
de leitura do respondente, a condic
ao s
ocio-econ
omica da famlia, etc. Esta
metodologia e baseada no conceito de imputac
ao m
ultipla de dados faltantes e
os valores obtidos para as habilidades s
ao denominados devalores plausveis.
Mas, ainda existem alguns fatores que dificultam a aplicac
ao desta metodologia, e o principal deles como sempre, e a nao existencia comercial, ate o presente
momento, de programas computacionais apropriados. Alem disso, ha tambem
a dificuldade da obtenc
ao de informac
oes adicionais relevantes ao problema
que sejam fidedignas e a inclus
ao dessas mesmas informac
oes no modelo.
Ha ainda outros pontos que tem sido poucos explorados, como por exemplo,
modelos multivariados e modelos longitudinais. Os modelos multivariados seriam adequados para as situac
oes onde um mesmo respondente e submetido a
mais de um teste e os modelos longitudinais, para as situac
oes onde o desemAndrade, Tavares & Valle
SINAPE 2000
Keimelion
Reviso de textos
137
penho de um mesmo respondente e acompanhado ao longo do tempo. Esses
u
ltimos modelos deveriam permitir a incorporac
ao de possveis estruturas de
covari
ancia entre as habilidades dos indivduos avaliados ao longo do tempo.
Estes modelos poderiam ser aplicados, por exemplo, nas an
alises dos dados
gerados pelo projeto AVEJU, da Secretaria de Estado da Educac
ao do Estado
de Sao Paulo, que acompanhou um grupo de alunos da escola p
ublica estadual
da 1a. serie (1992) ate a 3a. serie (1994) do Ensino Fundamental, e do projeto
FUNDESCOLA em implementac
ao pelo INEP/MEC, que dever
a acompanhar
um grupo de alunos de escolas p
ublicas de 6 estados, desde a 4a. serie (1999)
ate a 8a. serie (2003) do Ensino Fundamental.
Para finalizar, gostaramos de ressaltar dois outros pontos. O primeiro diz
respeito a disseminac
ao do uso da TRI em avaliac
oes educacionais brasileiras, que sem d
uvida alguma dependera muito da integrac
ao de especialistas
das areas de estatstica e educacao. A criac
ao de programas de pos-graduac
ao
envolvendo departamentos de estatstica e de medidas em educac
ao em algumas de nossas universidades, seria de fundamental import
ancia. A primeira
aplicac
ao da TRI no Brasil foi na analise do SAEB 95. Desde ent
ao, os org
aos
governamentais, atraves do MEC e algumas Secretarias da Educac
ao, vem valorizando e incentivando o uso dessa teoria nas suas avaliac
oes. No entanto, o
mercado de trabalho ainda esta bastante deficiente de profissionais com tais
qualificac
oes. O segundo ponto diz respeito a disseminac
ao do uso da TRI em
outras
areas do conhecimento.
Um ponto importante dessa metodologia e que tanto os itens, atraves de seus
parametros, quanto o traco latente associado sao medidos em uma mesma
metrica, permitindo com isso uma operacionalizac
ao dessa caracterstica latente que esta sendo medida, bem como a adequac
ao e a contribuic
ao de
cada um dos itens aplicados nessa operacionalizac
ao. Essa propriedade tem
levado pesquisadores de diferentes areas a aplicarem o modelo de Rasch, modelo com um u
nico parametro (o parametro b de dificuldade), na analise e
interpretac
ao de varios instrumentos de avaliac
ao (medida). Tres exemplos recentes seriam os trabalhos de DeRoos & Allen-Meares (1998), Tennant et. al.
(1996) e Granger et. al. (1998). O primeiro em psiquiatria e os dois u
ltimos em
reabilitac
ao medica. O modelo de Rasch e tambem descrito em Marcoulides
(1998) como um dos metodos modernos mais importantes para a pesquisa na
area de negocios. Sugerimos aos leitores mais interessados a participac
ao nas
SINAPE 2000
Keimelion
Reviso de textos
138
Considera
c
oes gerais
listas de discussao rasch@acer.edu.au e irt@listserv.vt.edu e uma pesquisa no

site http://www.rasch.org/.
SINAPE 2000
Keimelion
Reviso de textos
Apendice A
Desenvolvimento das express

oes do
Captulo 3
A.1 Express
oes da p
agina 40
Para chegarmos `
as expressoes de H( i ) e h( i ) usadas em (3.25), notemos
que de (3.22),
(
)

2

n
X
uji Pji
uji Pji 2 Pji
Pji
Pji 0
log L()
.
=
Pji Qji
Pji Qji
i
i
i 0i
i 0i
j=1
(A.1)
Porem,
Pji Qji
i
2 Pji
a2i
2 Pji
ai bi
2 Pji
ai ci
2 Pji
b2i
2 Pji
bi ci
2 Pji
c2i
= (1 2Pji )
Pji
,
i
i {ai , bi , ci },
= D2 (1 ci )(j bi )2 Pji Qji (1 2Pji ),
(A.2)
= D(1 ci )Pji Qji {1 + Dai (j bi )(1 2Pji )},
(A.3)
= D(j bi )Pji Qji ,
(A.4)
= D2 a2i (1 ci )Pji Qji (1 2Pji ),
(A.5)
= Dai Pji Qji ,
(A.6)
Qji
= 0.
ci
(A.7)
Keimelion
Reviso de textos
140
Com estas expressoes obtemos 2 Pji /( i 0i ). Sejam
hji = (Pji Qji )1
Pji
i
D(1 ci )(j bi )
= Dai (1 ci ) ,
1
Pji
2 Pji
=
i 0i
D2 (1 ci )(j bi )2 (1 2Pji )
.
.
= D(1 ci ){1 + Dai (j bi )(1 2Pji )} D2 a2i (1 ci )(1 2Pji ) . .
D(j bi )
Dai
0
H ji
(Pji Qji )1
Com isso, de (3.7) temos que

log L()
i
(
)
n
X
Wji
=
Pji Qji
h( i )
j=1
n
X
(uji Pji )Wji hji .
(A.8)
j=1
Retornando a (A.1),
H( i )
=
log L()
i 0i
(
n
X
uji Pji
j=1
n
X
Pji Qji
(Pji Qji )H ji
uji Pji
Pji Qji
)
(Pji Qji )2 hji h0ji
(uji Pji )Wji H ji (uji Pji )Wji hji h0ji .
(A.9)
j=1
SINAPE 2000
Keimelion
Reviso de textos
A.2
141
A.2 Express
oes da p
agina 46
Para chegarmos `
as expressoes de H(j ) e h(j ) usadas em (3.40), notemos
que de (3.35),
(

2 !)
I
X
uji Pji
Pji
uji Pji
Pji
2 log L()
=
+
2
j
Pji Qji
j
Pji Qji
j
j2
i=1
(
2 !

)
I
X
uji Pji
Pji
uji Pji 2 Pji 2
=
(. A.10)
2
Pji Qji
Pji Qji
j
j
i=1
A segunda parcela em (A.10) e obtida por (3.37). Com relac
ao à primeira,
temos
2 Pji
j2
= D2 a2i (1 ci )Pji Qji (1 2Pji ).
(A.11)
Sejam
hji =
(Pji Qji )1
Hji = (Pji Qji )1
Pji
j
2 Pji
j2
= Dai (1 ci ),
(A.12)
= D2 a2i (1 ci )(1 2Pji ).
(A.13)
Com isso, de (3.38) temos que

log L()
j
(
)
I
X
Wji
=
Pji Qji
h(j )
i=1
I
X
(uji Pji )Wji hji .
i=1
SINAPE 2000
Keimelion
Reviso de textos
142
Retornando a (A.10),
log L()
j2
(
)
I
X
uji Pji
uji Pji 2 2 2

=
(Pji Qji )Hji
(Pji Qji ) hji
Pji Qji
Pji Qji
H(j )
i=1
I
X
=
(uji Pji )Wji Hji (uji Pji )Wji h2ji .
(A.14)
i=1
A.3 Express
oes da p
agina 59
b e hP I ( ) usadas em (3.72), coPara chegarmos às expressoes de H P I ()
i
mecemos adotando a notac
ao
vji = (uji Pi )
(uji Pi )
Wi
=
.
Pi Qi
Pi Qi
Segue, de (3.55) e (3.62), que

P (uj. |, )
i
vji
Pi
i
P (uj. |, ).
(A.15)
Segue de (3.59) que a segunda parcela de (3.71) e obtida por
hi(j)
P (uj. |, )/ i
P (uj. |, )
Z
Pi
gj ()d.
=
vji
i
IR
(A.16)
Com relac
ao à primeira parcela de (3.71), notemos que
Z
2 P (uj. |, )
Pi 0
=
P (uj. |, )g(|)d
vji
i
i
i 0i
IR

Pi 0
vji
P (uj. |, ) g(|)d.
=
i
IR i
(A.17)
SINAPE 2000
Keimelion
Reviso de textos
A.3
143
Utilizando (A.15) e o desenvolvimento em (3.24), temos

Pi 0
vji
P (uj. |, ) =
i

P (uj. |, )
Pi 0
Pi 0
vji
P (uj. |, ) + vji
=
i
i
i
i
Pi
Pi
Pi
Pi
Pi 0
2
2
P (uj. |, ) + vji P (uj. |, )
+ vji
= vji
i
i
i
i
i 0i
2
Pi
P (uj. |, )
= vji
i 0i
Segue de (A.17) que

2 P (uj. |, )
=
i 0i
Z
IR
vji
2 Pi
i 0i
P (uj. |, )g(|)d.
Portanto, a primeira parcela em (3.71) pode ser escrita como
H ii(j)
2 P (uj. |, )/( i 0i )
P (uj. |, )
Z
=
IR
vji
2 Pi
i 0i
gj ()d. (A.18)
Por (3.62), para l 6= i

Z
2 P (uj. |, )
Pi 0
=
P (uj. |, )g(|)d
vji
l
i
l 0i
IR
Z
P (uj. |, )
Pi 0
g(|)d
=
vji
l
i
IR
Z
Pi 0
Pl
P (uj. |, )g(|)d
=
vji vjl
l
i
IR
Portanto, para l 6= i, a primeira parcela em (3.71) pode ser escrita como
SINAPE 2000
Keimelion
Reviso de textos
144
H il(j)
2 P (uj. |, )/( l 0i )
P (uj. |, )
=
IR
vji vjl
Pl
l
Pi
i
gj ()d
(A.19)
Podemos agora obter as equac

oes de estimac
ao para . Com as express
oes
0
2
(A.2) a (A.7) obtemos Pi /( i i ), i = 1, , I. Sejam
hi = (Pi Qi )1
Pi
i
D(1 ci )( bi )
= Dai (1 ci ) ,
1
Pi
2 Pi
=
i 0i
D2 (1 ci )( bi )2 (1 2Pi )
.
.
= D(1 ci ){1 + Dai ( bi )(1 2Pi )} D2 a2i (1 ci )(1 2Pi ) .
D( bi )
Dai
0
H ii
(Pi Qi )1
e, para i 6= l,
H il =
=
hi h0l
(Pi Qi )1 (Pl Ql )1
D2 (1 c )(1 c )( b )( b )
i
D2 ai (1
ci )(1 cl )( bl )
D(1 cl )( bl )/Pi
Pi
i
Pl
l
D2 al (1 ci )(1 cl )( bi )
D2 ai al (1 ci )(1 cl )
Dal (1 cl )/Pi
D(1 ci )( bi )/Pl
Dai (1 ci )/Pl
[Pi Pl ]1
Retornando a (A.18), temos que a primeira parcela de (3.71) pode ser reescrita como
Z
H ii(j) =
IR
(uji Pi )Wi H ii gj ()d
e, para i 6= l,
SINAPE 2000
Keimelion
Reviso de textos
A.3
145
Z
H il(j) =
IR
(uji Pi )(ujl Pl )Wi Wl H il gj ()d
(A.20)
2 log L(, )
l 0i
s
o
X n
=
rj H il(j) hi(j) h0l(j) .
(A.21)
Com isso, chegamos a
H( i , l ) =
j=1
Basta, agora, definirmos:
h( 1 )
hP I () = ...
h( I )
H( 1 , 1 )
..
..
H P I () =
.
.
H( I , 1 )
H( 1 , I )
..
.
.
H( I , I )
SINAPE 2000
Keimelion
Reviso de textos
Keimelion
Reviso de textos
Refer
encias Bibliogr
aficas
[1] Andersen, E. B. (1973). Conditional inference in multiple choice questionnaires. British Journal of Mathematical and Statistical Psychology, 26,
31-44.
[2] Andersen E. B. (1980). Discrete Statistical Models with Social Science
Applications. New York: North-Holand Publishing Company.
[3] Andrade, D. F. (1999). Comparando o Desempenho de Grupos (Populaco
es) de Respondentes Atraves da Teoria da Resposta ao Item. Tese
apresentada ao Departamento de Estatstica e Matematica Aplicada da
UFC para o concurso de professor titular.
[4] Andrade, D. F. e Klein, R. (1999). Metodos estatsticos para avaliac
ao
educacional : teoria da resposta ao item. Boletim da ABE, 43, 21-28.
[5] Andrade, D. F. e Valle, R. C. (1998). Introduc
ao à teoria da resposta
ao item: conceitos e aplicac
oes. Estudos em Avaliaca
o Educacional, 18,
13-32.
[6] Andrich, D. (1978). A rating formulation for ordered response categories.
Psychometrika, 43, 561-573.
[7] Baker,F. B. (1992). Item Response Theory - Parameter Estimation Techniques. New York: Marcel Dekker, Inc.
[8] Batista, J.R. (1999). Valores Plausveis para Estimac
ao de Par
ametros
Populacionais em Modelos da Teoria da Resposta ao Item. Dissertac
ao
de Mestrado. Belo Horizonte: ICEX/UFMG.
[9] Beaton, A. E. and Allen, N. L. (1992). Interpreting scales through scale
anchoring. Journal of Educational Statistics, 17, 191-204.
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
148
[10] Birnbaum, A. (1957). Efficient design and use of tests of a mental ability
for various decision-making problems, ( Series Report No. 58-16. Project
No. 7755-23). USAF School of Aviation Medicine, Texas: Randolph Air
Force Base.
[11] Birnbaum, A. (1968). Some Latent Trait Models and Their Use in Infering
an Examinees Ability. In F.M. Lord & M.R. Novick. Statistical Theories
of Mental Test Scores. Reading, MA:Addison-Wesley.
[12] Bock, R. D. (1972). Estimating item parameters and latent ability when
responses are scored in two or more nominal categories. Psychometrika,
37, 29-51.
[13] Bock, R. D. and Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters: An application of a EM algorithm. Psychometrika, 46, 433-459.
[14] Bock, R. D. and Lieberman, M. (1970). Fitting a response model for n
dichotomously scored items. Psychometrika, 35, 179-197.
[15] Bock, R. D. and Zimowski, M. F. (1997). Multiple Group IRT. In Handbook of Modern Item Response Theory. W.J. van der Linder e R.K. Hambleton Eds. New York: Spring-Verlag.
[16] Chow, Y.S. and Teicher, H. (1978). Probability Theory: Independence,
Interchangeability, Martingales. New York: Springer-Verlag.
[17] Dempster, A. P. , Laird, N. M. and Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm (with discussion).
Journal of the Royal Statistical Society, Series B, 39, 1-38.
[18] DeRoos, Y. and Allen-Meares, P. (1998). Applications of rasch analysis:
exploring differences in depression between african-american and white
children. Journal of Social Service Research, 23, 93-107.
[19] Divgi, D. R. (1979). Calculation of the tetrachoric correlation coefficient.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
149
[20] Fundac
ao Carlos Chagas (1997). Avaliac
ao das Escolas Estaduais de Ensino Fundamental e Ensino Medio do Rio Grande do Norte, 4v. Sao Paulo
: Fundac
ao Carlos Chagas.
[21] Fundac
ao Carlos Chagas (1998). Programa de Aceleraca
o da Aprendizagem: avaliac
ao final, avaliac
ao do material did
atico e apendice, 3v. Sao
Paulo : Fundac
ao Carlos Chagas / Instituto Ayrton Senna.
[22] Genz, A. C. and Malik, A. A. (1980). An adaptive alghorithm for numerical integration over a N -retangular region. J. Comput. Appl. Math., 6,
295-302.
[23] Goldstein, H. (1994). Recontextualizing mental measurement. Educational Measurement : Issues and Practice, 13, 16-43.
[24] Goldstein, H. and Wood, R. (1989). Five decades of item response modelling. British Journal of Mathematical and Statistical Psychology, 42,
139-167.
[25] Granger, C. V., Deutsch, A. and Linn, R. T. (1998). Rasch analysis of
the functional independence measure (FIMTM) mastery test. Arch. Phys.
Med. Rehabil., 79, 52-57.
[26] Graybill, F. A. (1969). Introduction to Matrices with Aplications in Statistics. Belmont, CA: Wadsworth Publishing Company, Inc.
[27] Gulliksen, H. (1950). Theory of Mental Tests. New York : John Wiley
and Sons.
[28] Haberman, S. (1975). Maximum Likelihood Estimates in Exponential Response Models, (Technical Report) Chicago, IL: University of Chicago.
[29] Haley, D. C. (1952). Estimation of the dosage mortality relationship when
the dose is subject to error, (Technical Report, 15) Stanford, Calif.: Stanford University, Applied Mathematics and Statistics Laboratory.
[30] Hambleton, R.K. and Cook, L.L. (1997). Latent trait models and their
use in the analysis of educational test data. Journal of Educational Measurement, 14, 75-96.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
150
[31] Hambleton, R. K. and Swaminathan, H. (1985). Item Response Theory:

Principles and Applications. Boston: Kluwer Academic Publishers.
[32] Hambleton, R. K., Swaminathan, H. and Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park : Sage Publications.
[33] Hedges, L. V. and Vevea, J. L. (1997). A study of equating in NAEP. Paper presented at The NAEP Validity Studies Panel. Palo Alto : American
Institutes for Research.
[34] Heitjan, D. F. (1991a). Generalized Norton-Simon models of tumour
growth. Statistics in Medicine, 10. 1075-1088.
[35] Heitjan, D. F. (1991b). Nonlinear modeling of serial immunologic data: A
case study. Journal of the American Statistical Association, 86. 891-898.
[36] Hildebrand, F. B.(1956). Introduction to Numerical Analysis. New-York:
McGraw-Hill.
[37] Issac, E. and Keller, H. B. (1966). Analysis of Numerical Methods. New
York: Wiley & Sons.
[38] Kolen, M. J. and Brennan, R. L. (1995). Test Equating - Methods and
Pratices. New York: Springer.
[39] Linden, W. J. van der and Hambleton, R. K. (1997). Handbook of Modern
Item Response Theory. New York : Springer-Verlag.
[40] Lord, F. M. (1952). A theory of test scores (No. 7). Psychometric Monograph.
[41] Lord, F. M. (1968). An analysis of the verbal scholastic aptitude test
using Birnbaums three-parameter logistic model. Educational and Psychological Measurement, 28, 989-1020.
[42] Lord, F. M. (1974). Estimation of latent ability and item parameters when
there are omitted responses. Psychometrika, 39, 247-264.
[43] Lord, F. M. (1975). Evaluation with artificial data of a procedure for estimating ability and item characteristic curve parameters, (Research Bulletin RB-75-33). Princeton, NJ: Educational Testing Service.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
151
[44] Lord, F. M. (1980). Applications of Item Response Theory to Practical

Testing Problems. Hillsdale: Lawrence Erlbaum Associates, Inc.
[45] Lord, F. M. and Novick, M. R. (1968). Statistical Theories of Mental Test
Scores. Reading, MA: Addison-Wesley.
[46] Marcoulides, G. A. Ed. (1998). Modern Methods for Business Research.
Mahwah, NJ: Lawrence Erlbaum Reading, MA: Addison-Wesley.
[47] Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174.
[48] Ministerio da Educac
ao e do Desporto (1996). Sistema Nacional de Avaliac
ao da Educac
ao B
asica : SAEB 95 - relat
orio tecnico. Sao Paulo /
Rio de Janeiro : Fundac
ao Carlos Chagas / Fundac
ao Cesgranrio.
[49] Ministerio da Educac
ao e do Desporto (1998). Sistema Nacional de Avaliac
ao da Educac
ao B
asica : SAEB 97 - relat
orio tecnico. Rio de Janeiro
: Fundac
ao Cesgranrio.
[50] Mislevy, R. J. (1986a). Bayes modal estimation in item response models.
[51] Mislevy, R. J. (1986b). Recent developments in the factor analysis of
categorical variables. Journal of Educational Statistics, 11, 3-31.
[52] Mislevy, R. J. (1991). Randomization-based inference about latent variables from complex samples. Psychometrika, 56, 177-196.
[53] Mislevy, R. J. (1992). Linking Educational Assessments : concepts, issues,
methods and prospects. Princeton : Educational Testing Service.
[54] Mislevy, R. J. and Stocking, M. L. (1989). A Consumers Guide to LOGISTIC and BILOG. Applied Psychological Measurement, 13 57-75.
[55] Mislevy, R. J. and Bock, R. D. (1990). BILOG 3 : Item Analysis and Test
Scoring with Binary Logistic Models. Chicago : Scientific Software, Inc.
[56] Muraki, E. (1992). A generalized partial credit model : Application of an
EM algorithm. Applied Psychological Measurement, 16, 159-176.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
152
[57] Muraki, E. and Bock, R. D. (1997). PARSCALE : IRT Based Test Scoring
and Item Analysis for Graded Open-Ended Exercices and Performance
Tasks. Chicago : Scientific Software, Inc.
[58] Nelder, J. A. (1961). The fitting of a generalization of the logistic curve.
Biometrika, 17 , 89-100.
[59] Nelder, J. A. (1962). An alternative form of a generalized logistic equation.
Biometrics, 18 , 614-616.
[60] Neyman, J. and Scott, E. L. (1948). Consistent estimates based on partially consistent observations. Econometrika, 16 (1), 1-32.
[61] Novick, M. R. (1966). The axioms and principal results of classical test
theory. Journal of Mathematical Psycology, 3,1-18.
[62] Rao, C. R. (1973). Linear Statistical Inference and Its Applications. New
York: Wiley & Sons.
[63] Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen : Danish Institute for Educational Research.
[64] Richardson, M. W. (1936). The relationship between difficulty and the
differential validity of a test. Psychometrika, 1, 33-49.
[65] Samejima, F. A. (1969). Estimation of latent ability using a response
pattern of graded scores. Psychometric Monograph, 17.
[66] Secretaria de Estado da Educac
ao de Sao Paulo (1996). Sistema de Avaliac
ao Paulo - SARESP : relat
orio final dos resultados, 3v. Sao Paulo : SEE.
[67] Secretaria de Estado da Educac
ao de Sao Paulo (1997). Sistema de Avaliac
ao Paulo - SARESP : relat
orio final dos resultados, 4v. Sao Paulo : SEE.
[68] Sen, P. K., Singer, J. M. (1993). Large Sample Methods in Statistics: An
Introduction With Applications. New York: Chapman & Hall.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
153
[69] Soares, J. F. , Martins, M. I. e Assunc

ao, C. N. B. (1998). Heterogeneidade academica dos alunos admitidos na UFMG e PUC-MG. Estudos em
Avaliac
ao Educacional, 17, 61-72. Sao Paulo : Fundac
ao Carlos Chagas.
[70] Stroud, A. H. (1971). Aproximate Calculation os Multiple Integrals. New
Jersey: Prentice Hall, Englewood Cliffs.
[71] Stroud, A. H. and Secrest, D. (1966). Gaussian Quadrature Formulas.
Englewood Cliffs, New Jersey : Prentice-Hall.
[72] Swaminathan, H. and Gifford J. A. (1983). Estimation of Parameters in
the Three-Parameter Latent Trait Model. In D. Weiss (Ed.),New Horizonts in Testing. New York: Academic Press.
[73] Tennant, A., Hillman, M., Fear, J., Pickering, A. and Chamberlin, M.
A. (1996). Are we making the most of the stanford health assessment
questionnaire? Brit. J. Rheum., 35, 574-578.
[74] Tucker, L. R. (1946). Maximum validity of a test with equivalent items.
[75] Valle, R. C. (1999). Teoria da Resposta ao Item.. Dissertac
ao de Mestrado.
Sao Paulo: IME/USP.
[76] Van Dooren, P. and De Ridder, L. (1976). An adaptive alghorithm for
numerical integration over a N -retangular cube. J. Comput. Appl. Math.,
2, 207-217.
[77] Vianna, H. M. (1987). Testes em Educac
ao. Sao Paulo : IBRASA
[78] Wilson, D. T. , Wood, R. , Downs, P. K. and Gibbons, R. (1991). TESTFACT : Test Scoring, Item Statistics and Item Factor Analysis. Chicago
: Scientific Software, Inc.
[79] Wright, B. D. (1968). Sample-free test calibration and person measurement. Proceedings of the 1967 Invitational Conference on Testing Problems. Princeton, N. J. : Educational Testing Service.
SINAPE 2000
Keimelion
Reviso de textos
REFERENCIAS
BIBLIOGRAFICAS
154
[80] Zimowski, M. F. , Muraki, E. , Mislevy, R. J. and Bock, R.D. (1996).

BILOG-MG: Multiple-Group IRT Analysis and Test Maintenance for Binary Items. Chicago : Scientific Software, Inc.
[81] Zwick, R. (1987). Assessing the dimensionality of NAEP reading data.
Journal of Educational Measurement, 24, 293-308.
SINAPE 2000

Livro TRI

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Livro TRI

Enviado por

Direitos autorais:

Formatos disponíveis

Keimelion

Teoria da Resposta ao Item:

Dalton Francisco de Andrade1

Professor Titular do Departamento de Estatstica e Matematica Aplicada

Professor do Departamento de Estatstica da Universidade Federal do Para

Andrade, Tavares & Valle

Janete, Cristina e Fernando.

Andrade, Tavares & Valle

modelos matematicos utilizados, os problemas de estimac

Rubens Murillo Marques

Andrade, Tavares & Valle

A ideia de escrever um texto introdutorio sobre a Teoria da Resposta ao

Andrade, Tavares & Valle

6 A Escala de Habilidade e uma Aplica

Andrade, Tavares & Valle

Andrade, Tavares & Valle

Exemplo de uma Curva Caracterstica do Item CCI . . . . .

Curvas caractersticas e de informac

Grafico de dispersao das estimativas do parametro de discriminac

Exemplo de 2 itens ancora . . . . . . . . . . . . . . . . . . . . . 111

Resultados obtidos em provas, expressos apenas por seus escores brutos ou

possvel por exemplo, avaliar o desenvolvimento de uma

conceito de equalizacao e suas diferentes formas de obtenc

ltimo, apresentam-se demonstrac

Andrade, Tavares & Valle

(i) da natureza do item dicotomicos ou nao dicotomicos;

2.2 Modelos envolvendo um u

2.2.1 Modelos para itens dicot

2.2 Modelos envolvendo um u

P (Uij = 1|j ) e a probabilidade de um indivduo j com habilidade j

e o parametro de dificuldade (ou de posic

e o parametro do item que representa a probabilidade de indivduos

e um fator de escala, constante e igual a 1. Utiliza-se o valor 1,7 quando

2.2 Modelos envolvendo um u

Figura 2.1 Exemplo de uma Curva Caracterstica do Item CCI

prob. de resposta correta

Curva caracterstica do item - CCI

probabilidade de acerto igual a (1 + c)/2. Assim, quanto maior o valor de b,

No caso do modelo logstico de 3 parametros, a equac

2.2 Modelos envolvendo um u

Outra maneira de representar esta func

Figura 2.2 Curvas caractersticas e de informac

Item 2: a2 = 0,80 b2 = 1,20 c 2 = 0,20

Item 3: a3 = 1,30 b3 = - 0,20 c 3 = 0,20

Item 4: a4 = 1,30 b4 = 1,20 c 4 = 0,20

alunos e feita a partir de itens considerados difceis e nao de itens considerados

2.2 Modelos envolvendo um u

das respostas de um grupo de indivduos submetidos a esses itens, mas uma

Por exemplo, os valores dos par

= P (U1 = 1| = 240) = 0, 87,

ou seja, a probabilidade de um indivduo responder corretamente a um certo

2.2 Modelos envolvendo um u

Tipicamente, a dimensionalidade do teste e verificada atraves da analise

2.2.2 Modelos para itens n

Andrade, Tavares & Valle

2.2 Modelos envolvendo um u

Modelo de Resposta Gradual (Graded Response Model)

e o parametro de dificuldade da k-esima categoria do item i.

Os demais parametros no modelo sao analogos aos ja definidos anteriormente.

Andrade, Tavares & Valle

Entao, temos que:

Note que em um item com (mi + 1) categorias, mi valores de dificuldade

2.2 Modelos envolvendo um u