Escolar Documentos
Profissional Documentos
Cultura Documentos
Rio de Janeiro
2012
Renata Cardoso Pires de Abreu
Rio de Janeiro
2012
CATALOGAÇÃO NA FONTE
UERJ/REDE SIRIUS/CBB
CDU 51.07
Autorizo, apenas para fins acadêmicos e científicos, a reprodução total ou parcial desta
dissertação, desde que citada a fonte.
__________________________________ ____________________________
Assinatura Data
Renata Cardoso Pires de Abreu
Banca examinadora:
______________________________________________
Profª Dra. Patrícia Nunes da Silva (Orientadora)
Instituto de Matemática e Estatística – UERJ
_______________________________________________
Prof. Dr. Carlos Frederico F. B. Vasconcellos (Coorientador)
Instituto de Matemática e Estatística – UERJ
_________________________________________________
Prof. Dr. Carlos Antonio de Moura
Instituto de Matemática e Estatística – UERJ
________________________________________________
Profª Dra. Gilda Helena Bernardino de Campos
Pontifícia Universidade Católica – PUCRio
_______________________________________________________
___________________________________________
Profª Dra. Chang Kuo Rodrigues
Universidade Severino Sombra
Rio de Janeiro
2012
AGRADECIMENTOS
Essa dissertação é o resultado de um investimento pessoal, mas que só foi possível devido ao
esforço, em diferentes formas, de várias pessoas que me abriram a mente e que merecem ser
reconhecidas. Não imaginei que um desejo pessoal me conduzisse por um caminho tão rico .
a Deus,
à minha família, especialmente às minhas filhas, Maria Fernanda e Maria Gabriela e ao meu
marido Nicola pela compreensão nos momentos de muita inquietação e ansiedade,
à Profª Patrícia, minha orientadora, por cumprir a função de orientação de uma forma
brilhante, completa, exigente, me dando sempre muito incentivo nessa travessia que parecia
sem fim,
ao Prof. Frederico, meu coorientador, que nas primeiras etapas para participar deste mestrado
me recebeu e me entrevistou, com muita seriedade,
ao Prof. Moura, coordenador do mestrado e participante da banca, que com seu carinho e
dedicação, não me permitiu desistir,
à amiga e Profª Gilda, participante da banca, pelo apoio que sempre me deu na vida
acadêmica, durante todo um percurso que já vem de longa data,
ao amigo e Prof. Jano, que me apresentou como canditada a uma vaga desse mestrado, me
abrindo as portas para um novo mundo,
ABREU, Renata Cardoso Pires de. Ensaio da Ferramenta DIA: Diagnóstico e Informação do
aluno. 2012. 98 f.:il. Dissertação de mestrado em Ciencias Computacionais - Instituto de
Matemática e Estatística, Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2012.
We´ve presented the results of our research for the conception, execution and
evaluation of an informatized adaptive tool, known as DIA (in portuguese), that allows
evaluate and give a feedback to the student under the perspective of formative evaluation. At
the first stage, we used the PCN: Sciency of the Nature, Mathematics and its Technologies
(BRASIL, 1998) and the Curriculum Matrices of Reference from the Instituto Nacional de
Estudos e Pesquisas Educacionais -INEP, to the Sistem of Evaluation for Basic Education -
SAEB (BRASIL, 2005) to build a scale in wich the objectives are in increasing order,
according to the vertical development of the knowledge construction in Mathematics. We
linked the proposed objectives to create a Data Bank (BI, in portuguese) that was used in our
simulations. We´ve analized the results of our essay to evaluate the comunication between the
data bank and the scale under the perspective of giving a diagnosis of the construction of the
mathematics knowledge. In our essay, we simulated the functionning of the DIA tool through
an adaptive informatized test based on the "Teoria de Resposta ao Item" (TRI). We were also
interested on determing a profile of a Data Bank (BI) that is able to significantly dialogue
with our scale through the TRI. The scale and the associated data bank should provide a
constructive feedback that will help the stundents develop their metacognitives competencies.
Figura 15 – Diagnóstico.............................................................................................. 79
INTRODUÇÃO............................................................................................. 13
1 ASPECTOS TEÓRICOS E METODOLÓGICOS.................................... 15
1.1 Avaliação........................................................................................................ 15
1.1.1 Avaliações Somativa e Formativa................................................................... 16
1.1.2 Avaliação em Larga Escala............................................................................. 20
1.2 Teoria da Resposta ao Item (TRI)................................................................ 22
1.2.1 Modelo Logístico de três Parâmetros.............................................................. 24
1.2.2 Calibração dos Parâmetros.............................................................................. 26
1.2.2.1 Método da Máxima Verossimilhança – MMV ............................................... 26
1.2.3 Invariância da Estimativas............................................................................... 28
1.3 Testes Adaptativos Informatizados ............................................................. 29
1.3.1 TAI baseados na Teoria da Resposta ao Item................................................. 32
1.3.1.1 Banco de Itens ............................................................................................... 32
1.3.1.2 Critério de seleção de itens ............................................................................ 33
1.3.1.3 Estimativas da habilidade .............................................................................. 34
1.3.1.4 Critério de parada do teste ............................................................................. 36
1.4 Aspectos Metodológicos ............................................................................... 36
4 ANÁLISE....................................................................................................... 64
4.1 Dados da Análise c 2, 25 ................................................................. 65
4.1.1 Grupo de Respostas ........................................................................................ 65
4.1.2 Grupo de Diagnósticos ................................................................................... 66
4.2 Diagnóstico DIA c 2, 25 ....................................................................... 67
5 CONSIDERAÇÕES FINAIS........................................................................ 82
5.1 Trabalhos Futuros......................................................................................... 83
REFERÊNCIAS............................................................................................. 85
APÊNDICE A – Objetivos ........................................................................... 90
APÊNDICE B – O ML3P e o Critério da Máxima Informação .................... 95
13
INTRODUÇÃO
Esta pequisa foi movida e motivada pelas inquietações suscitadas por muitos anos de
trabalho com alunos que apresentam dificuldades na aprendizagem da matemática e pela busca
(incessante!) por soluções que pudessem minimizá-las. Com isso, surgiu a ideia de construir
uma ferramenta capaz de diagnosticar e fornecer informações ao aluno – DIA – informações
essas extraı́das, principalmente, dos erros cometidos nos testes por eles praticados. O estudo
do erro em qualquer disciplina e, especialmente na Matemática, pode contribuir para tornar a
avaliação mais produtiva no processo de aprendizagem, tendo, como consequência, a facilitação
da aquisição dos conhecimentos. Segundo Miranda e Silva (2011), o estudo sobre o erro con-
tribui para diagnosticar dificuldades de aprendizagem, revelar o desenvolvimento cognitivo dos
alunos, evidenciar o desenvolvimento da aprendizagem individual do aluno, revelar indı́cios
de obstáculos didáticos e, ainda, abrir espaço para a reflexão docente quanto aos seus próprios
erros. A motivação para o desenvolvimento do projeto dessa pesquisa é dupla: há o anseio de
contribuir na superação de problemas de baixo rendimento no processo de aprendizagem da ma-
temática e também há a expectativa de ajudar os alunos a exercer mais controle e refletir sobre
seu próprio processo de aprendizagem. O papel que as estratégias de aprendizagem desempe-
nham, tanto para uma aprendizagem efetiva, quanto para a autorregulação, tem sido cada vez
mais reconhecido pelos educadores (BROWN, 1978 apud BORUCHOVITCH, 1999). Além
desses teóricos, Zimmerman (apud FRISON, 2007) e Teixeira (2004) encaminham seus depoi-
mentos para o entendimento de que a autorregulação é uma teoria com ênfase na estimulação
de processos especı́ficos que visam criar, implementar e ajustar estratégias de ensino às apren-
dizagens dos alunos. Dentre as fases do processo de autorregulação, nós nos detemos nessa
pesquisa à que se refere à autorreflexão: processo que influencia o aluno impulsionando-o
a refletir sobre sua aprendizagem. Nas pesquisas feitas por Frison (2007), ao investigar es-
tratégias de autorregulação da aprendizagem desenvolvidas em ambientes educativos não esco-
lares, constatou-se que “a participação autônoma, ativa e planejada do aprendiz nos processos
de ensino e de aprendizagem são componentes indispensáveis para que a aprendizagem seja
mais produtiva, comprometida e efetiva”. O ponto de vista que vamos desenvolver nessa pes-
quisa é o de que intervenções pedagógicas utilizadas para a construção desse processo devem
ser ajustadas às necessidades e caracterı́sticas do aluno, proporcionando a ele uma reflexão
sobre a sua aprendizagem. No que se refere às estratégias de autorreflexão da aprendizagem
levantamos as seguintes questões: Como o aluno as desenvolve? Que tipo de ajuda individua-
lizada e adequada ao seu nı́vel de dificuldade pode ser oferecida? Neste trabalho, entendemos
a aprendizagem como o resultado de uma construção individual. Uma das estratégias pen-
sadas para alimentar o processo de autorregulação da aprendizagem é a utilização de testes de
autoavaliação que, através dos erros apresentados, apontem e identifiquem as dificuldades a eles
subjacentes e associadas. O conhecimento de suas próprias dificuldades é um valioso ponto de
14
Pesquisar significa, de forma bem simples, procurar respostas para indagações pro-
postas. Esta é uma pesquisa aplicada, pois os conhecimentos adquiridos são utilizados para
aplicação prática, voltados para a solução de problemas, no caso, na educação, mais especifica-
mente, na avaliação.
1.1 Avaliação
O significado atribuı́do à avaliação tem sido diverso. O processo de avaliação está relaci-
onado à produção de informações sobre determinada realidade. Tradicionalmente, na avaliação
escolar, os professores aferem a aprendizagem de seus alunos através de diferentes instrumentos
que quantificam (provas) ou qualificam (observações e informações) esses alunos, indicando o
que deve ser feito para que eles tenham condições de avançar no processo escolar.
Há anos, discute-se como avaliar na Educação. Segundo Moran e Masetto (2007) é pre-
ciso: “Rever o processo de avaliação, compreendendo-o como processo integrado ao processo
de aprendizagem, como elemento motivador e incentivador da aprendizagem, com feedbacks
contı́nuos, oferecendo novas oportunidades de aprendizagem ao aluno, incentivando-o a crescer
e se desenvolver.”
Dois conceitos que devem caminhar sempre de mãos dadas: avaliação e aprendizagem.
A principal função da primeira é apoiar a segunda. Propostas governamentais têm sido apre-
16
sentadas como a introdução dos Parâmetros Curriculares Nacionais (PCN), ligados à aprendi-
zagem, ou ainda, o Sistema de Avaliação da Educação Básica (SAEB)e a Prova Brasil. Ainda
como exemplo de propostas relacionadas à avaliação, encontramos a eliminação da reprovação
e a introdução de uma promoção automática dos alunos. De nada adianta decretar o fim da
repetência, se as escolas continuam a avaliar seus alunos de forma quantitativa e não recebem
meios de reorganizarem seu trabalho pedagógico e planejarem seu sistema de avaliação. O
planejamento de uma avaliação deve servir para que o professor possa tomar decisões sobre
suas estratégias pedagógicas e para que o aluno possa conhecer suas capacidades, habilidades e
desempenho no contexto considerado.
Na citação de Scriven (1967) feita por Taras (2010) encontramos uma possı́vel resposta
a esse questionamento:
Armstrong (2004) acrescenta que “a avaliação é o único meio que temos para distinguir
ensino de aprendizado.” Todo professor ensina mas isso não dá garantia a ele de que o aluno
aprendeu. As escolas usam avaliação para selecionar e classificar, não há como negar isso.
Mas “avaliar também é oferecer um retorno aos alunos, mostrando-lhes como eles estão se
saindo. Quanto mais retorno nós damos ao estudante, quanto mais nós conseguimos envolvê-lo
no processo da avaliação.”
Já há alguns anos, muitas pesquisas de avaliação para a aprendizagem fazem a distinção
de duas formas de avaliação: avaliação somativa e avaliação formativa.
Vergani (2010) faz referência ao pesquisador Benjamin Bloom como o primeiro pes-
quisador que utilizou essas denominações: avaliação somativa e avaliação formativa em dois
textos que causaram impacto nos meios educacionais: “Taxonomia e Objetivos no Domı́nio
Cognitivo” e “O manual de avaliação formativa e somativa do aprendizado escolar”. Esses
textos apresentam técnicas de avaliação, estruturadas na organização hierárquica de objetivos
educacionais.
A definição de Sadler (1989), citada por Taras (2010) de avaliação formativa está rela-
cionada ao “modo como os julgamentos sobre a qualidade das respostas dos alunos (desempe-
17
nho, trabalhos) podem ser usados para moldar e aprimorar a competência destes por meio de
um rompimento com o caráter aleatório e a ineficiência da aprendizagem baseada na tentativa
e erro” (SADLER, 1989 apud TARAS, 2010, p. 120). Dessa forma, ela mostra que, quando os
julgamentos são usados, trata-se de avaliação formativa. Se, ao contrário, não se faz nenhum
uso do julgamento, resta apenas a avaliação somativa.
Novamente Armstrong (2004) acrescenta que ambas são essenciais para o processo
de aprendizado. Uma delas, a avaliação formativa, é principalmente uma avaliação para o
aprendizado. Enquanto a outra, avaliação somativa, é uma avaliação do aprendizado. Taras
situa uma diferença entre os dois tipos de avaliação no modo como o feedback produzido
pela avaliação é utilizado: “fazer um julgamento com base em parâmetros especı́ficos é uma
avaliação, ou avaliação somativa. Essa avaliação produz o feedback, que pode permanecer um
julgamento implı́cito na mente do indivı́duo”. No entanto, se houver “qualquer manifestação
ou comunicação desse julgamento”, ele fornecerá informações. “As informações produzidas
fornecem o feedback necessário para a melhoria do trabalho.” Nesse caso, temos a avaliação
formativa. “O uso do feedback formativo pelo aprendiz resulta na avaliação formativa e apro-
xima o trabalho do ideal.”
Esse trabalho direcionou os estudos para pesquisas que levantam os desafios da avaliação
formativa, utilizando, principalmente, os pesquisadores Hadji (2001) e Perrenoud (1999). O pri-
meiro descreve a avaliação formativa como sendo “a avaliação que se situa no centro da ação
de formação”, e explica que “a sua função principal é contribuir para uma boa regulação da ati-
vidade de formação. Trata-se de levantar informações úteis à regulação do processo de ensino-
aprendizagem”. A observação é formativa quando permite guiar e otimizar as aprendizagens
em andamento. E é sua virtude informativa que é seu caráter essencial. “A partir do momento
em que informa, ela é formativa, quer seja instrumentalizada ou não, acidental ou deliberada,
quantitativa ou qualitativa.” Perrenoud (1999) complementa afirmando que “a avaliação for-
mativa auxilia o aluno a aprender e a se desenvolver, ou seja, colabora para a regulação das
aprendizagens e do desenvolvimento no sentido de um projeto educativo”.
Algum dia teria havido, na história da escola, consenso sobre a maneira de avaliar de
forma contı́nua, permitindo que o aluno identifique, nos resultados das avaliações, os seus pro-
gressos e suas dificuldades quando comparadas aos objetivos avaliados?
Para Perrenoud (1999), “mesmo nos sistemas escolares tradicionais, certas equipes pe-
dagógicas, e certos professores isolados, seduzidos pelas pedagogias diferenciadas, tentam apli-
car a avaliação formativa à sua escola e, com os meios que têm, procuram contribuir para me-
lhorar a aprendizagem de seus alunos”.
Não é tarefa fácil, para o aluno, identificar, nos seus resultados, os progressos ou difi-
culdades encontradas no desenvolvimento da sua aprendizagem; é importante, então, desviar a
atenção da única medida (nota), que atua, por vezes, como um fator inibidor e desestimulador
dessa aprendizagem. Muitas vezes, é necessário remodelar as formas de avaliar, criando meca-
19
nismos capazes de identificar lacunas que impedem a aprendizagem e, assim, criar novas opor-
tunidades de aprender, como afirmam Barnsford, Brown e Cocking (apud PIMENTEL; OMAR,
2006).
Nas últimas décadas, a preocupação com a qualidade do processo educacional nos con-
textos escolar e universitário tem crescido e, como parte desse processo, destaca-se a avaliação
dos estudantes.
taxa média de aprovação dos alunos (indicador de fluxo escolar). O resultado do IDEB é utili-
zado como critério para que as escolas sejam consideradas prioritárias para receber assistência
técnica e financeira por meio do Plano de Desenvolvimento da Escola (PDE).
Vários estudos têm indicado os efeitos positivos de avaliação formativa. Entre eles,
citamos as pesquisas de Raabe (2005) e Pimentel e Omar (2006) que utilizam recursos com-
putacionais na tomada de decisões sobre a mediação e regulação da aprendizagem, e propõem
processos de avaliação formativa assistidos por computador. Propomos o desenvolvimento de
uma ferramenta que ofereça suporte a avaliação formativa, fornecendo informações (feedback)
para os alunos e fornecendo aos professores a oportunidade de rever a sua ação pedagógica e
também permita que o estudante seja o monitor do progresso da sua aprendizagem, seu desem-
penho, bem como suas dificuldades e lacunas na sua aprendizagem, tão individualizadas. Para
Al-A’Ali (2007), a questão não é se a avaliação deve ou não incorporar o uso da tecnologia, mas
22
sim fazê-lo de forma responsável, de forma a preservar a validade, utilidade e credibilidade dos
resultados.
Na Teoria Clássica das Medidas (TCM), os resultados obtidos nas provas são expressos
apenas por seus escores brutos ou padronizados. Uma das principais caracterı́sticas dessa teoria
é a dependência de seus resultados em relação ao conjunto de itens (questões) que compõem
o instrumento de medida. Isto faz com que as análises e interpretações estejam sempre asso-
ciadas à prova como um todo, o que inviabiliza a comparação entre indivı́duos que não foram
submetidos às mesmas provas.
Segundo Thurstone (apud PASQUALI; PRIMI, 2003):
Pasquali e Primi (2003) afirmam que a Teoria da Resposta ao Item (TRI), também co-
nhecida como teoria do traço latente, admite a existência de uma relação entre o desempenho
do sujeito numa tarefa (item de um teste) e um conjunto de fatores ou variáveis hipotéticas
(os traços latentes). Ela considera que o desempenho é dependente do traço latente e por isso
pode ser considerado como uma função dele. Isto é, o comportamento observado = função
(traço latente). Como em um processo de “inversão” dessa relação funcional, o traço latente
é, então, inferido a partir da observação de variáveis secundárias, as observáveis, que estejam
relacionadas a ele. Essas relações são fundamentadas por modelos probabilı́sticos e estatı́sticos.
Estabelecido o modelo matemático que expressa essas relações, as caracterı́sticas das va-
riáveis observadas (como os itens de um teste) tornam-se parâmetros do modelo e ele pode ser,
23
então, utilizado para se estimar o nı́vel do traço latente ou a aptidão do sujeito. Analogamente,
se o nı́vel do traço latente de uma população é conhecido, é possı́vel estimar as caracterı́sticas
dos itens respondidos por essa população (PASQUALI; PRIMI, 2003). A multiplicidade de pos-
sibilidades de se expressar matematicamente a relação entre as variáveis observadas e variáveis
hipotéticas (traços latentes) se traduz em uma infinidade de possı́veis modelos para a TRI. Na
TRI, a relação entre o traço latente e as caracterı́sticas do item é dada pela chamada de Curva
Caracterı́stica do Item (CCI, ver Figura ??) e ela expressa a probabilidade de um indivı́duo
com habilidade θ responder corretamente ao item. Consequentemente, ela deve ser uma função
monótona crescente da habilidade θ. Traduzindo, assim, a percepção intuitiva de que quanto
maior a habilidade do aluno maior a sua chance de responder corretamente ao item. Cada item
tem sua própria CCI.
Note ainda que a configuração em “S” do gráfico da CCI na Figura ?? é definida pelos
parâmetros do item. Identificamos na CCI um “divisor de águas” para o valor da habilidade θ
no qual a probabilidade de acerto do item é exatamente igual a 1/2.
Já destacamos que, na TRI, o que diferencia os modelos é a expressão matemática ado-
tada para a relação (admitida existente) entre o nı́vel de habilidade (traço latente) do respon-
dente e certas caracterı́sticas do item que será respondido. No caso do modelo logı́stico de três
parâmetros (ML3P), conforme apresentado por Andrade, Tavares e Valle (2000), a probabili-
dade de acerto do item por um indivı́duo com habilidade θ é dada por
P (U = 1∣θ) = c + (1 − c)
1
1 + e−Da(θ−b)
, (1.1)
onde
● U é uma variável aleatória dicotômica que assume os valores 0 ou 1 indicando que o item foi
incorreta ou corretamente respondido respectivamente.
● θ representa a habilidade (traço latente) do indivı́duo.
● P (U = 1∣θ) é a probabilidade de um indivı́duo com habilidade θ responder corretamente ao
item.
● b é o parâmetro de dificuldade do item.
● a é o parâmetro de discriminação do item, com valor proporcional à inclinação da CCI no
ponto θ = b.
25
Note que quanto maior o valor de a, mais a CCI do item se aproxima da CCI de um item com
“discriminação perfeita” (ver Figura ??)
26
Vamos admitir, inicialmente, que temos um conjunto de I itens que foram respondidos
por n ı́ndivı́duos com habilidades θj conhecidas. Seja Uij uma variável aleatória dicotômica,
que assume o valor 1, quando o indivı́duo j responde corretamente ao item i, ou 0, quando o
indivı́duo j responde incorretamente ao item i que, no caso de ML3P, tem parâmetros ai , bi e ci .
Vamos denotar por P (U1j , U2j , . . . , UIj ∣θj , a1 , b1 , c1 , . . . , aI , bI , cI ) a probabilidade conjunta (ou
condicional) de ocorrência do padrão de respostas Uj = (U1j , U2j , . . . , UIj ) para um indivı́duo
27
Quando, ao invés de um padrão aleatório de respostas (U1j , U2j , . . . , UIj ), temos um padrão de
respostas observado, isto é Uij = uij (conhecido), já não é mais adequada uma interpretação
probabilı́stica. Nesse caso, a expressão para a probabilidade conjunta passa a ser chamada de
função de verossimilhança e será denotada por Lj (u1j , u2j , . . . , uIj ∣θj , a1 , b1 , c1 , . . . , aI , bI , cI )
(HAMBLETON; SWAMINATHAN; ROGERS, 1991, p. 34). Para cada padrão observado
(u1j , u2j , . . . , uIj ) de respostas, a função de verossimilhança depende da habilidade θj e dos
parâmetros ai , bi , ci dos I itens e é dada por
Andrade, Tavares e Valle (2000, p. 31), como uij ∈ {0, 1}, temos
P (Uij = uij ∣θj , ai , bi , ci ) = P (Uij = 1∣θj , ai , bi , ci )uij P (Uij = 0∣θj , ai , bi , ci )1−uij = Pjiij Qji
u 1−uij
Um dos critérios adotados na TRI para definir os parâmetros de cada item é o de maxi-
mizar a verossimilhança. Isto é o de escolher valores para os parâmetros dos itens que tornem o
retrato oferecido pelas repostas desses n indivı́duos de habilidades conhecidas o mais provável.
(Observe que quanto maior o número de respondentes, mais “despersonalizados” se tornam os
parâmetros determinados.) Podemos também, estimar as habilidades quando os parâmetros dos
itens são conhecidos. Analogamente, pode-se admitir que tenhamos um conjunto de I itens com
parâmetros conhecidos que foram respondidos por n ı́ndivı́duos com habilidades θj desconhe-
cidas. Esse conjunto de informações fornece um retrato do comportamento de cada indivı́duo
quando confrontado com cada um dos I itens. Analogamente, um dos critérios adotados na
TRI para definir a habilidade de cada indivı́duo é o de maximizar a verossimilhança. Isto é, o
de escolher valores para as habilidades de cada indivı́duo que tornem o retrato oferecido pe-
las repostas desses n indivı́duos aos I itens calibrados o mais provável. A combinação desses
dois processos – através de um processo iterativo, por exemplo – permite a calibração tanto dos
parâmetros como das habilidades. Nesse caso, conforme destaca Ferreira (2009), “a estimação
feita através do método da máxima verossimilhança conjunta envolve um número muito grande
de parâmetros a serem estimados simultaneamente e, consequentemente, grandes problemas
computacionais”. Ferreira (2009) também aponta a complexidade computacional envolvida
nos procedimentos de calibração e o tardio desenvolvimento de procedimenos de estimação
dos parâmetros como a razões de a TRI passar a ser amplamente utilizada somente no anos 80
(ainda que já tivesse marcos teóricos bem estabelecidos já desde os anos 50.)
Segundo Costa (2009), Birnbaum (1968) foi quem primeiro provou que as estimativas
de habilidade dos respondentes obtidas em uma avaliação feita através da TRI não dependem
do conjuntos de itens que a compõem. Ou seja, em avaliações feitas através da TRI, os resul-
tados não dependem do instrumento de medida. Ele também demonstrou que os parâmetros
caracterı́sticos de um item podem ser estimados a partir do conhecimento das habilidades dos
respondentes.
À primeira vista, deparamo-nos com um cı́rculo vicioso no que diz respeito à deter-
minação dos parâmetros dos itens e das habilidades dos respondentes. Mais ainda, estamos
diante do fato surpreendente de que, apesar de tanto os parâmetros dos itens serem usados para
inferir as habilidades e o conhecimento destas, por sua vez, ser usado para a calibração dos
parâmetros, a ferramenta de avaliação subsidiada pela TRI resulta ser independente tanto do
grupo de respondentes como dos itens que compõem os testes.
Essa surpreendente qualidade da TRI é conhecida como invariância dos parâmetros dos
itens e da habilidade. De acordo com Hambleton, Swaminathan e Rogers (1991), esta é uma
das mais marcantes diferenças entre a TRI e a TCM. Os autores ilustram a invariância das es-
timativas dos parâmetros dos itens na Figura ?? que mostra a obtenção da mesma CCI de um
29
item a partir das respostas de dois grupos de respondentes com diferentes distribuições de habi-
lidades (Curvas 1 e 2). Eles também afirmam que a propriedade de invariância dos parâmetros
dos itens e da habilidade resulta da incorporação de informações relativas às habilidades dos
respondentes no processo de estimação dos parâmetros dos itens.
A habilidade e os parâmetros dos itens são estimados a partir das respostas de um grupo
de indivı́duos submetidos a esses itens, mas uma vez estabelecida a escala de medida da habi-
lidade, os valores dos parâmetros dos itens não mudam, isto é, seus valores são invariantes a
diferentes grupos de respondentes, desde que os indivı́duos destes grupos tenham suas habili-
dades medidas na mesma escala.
Shute e Towle (2003, p. 105) afirmam que há muito se sabe que as diferenças individuais
afetam a aprendizagem. Além disso, eles acreditam que o desenvolvimento tecnológico chegou
a um ponto em que temos a oportunidade de capitalizar esses efeitos em benefı́cio dos alunos.
1. Melhora da segurança do teste, já que a maioria dos itens apresentado aos alunos são
diferentes. Isso não significa que os TAIs resolvem totalmente o problema da “cola”,
mas o problema é menor do que nos testes convencionais com papel e lápis. Há, ainda,
31
4. Maior flexibilidade para realizar testes. Ao contrário de testes tradicionais, um TAI não
requer que todos os alunos façam a avaliação ao mesmo tempo (COSTA, 2009).
Há cinco ingredientes básicos para a construção de um TAI (OLEA; PONSODA, 2002):
a) um banco de itens; b) os critérios de seleção dos itens; c) um método estatı́stico para estimar
os nı́veis de habilidade; d) a escala subjacente que permitirá a interpretação dos resultados, e
32
e) critérios de parada (um procedimento para estabelecer o término do teste). Eles permitem,
por exemplo, definir como serão feitas as estimativas da habilidade do respondente, como novos
itens serão selecionados levando-se em conta essas estimativas e qual o critério de término do
teste.
A ideia original dos TAIs baseados na TRI é de Lord (1970), e foi desenvolvida na
década de 80 e apresentada em uma Convenção da Universidade de Minnesota. No entanto,
quando consideramos as origens dos TAI, temos que mencionar o trabalho de Lord e Novick
(1968), fundamentalmente os capı́tulos ligados a Birnbaum (1968), que estabeleceu as bases da
TRI e os fundamentos estatı́sticos para realizar estimações precisas dos nı́veis de habilidades de
amostras muito numerosas e heterogêneas de candidatos.
Costa (2009) afirma que um TAI exige que o banco de itens seja composto por itens
com boas caracterı́sticas pedagógicas e psicométricas. Para a avaliação psicométrica dos itens,
encontra-se forte apoio estatı́stico na TRI, que fornece uma análise quantitativa das carac-
terı́sticas de determinado item, tais como dificuldade e discriminação. Quando combinada com
a TRI, a seleção de itens é projetada para permitir que o teste se ajuste aos nı́veis de habilidade
dos alunos. Assim, cada estudante que participa da avaliação pode ter um teste diferente, de-
pendendo de sua competência. Normalmente, quando se usa TRI, o item selecionado é aquele
que fornece mais informação, dada a capacidade do indivı́duo.
Para desfrutar das vantagens oferecidas pela TRI, o conjunto de itens, a partir do qual
os itens do teste são selecionados, deve conter itens de alta qualidade para diferentes nı́veis
de proficiência. Este recurso é muito diferente dos testes convencionais, que são constituı́dos
por itens que melhor discriminam sujeitos com habilidade média. Além de conter um amplo
espectro de itens de alta qualidade, o conjunto de itens TAI deve atender aos pressupostos
psicométricos subjacentes ao modelo e às exigências do processo de calibração e do método de
seleção. Assim, o esforço para preparar os itens em um TAI é maior do que para gerar um bom
teste convencional (FLAUGHER, 1990).
33
Para a elaboração dos itens para um TAI, como o que se pretende é medir o desempenho
máximo (por exemplo: a habilidade ou nı́vel de conhecimento), o mais usual é a utilização de
questões de múltipla escolha. Estudos são feitos para verificar qual o número ideal de opções
que se deve ter de boas respostas. Olea e Ponsoda (2002) concluem que os indicadores psi-
cométricos clássicos e os derivados da TRI são mantidos em nı́veis aceitáveis quando são cria-
das três boas opções de resposta.
Costa (2009) acrescenta, ainda, que os bancos de itens devem ser continuadamente atu-
alizados para garantir segurança dos testes. Itens que não atendem mais às especificações e
objetivos da avaliação devem ser retirados do banco.
Birnbaum (apud SAMEJIMA, 1973, p. 226) definiu diversas funções de informação que
cumprem um importante papel na determinação da precisão da estimativa da habilidade θ. Ao
discutir a informação, ele toma o item como a menor unidade de análise, nesse caso, ele define
a função de informação do item (também chamda de Informação de Fisher) I(θ) da seguinte
maneira:
[ ∂P (U∂θ=1∣θ) ]
2
Um princı́pio de seleção bastante natural e razoável é a escolha de itens com nı́vel de di-
ficuldade próximo da estimativa de habilidade do respondente. Para Lord (apud BICKEL et al.,
2001), um aluno é avaliado de modo mais preciso e eficiente se ele não encontrar nem muita
dificuldade nem muita facilidade ao resolver as questões ofertadas a ele. No modelo logı́stico de
dois parâmetros (que corresponde a considerar c = 0 em (1.1)),maior precisão e eficiência são
alcançados quando se oferta ao aluno com habilidade estimada θ um item em que o parâmetro
de dificuldade b é igual a θ. Isto porque quando fixamos a habilidade θ e o parâmetro a, a
função de informação assume seu máximo quando b = θ. Isto é, o critério de seleção a escolha
no banco de itens, de um item que maximiza a função de informação é permeado pelo princı́pio
proposto por Lord.
Para o Modelo Logı́stico de três Parâmetros (ML3P), usando (1.1), a função de informação
do item é dada por:
1 − P (U = 1∣θ) P (U = 1∣θ) − c
2
I(θ) = D a [ ][ ] .
P (U = 1∣θ) 1−c
2 2
(1.3)
Sob a TRI, maximizar a Informação de Fisher significa intuitivamente selecionar um item de di-
ficuldade que corresponda exatamente ao nı́vel de proficiência do examinando. Além do mais,
itens com maior discriminação, ou equivalentemente, alto valor do parâmetro a, serão, prefe-
rencialmente, selecionados pelo algoritmo (ANDRADE; TAVARES; VALLE, 2000; COSTA,
2009). No entanto, uma análise mais cuidadosa do caso do ML3P nos mostra que nem sempre2
a função de informação assume seu máximo quando o nı́vel de dificuldade b do item coincide
com a habilidade θ.
Em uma avaliação, é interessante haver um controle sobre os assuntos que são tratados
no teste aplicado bem como da distribuição e proporção das questões referentes a eles. Esse as-
pecto é chamado de balanceamento de conteúdo. Atender ao balanceamento de conteúdo pode
conflitar com o critério de seleção do item de máxima informação. (EGGEN; STRAETMANS,
2000; HUANG, 1996a)
Vimos anteriomente que a hipótese de independência local (os itens são respondidos de
forma independente por cada indivı́duo) faz com que a função de verossimilhança relativa ao
padrão de respostas uij de j-ésimo respondente aos I itens seja dada por
i=1
em que
Pji∗ Q∗ji
Wji =
Pji Qji
e
Pji∗ = (1 + e−Dai (θj −bi ) )−1 e Q∗ji = 1 − Pji∗ .
Portanto, a determinação de θj envolve a resolução da equação não linear (1.5). Métodos itera-
tivos como o método de Newton-Raphson são implementados ou incorporados ao TAI a fim de
se obter a estimativa para θj .
Erro-Padrão
SE(θ) = √
1
.
I(θ)
Pelas diversas questões suscitadas pela Ferramenta DIA e por sua dimensão, fez-se ne-
cessária a realização de alguns recortes para melhor delimitação e investigação do objeto dessa
pesquisa. A análise inicial da ferramenta e de testes adaptativos informatizados baseados na
TRI mostrou que a possibilidade de fornecer um “diagnóstico” dependia de um diálogo de qua-
lidade entre a escala e o banco de itens utilizado. Decidiu-se por investigar a eficácia do diálogo
entre a escala e o banco de itens para a produção de um “diagnóstico”. Nesse sentido, ela tem
um caráter exploratório pois seu objetivo é a caracterização inicial de um problema. Ela tem
como objetivo “proporcionar maior familiaridade com o problema, com vistas a torná-lo mais
explı́cito ou a construir hipóteses” (GERHARDT; SILVEIRA, 2009, p. 35).
banco de itens exigiu o entrelaçamento dos objetivos propostos e a geração das questões e está
descrita na Subseção 2.1.3 e na Seção 2.2 do Capı́tulo 2. O algoritmo está descrito na Seção 2.3
e sua implementação na Seção 3.3. A proposição do algoritmo foi um dos pontos de encontro
nesse trabalho das duas vertentes presentes nos referenciais teóricos: o aspecto didático e o
computacional. Os experimentos foram realizados através de simulações de respondentes bem
como de suas respostas às questões propostas pelo algoritmo. Eles serão descritos em detalhe
no Capı́tulo 3.
38
2 FERRAMENTA DIA
Muitas são as iniciativas que tentam contribuir com o ensino e a aprendizagem da Ma-
temática. Destacamos dentre elas a coleção de livros didáticos (ABREU; SIANI; COUTO,
2008), para o ensino fundamental II (6 o ano ao 9 o ano). Ela foi elaborada com o propósito
maior de estimular o aluno a refletir e fazer descobertas, utilizando para isso questões que ins-
tigam o debate, desenvolvem o espı́rito critico e favorecem a organização das relações lógicas
do pensamento matemático.
Para o desenvolvimento dessa coleção, foi criada uma lista de objetivos que descrevem
de forma especifica e detalhada, os conteúdos a serem tratados no decorrer de todo o ensino
fundamental. Para organizar todos os conteúdos dos quatro anos do ensino fundamental de
que trata a coleção, os autores optaram por uma estrutura em forma de capı́tulos e, em cada
tema discutido no interior desses capı́tulos, foram pensados quais os objetivos subjacentes a
eles seriam necessários serem desenvolvidos para a construção do tema a ser tratado. O termo
objetivo diz respeito a um fim que se quer atingir. Logo, cada objetivo procura descrever ou
destacar uma ação que se deseja alcançar. O trabalho com objetivos no sentido do mapeamento
do conteúdo facilitou bastante o desenvolvimento completo da coleção. Para ilustrar esse pro-
cesso, destacamos alguns dos objetivos que foram utilizados no desenvolvimento do conceito
semelhança.
O erro não é necessariamente fruto da falta de conhecimento. Ele poderia ser o resul-
tado de um conhecimento anterior que produziu resultados positivos, mas que resiste diante
de fatos mais gerais e complexos. Portanto, não se trata sempre de erros de origem desconhe-
cida. Relacionar o erro a objetivos especı́ficos de um conteúdo a ser tratado é uma forma de
identificá-lo. Através da identificação dos objetivos provenientes desses erros espera-se que o
aluno possa mais facilmente saná-los ou, ao menos, que proporcione um reconhecimento de
sua dificuldade, que é uma habilidade de grande importância para o desenvolvimento da sua
aprendizagem.
UFMG – 2008 O octógono regular de vértices ABCDEFGH, cujos lados medem 1 dm cada
um, está inscrito no quadrado de vértices PQRS, conforme mostrado nesta figura. Então,
é correto afirmar que a área do quadrado PQRS é:
40
O181 Descrever por meio de uma expressão algébrica a área de uma figura geométrica
Os possı́veis erros cometidos na resolução desse item podem ter sido gerados pela falta
de atenção ou pela incompreensão de um desses objetivos relacionados. Nesse último caso, é
selecionado um novo item, associado somente aos objetivos envolvidos nos erros cometidos a
fim de que se tenha um refinamento do diagnóstico.
Vamos imaginar que no item exemplificado acima o aluno tenha cometido um erro ao
efetuar operações com radicais (O193). Novos itens especificamente envolvendo operações
com radicais são selecionados para verificar se esse foi o motivo da resposta incorreta.
O estudo do erro é uma temática já antiga de pesquisa e, ao mesmo tempo, recente.
Segundo de Torre (2000) o estudo do erro proporciona uma excelente estratégia para atender
à diversidade profunda dos processos de aprendizado e, com isso, melhorar a qualidade do
ensino. Pinto (2000) ainda acrescenta que “os erros são bons indicadores de lacunas e falhas
sistemáticas, e por essa razão, devem proporcionar uma ‘regulação’ competente”.
41
Para criar uma ferramenta que pudesse fornecer esse diagnóstico fez-se necessário criar
uma escala com objetivos que mapeassem cada conteúdo a ser pesquisado.
Uma outra diferença está na intenção de sua utilização. Não queremos comparar de-
sempenho dos alunos, nem localizá-lo dentro de uma região de habilidade. Temos a intenção de
descrever as ações necessárias para a execução de uma atividade ou situação-problema para que,
42
com isso, possamos fornecer uma informação das lacunas e dificuldades encontradas quando
da resolução de cada item avaliado. Dessa forma, a função de nossa escala é a de mapear
os conteúdos testados relacionando-os a objetivos especı́ficos que possam fornecer esse di-
agnóstico.
Além disso, acreditamos que o uso de objetivos definidos oferece um bom apoio ao
esforço de compatibilizar testes de avaliação com conteúdos de ensino.
2.1.2 A Escala
● planejar ações e projetar soluções para problemas que exigem iniciativa e criatividade;
● compreender e transmitir ideias matemáticas, por escrito ou oralmente;
● usar o raciocı́nio matemático para a compreensão do mundo que o cerca;
● aplicar matemática nas situações do dia-a-dia;
● avaliar se resultados obtidos na solução de problemas são ou não razoáveis;
● efetuar cálculos “de cabeça”, estimativas ou cálculos aproximados;
● aplicar as técnicas básicas das operações aritméticas;
● utilizar os conceitos fundamentais de medidas em situações concretas;
43
A escala do SAEB é única para cada disciplina. Elas são divididas em intervalos para
descrever e comparar a performace dos alunos nas disciplinas avaliadas. Para que as habilidades
e competências dos alunos fossem avaliadas dentro da escala, foram estruturadas matrizes com
descritores especı́ficos. O descritor é uma associação entre conteúdos curriculares e operações
mentais desenvolvidos pelo aluno, a partir dos quais os itens de prova são elaborados (BRASIL,
2005). As respostas dadas pelos alunos a esses itens possibilitam a descrição do nı́vel de desem-
penho por eles atingido. A partir daı́, é dado conhecer o desempenho dos sistemas de ensino.
Essas matrizes foram estruturadas em quatro temas:
Essas Matrizes de Referência do Sistema Nacional de Avaliação são resultado do estudo dos
Parâmetros Curriculares, Diretrizes Curriculares e livros didáticos e da reflexão realizada por
professores, pesquisadores e especialistas que buscam um consenso a respeito das habilidades
consideradas essenciais em cada etapa do ensino escolar.
Sendo nosso grande objetivo a informação mais refinada das dificuldades encontradas
na resolução dos itens no momento da sua execução, decidimos considerar, também, alguns
descritores relacionados ao tema III: Números e Operações.
Dentro dos temas escolhidos (Espaço e Forma; Grandezas e Medidas) e com foco nas
competências e habilidades anteriormente citadas, escolhemos o conteúdo a ser tratado: Uni-
dade de medida (perı́metro, área e volume) que foi destacado em cores na tabela. Criamos
alguns objetivos, com a finalidade de associar esses conteúdos aos cálculos mentais desenvol-
vidas pelo aluno. A partir dos objetivos criados, sentimos a necessidade de outros objetivos que
se referem a conhecimentos prévios desses ou a conteúdos que aparecem relacionados a eles
em diferentes situações. Como esses últimos objetivos criados não são os principais escolhidos
para o ensaio, aparecem sem destaque (sem cor) na tabela.
Ressaltamos que não há uma hierarquia solidificada entre os conceitos, nem tampouco
entre os objetivos. E, também, que não esgotamos os objetivos na criação dessa escala. Con-
cordamos com Machado (1993) quando afirma que “um significado nunca está definitivamente
construı́do. O feixe de relações que o constitui transforma-se continuamente, incorporando
novas relações ou depurando-se outras, que se tornam menos expressivas.”
Já no momento da construção do Banco de Itens, retornamos aos objetivos (agora já
integrados na estrutura da escala) para pensar em possı́veis conexões e entrelaçamentos que
pudessem gerar itens. Revisitamos os diferentes objetivos relacionados aos conceitos escolhidos
(perı́metro, área e volume) e observamos algumas questões que utilizam diferentes objetivos
durante a sua resolução. Por exemplo, entrelaçamos os objetivos: calcular o volume de um
sólido através de semelhança (O163) ao objetivo: reconhecer que a razão de semelhança entre
os volumes de dois sólidos semelhantes é igual ao cubo da razão de semelhança (O123).
Essas conexões não foram encerradas. Há sempre uma possibilidade de se criarem novos
entrelaçamentos e novos objetivos. Desta forma, reiteramos não haver uma hierarquia solidifi-
cada entre os conceitos nem tampouco entre os objetivos.
Não foi utilizado nenhum banco de itens previamente construı́do para a construção da
escala. Os itens do banco foram criados através da combinação de cada objetivo do nono ano
com o entrelaçamento criado a partir deles. Na tabela abaixo, listamos os objetivos de nono ano
(segunda coluna) e seus objetivos associados (quarta coluna). Ao se ter a geração de itens em
mente, um novo aspecto surgiu: há objetivos que não geram isoladamente um item. Na terceira
coluna, o número zero indica que o objetivo pode gerar uma questão com um único objetivo e
o 1 indica que o objetivo não gera questão em que ele é o único objetivo a ela associado. (A
primeira coluna numera a linha da tabela para facilitar referências futuras)
10 126 0 125
11 142 1 211, 156, 157
12 150 1 113, 193
13 151 0 –
14 152 0 –
15 154 0 125
16 156 0 –
17 157 1 113, 211, 156
18 158 0 –
19 159 1 187, 173, 174, 168, 170, 194
20 163 1 122
21 164 1 193, 194
22 193 0 192
23 194 0 192, 185, 165, 171, 187, 213
24 195 0 192, 194, 193
25 208 0 176, 119
26 209 0 211
27 210 0 119
28 211 0 210
29 212 0 116, 208
30 218 1 157, 210
cada um dos itens, pode agregar entrelaçamentos ainda não previstos na matriz apresentada na
Tabela 2.
O objetivo 120 (ver linha 4 da Tabela 2), por sua vez, pode gerar isoladamente uma
questão (conforme indicado pelo 0 na terceira coluna, linha 4 da Tabela 2) e tem apenas o
objetivo 119 a ele entrelaçado. Desse modo, foram gerados por ele dois itens cuja composição
pode ser vista na tabela abaixo:
Na linha 19 da Tabela 2, o objetivo 159 está descrito como um objetivo que não gera
isoladamente uma questão e tem com ele entrelaçados seis objetivos: 187, 173, 174, 168, 170,
54
194. A partir das combinações entre eles um total de 56 itens serão gerados:
A composição dos itens gerados pode ser vista na tabela abaixo. Observe que o número máximo
fixado em 5 objetivos associados a cada item foi respeitado.
2.3 Algoritmo
Ele está estruturado em dois blocos. O primeiro deles é processado apenas na primeira
iteração e sua função é apresentar um conjunto inicial de questões e usar as respostas dadas pelo
aluno para fazer uma primeira estimativa da habilidade do aluno e, caso alguma questão tenha
sido respondida incorretamente, identificar se já há um conjunto de objetivos a ser analisado
para diagnóstico. O segundo bloco está subdividido em duas partes. Uma delas lida com
o conjunto de objetivos a ser analisado para diagnóstico e é acessada até que se alcance o
refinamento necessário para o diagnóstico. A outra é semelhante ao bloco inicial e só é acessada
quando da ocorrência de 100% de acerto nas questões apresentadas na iteração anterior. A cada
iteração, a estimativa de habilidade do aluno é recalculada em função das respostas dadas pelo
aluno nas questões a ele apresentadas.
Houve erro Estamos na etapa k e o vetor resposta vk−1 da etapa k − 1 tem elementos
nulos. Isto é, houve itens respondidos incorretamente. Neste caso:
● são identificados os objetivos oi
(k−1)
presentes nas questões respondidas incorre-
tamente na etapa k − 1
● são selecionadas no banco de questões um novo conjunto de questões com parâmetro
de dificuldade bi mais próximo do valor do parâmetro de dificuldade que maxi-
miza a função de informação Fi para um indivı́duo com habilidade θk . A seleção é
feita em um subconjunto K do banco de itens. Todos os elementos de K são itens
(k−1)
cujos objetivos associados pertencem ao conjuntos dos objetivos oi presentes
nas questões respondidas incorretamente na etapa k − 1. A seleção é feita priori-
zando questões com maior número de objetivos e que não apresentem objetivos
comuns. Esgotadas as escolhas feitas com esses critérios e ainda não tendo sido
57
2
No caso de questões com dois objetivos, consideramos apenas aquelas associadas a um objetivo gerador que
não gera isoladamente questões.
58
1. a escala
2. o banco de itens
3. o critério de seleção dos itens
4. o estimador do parâmetro de habilidade θ
5. o critério de parada
3.1.1 A escala
Diferentemente da maioria dos TAI baseados na TRI, a escala subjacente ao TAI de-
senvolvida nesse trabalho tem o propósito de viabilizar o diagnóstico e não de classificar ou
determinar nı́veis de proficiência. A construção da escala de objetivos envolveu os PCN, as ma-
trizes de referência do SAEB, a reinterpretação de descritores da matriz de referência e a criação
de novos objetivos. Ela está estruturada em quatro camadas: Temas, Competências, Habilida-
des e Objetivos. A camada de objetivos é uma peça chave na determinação do diagnóstico e
será o elo de ligação e diálogo com o banco de itens.
Através do processo de geração descrito na Seção 2.2, foram construı́dos 212 itens a
partir dos objetivos de nono ano. Levando-se em conta o entrelaçamento dos objetivos (descrito
na Subseção 2.1.3), foram agregados 14 itens compostos por um (ou no máximo dois objetivos).
Esses itens foram gerados por objetivos do sexto ao oitavo ano que figuravam como objetivos
entrelaçados aos do nono ano e estão listados abaixo.
59
Com esse processo foram gerados 226 itens. Para compor o banco, fixamos o valor do
parâmetro de discriminação a = 1, 2. Esse valor é o mesmo proposto por Huang (1996b) e
corresponde ao valor médio dos parâmetros de discriminação do banco de itens analisado por
Kingsbury e Weiss (1979). Supusemos que todos os itens são questões de múltipla escolha com
cinco alternativas. Por esse motivo, usamos a orientação de Huang (1996b) e admitimos que
a chance de acerto ao acaso é de uma em cinco e fixamos o valor do parâmetro de acerto ao
acaso em c = 0.2. Para atribuir valores aos parâmetros de dificuldade, fizemos uma hipótese
simplificadora de que todos os itens gerados ocorriam no banco uma vez com parâmetros de
dificuldade bi ∈ {−3, −2.5, . . . , 2.5, 3}. Isto é, cada um dos 226 itens gerados ocorre 13 vezes no
banco com dificuldades distintas. Desse modo, trabalhamos com um banco de itens já calibrado
contendo 2938 questões.
É importante observar que, apesar de termos fixados dois (a e c) dos três parâmetros dos
itens, nosso modelo ainda é o logı́stico de três parâmetros devido à presença do parâmetro de
acerto ao acaso c ∈ (0, 1).
60
É importante notar que, quando o algoritmo processa o bloco H OUVE E RRO, o critério
de seleção é feito em um subconjunto K do banco de itens. Todos os elementos de K são itens
cujos objetivos associados pertencem ao conjunto dos objetivos presentes nas questões respon-
didas incorretamente na iteração k − 1. Nesse caso, há uma restrição do tipo balanceamento de
conteúdo.
O TAI foi implementado utilizando-se o software livre octave. A cada iteração do al-
gortitmo, a habilidade foi estimada pela maximização do logaritmo da função de verossimi-
lhança (1.2). A determinação da estimativa do parâmetro de habilidade θ é feita através da
determinação do ponto crı́tico do logaritmo da função de verossimilhança (1.4). Essa equação
não linear foi resolvida numericamente através do método de Newton-Raphson. É conve-
niente lembrar que nem sempre admite um máximo finito. Os casos mais conhecidos são
aqueles em que o respondente obtém um “escore perfeito” (responde correta ou incorreta-
mente a todas as questões). Nesse caso, o máximo do log da verossimilhança é θ = ±∞.
(HAMBLETON; SWAMINATHAN; ROGERS, 1991, p. 36) Para contornar o problema de con-
vergência nesses casos, utilizamos o artifı́cio proposto por Andrade, Tavares e Valle (2000): “os
alunos que erraram todos os itens ganham um meio certo no item mais fácil. Alunos que acer-
taram todos os itens, perdem um meio certo no item mais difı́cil.” Se ainda assim persistir a
divergência, a estimativa de habilidade é considerada igual a −3, se a divergência for para −∞ e
igual a 3, se a divergência for para +∞. Nesse caso, um marcador de divergência é acionado para
que possa ser acompanhado pelo avaliador. A implementação do método de Newton-Raphson
utilizada foi uma adaptação da rotina fnewton.m apresentada por Lindfield e Penny (2002) 1
Cabe ressaltar que, ainda que apliquemos mais do que 25 questões ao longo de nossas
25 iterações, mantivemos esse valor pois entendemos que a sugestão de 25 itens está atrelada a
realizar 25 novas estimativas para o parâmetro de habilidade θ. Em nosso caso, ainda que em
cada iteração o aluno possa responder a mais de uma questão, apenas um nova estimativa de θ
é calculada.
3.2 Experimentos
3.3 Algoritmo
Ele está estruturado em dois blocos. O primeiro deles é processado apenas na primeira
iteração e sua função é apresentar um conjunto inicial de 10 questões e usar as respostas dadas
pelo aluno para fazer uma primeira estimativa da habilidade do aluno e, caso alguma questão
tenha sido respondida incorretamente, identificar se já há um conjunto de objetivos a ser anali-
sado para diagnóstico. O segundo bloco está subdividido em duas partes. Uma delas lida com
o conjunto de objetivos a ser analisado para diagnóstico e é acessada até que se alcance o refi-
namento necessário para o diagnóstico. A outra, é semelhante ao bloco inicial e só é acessada
quando da ocorrência de 100% de acerto nas questões apresentadas na iteração anterior. A cada
iteração, a estimativa de habilidade do aluno é recalculada em função das respostas dadas pelo
62
3.3.1 Algoritmo
3
No caso de questões com dois objetivos, consideramos apenas aquelas associadas a um objetivo gerador que
não gera questões com um único objetivo.
64
4 ANÁLISE
Este capı́tulo trata da análise das simulações feitas no ensaio da ferramenta DIA. Foram
simulados os diagnósticos de 23 alunos do 9 o ano com habilidades igualmente distribuı́das
dentro do intervalo de −2, 75 a +2, 75. Com os dados de alunos gerados foi possı́vel observar
o bom comportamento do algoritmo e acompanhar a evolução do θ (habilidade) e se houve ou
não convergencia do método de Newton-Raphson. Na tabela abaixo, apresentamos todos os θ
estimados para cada um dos respondentes com θc conhecido. Indicamos também o erro-padrão
da estimativa e apresentamos o valor do controlador de convergência.
A cada iteração k, no grupo das Respostas são listadas em uma matriz todas as questões
que foram testadas nessa iteração e os objetivos que as compõem. Além disso, indica-se na
primeira coluna se a questão foi respondida corretamente (1) ou não (0).
Iteração 10, aluno com habilidade -2.29 estimada para habilidade conhecida -2.25
Nesse grupo são gerados também dois conjuntos. A partir da composição das questões
respondidas incorretamente, forma-se o conjunto dos objetivos respondidos incorretamente.
1
Ao final da pesquisa esse material completo pode ser consultado.
66
170
Além disso, os objetivos que foram testados são sumarizados em uma tabela:
A iteração 0 foi chamada de calibração. Foi utilizada para selecionar, através das questões
respondidas, quais objetivos seriam testados. Como a habilidade do aluno não é conhecida
estabelecemos no algoritmo habilidade inicial média (teta igual a zero) para habilidade conhe-
cida -2.25. São selecionadas aleatoriamente 10 questões, com nı́vel de habilidade no intervalo
[-1.5;+1.5]. Foram geradas as respostas conforme tabela a seguir:
Tabela 14 – Calibração
116 159 164 165 168 170 171 174 185 187 192 193 194 208 210 212 213
Como há questões respondidas incorretamente, nas próximas iterações aparecem itens
com objetivo de refinar os objetivos respondidos incorretamente:
116 159 164 165 168 170 171 174 185 187 192 193 194 208 210 212 213
Esse processo se repetirá até que se alcance um refinamento suficiente para o diagnóstico
ou haja uma iteração com 100% de acerto.
Na iteração 1, a habilidade estimada foi calculada a partir das respostas dadas na iteração 0,
passando a -2.09 ( para habilidade conhecida -2.25). Foram gerados 20 novos itens. Como o al-
goritmo foi criado perseguindo os itens onde HOUVE ERRO, selecionamos apenas as questões
respondidas incorretamente com os respectivos objetivos.
Ano Objetivo
9 159 Calcular área utilizando a resolução de equações do 2o grau
9 194 Resolver equações polinomiais do 2o grau
8 168 Empregar o valor numérico real em uma expressão algébrica
8 170 Operar com polinômio.
8 171 Aplicar os casos de produtos notáveis.
8 187 Resolver equações polinomiais do 1o grau
8 213 Resolver equações polinomiais utilizando o conceito de equações equi-
valentes.
70
Como todas as questões continham 4 objetivos associados, não foi possı́vel diagnosticá-
los.
Uma nova iteração é feita com itens formados por esses objetivos respondidos incorre-
tamente. São selecionadas até 20 questões, priorizando as questões que contêm o maior número
de objetivos entrelaçados.
Aproveitamos para observar, também, que nas primeiras iterações, a habilidade estimada
ainda não está confiável quando comparada com a habilidade conhecida -2.25.
Esse processo se repete até que apareça uma resposta incorreta em um item com um ou
dois objetivos. Nesse momento, é gerado um diagnóstico informando que o objetivo ainda não
foi plenamente desenvolvido ou alcançado pelo aluno.
A análise de cada iteração não se faz necessária para interpretar e acompanhar os obje-
tivos gerados a cada ocorrência de novas 10 questões, por isso optamos pela análise em etapas.
4.3 Etapas
Para analisar os dados gerados nas 25 iterações, essas etapas foram criadas (em função
da ocorrência de uma iteração I10) para uma melhor compreensão e acompanhamento do pro-
cesso. Para θc = −2, 25, as 25 iterações foram subdivididas em 6 etapas iniciadas por uma
iteração I10. Além disso, como estamos considerando alunos do 9 o ano, destacamos apenas
os objetivos referentes a esse ano para acompanhar o refinamento e diagnóstico final. Dessa
forma, nem todos os objetivos respondidos incorretamente em cada etapa serão listados.
71
Etapa 1
116 159 164 165 168 170 171 174 185 187 192 193 194 208 210 212 213
Desses objetivos destacamos, na figura abaixo, apenas os do nono ano que nos dão uma
visão global das principais ocorrências dessa primeira etapa.
Figura 6 – Etapa 1
Uma vez que a análise dos objetivos dessa primeira etapa foi completada, inicia-se o
que chamamos de 2 a etapa (8 a iteração até a 10 a iteração)
Etapa 2
Dentre eles destacamos apenas os objetivos do 9 o ano (O120, O121, O159 e O194) que
aparecem na Figura ??. A decisão de acompanhar apenas os objetivos do 9 o ano foi tomada por
serem esses os objetivos que inicialmente estamos pesquisando. Os objetivos dos outros anos
aparecem como recorrência deles. Lembramos que chamamos de refinamento essa “busca”
pelo(s)objetivo(s) ainda não alcalçado(s).
Figura 7 – Etapa 2
Determinar a razão de semelhança entre dois polı́gonos (O120) e reconhecer que a razão
de semelhança entre os perı́metros de dois polı́gonos semelhantesé igual à razão de semelhança
(O121) foram dois objetivos testados nessa etapa e respondidos de forma correta. O O194
(resolver uma equação do 2 o grau) não foi alcançado, sendo diagnosticado na 9 a iteração. É de
se esperar que o objetivo O159 (cálculo de área utilizando equação do 2 o grau) também tenha
sido diagnosticado.
73
Etapa 3
Das 10 questões respondidas, foram listados os objetivos das questões respondidas in-
corretamente:
Desses 7 objetivos, os 5 que se referem ao 9 o ano (O119, O120, O122, O194 e O195)
foram descritos a seguir:
Ano Objetivo
9 119 Reconhecer quando duas figuras são semelhantes
9 120 Determinar a razão de semelhança entre dois polı́gonos.
9 122 Reconhecer que a razão entre as áreas de dois polı́gonos semelhantes é
igual ao quadrado da razão de semelhança.
9 194 Resolver equações polinomiais do 2o grau
9 195 Resolver equações polinomiais do 2o grau com duas incógnitas (sis-
tema)
Figura 8 – Etapa 3
Observamos que o objetivo O194 apareceu em todas as etapas anteriores, mas, nessa
74
etapa, ele foi testado e não foi diagnosticado (foi respondido corretamente). A resolução de
equações polinomiais do 2 o grau (de que trata o O194) pode aparecer em diferentes contextos
e, por esse motivo, existe uma grande quantidade de objetivos entrelaçados a ele como pode ser
visto no grafo apresentado a seguir. Dessa forma, um número grande de combinações possı́veis
foi criado e deve ser testado, justificando o aparecimento desse objetivo em diferentes etapas.
Etapa 4
113 116 118 120 156 157 159 164 168 170 174 187 193 194 210
E dos incorretos, apenas 3 objetivos (O121, O123 e O194) se referem ao nono ano.
75
Figura 10 – Etapa 4
Mais uma observação referente ao objetivo 194 pode ser feita, nessa etapa: ele apa-
rece listado nos objetivos respondidos corretamente e também nos objetivos respondidos de
forma incorreta. Isso mostra que um objetivo com um grande número de “entrelaçamento com
outros objetivos”retarda o diagnóstico pelo número de questões criadas com esses objetivos
entrelaçados.
Etapa 5
No inı́cio dessa etapa, a habilidade -2.28 estimada continua próxima da habilidade co-
nhecida -2.25. Enquanto o número de objetivos aumenta (24 objetivos testados nessa etapa),
o número de iterações é reduzido (iterações 19 a 21). A justificativa para o refinamento dos
objetivos ser alcançado mais rapidamente pode ser dada pelo nı́vel de dificuldade das questões
se encontrar cada vez mais adaptado à habilidade do aluno.
116 118 119 120 123 124 140 159 173 174 185 187 194 210 211 213
76
Figura 11 – Etapa 5
O objetivo O159 que aparece nessa quinta etapa também tem um grande número de
objetivos entrelaçados, assim como no caso do O194, há um grande número de combinações
pelo entrelaçamento de seus objetivos.
Como mostra a legenda, o objetivo O159 não gera itens apenas com esse objetivo. É razoável
encontrar os objetivos O194 (resolver equações polinomiais do 2 o grau) e O159 (Calcular área
utilizando a resolução de equações do 2 o grau) sendo testados em uma mesma iteração (como
aconteceu nessa 5 a etapa) por serem objetivos entrelaçados e bastante usados no desenvolvi-
mento dos grandes temas que foram selecionados para essa simulação: comprimento, área e
volume. Lembramos, também, que os testes foram simulados para alunos do 9 o ano.
77
Etapa 6
Nessa última etapa (iteração 22 a iteração 25), a habilidade -2.26 estimada, pratica-
mente, é a mesma da habilidade conhecida -2.25. São gerados os últimos 10 itens para pesquisa
e refinamento dos objetivos e, de acordo com o critério de parada do algoritmo o teste é finali-
zado.
Dos objetivos respondidos incorretamente nas 10 questões iniciais dessa etapa (I10)
podemos observar que os objetivos O171 (aplicar os casos de produto notável), O185
(operar com números racionais) e O213 (resolver equações polinomiais utilizando o conceito de
equações equivalentes) são objetivos que fazem parte do grafo do objetivo O194 (ver Figura ??)
e foram respondidos incorretamente.
Figura 13 – Etapa 6
Logo na primeira iteração dessa etapa, o objetivo O119 (reconhecer quando duas figuras
são semelhantes) já aparece diagnosticado, enquanto o O194 continua até a última iteração. É
razoável informar ao aluno que o objetivo O194 ainda não foi alcançado pela incompreensão
ou lacuna de um (ou mais) dos objetivos O171 (aplicar os casos de produtos notáveis), O185
(operar com números racionais) e O213 (resolver equações polinomiais utilizando o conceito
de equações equivalentes). Esses objetivos estão entrelaçados ao objetivo O194.
4.4 Diagnóstico
Figura 15 – Diagnóstico
Ano Objetivo
9 119 Reconhecer quando duas figuras são semelhantes
9 121 Reconhecer que a razão entre os perı́metros de dois polı́gonos seme-
lhantes é igual à razão de semelhança.
9 122 Reconhecer que a razão entre as áreas de dois polı́gonos semelhantes é
igual ao quadrado da razão de semelhança.
9 123 Reconhecer que a razão entre os volumes de dois sólidos semelhantes é
igual ao cubo da razão de semelhança.
9 159 Calcular área utilizando a resolução de equações do 2o grau
9 164 Resolver problema que envolva o volume de paralelepı́pedos (cubos)
9 194 Resolver equações polinomiais do 2o grau
9 212 Reconhecer o Teorema de Pitágoras e utilizá-lo na resolução de proble-
mas
80
Dos objetivos apresentados, os O119, O122 , O123 devem ser (re)trabalhados para me-
lhor compreensão e esclarecimento do que trata o objetivo. O objetivo O164 é um objetivo que
aparece inicialmente no 6 o ano (ver Tabela ??), mas a resolução de problema que envolva o
volume de paralelepı́pedos é um conteúdo que continua sendo tratado e aprofundado em todos
os anos seguintes. Como ele foi diagnosticado quando relacionado ao objetivo O194 (resolver
equação polinomial do 2 o grau), a dificuldade provavelmente se encontra nesse objetivo ou
naqueles que estão entrelaçados a ele.
Os objetivos O194 e O159 percorreram praticamente todas as iterações por serem obje-
tivos com um número grande de objetivos entrelaçados. Com o refinamento proposto através
do algoritmo, conseguimos destacar os objetivos que, entrelaçados a eles, geram respostas in-
corretas, sinalizando, assim, as dificuldades encontradas quando da execução de atividades com
esses objetivos.
inteligência artificial.
82
5 CONSIDERAÇÕES FINAIS
O critério de seleção dos itens está associado aos objetivos respondidos incorretamente.
Nesse sentido, há um balanceamento dinâmico de conteúdo. Isto é, a cada iteração, as questões
83
não são selecionadas em todo o banco e, sim, apenas em um subconjunto dele associado aos
objetivos presentes nas questões respondidas incorretamente. O trabalho de Eggen e Straetmans
(2000) mostrou que 25 ajustes da habilidade garantem uma estimativa de qualidade para θ. Isso
dá confiabilidade ao diagnóstico efetuado. Nosso critério de parada foi realizar 25 iterações
para trabalharmos com uma boa estimativa do parâmetro de habilidade do aluno. Mas, como
no nosso caso cada iteração poderia ter até 20 questões, é interessante fazer um estudo futuro
das implicações com a redução do número de questões em cada iteração ou de uma redução no
número de iterações realizadas.
registro do tempo para o desenvolvimento das etapas com a calibração dos itens à medida
de seu uso (usando, por exemplo o CBAT proposto por Huang (1996b)), a seleção das
questões cada vez mais adaptadas à habilidade do aluno, podem proporcionar um refina-
mento mais rápido;
controle de exposição do objetivo: número de vezes que cada objetivo (correto e incorreto)
aparece sinalizando para o aluno os objetivos que requerem mais atenção e estudo;
O ensaio da ferramenta DIA mostrou que a construção total e real de uma ferramenta
desse porte requer um custo alto. Mas a motivação continua e a utilização de um teste adaptativo
informatizado junto a TRI e com as caracterı́sticas descritas da ferramenta DIA é uma proposta
promissora ao procedimento utilizado pela autora no trabalho com alunos em dificuldades na
Matemática.
Um aspecto importante do uso da TRI ainda não mencionado, diz respeito à verificação
da adequação do modelo escolhido. Hambleton, Swaminathan e Rogers (1991) destacam que
as vantagens da TRI só podem ser usufruı́das quando o ajuste entre o modelo adotado e os
84
dados de teste obtidos é satisfatório. Eles indicam alguns métodos de verificação1 da validade
das propriedade de invariância e de predição do modelo que pretendemos aplicar ao protótipo
desenvolvido nesse ensaio a fim de dar continuidade ao trabalho assegurados da consistência da
ferramenta ou eventualmente fazer ajustes que se mostrem necessários.
1
Para maiores detalhes, ver Capı́tulo 4, Hambleton, Swaminathan e Rogers (1991)
86
CERNY, R. Uma reflexão sobre a avaliação formativa na educação a distância. In: . [S.l.]:
Anped, 2001. (Anped: Associação Nacional de Pós-graduação e Pesquisa em Educação.
24a. Reunião Anual Caxambu).
EGGEN, T.; STRAETMANS, G. Computerized adaptive testing for classifying examinees into
three categories. Educational and Psychological Measurement, v. 60, n. 5, p. 713–734, 2000.
FLAUGHER, R. Item pool. In: . Hillsdale, New Jersey: Lawrence Erlbaum Associates,
1990. (Computerized Adaptive Testing: A Primer), p. 37–60.
HADJI, C. Compreender que avaliar não é medir, mas confrontar um processo de negociação
(balanço dos saberes produzidos pela pesquisa). In: . Tradução de Patrı́cia C. Ramos.
Porto Alegre: Artes Médicas, 2001. (Avaliação desmistificada), p. 27–49.
KINGSBURY, G.; WEISS, D. An Adaptive Testing Strategy for Mastery Decisions. [S.l.]:
Defense Technical Information Center, 1979.
LILLEY, M.; BARKER, T.; BRITTON, C. The development and evaluation of a software
prototype for computer-adaptive testing. Computers & Education, v. 43, n. 1–2, p. 109–123,
2004.
LINDFIELD, G.; PENNY, J. Numerical Methods: Using Matlab. [S.l.]: Elsevier Science &
Technology, 2002. (Academic Press).
LORD, F. Some test theory for tailored testing. In: . Computer-assisted instruction,
testing, and guidance. New York: Harper and Row, 1970. p. 139–183.
LORD, F.; NOVICK, M. Statistical theories of mental test scores. [S.l.]: Addison-Wesley Pub.
Co., 1968. (Addison-Wesley series in behavioral science).
MIRANDA, W.; SILVA, F. H. A interrelação entre avaliação, obstáculo e erro. In: . Recife:
[s.n.], 2011. (XIII CIAEM-IACME).
APÊNDICE A – Objetivos
Objetivo
100 Desenvolver o conceito de medir, desenvolvendo sua capacidade de estimar resul-
tados
101 Desenvolver o conceito de medida de comprimento relacionando com unidades pa-
dronizadas
103 Desenvolver o conceito de medida de superfı́cie, relacionando com unidades padro-
nizadas.
105 Desenvolver o conceito de volume, relacionando com unidades padronizadas.
106 Reconhecer formas geométricas
107 Classificar os sólidos geométricos.
108 Reconhecer diferentes polı́gonos e suas caracterizações
109 Reconhecer e nomear os poliedros
110 Identificar as dimensões dos poliedros
111 Compor / Decompor poliedro (planificação)
112 Construir as cevianas (altura, mediana e bissetriz) de um triângulo
113 Identificar a medida do comprimento de um contorno de uma figura como sendo o
seu perı́metro.
114 Estabelecer a unidade padrão para medir comprimento, com os seus múltiplos e
submúltiplos.
127 Resolver uma situação problema que envolva o conceito de perı́metro
129 Calcular área por meio da composição e decomposição de figuras
130 Calcular áreas de figuras desenhadas em malhas quadriculadas
131 Estabelecer a unidade padrão para medir área, com os seus múltiplos e submúltiplos.
132 Identificar as alturas e a base correspondente de um triângulo
136 Reconhecer que a altura do triângulo é uma ceviana perpendicular à base corres-
pondente do triângulo
137 Calcular a área de um triângulo
138 Calcular a área de um quadrado
91
Objetivo
127 Resolver uma situação problema que envolva o conceito de perı́metro
142 Resolver uma situação problema que envolva o conceito de área
143 Resolver problemas de perı́metro de polı́gonos utilizando equações polinomiais do
1o grau
144 Resolver problemas de área de polı́gonos que utilizam em equações polinomiais do
1o grau
175 Identificar proporção como a igualdade entre duas razões.
176 Aplicar a propriedade fundamental das proporções.
177 Resolver problemas aplicando todas as propriedades das proporções.
178 Reconhecer quando dois conjuntos de números são diretamente ou inversamente
proporcionais.
180 Reconhecer quando duas grandezas variáveis dependentes são diretamente ou in-
versamente proporcionais.
92
Objetivo
127 Resolver uma situação problema que envolva o conceito de perı́metro
135 Reconhecer os pontos de encontro das cevianas (baricentro, incentro e ortocentro)
de um triângulo)
142 Resolver uma situação problema que envolva o conceito de área
146 Calcular a área de um paralelogramo
147 Calcular a área de um losango
148 Calcular a área de um trapézio
164 Resolver problema que envolva o volume de paralelepı́pedos (cubos)
165 Descrever por meio de uma expressão algébrica o volume de uma figura geométrica
168 Empregar o valor numérico real em uma expressão algébrica
170 Operar com polinômio.
171 Aplicar os casos de produtos notáveis.
172 Aplicar os casos de fatoração.
181 Descrever por meio de uma expressão algébrica a área de uma figura geométrica
187 Resolver equações polinomiais do 1o grau
188 Resolver equações polinomiais do 1o grau com duas variáveis (sistema)
189 Determinar os pontos notáveis de um triângulo: baricentro, ortocentro, incentro
213 Resolver equações polinomiais utilizando o conceito de equações equivalentes.
214 Compreender e interpretar geometricamente os casos de produto notável e fatoração
93
Objetivo
117 Calcular medidas de segmentos através da semelhança entre figuras
118 Calcular o perı́metro de polı́gonos regulares utilizando razões trigonométricas
119 Reconhecer quando duas figuras são semelhantes
120 Determinar a razão de semelhança entre dois polı́gonos
121 Reconhecer que a razão entre os perı́metros de dois polı́gonos semelhantes é igual
à razão de semelhança
122 Reconhecer que a razão entre as áreas de dois polı́gonos semelhantes é igual ao
quadrado da razão de semelhança
123 Reconhecer que a razão entre os volumes de dois sólidos semelhantes é igual ao
cubo da razão de semelhança
124 Resolver problemas de áreas com figuras equivalentes
125 Calcular o comprimento de uma circunferência
126 Calcular o comprimento de um arco de circunferência
142 Resolver uma situação problema que envolva o conceito de área
150 Calcular a área de um triângulo dadas as medidas dos seus lados (fórmula de Herão)
151 Calcular a área de um triângulo dadas as medidas de seus lados e do raio da circun-
ferência inscrita ou circunscrita ao triângulo
152 Calcular a área de um triângulo dadas as medidas de dois lados e o ângulo por eles
formado
154 Calcular a área do cı́rculo e suas partes
156 Reconhecer polı́gonos regulares como sendo aqueles que têm lados e ângulos con-
gruentes
157 Calcular a área de um polı́gono regular
158 Reconhecer polı́gonos inscritos ou circunscritos na circunferência
159 Calcular área utilizando a resolução de equações do 2o grau.
94
Vamos discutir aqui a afirmação de que, para uma habilidade θ fixada, quanto mais
próximo o parâmetro de dificuldade b está de θ maior é a informação do item associado a ele.
Vamos considerar o modelo logı́stico adotado no ensaio. Para todos os itens, foram considera-
dos c = 0.2 e a = 1.7. Cabe ressaltar que, mesmo com esses valores fixados, o modelo em estudo
pertence à famı́lia dos ML3P (e não é um modelo de apenas um parâmetro) pois o parâmetro
de acerto ao acaso c é não nulo.
Pi (U = 1∣θ) = c + (1 − c)
1
1 + e−Da(θ−bi )
, (B.1)
em que
●U é uma variável aleatória dicotômica que assume os valores 0 ou 1 indicando que o item foi
incorreta ou corretamente respondido respectivamente.
●θ representa a habilidade.
●Pi (U = 1∣θ) é a probabilidade de um indivı́duo com habilidade θ responder corretamente ao
item i.
●bi é o parâmetro de dificuldade do item i.
●a é o parâmetro de discriminação do item i.
●c é o parâmetro de acerto casual do item i.
●D é um fator de escala.
[ ∂Pi (U ]
2
=1∣θ)
Pi (U = 1∣θ)Qi (U = 1∣θ)
,
Observe que
Logo
Q2i (U = 1∣θ)
Ii (θ; a, bi , c) = D 2 a2
Pi (U = 1∣θ)Qi (U = 1∣θ)(1 + e−Da(θ−bi ) )2
1 − Pi (U = 1∣θ) Pi (U = 1∣θ) − c
2
=D a [ ][ ]
P (U = 1∣θ) 1−c
2 2
Qi (U = 1∣θ) Pi (U = 1∣θ) − c
2
= D 2 a2 [ ] .
Pi (U = 1∣θ) 1−c
Note que
Pic (U = 1∣θ) = pc .
Portanto, a função de informação Ii (θ; a, bi , c) assume seu máximo quando bi = bc . Além disso,
Pic (U = 1∣θ) = pc . Vimos na apresentação do ML3P que, quando a habilidade θ é igual ao
parâmetro de dificuldade bi do item, a probabilidade de acerto desse item por um indivı́duo de
habilidade θ é igual a
c+1
.
2
Como para c ∈ (0, 1), temos 4c(c − 1) < 0, segue que
0.2
0.15
0.1
0.05
0
−8 −6 −4 −2 0 2 4
0.9
0.8
0.7 √
1+ 1+8c
pc = 4
0.6 c+1
2
0.5
0.4
0.3
0.2
−8 −6 −4 −2 0 2 4
bi = −2, 25 = θ
bc = −2, 4726