Uma visão geral da TRI

Franzé Costa

Fundamentos
 Na Teoria Clássica da Medida (TCM), o nível (ou, em outras
palavras, a intensidade) de um construto latente mensurado
por múltiplos itens é estimado a partir da soma dos escores
(ponderados ou não) desse conjunto de itens
o Pela ‘teoria da amostra de domínio’, se houver
adequação de validade e confiabilidade, qualquer item
pode ser substituído por outro ou excluído, sem que isso
represente impacto na mensuração
o Não são considerados, portanto, maiores aspectos
específicos dos itens.

1
 Fundamentos
 No entanto,
o há itens que variam de forma diferenciada a depender da
maior ou menor presença/manifestação do construto
latente.
• Ex: uma ‘variação unitária’ de nível de qualidade de
serviço pode gerar um efeito maior em um item que
em outros
o há ainda itens que requerem maior presença ou
manifestação do construto para que o sujeito alcance um
‘escore’ elevado
o e há escores que podem ser indicados de forma
totalmente aleatória

Fundamentos
 Nesses termos, parece razoável crer que certos itens, por suas
características, não são substituíveis por outros sem alteração
na medida do construto,
o E, também, que a exclusão de diferentes itens tenha efeitos
variados na aferição da magnitude de um construto latente
 Ou seja, em lugar de recepcionar uma pressuposição de que a
métrica final de um construto poderá ser obtida a partir da escala
somada dos itens, podemos considerar as características
específicas dos itens
o E em lugar de verificar um item por seu escore como
sinalizador (refletivo) da magnitude do construto, tomamos
o escore como manifestação empírica associada à
intensidade do fator latente E às características do item

2
 Fundamentos
 A Teoria da Resposta ao Item (TRI) redireciona a visão do conjunto de
itens para os item em particular, a partir de uma lógica conceitualmente
simples (embora matematicamente complexa):
o Definimos um modelo probabilístico...
• Ou seja, adotamos um modelo matemático baseado no conceito de
probabilidades
o ... que associa a intensidade do construto latente, juntamente com
outras potenciais características específicas...
• Admitimos, portanto, que o construto latente tem intensidade
variável e que os itens têm especificidades
o ... com a probabilidade de uma ‘dada resposta’ em um item específico
• Temos a suposição de que, por exemplo, a presença de mais
conhecimento gera mais respostas corretas; que o nível de
maturidade tecnológica gera mais respostas ‘sim’ (entre sim ou não)
na pergunta “a organização conhece as novas tecnologias?”

Fundamentos
 VEJA BEM: a resposta ‘certa’ NÃO depende APENAS da intensidade
do construto latente.
 A TRI toma como princípio fundamental que a probabilidade de um
respondente apontar a presença de uma dimensão latente (uma
resposta certa, a posse de uma habilidade, a presença de um
competência...) em um item é função de ao menos quatro elementos:
o O nível do traço latente do respondente, representado por 𝜃 (theta)
o Um parâmetro de discriminação entre detentores de diferentes níveis
do traço latente, representado por a (normalmente chamado de
parâmetro de declividade – slope)
o Um parâmetro de dificuldade associada ao item, representado por b
(normalmente chamado de parâmetro de locação)
o Um parâmetro de ‘indicação aleatória’, associado à evidência da
presença do traço latente mesmo em sua ausência, associado ao item,
representado por c (também chamado de assíntota inferior)

3
 Fundamentos
 Na modelagem da TRI, a expressão de probabilidade é, em geral,
definida pela função de distribuição logística, e tem formulação a partir
da quantidade de parâmetros associados ao item admitidos
o Relevante: esta função é uma escolha de modelagem.
o Poderia ser outra, mas essa tem sentido e funciona bem
 Temos, para o modelo de resposta binária com três parâmetros,
considerando p itens e n sujeitos, a formulação, chamada ‘item response
function - IRF’, é a seguinte:
1
𝑃 𝑈 = 1 𝜃 , 𝑎 , 𝑏 , 𝑐 = 𝑐 + (1 − 𝑐 ) ( )
1+𝑒
Em que 𝑖 = 1, 2, … , 𝑝 são os itens, e 𝑗 = 1, 2, … , 𝑛, e D = 1,0 ou 1,7

 Interpretamos 𝑃 𝑈 = 1 𝜃 , 𝑎 , 𝑏 , 𝑐 como a probabilidade de o sujeito j

demonstrar a posse da habilidade (no caso indicado por 1) no item i,
dados a sua habilidade (𝜃 ), e as características do item (𝑎 , 𝑏 e 𝑐 )

Fundamentos: interpretando
parâmetros
 O parâmetro de discriminação (a) indica o quanto um item é
capaz de distinguir uma pessoa que possui um dado nível de traço
latente de outra com um nível maior ou menor
o Valores mais elevados de a indicam que o item discrimina
mais
o Deste modo, a variação unitária de habilidade em um item
com maior poder de discriminação gera um incremento mais
elevado de probabilidade de manifestação do construto
o Noutras palavras, este parâmetro indica, naquele item
específico, o quanto quem sabe mais consegue se diferenciar
de quem sabe menos

4
 Fundamentos: interpretando
parâmetros
 O parâmetro de dificuldade (b) indica a intensidade de presença
do traço latente necessária para a probabilidade de 50% (fora a
indicação aleatória) de manifestação do traço latente
o Valores mais elevados de b indicam itens mais difíceis,
pois se requer mais domínio do traço para que tenhamos a
chance de 50% (afora o acerto aleatório) de demonstrar
presença do traço latente
o Este parâmetro é o reflexo ‘matemático-estatístico’ da lógica
da dificuldade
• De fato, se um item é mais difícil, menor é a chance de que
as pessoas acertem, ou seja, manifestem possuir o traço
latente
• Para efeito de modelagem, a medida de probabilidade de
referência é 50% de chance de acertar

Fundamentos: interpretando
parâmetros
 O parâmetro de acerto aleatório (c), que está associado à chance
de um sujeito sinalizar que possui a presença do traço latente,
mesmo que não o possua.
o No caso de provas de conhecimento, concerne à probabilidade
de o sujeito acertar no ‘chute’
o Observe que esse parâmetro tem mais sentido ‘lógico’ em
avaliações educacionais, mas não há problema em avaliar em
outros construtos

10

5
 Fundamentos: exemplos
• Exemplo de um item com a=1,0, b=0,0 e c=0,25.
• Nesse caso, a probabilidade associada b é de 0,625 (0,25 +(1,00-0,25)/2)
• A forma da curva de probabilidade de acerto em função de teta se define
por esses parâmetros.
• Essa é a Curva Característica do Item - CCI

11

Fundamentos: exemplos
• Exemplo de dois itens com diferentes valores de b
• Veja que o item 2 requer uma intensidade de traço latente maior que o
item 1 para uma probabilidade de demonstração de acerto de 0,5, afora
o acerto aleatório

12

6
 Interpretando parâmetros: um exemplo

13

Interpretando parâmetros: exemplo

 Consideremos um item com três parâmetros (tomemos D=1) ou seja,:
(1 − 𝑐)
𝑃 𝑈 = 1 𝜃 , 𝑎, 𝑏, 𝑐 = 𝑐 +
1+𝑒 ( ))

 Nos slides seguinte simularemos adequadamente variações desses

parâmetros, para verificar que (em cada caso, fixos os demais
parâmetros):
o A probabilidade de manifestação do traço aumenta (diminui) na
medida em que 𝜃 cresce (diminui)
o O efeito da variação unitária da intensidade do traço latente sobre a
probabilidade de sua manifestação cresce quando a cresce
o A probabilidade de manifestação do traço latente diminui na medida
em que b cresce
o A probabilidade de manifestação do traço diminui na medida em
que c cresce

14

7
 Interpretando parâmetros: exemplo
para o traço latente
 Mantenhamos fixos os valores de a em 1, b em -1 e de c em 0,20 e
oscilemos os valores de 𝜃. Teremos que
Valor de 𝜃 𝑃(𝑼 = 𝟏)
0,0 0.785
-2,0 0,415
-4,0 0,238
-6,0 0,205

 Conforme se observa, quanto menor o nível de presença do traço latente,

mais se reduz a probabilidade de sua manifestação (veja que a
probabilidade tende ao parâmetro de indicação aleatória)
o Esse resultado tem sentido prático. Por exemplo, em uma prova, se
houver chance de acerto aleatório, mesmo sem qualquer domínio de
conteúdo, é esperado que haja acerto 'no chute’

15

Interpretando parâmetros: exemplo

para o parâmetro a
 Mantenhamos agora fixos os valores de b em 0, c em 0.2, D=1, e
oscilemos os valores de a e de 𝜃. Teremos que:
Valor do 𝑷 𝑼𝒋 = 𝟏 𝐜𝐨𝐦 𝜽 de -1 a 0 𝑷 𝑼𝒋 = 𝟏 𝐜𝐨𝐦 𝜽 de 1 a 2
parâmetro a
-1 0 ‘Salto’ 1 2 ‘Salto’
0,50 0,502 0,600 0,098 0,698 0,785 0,087
1,50 0,346 0,600 0,254 0,854 0,962 0,108
2,50 0,261 0,600 0,339 0,939 0,995 0,055

 Conforme se observa, para maiores valores de a, os saltos em

probabilidade de manifestação do traço latente tendem a ser maiores
para variações unitárias de sua intensidade (afora os extremos de prob.)
o Exemplo: em uma prova, a variação unitária no nível de conhecimento gera
efeitos maiores na probabilidade de acerto para valores maiores de a
o Níveis de discriminação maior geram um prêmio para quem detém mais
habilidade

16

8
 Interpretando parâmetros: exemplo
para o parâmetro a
Valor do 𝑷 𝑼𝒋 = 𝟏 𝐜𝐨𝐦 𝜽 de -1 a 0 𝑷 𝑼𝒋 = 𝟏 𝐜𝐨𝐦 𝜽 de 1 a 2
parâmetro a
-1 0 ‘Salto’ 1 2 ‘Salto’
0,50 0,502 0,600 0,098 0,698 0,785 0,087
1,50 0,346 0,600 0,254 0,854 0,962 0,108
2,50 0,261 0,600 0,339 0,939 0,995 0,055

 Aproveitando a tabela anterior/acima, veja que, quando 𝑏 = 0 e 𝜃 = 0,

𝑃 𝑈 = 1 = 0,600
De fato, descontado os 20% de chance de acerto aleatório, restam 80%
para variar pela competência. Lembremos que o parâmetro de dificuldade,
na fórmula, corresponde ao nível de conhecimento necessário para uma
chance de 50% de acerto pela competência (sobram 80%, logo, metade é
40%; mas como começa já em 20%, a temos 𝑃 𝑈 = 1 = 0,600)
 Quando temos chances elevadas de acerto, a variação positiva de a pode não
implicar aumento do salto, dependendo dos demais parâmetros

17

Interpretando parâmetros: exemplo

para o parâmetro b
 Mantenhamos fixos os valores de a em 1 e c em 0,20, e oscilemos os
valores de b. Teremos, para um sujeito com nível de traço latente de
zero (𝜃=0), o seguinte:
Valor de b 𝑃(𝑼 = 𝟏)
-1 0,785
0 0,600
1 0,415
2 0,295
 Evidentemente, mantidos os demais parâmetros, quanto maior a
dificuldade, menor será a probabilidade de acerto.
o Esse resultado tem sentido prático, pois, efetivamente, itens mais
difíceis geram uma probabilidade de ‘acerto’ menor
o Na estimação, b fica padronizado com média 0 e desvio padrão 1.
Normalmente, b oscila entre -3 e 3 (por quê?)

18

9
 Interpretando parâmetros : exemplo
para o parâmetro c
 Mantenhamos agora fixos os valores de a em 1 e b em -1, e oscilemos os
valores de c. Teremos, para um sujeito com nível de traço latente de
zero (𝜃=0), o seguinte:
Valor de c 𝑃(𝑼 = 𝟏)
0,00 0,731
0,10 0,758
0,20 0,785
0,25 0,798

 E conforme se observa, quanto maior a probabilidade de acerto

aleatório, mantidos os demais parâmetros, maior será a probabilidade
de acerto.
o Esse resultado tem sentido prático, pois mais pessoas sem a
competência acertarão mais ‘no chute’, o que eleva a chance global
de acerto.

19

COMPLEMENTO

20

10
 TRI com mais de 3 parâmetros
 Assim como se define o termo c, que representa uma assíntota
inferior e que define o nível de probabilidade de acerto mesmo
para níveis muito baixos de domínio do traço latente, é
possível definir um nível máximo de probabilidade, sob a
suposição de que, mesmo para níveis muito elevados de
presença do traço latente, ainda assim não é dado como certo o
acerto.
o Por exemplo, o nível de depressão induz a uma
manifestação de predisposição (sim ou não) ao suicídio.
o Mas ainda assim, mesmo para níveis muito elevados de
depressão, não é certo que o suicida aponte que tem essa
predisposição (ou que suicídio ocorra).

21

TRI com mais de 3 parâmetros

 Temos então uma assíntota superior chamada de d, entre 0 e 1,
que dará à formulação a seguinte configuração
1
𝑃 𝑈 = 1 𝜃 , 𝑎, 𝑏, 𝑐, 𝑑 = 𝑐 + (𝑑 − 𝑐)
1+𝑒 ( ))

 Obviamente, se 𝜃 cresce, a probabilidade convergirá para d.

o Simule!
o Por óbvio, o modelo torna-se mais complexo
o Mas não para por aí!
 Também é possível definir um quinto parâmetro, chamado de
assimetria, para alongar a curva de probabilidade por domínio.

22

11
 TRI com mais de 3 parâmetros
 Teríamos nesse caso um valor f, maior que zero, que serve de
expoente do denominador da expressão principal, e que dará à
formulação a seguinte configuração
1
𝑃 𝑈 = 1 𝜃 , 𝑎, 𝑏, 𝑐, 𝑑, 𝑓 = 𝑐 + (𝑑 − 𝑐)
1+𝑒 ( ))

 Simule os resultados para diferentes valores de f.

 Em geral, os modelos e os softwares são implementados para
somente três parâmetros
 Por isso, seguiremos com esse modelo nos slides que seguem.

23

Dimensão processual

24

12
 Dimensão processual: fundamentos e
ideias - retomando
 Na Teoria Clássica, o foco é o escore total (somado; ver provas da
ANPAD, por exemplo), e na TRI é nas características do item
 Na TRI é tomada a referência da probabilidade de o sujeito apresentar o
traço latente. Por exemplo:
o acertar uma questão quando tem ‘conhecimento do conteúdo’;
o adotar uma prática ativista quanto tem ‘engajamento com uma
causa’
o adotar uma prática de gestão de dados quando tem ‘maturidade
gerencial’
 Ou seja, o traço latente concerne ao construto latente de interesse
 Pela formulação adotada, teremos que a probabilidade da resposta certa
a um item é definida em função da presença do fator latente, assim como
dos parâmetros do item

25

Dimensão processual: fundamentos e

ideias
 Veja que, dadas as características do item, a probabilidade de
manifestação do traço latente dependerá, portanto, do nível da
intensidade do traço.
o E, como é lógico, quanto mais um aluno sabe a matéria, mais
acerta os itens em uma prova; quanto mais engajado um sujeito
em uma causa, mais participa das ações relacionada à causa
o Logicamente, maior probabilidade de acerto não garante que o
sujeito sempre manifeste acerto em um item específico
o Por outro lado, tomando um conjunto de itens, o nível de
domínio da competência gerará um efeito cumulativo que tem
´reflexo’ correspondente ao nível de presença do fator latente
o Ou seja, precisamos de um conjunto de ‘indicadores’ para
termos uma boa estimativa do nível de domínio do fato

26

13
 Dimensão processual: fundamentos e
ideias
 Do ponto de vista processual, são duas as etapas:
1. Com base nas respostas de uma amostra de respondente a um
conjunto de itens, estimamos os parâmetros de cada item (este
é o chamado ‘processo de calibração’)
2. Com base nas características dos itens, considerando as
respostas de cada pessoa, estimamos suas proficiências
individuais
 A variável final, criada a partir das proficiências individuais, é
utilizada como medida do construto para efeito de análise de dados
 Pela metodologia de estimação dos pacotes estatísticos, essa métrica
em geral é estimada em uma escala com média 0 e desvio padrão 1
o Logo, para mudar para outra escala, é necessário definir uma
fórmula de transformação, algo fácil, por sinal

27

Dimensão processual: operacionalização

estatística
 Como informado, do ponto de vista estatístico, nosso desafio é, primeiro,
especificar cada item, ou seja, dada a amostra de itens e as respostas de
n respondentes, estimamos inicialmente os parâmetros (a, b e c), e
definimos uma caracterização estimada de cada um deles
 Para tanto, são lançados quatro pressupostos (há variações por
autores):
o Monotonicidade: quanto maior o ‘traço’, maior a probabilidade de
manifestação no ‘acerto’ do item, ou manifestação do construto latente
o Unidimensionalidade: dado um conjunto k de itens, é pressuposto que
há apenas um único construto subjacente
• Aqui, aplica-se a AFE clássica para verificar se há um só fator
o Independência local: a correlação entre os itens é nula se for isolado o
traço latente (ou seja, a correlação existente deriva do efeito do
construto latente)
o Invariância: os parâmetros dos itens não variam entre diferentes
populações

28

14
 Dimensão processual: operacionalização
estatística
 Esses pressupostos são necessários para os procedimentos de
estimação de parâmetros
 O pressuposto da invariância é especialmente relevante porque
permite supor que os parâmetros, por serem independentes da
população, devem ser os mesmos para quaisquer amostras
o Isso permite envolver diferentes escalas, desde que tenham
alguns itens iguais
o Permite ainda comparar diferentes respondentes, mesmo que
tenham respondido a ‘provas’ diferentes
o E esta é, portanto, uma das grandes vantagens da TRI, pois:
• Mantidos alguns itens iguais em diferentes provas, é possível
‘equalizar’ as notas de diferentes grupos de respondentes
• Embora seja possível proceder da mesma forma na TC, a TRI
oferta uma maior segurança na equalização

29

Dimensão processual: operacionalização

estatística
 Calibração dos itens: a partir da estimação dos parâmetros (a, b
e c), definimos uma caracterização estimada de cada item
o O método de estimação convencional é aquele baseado no
princípio de máxima verossimilhança
o Os processos da estimação são numéricos e
computacionalmente complexos
o A potência computacional atual permite rapidez suficiente
para uso da técnica em diversas pesquisas, razão pela qual a
TRI tem crescido em uso
o O número de parâmetros é pré-especificado pelo pesquisador,
podendo, se houver sentido, analisar a calibração com
diferentes números

30

15
 Dimensão processual: operacionalização
estatística
 Após a extração são analisados os indicadores de qualidade dos
itens segundo os parâmetros da TRI
o Há uma variação de referenciais dependendo da área, do
autor, do tipo de pesquisa...
o Algumas referência convencionais:
• Parâmetro a – varia, normalmente, entre 0 e 3, sendo
adequados acima de 0,7 (menos que isso indica que o item
discrimina muito pouco)
• Parâmetro b – varia entre, normalmente, entre -3 e 3, sendo
aceitáveis entre -2 e 2 (nem muito fáceis e nem muito
difíceis)
• Parâmetro c – não há referência bem definida, e varia de
acordo com a natureza do construto sob análise

31

Dimensão processual: operacionalização

estatística
 Os parâmetros são analisados por seus valores e levando em conta
quadro gráficos:
o A curva características do item (CCI): permite visualizar o
comportamento dos itens individualmente e em conjunto
o A curva características do teste (CCT, a soma das CCIs): traz uma
visão global do teste
o A curva de informação dos itens (CII):
• Sinaliza os níveis de informação psicométrica por faixas de
intensidade do traço latente
• Seu máximo é no nível de proficiência igual ao parâmetro b, e
depende de a (maior a indica maior concentração de
informação) e c (maior c indica menor concentração de
informação)
o A curva de informação do teste (CIT, a soma das CIIs)

32

16
 Dimensão processual: operacionalização
estatística
 Sobre as curvas de informação
o Intuitivamente, dizemos que temos mais informação quando o item
consegue ser mais preciso na indicação do nível do traço latente
o Em TRI, como a probabilidade de acerto varia com o traço latente,
temos, portanto, um ‘montante de informação’ que varia com 𝜃
• Ou seja, temos níveis de ‘intensidade de informação’ dependendo
do nível do traço latente
o A finalidade da curva de informação do item é avaliar o
comportamento de ‘contribuição de informação’ do item para o
teste ao longo de 𝜽
• Essa curva tem, em geral, a forma de sino e permite ‘mapear’ as
intensidades do traço latente nas quais o item é mais informativo
e preciso
• Indica também, portanto, as faixas que o item é pouco ‘confiável’
o Comparando diferentes itens, observaremos que estes possuem
diferentes ‘níveis de informação’ a depender de seus parâmetros

33

Dimensão processual: operacionalização

estatística
 Sobre as curvas de informação
o Por definição, para um item i, teremos as seguintes formulações para, os
itens com 1, 2 ou 3 parâmetros (em cada caso, 𝐼 𝜃 é o nível de informação
do item i em função de 𝜃; 𝑄 𝜃, 𝑏 = 1 − 𝑃 𝜃, 𝑏 ; e 𝑃 𝜃, 𝑏 = 𝑃(𝑈 =
1/𝜃, 𝑏 )):
• Para um parâmetro (b):
𝐼 𝜃 = 𝑃 𝜃, 𝑏 𝑄 𝜃, 𝑏
 Veja que o máximo de 𝐼 𝜃 ocorre no valor de 𝜃 =b (P θ, b = 0,5).

• Para dois parâmetros (a e b):

𝐼 𝜃 = 𝑎 𝑃 𝜃, 𝑏 𝑄 𝜃, 𝑏
 Veja que, fixados os demais parâmetros, aumentando a, 𝐼 𝜃 cresce

• Para dois parâmetros (a, b e c):

𝑄 𝜃, 𝑏 𝑃 𝜃, 𝑏 − 𝑐
𝐼 𝜃 =𝑎
𝑃 𝜃, 𝑏 1−𝑐
 Veja que, fixados os demais parâmetros, diminuindo c, 𝐼 𝜃 cresce

34

17
 Dimensão processual: operacionalização
estatística
 Sobre as curvas de informação
o Além da informação de cada item, teremos o total de informação do
teste
o A função de informação do teste será definida a partir da soma das
funções de informação dos itens particulares
• Ou seja, para um teste com k itens, teremos

𝐼 𝜃 = 𝐼 𝜃

o Veja que o nível de informação do teste é também função do nível do

traço latente
o Isso sugere, portanto, que há níveis de traço latente em que o
conjunto de itens tem melhor precisão
• Retomando o conceito de confiabilidade, a CIT indica os níveis de
traço latente em que o conjunto de itens é mais confiável

35

18