MÉTODO

Procedimentos de análise de dados

As propriedades psicométricas do Bond´s Logical Operation Test (BLOT) foram
avaliadas por meio do modelo Rasch para dados dicotômicos (Rasch, 1960). Foram
avaliados indicadores da fidedignidade das pessoas e dos itens, bem como desvios de
desempenho, por meio dos índices de infit e outfit.
Em relação aos índices de fidedignidade, são esperados valores maiores que 0,70
ou, preferencialmente, valores maiores que 0,80 (Linacre, 2021). Os índices de infit e
outfit quantificam resíduos para os itens em relação ao modelo testado (Bond, Yan, &
Heene, 2020; Linacre, 2021). O Infit avalia padrões de resposta inesperados de
indivíduos que apresentam um nível de traço latente (theta) equivalente ao nível de
dificuldade do item. Outfit, por sua vez, verifica padrões de resposta inesperados
daqueles que apresentam um nível de theta abaixo ou acima do nível de dificuldade do
item. As estimativas de Infit e Outfit podem ser avaliadas pelos indicadores quadrado
médio (mean square; MNSQ) e z-padronizado (z standardized; ZSTD).
Para o MSNQ, o valor padrão esperado é 1. Valores maiores que 1 indicam que
as estimativas apresentaram mais variação do que o esperado pelo modelo Rasch (ou
seja, desajuste) enquanto valores menores que 1 indicam menos variação do que o
esperado pelo Modelo Rasch (ou seja, sobreajuste). As pontuações aceitáveis do MNSQ
normalmente variam de 0,7 a 1,3 logits (Boone, 2016; Bond et al., 2020), mas um
intervalo menos conservador de 0,5-1,5 logits também pode ser usado (Wright &
Linacre, 1994). Já para o ZSTD, valores acima de |2| indicam que a estimativa não se
ajusta adequadamente aos dados.
RESULTADOS
As análises iniciais apresentaram adequados índices de confiabilidade para os
itens (Confiabilidade = 0,93; Índice de Separação = 3.79) e para as pessoas
(Confiabilidade = 0,80; Índice de Separação = 1.98), o que sugere que as estimativas
obtidas tendem a ser replicáveis.
O mapa item-pessoa (Figura 1) demonstra que a amostra apresentou, no geral,
nível de traço latente maior do que a dificuldade dos itens (média de theta = 1.65; média
da dificuldade dos itens = 0). Ainda é possível perceber no gráfico que boa parte dos
itens estão agrupados entre + 1 logit, de modo que há uma maior precisão na estimativa
do theta dos participantes alocados nesta amplitude do continuum.

Figura 1. Mapa item-pessoa do Bond´s Logical Operation Test (BLOT).

Em relação às estatísticas dos itens individualmente, a Tabela 1 apresenta os
indicadores de dificuldade dos itens, infit e outfit. Conforme pode ser visto, o item mais
difícil foi o item 21 (d = 2.40) e o item mais fácil foi o item 6 (d = -2.50). Em relação
aos desvios de desempenho (infit e outfit), é possível perceber que o item com padrão
de resposta mais inesperado foi o item 21 (Infit MNSQ =1.27, ZSTD = 2.65; Outfit
MNSQ = 1.76; ZSTD = 3.73), seguido dos itens 30 e 13, que também apresentaram
valores inesperados.

Tabela 1.
Estimativas de dificuldade e desvios de desempenho (infit e outift) do Bond´s Logical
Operation Test (BLOT).
Infit Outfit
Itens Dificuldade E.P
MNSQ ZSTD MNSQ ZSTD
21 2.40 .20 1.27 2.65 1.76 3.73
28 1.68 .19 1.12 1.42 1.23 1.70
32 1.17 .19 .96 -.50 .85 -1.11
30 1.10 .19 1.19 2.27 1.15 1.04
13 1.03 .19 1.16 2.00 1.32 2.02
15 1.03 .19 .97 -.41 .84 -1.09
8 .88 .19 .91 -1.08 1.00 .08
26 .80 .20 .90 -1.27 .75 -1.59
3 .76 .20 .98 -.22 .90 -.55
25 .52 .20 1.07 .82 1.26 1.34
19 .48 .20 1.01 .16 1.05 .31
17 .40 .20 .87 -1.45 .75 -1.32
23 .36 .21 1.06 .66 .92 -.31
24 .23 .21 .89 -1.08 1.03 .22
9 .18 .21 1.07 .67 .97 -.05
11 .18 .21 1.02 .25 .96 -.09
31 .18 .21 1.07 .70 1.55 2.16
4 .00 .22 1.00 .04 .88 -.43
18 -.05 .22 .90 -.86 .74 -1.03
10 -.20 .23 .92 -.65 .68 -1.17
16 -.31 .23 1.13 1.01 1.03 .20
35 -.31 .23 .93 -.53 .73 -.89
34 -.42 .24 1.00 .06 .79 -.62
29 -.47 .24 .94 -.40 .71 -.87
33 -.53 .25 1.10 .69 .94 -.08
7 -.66 .25 .98 -.11 .65 -.99
2 -.72 .26 1.01 .13 .75 -.61
14 -.72 .26 1.16 .97 1.32 .91
1 -.79 .26 .99 -.03 .69 -.78
20 -.86 .27 .91 -.46 .81 -.36
27 -.94 .27 .85 -.83 .62 -.92
5 -1.01 .28 .98 -.05 .76 -.46
22 -1.09 .29 .91 -.41 1.69 1.42
12 -1.82 .37 .70 -1.12 .24 -1.52
6 -2.50 .47 1.06 .29 .83 .01
 Visando a inspecionar melhor o item 21, que apresentou pior ajuste aos dados,
foi solicitada à sua curva característica do item (CCI; Figura 2). Conforme pode ser
visto, grupos de respondentes com nível de theta muito inferior à dificuldade do item
endossaram o item, sendo, possivelmente, essa a razão para os elevados valores de
Outfit obtidos.

Figura 2. Curva característica do Item 21 (CCI) do Bond´s Logical Operation Test

(BLOT).

REFERÊNCIAS
Boone, W. J. (2016). Rasch analysis for instrument development: Why, when, and how?
CBE Life Sciences Education, 15(4), pii: rm4. https://doi.org/10.1187/cbe.16‐04‐
0148
Bond, T., Yan, Z., & Heene, M. (2020). Applying the Rasch model: Fundamental
measurement in the Human Sciences (4th Ed.)., Routledge.
Linacre, J. M. (2021). Winsteps® Rasch measurement computer program User's Guide.
Version 5.1.1.
Wright, B. D., & Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch
Measurement Transactions, 8, 370-371.