A TRI e as proficiências

Prof. Glauker Amorim

SAEPE 2018 Prof. Glauker AmorimSAEPES

 • Professor do Departamento de Matemática da
Universidade Federal de Juiz de Fora

• Consultor Ad Hoc do INEP/MEC

• Pesquisador Associado do CAEd

SAEPE 2018 Prof. Glauker Amorim

 Compreender a TRI e o conceito utilizado no cálculo da
proficiência dos alunos é fundamental para orientar
estratégias de ação com vistas a formular intervenções
pedagógicas mais eficientes, objetivando reduzir o
quantitativo de alunos presentes nos padrões de
desempenho mais baixos da escala de proficiência.

SAEPE 2018 Prof. Glauker Amorim

“Medir o conhecimento”
em Matemática:

423,7

Prof. Glauker Amorim

 TRI
Teoria da Resposta ao Item

SAEPE 2018 Prof. Glauker Amorim

 Teoria da Resposta ao Item
1. Muda o foco de análise do teste como um todo para o
desempenho do avaliando em cada item do teste.

2. É um conjunto de modelos matemáticos que relacionam um

ou mais traços latentes (não observáveis diretamente) de um
indivíduo com a probabilidade deste dar uma resposta correta a
um item.
3. Traço latente: habilidade/proficiência em Matemática, em
Português, grau de depressão, etc.

SAEPE 2018 Prof. Glauker Amorim

 4. A probabilidade de uma determinada resposta ser dada a um
item é modelada como função da proficiência do aluno e de
parâmetros que expressam certas propriedades do item.

5. Quanto maior a proficiência do respondente, maior a

probabilidade do respondente “acertar” o item (modelo
acumulativo).

6. Propriedade importante: os parâmetros dos itens e as

proficiências dos indivíduos são invariantes, exceto pela escolha
de origem e escala.
SAEPE 2018 Prof. Glauker Amorim
 Questão 1
Aluno 1
1
Aluno 2
1
⋯ Aluno n
1
Questão 2 1 1 0
Questão 3 1 0 1
Questão 4 0 0 1
Questão 5 0 1 1

⋱
Questão 6 1 1 1
Questão 7 0 0 0
Questão 8 0 1 0
Questão 9 1 0 0
⁞ ⁞ ⁞ ⁞
Questão 42 0 0 0
Questão 43 1 0 1
Questão 44 0 0 0
Questão 45 0 0 1
SAEPE 2018 Prof. Glauker Amorim
 1 1 1
1 1 0
1 0 1
0 0 1
0 1 1

⋱
1 1 1
0 0 0
0 1 0
1 0 0
⁞ ⁞ ⁞
0 0 0
1 0 1
0 0 0
0 0 1
SAEPE 2018 Prof. Glauker Amorim
 1 1 1
1 1 0
1 0 1
0 0 1
0 1 Matriz 1

⋱ formada por:
1 1 1
0 0 0
0 1 • 45 linhas 0
1 0 • n colunas0
⁞ ⁞ ⁞
0 0 0
1 0 1
0 0 0
0 0 1
SAEPE 2018 Prof. Glauker Amorim
SAEPE 2018 Prof. Glauker Amorim
SAEPE 2018 Prof. Glauker Amorim
 Modelo TRI unidimensional a três parâmetros
Variável dicotômica
Probabilidade
de acertar o
1
item, dados a P(X = 1 | , a , b, c) = c + (1 − c) −a ( − b )
proficiência
do avaliando
1+ e
e os
parâmetros
do item

Proficiência Parâmetros
do avaliando do item

SAEPE 2018 Prof. Glauker Amorim

 Curva Característica do Item (CCI)

Curva de Informação do Item (CII)

Desenho Psicométrico do Teste

SAEPE 2018 Prof. Glauker Amorim

 Proficiências

SAEPE 2018 Prof. Glauker Amorim

 Teste 1 Teste 2
Item 13
Item 12
Item 21 Item 8
Item 14 Item 6
780
Item 16
Item 3
Item 18
Item 10
Item 23
Item 9
Item 20
Item 2
Item 15
Item 7
Item 17
Item 4
Item 24
Item 1
Item 19
Item 5
Item 22
Item 11
75,0% 63,3%
SAEPE 2018 Prof. Glauker Amorim
SAEPE 2018 Prof. Glauker Amorim
 ENEM 2011

SAEPE 2018 Prof. Glauker Amorim

 ENEM 2011

501
106
395

SAEPE 2018 Prof. Glauker Amorim

 ENEM 2011
957

322

SAEPE 2018 Prof. Glauker Amorim

 Item Item Item Item Item
1 17 19 44 5

200 300 400 500 600 700 800 900 1000

Item Item Item Item Item

21 33 41 7 11

SAEPE 2018 Prof. Glauker Amorim

 Item Item Item Item Item
1 17 19 44 5

200 300 400 500 600 700 800 900 1000

Item Item Item Item Item

21 33 41 7 11

SAEPE 2018 Prof. Glauker Amorim

 Uso dos resultados da avaliação
O risco de se comparar médias:

Turma Notas
A 5 5 5 5 5 5 5 5 5 5
B 0 0 0 0 0 10 10 10 10 10

Turma Média Turma Desvio padrão

A 5 A 0
B 5 B 5

SAEPE 2018 Prof. Glauker Amorim

 Uso dos resultados da avaliação
Desafio:

250 290 325

Promover ganhos de proficiência que sejam capazes de reduzir a presença
de alunos nos padrões mais baixos da escala, aumentado,
consequentemente, a presença dos alunos nos padrões mais elevados da
escala.
SAEPE 2018 Prof. Glauker Amorim
 SAEPE 2018: Ensino Fundamental de 9 anos - 2º ano
Porcentagem de acerto por descritor - Rede Pública
100
90
80
70
60
50
40
30
20
10
0
D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14 D15 D16 D17 D18

SAEPE 2018 Prof. Glauker Amorim

 SAEPE 2018: Ensino Fundamental de 9 anos - 5º ano
Porcentagem de acerto por descritor - Rede Pública
80
70
60
50
40
30
20
10
0
D05

D25
D01
D02
D03
D04

D06
D07
D08
D09
D10
D11
D12
D13
D14
D15
D16
D17
D18
D19
D20
D21
D22
D23
D24

D26
SAEPE 2018 Prof. Glauker Amorim
 SAEPE 2018: Ensino Fundamental de 9 anos - 9º ano
Porcentagem de acerto por descritor - Rede Pública
90
80
70
60
50
40
30
20
10
0
D06

D12

D18

D24

D30
D01
D02
D03
D04
D05

D07
D08
D09
D10
D11

D13
D14
D15
D16
D17

D19
D20
D21
D22
D23

D25
D26
D27
D28
D29

D31
D32
D33
D34
D35
D36
D37
D38
SAEPE 2018 Prof. Glauker Amorim
 SAEPE 2018: Ensino Médio - 3ª série
Porcentagem de acerto por descritor - Rede Pública
100
90
80
70
60
50
40
30
20
10
0
D01
D03
D05
D06
D07
D08
D09
D11
D12
D13
D14
D15
D16
D18
D19
D20
D21
D23
D24
D25
D30
D31
D32
D33
D34
D35
SAEPE 2018 Prof. Glauker Amorim
 SAEPE 2018: Ensino Médio - Normal/Magistério 4ª série
Porcentagem de acerto por descritor - Rede Pública
90
80
70
60
50
40
30
20
10
0
D01
D03
D05
D06

D08
D09
D11
D12
D13
D14
D15
D16

D19
D20
D21
D23
D24
D25
D30
D31
D32
D33
D34
D35
D07

D18
SAEPE 2018 Prof. Glauker Amorim
 SAEPE: Ensino Médio - 3ª série
Edição D01 D02 D03 D04 D05 D06 D07 D08 D09 D10
2017 59,0 36,5 73,6 21,0 27,1 60,3 - 22,2 - -
2018 73,9 - 79,0 - 39,3 71,0 28,0 27,8 80,6 -

Edição D11 D12 D13 D14 D15 D16 D17 D18 D19 D20
2017 81,8 45,1 34,9 27,4 38,8 69,7 46,8 - 34,2 44,5
2018 33,4 52,5 47,5 89,7 57,8 70,8 - 68,3 51,6 61,0

Edição D21 D22 D23 D24 D25 D26 D27 D28 D29 D30
2017 17,2 8,9 - - 19,9 20,9 - 33,1 - -
2018 54,9 - 31,3 64,8 16,6 - - - - 32,9

Edição D31 D32 D33 D34 D35 D36 D37 D38

2017 54,0 29,3 65,6 82,6 64,0 - - -
2018 49,5 51,8 22,1 84,9 65,6 - - -

SAEPE 2018 Prof. Glauker Amorim

 II. Grandezas e Medidas
D11: Resolver problema envolvendo perímetro de figuras planas.

III. Números e Operações / Álgebra e Funções

D14: Identificar a localização de números reais na reta numérica.
D21: Resolver problema envolvendo PA/PG, dada a fórmula do termo geral.

IV. Estatística, Probabilidade e Combinatória

D32: Resolver problema que envolva probabilidade de um evento.
D33: Resolver problema envolvendo informações apresentadas em tabelas e/ou
gráficos.
SAEPE 2018 Prof. Glauker Amorim
 Uso dos resultados da avaliação
Ponto de ancoragem Ponto de ancoragem
do item D11: 210 do item D11: 315

SAEPE Item
Item Item Item Item Item Item Item Item
EDIÇÃO 2017
D25 D29 D11 D07 D02 D08 D17 D35 D13

Percentual de acerto Percentual de acerto

no item D11: 83% no item D11: 24%

SAEPE 2018 Prof. Glauker Amorim

 Uso dos resultados da avaliação
Ponto de ancoragem Ponto de ancoragem
do item D11: 205 do item D11: 470

SAEPE
Item Item Item Item Item Item Item Item Item
EDIÇÃO 2018
D25 D29 D11 D07 D02 D08 D17 D35 D13

Percentual de acerto Percentual de acerto

no item D11: 89% no item D11: 17%

SAEPE 2018 Prof. Glauker Amorim

 Evolução do percentual de acerto nos itens dos descritores
D11 e D35
100% 89%
90% 83%
80%
70%
60%
50%
40%
30% 24%
17%
20%
10%
0%
2017 2018
D11 D35

SAEPE 2018 Prof. Glauker Amorim

SAEPE 2018 Prof. Glauker Amorim
 Bom trabalho a todos!

Contatos: glauker.amorim@gmail.com
glauker.amorim@ufjf.edu.br

SAEPE 2018 Prof. Glauker Amorim

 Referências Bibliográficas
Tavares, H.R., Andrade, D.F.(2006). Item response theory for longitudinal data;
item and population ability parameters estimation. Test 15(1), 97-123.

Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring.
Journal of Educational Statistics, 17, 191-204.

Kolen, M.J., Brennan, R.L. (2004). Test Equating: Methods and Practices (2nd
ed.). New York: Springer.

Ware, J.E., Bjorner, J. B., Kosinski, M. (2000). Practical Implications of Item

Response Theory and Computerized Adaptive Testing. A Brief Summary of
Ongoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.

SAEPE 2018 Prof. Glauker Amorim

 Referências Bibliográficas
Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading:
Addison-Wesley.

Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing

Problems. Hillsdale: Lawrence Erlbaum Associates.

Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item

Response Theory. Newburry Park: Sage Publications.

Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item:
Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.

SAEPE 2018 Prof. Glauker Amorim