MEDIDAS EDUCACIONAIS

ANÁLISES ESTATÍSTICAS
TRI

CME – COO
C COORDENAÇÃO
Ç O DE MEDIDASS EDUCACIONAIS
UC C O S
CAEd/UFJF (32)4009‐2071
Wellington@caed.ufjf.br
 Fundamentos da TRI
• O que são itens?
– São os elementos que compõem os testes ou
questionários
ti á i

• O que é proficiência?
– É a medida que representa um determinado traço
latente (aptidão)

• Teoria da Resposta
p ao Item ((TRI))
– Grupo de modelos matemáticos e estatísticos que
descrevem a associação entre a aptidão de um indivíduo
e a probabilidade de uma resposta a um item
 PRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escala
‐ Comparabilidade de resultados:

‐ Entre diferentes avaliações em um mesmo

período de tempo

‐ Entre diferentes avaliações em diferentes

períodos de tempo
p p
 C
Como se calcula
l l a proficiência
fi iê i ded um aluno?
l ?

• I ‐ AVALIAÇÃO
à EM LARGA ESCALA

• II – TEORIA DA RESPOSTA AO ITEM ‐ TRI

• III – INDICADORES DE DESEMPENHO

AVALIAÇÃO EM LARGA ESCALA
Como construir uma escala
 Escala: altura de uma pessoa
p
• Item 1

Você consegue guardar as malas no bagageiro

interno de um ônibus?

• Item 2
Você consegue subir ou descer dois degraus de cada
vez em uma escada?

• Item 3
Para conversar com as pessoas,
pessoas você precisa olhar para
baixo?
R
Respostas
t dod Questionário
Q ti á i

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
 Escala: item x medida
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim

Carolina Priscila Leonardo

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

 Utilização
ç do Bilog‐MG
g
1 ‐ Construção da base de dados
SEQ GRUPO FORMA P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16
1 1 1 A B B C C C A A D D A A B B C C
2 1 1 A B A C C B B A D D B A C B C C
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
5001 1 2 A B B B C B A A D C A B B A B D
5002 1 2 B B A C C B A A B A A C B A D D
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
10001 2 3 B B C A A D A B D C A C D A D D
10002 2 3 B B A A B D A C A C A C A B B C
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
15001 2 4 B B C A A C A B A A C C C D D A
15002 2 4 B B A A C C A D A A B B C D D B
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
2 – Cálculo das alturas dos respondentes
3 – estimação dos parâmetros dos itens
 Posição dos itens na escala
1,5 1,6 1,7 1,8 1,9
9 4 16 17 15 7 20 18 11 14 5 13 6 3 2 19 8
12 10 1

Guardar a bagagem Atrás na fila

Pés fora da cama
 Posição dos itens e pessoas na escala
43,6%

32%

14,6%
9,8%

15
1,5 1,6
16 1,7
17 18
1,8 19
1,9
9 4 16 17 15 7 20 18 11 14 5 13 6 3 2 19 8
12 10 1
INTERPRETAÇÃO
Ç DA ESCALA
 II – TEORIA DA RESPOSTA AO ITEM ‐ TRI

• HISTÓRICO TRI

• FUNDAMENTOS – TRI

• MEDIDAS E ESCALAS
 Avaliações
ç em larga
g escala com a TRI
• Análise segundo a TRI – Lord (1952)
– Probabilidade de acerto ao item em função
ç da
habilidade
– Posicionamento dos itens em função da dificuldade
na mesma escala da proficiência
• Década de 1970
– Desenvolvimento de testes adaptativos
• Década de 1980
– Desenvolvimento de softwares específicos para TRI
• Década de 1990
– Desenvolvimento
D l i d testes informatizados
de i f i d (CBT’s)
(CBT’ )
e testes adaptativos informatizados (CAT’s)
 Características das avaliações em larga escala no Brasil
• Até 1993: TCT
• A partir de 1995: TRI
• INEP SAEB

1995 1997 1999 2001 2003 2005 2007 2009

SAEB e Prova Brasil
• Avaliações
li õ estaduais
d i e municipais
i i i
 MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
 Características das avaliações em larga escala no Brasil

1° Momento

2° Momento

3° Momento
 BIB ‐ SAEB ATÉ 2005
BLOCOS BLOCOS
CADERNO CADERNO
POS1 POS2 POS3 POS1 POS2 POS3
1 1 2 5 14 1 3 8
2 2 3 6 15 2 4 9
3 3 4 7 16 3 5 10
4 4 5 8 17 4 6 11
5 5 6 9 18 5 7 12
6 6 7 10 19 6 8 13
7 7 8 11 20 7 9 1
8 8 9 12 21 8 10 2
9 9 10 13 22 9 11 3
10 10 11 1 23 10 12 4
11 11 12 2 24 11 13 5
12 12 13 3 25 12 1 6
13 13 1 4 26 13 2 7
 BIB
‐ A PARTIR DE 2005
 FUNDAMENTOS DA TRI
MÉTODOS DE LINKAGENS
MÉTODOS DE ESTIMAÇÃO
LINEARES
PARÂMETROS DE ITENS
MODELO LOGÍSTICO REGRESSÃO LINEAR
MML MÉDIA/SIGMA
1LP
1LP MMAP MÉDIA/MÉDIA
2LP
2LP CURVA CARACTERÍSTICA
3LP
3LP SCORES

ML NÃO LINEARES
MAP
EAP CALIBRAÇÃO SIMULTÂNEA
Ç DE PARÂMETROS ‐ FPIP
PRÉ‐FIXAÇÃO

Testes Unidimensionais compostos por itens

dicotômicos
 1 PL

Dicotômico 2 PL

3 PL
UIRT

Modelo de crédito parcial

Politômico
o tô co Modelo de crédito parcial generalizado
Modelo
Modelo de resposta ponderada
Modelo de resposta nominal

Dicotômico
MIRT

Politômico

MODELOS MATEMÁTICOS
 MODELOS MATEMÁTICOS DA TRI

• Relação
R l ã entre a probabilidade
b bilid d d
de acerto ao iitem e a
habilidade do respondente
 Relação não‐linear
não linear
 Relação não‐linear

1
P( Xi  1 /  , bi, aii, cii)  cii  (1  cii)
1  e aiD( bi )
MODELOS DA TRI
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1
Probab

0,5

0,3

250
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1
Probab

0,65

0,5

0,3

250
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1
Probab

0,65

0,5

0,3

250
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1
Probab

0,65

0,5

0,3

250
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1 2 0 020 250
0,020 0 30
0,30

2
1
Probab

0,65

0,5

0,3

250
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1 2 0 020 250
0,020 0 30
0,30
3 0,020 350 0,30
2

1
Probab

0,65

0,5
3

0,3

250 350
Proficiência
 MODELOS DA TRI – 3PL
ITEM PARÂMETROS
A B C
1 0,010 250 0,30
bilidade de Accerto

1 2 0 020 250
0,020 0 30
0,30
3 0,020 350 0,30
2 4 0,020 350 0,20
1
Probab

0,65

0,5
3

0,3 4

250 350
Proficiência
EXEMPLOS DE ITENS – discriminação boa
EXEMPLOS DE ITENS – discriminação ruim
 LINKAGEM

• Cultura de uma escala única nacional – SAEB

• Características da avaliação em larga escala de 1995

a 2007
 Equalização Vertical

• Avaliações do SAEB
• Testes com conteúdos diferentes
• Testes com descritores diferentes
• Populações não equivalentes
 Designs ou Delineamentos para coleta de dados

Design para grupos não equivalentes através de itens comuns

Forma X Forma Y

Itens Itens
comunsc comunsc
omum omum

Grupo 1 Grupo 2
 LINKAGEM
• Processo para colocar diferentes testes em uma mesma
escala (equalização vertical)
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA

4ª SÉRIE EF
8ª SÉRIE EF
3º ANO EM

ITENS COMUNS ENTRE GRUPOS

• Método adotado: Vertical equating

 TRI padrão SAEB MÉTODOS DE LINKAGENS
MÉTODOS DE ESTIMAÇÃO
LINEARES
PARÂMETROS DE ITENS
REGRESSÃO LINEAR
MODELO LOGÍSTICO
MML MÉDIA/SIGMA
1LP
1LP MMAP MÉDIA/MÉDIA
2LP
2LP CURVA CARACTERÍSTICA
3LP
3LP SCORES

ML NÃO LINEARES
MAP
EAP CALIBRAÇÃO SIMULTÂNEA
PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIP

TTestes U
Unidimensionais
idi i i compostos por iitens
dicotômicos
 MEDIDAS E ESCALAS

• COMO MEDIR A HABILIDADE DOS ALUNOS

• A ESCALA SAEB

• CONTRUÇÃO
Ç DE TESTES
 COMO MEDIR A HABILIDADE DOS ALUNOS
• Matriz de referência
• Design
D i d do tteste
t
ESCALAS DE PROFICIÊNCIA
Curva normal
ESCALA SAEB
9° ano EF
9

250

ESCALA SAEB
5° ano EF
5 3° ano EM
3

250 270

ESCALA SAEB
5° ano EF
5 9° ano EF
9 3° ano EMF
3

190 250 270

ESCALA SAEB
ESCALA
 CONTRUÇÃO DE TESTES

AJUSTE DA POPULAÇÃO AO TESTE

TESTE COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM
POPULAÇÃO AVALIADA

2011 – 3° ANO – LÍNGUA PORTUGUESA

TESTE COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM
POPULAÇÃO
Ç AVALIADA
SPAECE 2011 – 3° ANO – MATEMÁTICA
 III – IN
INDICADORES
ICA OR S DE DESEMPENHO
S MP NHO

• BOLETIM DE RESULTADOS CAEd

• SÉRIE HISTÓRICA SAEB
• IDEB
 PRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escala

‐ Comparabilidade de resultados:

‐ Entre diferentes avaliações em um mesmo

período de tempo
p p

‐ Entre diferentes avaliações em diferentes

períodos de tempo
 RESULTADOS

Participação

Medidas de Desempenho

 Proficiência Média
 Percentual de alunos por Padrões de Desempenho
 Desvio Padrão
Interpretação de medidas de desempenho educacional
 III – INDICADORES DE DESEMPENHO
• Sé i histórica
Série hi tó i SAEB – Rede
R d pública
úbli LÍNGUA PORTUGUESA

310.0
290.0
270.0
250.0 5ºEF
230.0 9ºEF
210 0
210.0 3ºEM
3 EM

190.0
170.0
150.0
1995 1997 1999 2001 2003 2005 2007 2009
 Série histórica SAEB – Rede pública MATEMÁTICA

290

270

250
5ºEF
230
9ºEF
210
3ºEM
190

170

150
1995 1997 1999 2001 2003 2005 2007 2009
 IDEB
FForma gerall do
d Id
Ideb:
b IDEB = N . P
• N = média da proficiência em Língua Portuguesa e
Matemática padronizada para um indicador entre
Matemática,
0 e 10, no exame realizado ao final da etapa de ensino
• P = indicador de rendimento baseado na taxa de
aprovação da etapa de ensino
 Evolução
ç do Ideb ‐ Brasil
• Rede Pública – Anos Iniciais Ens. Fundamental
 Evolução do Ideb ‐ Brasil
• Rede Pública – Anos Finais Ens. Fundamental
 Evolução
ç do Ideb ‐ Brasil
• Rede Pública – Ensino Médio
 Evolução
ç do Ideb ‐ Estados
• Rede Pública – Anos Iniciais Ens. Fundamental