Você está na página 1de 18

GUIA DEFINITIVO DA

TRI PARA EDUCADORES


ENTENDA A METODOLOGIA
DE CORREÇÃO DO ENEM
Introdução .............................................................................................................. 3

Entenda o que é a TRI .............................................................................................. 4

Como é calculada a nota? ......................................................................................... 7

5 mitos sobre a TRI ................................................................................................ 12

TRI na sala de aula ................................................................................................. 16

Conclusão .............................................................................................................. 17
INTRODUÇÃO
3

D
esde que passou Diferentemente das ao Item, como é chamado
a ser usado como avaliações tradicionais, no o método de avaliação
forma de entrada ENEM a nota dos candidatos usado no ENEM — não é
nas instituições de ensino não equivale à soma do assim tão ilógico quanto
superior do país, o ENEM número de questões corretas, se pode imaginar. Pelo
tem tido cada vez mais o que significa que candidatos contrário, ele usa teorias
participantes. No entanto, que acertaram a mesma de estatística para tentar
apesar do crescimento quantidade de perguntas nem avaliar não apenas o número
progressivo das inscrições sempre terão exatamente a de acertos, mas também
— quebrado apenas em mesma nota. Mas isso não a proficiência real do
2015, que teve número acontece porque as questões candidato em cada área de
de candidatos menor têm pontuação diferente: o conhecimento.
que o ano anterior — e sistema é mais complexo, e o
aceitação em cada vez número de pontos recebidos Neste e-book, vamos
mais universidades — em por cada acerto vai depender explicar em detalhes o
2014, foram 205 mil vagas ainda de outros fatores. Não que é e como funciona a
em instituições de todo o é por acaso que alunos e TRI, quais são seus mitos
país —, ainda há dúvidas e professores brincam que, na mais difundidos e como o
mitos em torno do Exame pontuação do ENEM, um mais professor pode direcionar
Nacional do Ensino Médio, um nem sempre é igual a dois. a preparação de seus
principalmente em relação alunos para o ENEM com
ao cálculo que define a nota Apesar disso, o sistema da base nessa metodologia de
de cada estudante. TRI — ou Teoria de Resposta correção. Acompanhe-nos!
ENTENDA O QUE É A TRI
4

P ara entender o que, exatamente,


é a TRI, precisamos primeiro
compreender a razão pela qual ela surgiu.
de estudantes que fizeram provas
diferentes seja comparado com
igualdade, já que a dificuldade da
prova poderá interferir diretamente na
PROBLEMAS DOS pontuação de cada um. Logo, se o ENEM
MÉTODOS ANTERIORES utilizasse esse método, participantes de
determinada edição poderiam ter nota
Antes da adoção da Teoria de Resposta muito inferior aos de outras, mesmo que
ao Item, predominavam nos vestibulares suas habilidades fossem semelhantes,
e edições do ENEM anteriores a 2009 e sua nota representaria apenas o
outro método de avaliação, a Teoria número de questões acertadas, mas não
Clássica dos Testes (TCT), em que a necessariamente sua proficiência na área
nota é definida simplesmente pela soma de conhecimento.
do número de questões acertadas e
as questões com diferentes níveis de Em segundo lugar, cabe reconhecer que
dificuldade podem ter diferentes valores não é fácil medir a competência de um
pré-estabelecidos, ou pesos. aluno em determinada disciplina apenas
a partir de um número objetivo, como
Esse sistema tradicional porém, a quantidade de questões acertadas.
apresenta alguns problemas, Estabelecer valores diferentes a
principalmente quando aplicado a questões com diferentes níveis de
milhões de alunos. Primeiramente, dificuldade é uma tentativa de resolver
eles não permitem que o desempenho esse problema. No entanto, a TCT não
ENTENDA O QUE É A TRI
5

considera a possibilidade de um estudante sem


qualquer preparação para realizar a prova tirar
uma nota boa ao “chutar” e acertar questões
difíceis.

Embora esse problema não seja tão grave em


sala de aula, quando elevado à escala do ENEM
e à competição em nível nacional por vagas nas
universidades do país, ele se torna bastante
relevante, afinal, ignorá-lo pode levar à entrada
de milhares de estudantes despreparados
nas instituições de ensino superior e,
consequentemente, recusa de um número igual
de outros alunos mais competentes.

Além disso, é preciso lembrar que ter notas que


se limitam à quantidade de questões (que, claro,
deve ser um número passível de ser resolvido
no tempo da prova) para avaliar milhões de
candidatos às vagas nas instituições de ensino
superior implica centenas ou até milhares de
empates, impossibilitando a existência de um
sistema de seleção tão abrangente quanto o Sisu.
ENTENDA O QUE É A TRI
6

SOLUÇÕES OFERECIDAS PELA TRI

Diante disso, a TRI se apresenta como o melhor permitindo contrastar estudantes que fizeram provas
método para avaliar os estudantes de maneira justa e diferentes e se aproximando mais das habilidades reais
objetiva a fim de que possam concorrer com igualdade do aluno. Em uma analogia simplista, mas significativa,
às vagas em universidades de todo o país. podemos dizer que os sistemas tradicionais de
avaliação funcionam como uma balança mecânica —
Isso acontece porque, como já havíamos mencionado, que mede o peso aproximado das pessoas —, enquanto
a TRI não considera apenas a dificuldade inerente de a TRI funciona como uma balança de precisão
cada questão e o número de acertos do estudante, mas — medindo diferenças sutis entre a competência
se apoia também na coerência individual dos alunos demonstrada por um aluno e outro.
em suas provas (prevenindo a atribuição de notas
injustas a quem “chutou”) e no nível de dificuldade Vimos até aqui que a TRI é um método de correção
atribuído a cada item por meio de fórmulas de de provas e avaliação que utiliza softwares
estatística (garantindo que provas diferentes possam e propriedades de estatística para fornecer
ser avaliadas na mesma escala). uma avaliação mais precisa da habilidade dos
candidatos do ENEM do que faziam os métodos
Assim, é possível medir o desempenho dos candidatos usados anteriormente. Mas como essa nota é,
nas 180 questões objetivas em uma escala muito maior afinal, calculada pelo computador? É o que vamos
e mais detalhada, reduzindo o número de empates, esclarecer a seguir.
COMO É CALCULADA A NOTA?
7

S
abemos que a nota do ENEM, em naquele ano. Essa nota foi estipulada
teoria, vai de 0 a 1000 (apesar de como 500 na escala e, da mesma forma,
nenhum desses dois extremos ser estabeleceu-se que cada 100 pontos seria
atingido normalmente, como veremos a medida de um desvio padrão das notas
mais adiante). O parâmetro de referência obtidas por esses alunos, isto é, uma
para saber a proficiência de um aluno maneira de avaliar o quão distante a nota
escolhido pelo MEC foi a média das notas de um aluno está da média. As notas dos
dos estudantes que concluíram o ensino alunos, portanto, podem ser medidas em
médio em 2009 e que realizaram a prova uma escala representada por esta imagem:

Fonte: Portal do Ministério da Educação (MEC)


COMO É CALCULADA A NOTA?
8

Estatisticamente, o esperado é que a chamada 2. e a “coerência pedagógica” de cada aluno


“distribuição normal” das notas do ENEM em ao longo da prova.
2009 tenha se comportado da seguinte forma:
Para descomplicar, vamos esclarecer melhor
» 68,2% dos candidatos tiraram notas entre esses dois aspectos a seguir.
400 e 600;
CARACTERÍSTICAS DO ITEM
» 27,2 % tiraram notas entre 300 e 400 ou
600 e 700; A “curva característica do item” é, basicamente,
uma representação de uma função que mede a
» 4,2% dos candidatos tiraram notas abaixo probabilidade de alunos com diferentes habilidades
de 300 ou acima de 700; acertarem determinada questão (ou item). Ela
funciona com três parâmetros diferentes:
» e meros 0,2% dos candidatos tiraram notas
acima de 800 ou abaixo de 200. » O parâmetro de discriminação
(representado pela letra “a”), que mede a
Diante disso, o cálculo da nota de cada um eficácia da questão em diferenciar quem
por meio da TRI leva em conta dois pontos domina aquele conteúdo de quem não
importantes: o domina;

1. A probabilidade de estudantes com » o parâmetro de dificuldade (letra “b”),


diferentes níveis de proficiência acertarem cujo valor indica o nível de dificuldade
cada questão; da questão;
COMO É CALCULADA A NOTA?
9

» e o parâmetro de acerto casual (letra “c”), Evidentemente, as questões da prova não têm o
que indica a probabilidade de que alguém que mesmo nível de dificuldade, porém, o ENEM é
não tenha nenhum domínio do conteúdo cobrado elaborado de modo a contemplar questões dispersas
acerte a questão “no chute”. em vários níveis de dificuldade na escala, tanto abaixo
de 500 quanto acima.
Idealmente, em uma questão bem elaborada, a
probabilidade de acerto aumenta junto com o nível do Pelo gráfico exemplificado acima, vemos que pessoas
aluno na escala de proficiência (aquela ilustrada pela com proficiência abaixo do parâmetro b, que está
régua amarela, como vimos anteriormente). Assim, ela entre 500 e 600 nesse caso, têm chances baixas de
pode ser representada da seguinte forma: acertarem a questão. Por outro lado, como a curva
cresce rapidamente próxima do valor de b, pessoas
com proficiência acima desse valor têm probabilidades
mais elevadas de acerto nesse item. Essas
probabilidades estão diretamente associadas à análise
de coerência pedagógica do padrão de acertos de um
examinado pela prova, como será descrito a seguir.

COERÊNCIA PEDAGÓGICA

A análise do padrão de respostas de um participante


se baseia no fato de que é esperado que alunos com
determinado nível de proficiência acertem certas
Fonte: Portal do Ministério da Educação (MEC) questões e outras não (como, por exemplo, um aluno
COMO É CALCULADA A NOTA?
10

de proficiência 700 tem alta probabilidade de acertar


o item representado no gráfico, enquanto um de
proficiência 300 tem chances bem mais baixas).

Esse sistema funciona, segundo o próprio Inep, mais


ou menos como uma prova de salto em altura: se um
atleta consegue saltar barras de até 1 metro de altura,
espera-se que ele também consiga saltar obstáculos
de 90, 80 e 70cm, por exemplo, mas não de 1,2m.
No ENEM, portanto, espera-se que candidatos
que acertaram questões difíceis, com parâmetro
de dificuldade alto, também acertem questões com
parâmetro de dificuldade mais baixo, principalmente
caso o conhecimento necessário para responder às
últimas seja pré-requisito das primeiras.

Como exemplo, podemos citar uma questão de


Matemática que envolva potência e outra que envolva
apenas multiplicação. Quando um aluno acerta a
questão sobre potência, é esperado que ele também
acerte aquela que só usa a multiplicação, e quando isso
não acontece o aluno foge da coerência pedagógica
esperada, recebendo, assim, uma nota inferior.
COMO É CALCULADA A NOTA?
11

Isso significa que —


contrariamente às avaliações que
usam o método TCT, que vimos no
segundo tópico deste e-book —
alguém que acertou determinado
número de questões fáceis, mas Na figura ao lado, vemos que
errou questões difíceis, terá nota apesar do participante A e o B
superior a alguém que acertou terem acertado o mesmo número
o mesmo número de questões de questões em uma avaliação
difíceis, mas errou questões hipotética de dez questões, ambos
fáceis. Para entender, veja a tiveram notas diferentes. Como
ilustração: o participante A acertou mais
questões fáceis e errou questões
difíceis seu resultado é mais
coerente, já que observa-se o que
era esperado. Entretanto, para o
participante B, ocorre o inverso:
ele acerta com mais frequência
questões mais difíceis e erra as
fáceis. Como esse comportamento
Fonte: Portal do Ministério da é incoerente, sua nota é inferior à
Educação (MEC) do participante A.
4 MITOS SOBRE A TRI
12

1. AS NOTAS
MÁXIMAS E MÍNIMAS
SÃO SEMPRE 1000 E 0

Já vimos que a nota do ENEM não está


necessariamente atrelada ao número
de erros e acertos do candidato, mas
depende do parâmetro de dificuldade da

C om a TRI devidamente explicada, questão e da coerência pedagógica do


falta esclarecer alguns dos principais aluno. Além disso, as próprias questões
mitos sobre essa metodologia de também estão inseridas na escala de
correção. Confira: proficiência, como mostrado abaixo:

Fonte: Portal do Ministério da Educação (MEC)


4 MITOS SOBRE A TRI
13

Como não há questões que Isso significa que a nota


pressupõem proficiência máxima (para quem
muito baixas ou muito altas acertou 45 questões) e
para serem acertadas, a mínima (para quem errou
avaliação não consegue todas) de uma prova pode
inferir a partir dos padrões ser diferente da de outra
de resposta nessas — em 2011, por exemplo,
questões se um participante a nota máxima da prova
tem proficiência muito de Ciências da Natureza
baixa (próxima de 0) ou e suas Tecnologias foi
muito grande (próxima de 867,2, enquanto a de
1000). É como se fosse Ciências Humanas e suas
dado um certo “benefício Tecnologias foi de 793,1.
da dúvida”: como não
temos questões muito
fáceis ou muito difíceis, não
podemos afirmar, mesmo
que um aluno erre ou acerte
todas as questões, que
ele tem nota 0 ou 1000,
respectivamente.
4 MITOS SOBRE A TRI
14

2. É MELHOR DEIXAR UMA QUESTÃO que um erro, mesmo que esse acerto seja um acerto
EM BRANCO QUE “CHUTAR” eventual proveniente de um palpite. Sendo assim,
“chutar” é sempre uma opção melhor que deixar
Acertar uma questão “no chute” não significa que qualquer questão em branco.
o candidato receberá zero por ela, no entanto,
dependendo de sua coerência pedagógica, pode ser O ideal é que o aluno não tenha que recorrer ao "chute"
que receba mais ou menos pontos. na realização da prova e, para isso, é recomendado que
ele se prepare com simulados no formato ENEM e saiba
Se tiver acertado questões fáceis e “chutado” administrar seu tempo de prova.
uma difícil, provavelmente o estudante não será
penalizado, já que mostrou que tinha o conhecimento 3. O CÁLCULO DA NOTA É
necessário para conseguir resolver a questão difícil. IMPOSSÍVEL DE SER VERIFICADO
Porém, se tiver feito o contrário — errado questões
fáceis e acertado uma difícil —, certamente receberá Depois que realizam a prova, o cartão de respostas dos
menos pontos pelo acerto, já que não demonstrou candidatos é lido por computadores e transformado
coerência pedagógica. em dados digitais. Esses dados são criptografados
para que não possam ser associados ao candidato
“Chutar” a questão, portanto, não significa que o pelos corretores humanos. Em seguida, três equipes
candidato não receberá nenhum ponto por ela, apenas diferentes de profissionais (especializados em
que ela poderá ser menos valorizada, dependendo de Matemática, Psicometria ou Estatística) calculam
sua coerência pedagógica. Por outro lado, deixar uma a nota de cada candidato. As notas obtidas pelas
questão em branco significa necessariamente errar três equipes são conferidas e, caso estejam
a questão. Na TRI, um acerto é sempre melhor do coerentes, registradas. Finalmente, as notas são
4 MITOS SOBRE A TRI
15

descriptografadas, sendo novamente associadas


aos nomes dos candidatos, para que possam ser 4. A TRI TORNA A PROVA
acessadas pelo site do Inep. Dessa forma, há DO ENEM MAIS DIFÍCIL
uma confirmação no próprio processo de cálculo
das notas, já que ele é feito, independentemente, A ideia de que a dificuldade da prova é
por três institutos diferentes e só há o influenciada pelo uso da TRI é errada. A TRI
fechamento após a coincidência dos resultados. é, simplesmente, uma metodologia de correção
de prova diferente da Teoria Clássica de Testes,
Além disso, o Inep disponibiliza, após um certo usada comumente. Isso não significa que a
tempo, os chamados Microdados referentes à dificuldade da prova seja maior ou menor por
prova de cada ano. Nesses Microdados, todas as isso, e sim que as notas são calculadas de forma
informações referentes às respostas e às notas diferente. Da mesma maneira, não existem
de cada participante (preservando o anonimato) estratégias específicas que permitem um aluno a
são fornecidas para que qualquer pessoa possa se sair melhor na prova simplesmente porque ela
verificar a consistência dos dados, apesar é corrigida pela TRI. A maneira de se preparar é
de serem necessários certos conhecimentos a mesma de antes: estudando e treinando.
técnicos para tal.
TRI NA SALA DE AULA
16

U
ma pesquisa realizada pelo Ibope Para isso, além de explicar a TRI em sala
em 2013 mostrou que apenas de aula, é preciso discutir estratégias
14% dos estudantes sabiam para a realização da prova e, ainda,
bem como funciona a metodologia de fornecer o máximo de prática possível
correção do ENEM. Esses dados apontam através de simulados. Estes, em
para a necessidade de esclarecer o particular, permitem ao estudante se
funcionamento da TRI para os candidatos acostumar ao tempo e ritmo da prova —
do Exame a fim de evitar que cometam garantindo que tenha tempo suficiente
erros que os prejudiquem (como deixar para responder a todas as questões
as questões em branco) e, ainda, diminuir com cuidado — e elaborar suas próprias
sua insegurança em relação à prova. estratégias em uma situação de teste.
CONCLUSÃO
17

A
TRI não é o método mais
simples de correção de provas,
no entanto, ela tem se provado
o mais eficiente quando o assunto é
avaliar com igualdade a proficiência de
milhões de estudantes em todo o país.

Explicar aos seus alunos como essa


metodologia funciona é imprescindível,
mas ainda mais importante que isso
é garantir que eles tenham contato
suficiente com o modelo de prova do
ENEM para poderem realizar o exame
com segurança e sem se preocupar
com a TRI. Garanta que a proficiência
dos estudantes seja alta, ensine-os
a lidar com situações de prova como
o ENEM e suas notas certamente
revelarão o quanto foram bem
preparados para o exame!
O AppProva é uma plataforma que auxilia os educadores e alunos de todo o Brasil
na preparação para o ENEM e vestibulares. Através de um extenso banco de
questões, os professores criam atividades de forma simples e rápida, publicam para
os alunos, que podem respondê-las instantaneamente. A partir daí, a plataforma
as corrige automaticamente e disponibiliza um relatório com os resultados dos
estudantes, identificando as maiores dificuldades por conteúdo e por disciplina.
Assim, os professores têm, facilmente, em mãos informações em tempo real sobre
seus alunos que possibilitam a realização de intervenções pedagógicas. O tempo
despendido em elaboração e correção de atividades poderá, então, ser direcionado
para atividades como análise de resultados e planejamento de intervenções,
melhorando o processo de aprendizado de seus alunos.

Os coordenadores e gestores também se beneficiam com o acompanhamento de


perto de seus alunos e professores através da plataforma. O trabalho da equipe
pode ser monitorado e os resultados dos alunos podem ser comparados com as
demais instituições de todo o Brasil.

www.appprova.com.br/sou-profissional-da-escola