ENTENDA A SUA

NOTA NO ENEM
GUIA DO PARTICIPANTE
0
5
2 5
7 5
9 5
1 0 0
Presidncia da Repblica Federativa do Brasil
Ministrio da Educao
Secretaria Executiva
Instituto Nacional de Estudos e Pesquisas
Educacionais Ansio Teixeira (Inep)
0
5
2 5
7 5
9 5
1 0 0
Braslia-DF
2012
ENTENDA A SUA
NOTA NO ENEM
GUIA DO PARTICIPANTE
EQUIPE TCNICA
Camila Akemi Karino
Eduardo Carvalho Sousa
Coordenao-Geral de Instrumentos e Medidas
Diretoria de Avaliao da Educao Bsica (Daeb)
Adriano Ferreti Borgatto
Dalton Francisco de Andrade
Universidade Federal de Santa Catarina
EQUIPE DE EDITORAO
Jos Miguel dos Santos
Marcos Hartwich
Diretoria de Estudos Educacionais (Dired)
SUMRIO
1 APRESENTAO .............................................................................................................. 5
2 INTRODUO .................................................................................................................... 7
3 CALCULANDO AS NOTAS ........................................................................................... 11
4 QUALIDADE DAS QUESTES .................................................................................... 21
5 RELAO ENTRE A NOTA DA TRI E O NMERO DE ACERTOS ................ 25
6 COMPOSIO DAS NOTAS ....................................................................................... 27
7 AVALIAES QUE UTILIZAM A TRI ....................................................................... 27
8 PRINCIPAIS DVIDAS SOBRE A NOTA DO ENEM ........................................... 29
9 ENTENDENDO TECNICAMENTE A NOTA DA TRI ............................................. 31
10 REFERNCIAS BIBLIOGRFICAS ........................................................................... 33
Entenda a sua
Nota no Enem
Guia do Participante
5
Prezado Participante,
Passadas as provas do Exame Nacional do Ensino Mdio (Enem), para as quais
voc dedicou grande parte do seu tempo se preparando, vem a expectativa do
resultado, ou seja, das notas. Este um momento muito importante para voc e sua
famlia, anal, com a nota que voc se candidata a vagas em Instituies Pblicas
de Ensino Superior e a programas do Governo como, por exemplo, o Programa
Universidade para Todos (Prouni) e o Fundo de Financiamento Estudantil (Fies).
Tendo em vista que o Enem utiliza uma metodologia de correo das questes
objetivas, a Teoria de Resposta ao Item (TRI), que diferente da metodologia
clssica, ns do MEC e do Inep entendemos que um direito seu conhecer e
entender o sistema de correo utilizado no Enem. Esse o objetivo deste Guia do
Participante Entenda a sua nota no Enem. Esperamos, dessa forma, contribuir para
dirimir as dvidas que voc possa ter em relao sua nota nas questes objetivas,
da mesma forma como zemos com o Guia do Participante A redao no Enem
2012.
Contamos com sua participao para que possamos aprimorar este Guia em
edies futuras e esperamos que suas notas tenham reetido todo seu esforo,
dedicao e tempo de estudo, e que possam proporcionar o alcance de seus sonhos
e objetivos.
Luiz Cludio Costa
Presidente do Inep
1 APRESENTAO
Entenda a sua
Nota no Enem
Guia do Participante
7
2 INTRODUO
Como calculada a minha nota no Enem? Por que acertei mais questes este
ano do que no ano anterior e a minha nota menor? Qual o peso de cada questo
do Enem? Por que quem acerta todas as questes no recebe nota 1000 ou os que
erram todas no tm nota zero?
Para lhe ajudar, esta cartilha foi elaborada com objetivo de esclarecer suas
dvidas. O Enem uma prova em que a nota no calculada da mesma forma como
estamos acostumados nas salas de aula. Por isso, muitos participantes tm
diculdade para entend-la.
Nas avaliaes, normalmente, as nossas notas so calculadas de 0 a 10 ou de
0 a 100, e a forma de calcular a nota simples, bastando somar as questes
corretas na prova. Imaginemos que um professor elabore uma prova com 10
questes, para avaliar o conhecimento dos seus alunos de Matemtica, em que cada
questo vale um ponto. Ao nal da prova, o Aluno A e o Aluno B acertaram seis
questes, porm no acertaram exatamente as mesmas questes. Ser que os
alunos deveriam receber a mesma nota? Ser que os dois alunos possuem o mesmo
conhecimento de Matemtica?
Assumir que todas as questes fornecem a mesma quantidade de informao
sobre o conhecimento que o participante domina no a melhor opo metodolgica.
H questes que representam melhor o que est sendo avaliado do que outras e h
questes que informam mais. A Teoria de Resposta ao Item (TRI) capta isso. Neste
texto, explicaremos o clculo da nota da prova objetiva, uma vez que a nota da
redao calculada de outra forma, j explicada no Guia do Participante: A redao
no Enem 2012.
1
Na prova objetiva do Enem, a nota no calculada levando-se em
conta somente o nmero de questes corretas, mas tambm a coerncia das
respostas do participante diante do conjunto das questes que formam a prova
realizada. Essa coerncia ser discutida mais adiante. Essa nota atribuda em uma
mtrica (escala) criada especialmente para o Enem pelo Instituto Nacional de
Estudos e Pesquisas Educacionais Ansio Teixeira (Inep), com o objetivo de medir o
1 Disponvel em: <http://download.inep.gov.br/educacao_basica/enem/downloads/2012/guia_
participante_redacao_enem2012.pdf>.
Entenda a sua
Nota no Enem
Guia do Participante
8
conhecimento (procincia) do participante em quatro reas: Matemtica e suas
Tecnologias; Linguagens, Cdigos e suas Tecnologias; Cincias da Natureza e suas
Tecnologias; e Cincias Humanas e suas Tecnologias.
Na avaliao do conhecimento, a unidade de medida se expressa por meio do
conjunto de itens pertencentes a uma escala de procincia; assim, os parmetros
dos itens so estabelecidos previamente. A procincia vericada a partir da
anlise do perl das respostas do participante a esse conjunto de itens. No Enem,
para medir o conhecimento do participante, a prova elaborada com 45 questes
em cada rea do conhecimento, segundo a matriz de referncia do Exame, que
toma como base os documentos ociais que subsidiam o ensino mdio.
O Inep criou uma escala para cada rea do conhecimento. Isso quer dizer que
quatro notas so calculadas, sendo que cada escala depende de dois valores:
valor de posio ou de referncia, para o qual foi atribudo o valor 500, que
representa o desempenho mdio dos concluintes do ensino mdio da rede
pblica de 2009 que realizaram o exame naquele ano;
valor de disperso, para o qual foi atribudo o valor 100, que representa uma
medida de variabilidade mdia das notas desses concluintes em relao ao
desempenho mdio 500. Esse valor conhecido como desvio padro.
A partir desses dois valores, podemos dizer que um participante com nota
600 apresenta procincia com uma unidade de desvio padro acima da procincia
mdia dos concluintes de 2009. Essa escala poderia ser representada gracamente
por uma rgua, como a apresentada a seguir, na qual as procincias e os itens
podem ser todos posicionados e seus pontos interpretados pedagogicamente,
como veremos mais frente.
2
0
0
3
0
0
4
0
0
6
0
0
7
0
0
8
0
0
5
0
0
Posio de referncia
Escala de proficincia
Entenda a sua
Nota no Enem
Guia do Participante
9
NOTA: Procincia a nota do participante.
No contexto educacional, a escala de proficincia uma forma
de estabelecer uma unidade de medida padro do conhecimento.
Sem uma unidade de medida preestalecida, difcil fazer
comparaes e julgamento de valor.
Para o foram desenvolvidas
quatro escalas, uma para cada
rea do conhecimento.
Enem
O que
uma escala?
Para medir
o conhecimento,
aplicam-se provas
com itens
pertencentes
a uma escala de
proficincia.
Como medir
a proficincia em
Matemtica?
?
1,53 m
Entenda a sua
Nota no Enem
Guia do Participante
10
A sua nota na escala (rgua) pode assumir qualquer valor no conjunto dos
nmeros reais, como, por exemplo, 632,6, 421,8, etc. Outro aspecto importante no
clculo da nota que as notas mnima (nenhum acerto) e mxima (45 acertos)
dependem do grau de diculdade da prova. Como j comentado, a prova
constituda por um conjunto de itens com parmetros previamente conhecidos. So
esses parmetros que denem os valores de mnimo e mximo da prova. Assim,
quando a prova composta com muitos itens fceis, o mximo da prova tender a
ser mais baixo, e quando ela composta com muitos itens difceis, o mnimo tender
a ser mais alto. Ento, est claro que a nota mnima no 0 e a nota mxima no
1.000.
Em outras palavras, o mnimo e o mximo em cada prova dependem somente
das questes que compem a prova e no de quem as responde. Apesar de as
provas poderem apresentar mnimos e mximos diferentes, seus resultados so
comparveis, pois eles so todos calculados na mesma escala construda a partir de
uma nica matriz de competncias.
Da mesma forma, a comparao entre os resultados das diferentes reas deve
ser feita em termos pedaggicos, ou seja, a partir da interpretao pedaggica da
escala de cada rea. Em outras palavras, a comparao entre uma nota 800 em
Matemtica e suas Tecnologias e uma nota 750 em Cincias da Natureza e suas
Tecnologias s deve ser feita em termos de quanto de conhecimento em Matemtica
e suas Tecnologias e em Cincias da Natureza e suas Tecnologias esses valores
representam pedagogicamente.
Entenda a sua
Nota no Enem
Guia do Participante
11
3 Calculando as notas
J est claro que a nota no Enem no calculada usando-se somente o
nmero de acertos, que a nota mnima no 0 e que a nota mxima no 1.000,
mas como calculada a nota?
A nota do Enem calculada mediante um modelo matemtico da Teoria da
Resposta ao Item (TRI), em que cada questo um item. Essa teoria considera para
o clculo da nota a consistncia da resposta segundo o grau de diculdade de cada
questo.
Considerando que o clculo das notas de acordo com a TRI exige um
conhecimento avanado de estatstica e a utilizao de recurso computacional,
com o objetivo de ter a mxima conana nos resultados, os clculos so realizados
de forma independente por trs grupos distintos de especialistas, todos prossionais
com larga experincia na rea e com formao em estatstica, matemtica e/ou
psicometria. Esse procedimento de tripla conferncia garante a qualidade dos
resultados do Enem. O clculo da nota exige 6 etapas, apresentadas no infogrco
a seguir:
Entenda a sua
Nota no Enem
Guia do Participante
12
Aplicao
das provas
Envio da base de dados para o
clculo das notas por trs equipes
de analistas (estatsticos
e psicometristas)
Processamento
e constituio
das bases de
dados
Divulgao
dos resultados
no Portal Enem
Desidentificao
das bases de
dados
JOO
MARIA
CARLOS
ABCAABCDE
BCDEABDCA
CCDEABCDB
1
2
3
600
700
800
1
2
3
600
700
800
1
2
3
600
700
800
1
2
3
ABCAABCDE
BCDEABDCA
CCDEABCDB
Equipe 1 Equipe 2 Equipe 3
Conferncia
dos dados das
trs equipes
Conferncia
dos dados das
trs equipes
JOO 600
MARIA 700
CARLOS 800
Entenda a sua
Nota no Enem
Guia do Participante
13
O modelo matemtico da TRI usado no Enem (ver detalhes tcnicos mais
adiante) considera trs parmetros (informaes) essenciais para avaliar a qualidade
do item e, consequentemente, a qualidade da medida:
a) parmetro de discriminao: o poder de discriminao que cada questo
possui para diferenciar os participantes que dominam dos participantes
que no dominam a habilidade avaliada naquela questo (item);
b) parmetro de diculdade: associado diculdade da habilidade avaliada na
questo, quanto maior seu valor, mais difcil a questo. Ele expresso
na mesma escala da procincia. Em uma prova de qualidade, devemos ter
questes de diferentes nveis de diculdade para avaliar adequadamente
os participantes em todos os nveis de conhecimento;
c) parmetro de acerto casual: em provas de mltipla escolha, um partici-
pante que no domina a habilidade avaliada em uma determinada questo
da prova pode responder corretamente a esse item por acerto casual.
Assim, esse parmetro representa a probabilidade de um participante
acertar a questo no dominando a habilidade exigida.
Grco 1 Curva Caracterstica do Item
Fonte: Elaborado pela Daeb/Inep para este Guia.
P
r
o
b
a
b
i
l
i
d
a
d
e

d
e

a
c
e
r
t
o
Proficincia
300
1,0
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
400 500 600 700 800
Participante A
b
a
c
Entenda a sua
Nota no Enem
Guia do Participante
14
O Grco 1 apresenta o perl de uma questo em relao a seus parmetros.
A curva obtida pelo modelo da TRI e mostra a relao entre a probabilidade de
acerto e os parmetros dos itens e a procincia do respondente. Podemos notar,
ento, que somente respondentes com procincia acima do valor do parmetro b
de diculdade que tero alta probabilidade de responder corretamente questo.
Em nosso exemplo, o Participante A, com procincia em torno de 650, tem,
aproximadamente, probabilidade de 0,85 de responder corretamente questo
representada. Em outras palavras, espera-se que 85% dos participantes com
procincia 650 acertem essa questo ou, ainda, que a habilidade avaliada nessa
questo seja de domnio da maioria das pessoas que tm procincia 650 ou mais.
O Inep, a partir de pr-testagens nacionais e de algumas aplicaes iniciais do
Enem, obteve os valores dos parmetros a, b e c de milhares de questes, montando
assim um banco de itens (questes) para cada uma das quatro reas. A partir do
conhecimento dos valores desses parmetros, as questes so posicionadas na
escala (rgua), permitindo, desse modo, sua interpretao pedaggica. O posicio-
namento de cada questo nos nveis da escala (rgua) se d a partir de critrios
probabilsticos, os quais garantem que somente participantes com procincia igual
ou maior que a daquele nvel possuem alta probabilidade de responder corretamente
s questes que esto nesse nvel e em nveis inferiores. Geralmente, o posicionamento
do item est um pouco acima do parmetro de diculdade, sendo uma combinao
dos trs parmetros. A questo sempre posicionada no valor da rgua onde a
probabilidade de acerto est prxima de 0,65, o qual representa que participantes
neste nvel possuem alta probabilidade de dominar o contedo da questo.
Questes pedagogicamente mais fceis sero posicionadas na parte inferior
da rgua e aquelas pedagogicamente mais difceis sero posicionadas na parte
superior da rgua. O grande diferencial da TRI que questes e participantes so
posicionados na mesma rgua.
Na gura a seguir, podemos dizer que o Participante A deve dominar as
habilidades avaliadas nas questes 1, 34, 45, 12 e 16, e no dominar aquelas
contempladas nas questes 19 e 35. Por sua vez, o Participante B deve dominar
somente as habilidades exigidas nas questes 1 e 34. Com isso, podemos dizer que
o Participante A deve dominar, alm das habilidades contempladas nas questes 1 e
34, que so de domnio do Participante B, tambm aquelas das questes 12, 16 e 45,
portanto sua nota dever ser maior.
Entenda a sua
Nota no Enem
Guia do Participante
15
NOTA: A escala tem uma interpretao pedaggica, e as questes so
posicionadas na rgua (escala) de acordo com uma coerncia
pedaggica. O participante tambm ser posicionado na rgua, ou seja,
ter sua nota conforme seu conhecimento pedaggico. Isso quer dizer
que sua nota no depende das notas dos demais participantes, mas
apenas do posicionamento das questes na rgua.
Para ilustrar a posio das questes na rgua, o Inep desenvolveu um mapa de
itens por rea do conhecimento. Nesse mapa so apresentadas descries de
habilidades avaliadas em questes de provas. Abaixo so apresentadas algumas
dessas descries entre os nveis 650 e 700 de cada escala de procincia.
Voc poder visualizar o mapa completo e alguns itens no site do Inep:
www.inep.gov.br
2
0
0
3
0
0
4
0
0
6
0
0
7
0
0
8
0
0
Q
u
e
s
t

o

3
5
Q
u
e
s
t

o

1
9
Q
u
e
s
t

o

1
6
Q
u
e
s
t

o

1
2
Q
u
e
s
t

o

4
5
Q
u
e
s
t

o

3
4
Q
u
e
s
t

o

1
P
a
r
t
i
c
i
p
a
n
t
e

A
P
a
r
t
i
c
i
p
a
n
t
e

B
5
0
0
697,2
Cincias da Natureza e suas Tecnologias
681,2
659,4
650,0
Avaliar o combustvel mais energtico em funo da densidade e do calor de combusto.
Aplicar a lei da refrao luminosa em materiais de ndice de refrao negativo.
Relacionar o fenmeno da difrao em ondas luminosas e sonoras em diferentes situaes.
Calcular densidades de amostras que obedeam a normas internacionais.
Entenda a sua
Nota no Enem
Guia do Participante
16
Cincias Humanas e suas Tecnologias
671,2
662,5
653,1
688,9 Analisar com base em grfico a conquista do voto pelos analfabetos.
Identificar os interesses da elite brasileira em manter a estrutura social e poltica vigente
no perodo posterior Independncia do Brasil.
Identificar a atividade econmica diretamente associada ao desenvolvimento econmico
e urbano da Regio Centro-Oeste.
Identificar mecanismos de controle social no perodo da Repblica Velha, a partir de
fragmentos do discurso das oligarquias.
700,0
653,1
652,3
665,6
Analisar o uso de pronomes pessoais como marca de norma padro em charge.
Entender a temtica e o modo de construo do discurso narrativo em texto literrio.
Reconhecer caractersticas de hipertextualidade em texto informativo.
Reconhecer posicionamento crtico quanto ao uso da variedade no padro na escrita,
a partir de texto multimodal.
Reconhecer o sentido estabelecido por conectivos em texto literrio.
Linguagens, Cdigos e suas Tecnologias
700,0
688,2
685,4
678,1
Determinar uma expresso algbrica baseada nos termos de uma sequncia de figuras
geomtricas (quadrados), atendendo a um padro de formao, a partir da relao entre
o nmero de lados e o nmero de figuras.
Calcular o volume de material necessrio para a fabricao de um objeto vazado (cubo).
Determinar, em uma sequncia de listas numricas justapostas na forma
de um empilhamento triangular, o padro da soma de seus termos.
Calcular a probabilidade de um evento utilizando dados contidos em tabela de dupla entrada.
Matemtica e suas Tecnologias
Entenda a sua
Nota no Enem
Guia do Participante
17
No clculo da nota, o modelo matemtico da TRI usado no Enem considera a
coerncia das respostas corretas do participante. Espera-se que participantes que
acertaram as questes difceis devam tambm acertar as questes fceis, pois,
entende-se que a aquisio do conhecimento ocorre de forma cumulativa, de modo
que habilidades mais complexas requerem o domnio de habilidades mais simples.
Lembrando que o posicionamento das questes na escala de procincia
determinado a partir das respostas dos estudantes. Assim, na rgua de Cincias da
Natureza, um participante que capaz de responder a uma questo que exige a
avaliao de qual o combustvel mais energtico em funo da densidade e do
calor de combusto (posicionado no nvel 697,2 da escala) tem alta probabilidade
de responder a uma questo que exige o clculo de densidade de amostras que
obedeam s normas internacionais, que est posicionada no nvel 650 da escala.
Por outro lado, se o participante acerta a questo de um nvel acima, que utiliza
conhecimentos de um nvel abaixo, podemos inferir que no existe coerncia nas
respostas e, dessa forma, os acertos acrescentaro menos na nota do participante.
Na rgua a seguir, temos as respostas a 10 questes j posicionadas, dadas por dois
participantes. Ambos acertaram a mesma quantidade de questes (5), mas o
Participante A acertou as questes mais fceis e, a partir de um certo nvel de
diculdade, passou a errar, conforme o esperado pedagogicamente, logo sua nota
ser maior do que a do Participante B, pois este acertou as questes mais difceis e
errou as mais fceis. Entende-se, de acordo com o modelo da TRI utilizado no Enem,
que foram acertadas no chute. Esse controle devido ao parmetro de acerto
casual.
Entenda a sua
Nota no Enem
Guia do Participante
18
NOTA: Quando dizemos que o participante acertou uma questo no
chute, no signica que sua nota ir diminuir, mas ela no tem tanto
valor como se o participante tivesse acertado os itens com a coerncia
pedaggica esperada. Ento, sempre melhor responder questo do
que a deixar em branco, pois uma questo certa sempre aumenta a nota,
e uma questo deixada em branco corrigida como errada.
200
300
400
600
700
800
Difcil
Fcil
Nota
480
Nota
310
P
a
r
t
i
c
i
p
a
n
t
e
A
P
a
r
t
i
c
i
p
a
n
t
e
B
500
A coerncia pedaggica
esperada que o participante
acerte as questes que esto
abaixo de seu nvel de proficincia.
Se a proficincia do Participante B
alta, a probabilidade de acerto
itens fceis seria grande. Todavia,
ele errou os itens fceis, ento sua
proficincia no deve ser alta.
fosse
dos
Entenda a sua
Nota no Enem
Guia do Participante
19
Altura
Dificuldade
do Item
Item 1
Item 2
Item 3
Item 4
Item 5
Fazendo uma analogia, imagine uma competio de corrida com barreiras cuja altura
aumenta ao longo do percurso. Imagine, ainda, um atleta que durante
os treinos tenha conseguido saltar barreiras de at 80 centmetros. Espera-se que esse
atleta, durante a competio, consiga facilmente as barreiras com altura menor
que 80 centmetros e tenha dificuldade para saltar barreiras com altura superior.
Da mesma forma, espera-se que um participante apresente,
coerncia pedaggica em suas respostas.
saltar
durante a prova,
h= 80 cm
A ilustrao a seguir tambm exemplica a coerncia esperada.
A nota do participante depende somente de seu conhecimento e de seu
momento na prova. Ela no depende do desempenho dos outros participantes e
nem do desempenho mdio dos concluintes regulares de 2009. O valor 500
atribudo a esses participantes de 2009 utilizado somente como referncia para a
construo e a interpretao pedaggica da escala na qual sua procincia
(conhecimento) est representada.
Depois dessas explicaes, podemos voltar situao da prova com 10
questes, apresentada no incio dessa cartilha, na qual os Alunos A e B acertaram
seis questes cada. Se o Aluno A acertou as questes mais fceis posicionadas na
Entenda a sua
Nota no Enem
Guia do Participante
20
parte inferior da rgua e o Aluno B acertou duas questes fceis, duas intermedirias
e duas difceis, quem ter a maior nota? Se considerarmos o mesmo modelo
matemtico da TRI que usado na prova objetiva do Enem, o Aluno A ter maior
nota por ter respondido com mais coerncia s questes. Podemos armar que o
Aluno A domina mais o contedo abordado na prova, elaborada pelo professor, do
que o Aluno B.
IMPORTANTE:
Para os participantes com o mesmo nmero de acertos na prova, ter a maior nota
quem acertar as questes de forma mais coerente pedagogicamente.
Entenda a sua
Nota no Enem
Guia do Participante
21
IES 1
IES 4
IES 3
IES 2
IES 5
INEP
1
2
Elaborao dos itens O Inep
realiza parcerias com instituies
de educao superior interessadas
em elaborar e revisar itens para
a composio das provas do Enem.
O objetivo dessas parcerias
aumentar a participao da
comunidade acadmica de todo
o Brasil nos processos de avaliao
educacional, agregando experincia,
conhecimento e diversidade.
Anlise depois do Pr-teste A partir
das respostas dos alunos, realiza-se uma
srie de anlises estatsticas e pedaggicas;
por exemplo, avaliam-se a dificuldade do
item, a capacidade de discriminao e
a possibilidade de acerto ao acaso. Depois
dessas anlises, as questes que atendem
aos critrios ficam disponveis para a
montagem das provas, e as demais questes
so descartadas ou encaminhadas para
reformulao.
Banco Nacional de itens
gerenciado pelo INEP e consiste em um
sistema de banco de dados no qual os
itens de provas so armazenados de forma
segura. Esses itens ficam disponveis para
a construo de provas. A manuteno do
BNI depende da entrada constante de itens
de qualidade.
(BNI)
Pr-teste O pr-teste consiste na
aplicao de um conjunto de itens a uma
amostra de alunos com caractersticas
semelhantes s da populao para a qual a
prova se destina. a forma emprica de se avaliar
a qualidade tcnico-pedaggica e psicomtrica
dos itens. Essa etapa tem como objetivo
captar subsdios importantes para aumentar
a preciso da prova que ser aplicada a milhes
de participantes do Enem.
3
4
A)
B)
C)
D)
E)
5 Elaborao das provas
Durante a seleo dos itens
para a composio de uma
prova, os ndices psicomtricos
obtidos a partir do pr-teste so
utilizados. Outras caractersticas
consideradas so: contedo
abordado, temtica e habilidade
da matriz de referncia.
A=B +C 3+4+5
2
144
Questo adequada
Encaminhada ao Banco
Nacional de Itens e utilizada
para a elaborao das provas.
Questo inadequada
Retorna para reformulao
ou descarte.
Dificuldade
Discriminao
Probabilidade
de acerto ao
acaso
TEORIA
DE RESPOSTA
AO ITEM
(TRI)
TEORIA
CLSSICA
DOS TESTES
(TCT)
]
4 Qualidade das questes
Entenda a sua
Nota no Enem
Guia do Participante
22
Como mencionado, as questes passam por um pr-teste e sua qualidade e
seu nvel de diculdade so avaliados pela TRI. As questes que so reprovadas no
pr-teste podem retornar para que os elaboradores as aperfeioem, e as questes
que so aprovadas cam disponveis no banco de itens do Inep para serem usadas
na prova do Enem, com seus parmetros j na escala do Exame.
Quando o Inep elabora as provas do Enem, so colocadas questes de acordo
com a matriz de competncias e com o grau de diculdade estabelecido no pr-
teste. Portanto, todas as provas do Enem so elaboradas com questes fceis,
intermedirias e difceis, para os participantes serem avaliados corretamente, para
obterem a certicao da educao de jovens e adultos (EJA) ou para sua admisso
em uma universidade.
Conhea as Instituies de Educao Superior (IES) que so parceiras do Inep
no processo de elaborao de itens:
Centro Federal de Educao Tecnolgica Celso Suckow da Fonseca
Centro Federal de Educao Tecnolgica de Minas Gerais
Fundao Universidade Federal do ABC
Fundao Universidade Federal do Tocantins
Instituto Federal de Educao, Cincia e Tecnologia de Braslia
Instituto Federal de Educao, Cincia e Tecnologia de Minas Gerais
Instituto Federal de Educao, Cincia e Tecnologia de So Paulo
Instituto Federal de Educao, Cincia e Tecnologia do Esprito Santo
Instituto Federal de Educao, Cincia e Tecnologia do sul de Minas Gerais
Instituto Federal de Educao, Cincia e Tecnologia Sul-Rio-Grandense
Universidade Federal da Bahia
Universidade Federal de Alagoas
Universidade Federal de Alfenas
Universidade Federal de Campina Grande
Universidade Federal de Gois
Universidade Federal de Juiz de Fora
Entenda a sua
Nota no Enem
Guia do Participante
23
Universidade Federal de Lavras
Universidade Federal de Mato Grosso
Universidade Federal de Mato Grosso do Sul
Universidade Federal de Minas Gerais
Universidade Federal de Ouro Preto
Universidade Federal de Santa Maria
Universidade Federal de So Carlos
Universidade Federal de Uberlndia
Universidade Federal de Viosa
Universidade Federal do Acre
Universidade Federal do Cear
Universidade Federal do Estado do Rio de Janeiro
Universidade Federal do Par
Universidade Federal do Paran
Universidade Federal do Rio de Janeiro
Universidade Federal do Rio Grande
Universidade Federal do Tringulo Mineiro
Universidade Federal dos Vales do Jequitinhonha e Mucuri
Universidade Federal Fluminense
Universidade Federal Rural do Rio de Janeiro
Universidade Tecnolgica Federal do Paran
Entenda a sua
Nota no Enem
Guia do Participante
25
5 Relao entre a nota da TRI
e o nmero de acertos
Apesar de a nota do Enem no ser calculada diretamente pelo nmero de
acertos, existe uma relao entre o nmero de acertos e a nota calculada pela TRI.
Isso quer dizer que um participante que teve um nmero de acertos alto ter nota
alta no Enem, e um participante que teve pouco acerto ter nota baixa, notas essas
relacionadas com os valores mnimo e mximo de cada prova. Os grcos, a seguir,
mostram a relao entre a nota da TRI e o nmero de acertos de 300 participantes
da prova do Enem 2011. Observe que se a nota da TRI fosse exatamente o nmero
de acertos, os pontos nos grcos estariam alinhados representando uma reta. As
variaes desses pontos em relao reta mostram que participantes com o mesmo
nmero de acertos podem ter notas diferentes no Enem. Note, no entanto, que essa
variao no to grande.
Poderamos nos perguntar: se existe alta relao entre o nmero de acertos e
a nota da TRI, para que usar a nota da TRI? No seria mais simples usar o nmero
de acertos? Uma das vantagens de se utilizar a TRI que sua nota nos possibilita
fazer comparaes entre notas de diferentes provas da mesma rea, mas os acertos
de provas diferentes no so diretamente comparveis. Com ela, podemos tambm
construir e interpretar pedagogicamente a escala de procincia.
A seguir, alguns exemplos da relao entre a nota da TRI e o nmero de
acertos nas provas de 2011.
u Cincias da Natureza e suas Tecnologias: o Participante 1 teve 6 acertos
e sua nota foi 300,8; o Participante 2 teve 19 acertos e sua nota foi 500,5
(lembre que a nota 500 representa a nota mdia dos concluintes regulares
do ensino mdio de 2009), ou seja, ele acertou menos da metade da prova
e seu desempenho foi equivalente ao desempenho mdio dos concluintes
regulares do ensino mdio de 2009; e o Participante 3 teve 41 acertos com
nota 825,0 (a nota mxima, ou seja, para quem acertou 45 questes, foi
867,2).
u Cincias Humanas e suas Tecnologias: o Participante 1 teve 8 acertos e
sua nota foi 279,4; o Participante 2 teve 24 acertos, mais da metade das
questes, e sua nota foi 507,0; e o Participante 3 teve 44 acertos e sua
nota foi 784,4 (a nota mxima, ou seja, para quem acertou 45 questes foi
793,1).
Entenda a sua
Nota no Enem
Guia do Participante
26
u Linguagens, Cdigos e suas Tecnologias: o Participante 1 teve 5 acertos
e sua nota no Enem foi 316,8; o Participante 2 teve 21 acertos e sua nota
foi 498,9; e o Participante 3 teve 44 acertos e sua nota foi 756,1 (a nota
mxima, ou seja, para quem acertou 45 questes foi de 795,5).
u Matemtica e suas Tecnologias: o Participante 1 teve 5 acertos e sua nota
no Enem foi 330,6; o Participante 2 teve 15 acertos e sua nota foi 504,0.
J o Participante 3 teve 41 acertos e sua nota foi 878,7 (a nota mxima, ou
seja, para quem acertou 45 questes foi de 953,0).
Cincias da Natureza e suas Tecnologias
Nmero de Acertos
N
o
t
a

n
o

E
n
e
m
900
800
700
600
500
400
300
200
0 5 10 15 20 25 30 35 40 45
Participante 3
Participante 2
Participante 1
Linguagens, Cdigos e suas Tecnologias
Nmero de Acertos
N
o
t
a

n
o

E
n
e
m
900
800
700
600
500
400
300
200
0 5 10 15 20 25 30 35 40 45
Participante 3
Participante 2
Participante 1
Cincias Humanas e suas Tecnologias
Nmero de Acertos
N
o
t
a

n
o

E
n
e
m
900
800
700
600
500
400
300
200
0 5 10 15 20 25 30 35 40 45
Participante 3
Participante 2
Participante 1
Matemtica e suas Tecnologias
Nmero de Acertos
N
o
t
a

n
o

E
n
e
m
900
800
700
600
500
400
300
200
0 5 10 15 20 25 30 35 40 45
Participante 3
Participante 2
Participante 1
Grco 2 Relao entre o nmero de acertos e a nota calculada pela TRI
Fonte: Elaborado pela Daeb/Inep para este Guia.
Entenda a sua
Nota no Enem
Guia do Participante
27
6 Composio das notas
Ao nal, o participante receber cinco notas, uma para cada rea da prova
objetiva e a nota da redao. Cada faculdade/universidade tem regras prprias para
utilizar as notas de ingresso, colocando peso nas notas das reas que julgue ser
mais importantes para o curso que est sendo pleiteado ou fazendo uma mdia
aritmtica simples.
7 Avaliaes que utilizam a TRI
O uso da TRI em avaliaes educacionais teve incio no Brasil com o Sistema
de Avaliao da Educao Bsica (Saeb), em 1995, e, posteriormente, foi imple-
mentado no Exame Nacional para Certicao de Competncias de Jovens e
Adultos (Encceja), na Prova Brasil e, por ltimo, no Enem. No mbito internacional,
a TRI vem sendo utilizada largamente por diversos pases: Estados Unidos, Frana,
Holanda, Coreia do Sul, China e pases participantes do Programa Internacional de
Avaliao de Estudantes (Pisa). Um dos grandes exemplos de avaliao que utiliza
a TRI o exame de procincia em lngua inglesa (Toe).
Entenda a sua
Nota no Enem
Guia do Participante
29
8 Principais dvidas sobre a nota
do Enem
Responderemos, a seguir, a algumas questes mais frequentes, perguntadas
pelos participantes nas redes sociais.
Por que em 2011 acertei mais questes em Matemtica do que em 2010 e a
nota foi menor?
A nota na TRI no calculada diretamente pelo nmero de acertos. A nota se
baseia na complexidade do que exigido em cada questo. Apesar de as provas de
2010 e 2011 possurem o mesmo contedo pedaggico, na prova de 2011, havia
questes relativamente mais fceis do que na prova de 2010, o que exigiu dos
participantes um maior nmero de acertos para mostrar o mesmo domnio.
Como calcular a mdia das minhas notas no Enem?
O Inep divulga as notas por rea do conhecimento. Cada universidade tem
autonomia para denir os critrios de uso das notas do Enem para ingresso na
educao superior.
Como se pode, na prova do Enem 2011, acertar 40 questes em Linguagens,
Cdigos e suas Tecnologias e minha nota ser 658,2?
Apesar do nmero grande de acertos, preciso analisar a coerncia das
respostas na prova. Provavelmente, das cinco questes que voc errou, deve haver
algumas questes bem fceis e, por isso, o acrscimo da sua nota no foi maior.
importante lembrar tambm que a nota mxima na prova de Linguagens, Cdigos
e suas Tecnologias, na edio de 2011, foi 795,5, ou seja, caso voc tivesse acertado
45 questes, sua nota teria sido 795,5.
Entenda a sua
Nota no Enem
Guia do Participante
30
Se acertei mais questes em Cincias Humanas que em Matemtica, por que
minha nota em Matemtica maior?
O importante voc vericar, a partir da escala pedaggica construda pelo
Inep para cada uma das reas, o signicado pedaggico da nota que voc obteve
em cada rea. As notas no so comparveis diretamente entre as reas.
Qual o peso de cada questo do Enem utilizado no clculo da nota?
No Enem, no so utilizados pesos para o clculo das notas. A estimao da
procincia tem como base a consistncia das respostas e as caractersticas
(parmetros) de cada questo. Entretanto, esses parmetros no podem ser
interpretados como pesos, e est errada a inferncia de que a divulgao dos
parmetros possibilitaria a reproduo dos clculos a partir de simples ponderaes.
A utilizao da TRI no clculo dos resultados torna a prova do Enem mais
difcil?
O uso da TRI no clculo dos resultados no altera a diculdade da prova. A
TRI no modica, signicativamente, a classicao dos participantes em relao
ao percentual de acertos. Contribui, sim, para detalhar melhor as notas, o que ajuda
a evitar grande nmero de empates. Aplicando ou no a TRI, o mais preparado se
sair melhor na prova.
Como sei se fui bem na prova depois da divulgao das notas?
Meses depois da aplicao do exame, o Inep divulga em seu site, na pgina de
acompanhamento do Exame, o boletim do participante, o qual registra a porcentagem
de participantes do Enem por faixa de procincia (abaixo de 300, 300 a 400, 400
a 500, 500 a 600 e, assim, sucessivamente). A partir dessa distribuio, possvel
vericar em qual faixa sua nota se posiciona.
Quais as notas mnima e mxima nas provas objetivas?
As notas mnimas e mximas variam e dependem das questes da prova.
Como as questes das provas no so as mesmas, em cada ano, podemos ter notas
mnima e mxima diferentes. Na divulgao dos resultados, o Inep disponibilizar as
notas mnima e mxima das provas objetivas.
Entenda a sua
Nota no Enem
Guia do Participante
31
9 Entendendo tecnicamente a nota
da TRI
Apesar de alguns comentrios terem sido feitos anteriormente, destacaremos
novamente as principais caractersticas do modelo de probabilidade da TRI para o
clculo da nota do Enem.
A TRI modela a probabilidade de um participante responder corretamente a
um item (questo), como funo dos parmetros do item e da procincia desse
participante. Essa relao expressa por meio de uma funo monotnica crescente,
que indica que quanto maior o conhecimento do participante, maior ser sua
probabilidade de acertar o item (ver, por exemplo, Andrade et al., 2000; Baker; Kim,
2004; Hambleton et al., 1991; Klein, 2003; Pasquali, 1997). No Enem, a funo
monotnica uma funo logstica de 3 parmetros, desenvolvida por Birnbaum
(1968), em que a probabilidade P de uma resposta correta do participante j ao item
i (u
ji
= 1), em funo do parmetro de procincia
j
e dos parmetros do item a
i
, b
i

e c
i
, dada por

1 c
i
P(u
ji
= 1
|

j
, a
i
, b
i
, c
i
) = c
i
+
__________

1 + e
a
i
(
j
b
i
)
Para se obter a nota do participante do Enem, basta estimar (encontrar) o
valor do parmetro , que representa a nota do participante, levando em considerao
o vetor de respostas dele e os parmetros dos itens que compem a prova. Como
no possvel obter esse valor diretamente, mediante uma frmula simples,
preciso utilizar um mtodo matemtico mais sosticado para calcular a nota.
Existem, na literatura, alguns mtodos para o clculo da nota. O Enem e outras
avaliaes de larga escala, como, por exemplo, o Sistema de Avaliao da Educao
Bsica (Saeb), utilizam o mtodo denominado Expected a Posteriori (EAP).
O mtodo EAP tem como princpio usar uma funo de probabilidade a priori
para calcular a nota. Essa funo tem a informao da nota mdia e do desvio
padro dos participantes concluintes do ensino mdio da rede pblica que realizaram
o Enem em 2009. A partir dessa informao, as notas so calculadas com mais
preciso para a maior parte dos participantes, por meio da frmula apresentada a
seguir:
Entenda a sua
Nota no Enem
Guia do Participante
32

R
L(u | ).f()d
E( | u) =
____________

R
L(u | ).f()d
Nota-se que f() a funo de probabilidade a priori; L(u | ) uma funo
matemtica associada ao padro de respostas dos participantes e aos parmetros
dos itens, valores conhecidos; e representa a procincia do participante que ser
calculada. Para obter a nota do participante, necessrio resolver a expresso
acima, que exige um processo de integrao.
Na matemtica, a resoluo de integrais nem sempre to simples, pois
depende da complexidade da funo que est sendo usada no caso do Enem,
essa funo bastante complexa. Para contornar esse problema, Stroud e Secrest
(1966) sugerem a criao de intervalos para funes complexas e a resoluo
numrica de cada intervalo dessa funo esse mtodo conhecido como
quadratura Gaussiana , sendo que a expresso pode ser resolvida pela soma
desses intervalos com o uso da seguinte frmula:

q

X
k
L(X
k
) f (X
k
)
=

____________

X
k
L(X
k
) f (X
k
)

k =1
Essa a frmula pela qual obtida a nota dos participantes do Enem,
representada nela por

. Detalhes sobre as expresses apresentadas nesta seo

podem ser consultadas nas referncias bibliogrcas a seguir.
k =1
q

Entenda a sua
Nota no Enem
Guia do Participante
33
10 Referncias bibliogrcas
ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. DA C. Teoria da Resposta ao Item:
conceitos e aplicaes. So Paulo: Associao Brasileira de Estatstica (ABE), 2000.
BAKER, F. B.; KIM, S. Item response theory: parameter estimation techniques. Nova
York: Marcel Dekker, 2004.
BIRNBAUM, A. Some latent trait models and their models ant their use in inferring
an examinees ability. In: Lord, F. M.; NOVICK, M. R. (Ed.). Statistical theories of
mental test scores. Reading, MA: Addison-Wesley, 1968. p. 397-479.
HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item
response theory. California: Sage Publications, 1991.
KLEIN, R. Utilizao da Teoria de Resposta ao Item no Sistema Nacional de Avaliao
da Educao Bsica (Saeb). Ensaio: avaliao e polticas pblicas em educao, Rio
de Janeiro, v. 11, n. 40, p. 283-296, 2003.
LAWLEY, D. N. On problems connected with item selection and test construction. In:
PROCEEDINGS OF THE ROYAL SOCIETY OF EDINBURGH, 61A, 1943. p. 273-287.
LORD, F. M. A Theory of Test Scores. Psychometric Monograph, n. 7, 1952.
PASQUALI, L. Psicometria: teoria e aplicaes. Braslia: Ed. UnB, 1997.
SOARES, T. M.; GONALVES, F. B.; GAMERMAN, D. An Integrated Bayesian Model
for DIF Analysis. Journal of Educational and Behavioral Statistics, v. 34, n. 3,
p. 348, sep. 1, 2009.
STROUD, A. H; SECREST, D. Gaussian Quadrature Formulas. Englewood Clifs. New
Jersey: Prentice-Hall, 1996.
YEN, W. M.; FITZPATRICK, A. R. Item Response Theory. In: BRENNAN, R. L. Educational
Measurement. American Council on Education/Oryx Press Series on Higher
Education, 2006. p. 111-153.
Presidncia da Repblica Federativa do Brasil
Ministrio da Educao
Secretaria Executiva
Instituto Nacional de Estudos e Pesquisas
Educacionais Ansio Teixeira (Inep)
0
5
2 5
7 5
9 5
1 0 0
ENTENDA A SUA
NOTA NO ENEM
GUIA DO PARTICIPANTE
0
5
2 5
7 5
9 5
1 0 0