ENTENDA A SUA

NOTA NO ENEM
GUIA DO PARTICIPANTE

Presidncia da Repblica Federativa do Brasil Ministrio da Educao Secretaria Executiva Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep)

ENTENDA A SUA

NOTA NO ENEM
GUIA DO PARTICIPANTE

Braslia-DF 2012

Equipe Tcnica Camila Akemi Karino Eduardo Carvalho Sousa Coordenao-Geral de Instrumentos e Medidas Diretoria de Avaliao da Educao Bsica (Daeb) Adriano Ferreti Borgatto Dalton Francisco de Andrade Universidade Federal de Santa Catarina Equipe de Editorao Jos Miguel dos Santos Marcos Hartwich Diretoria de Estudos Educacionais (Dired)

SUMRIO

1 apresentao............................................................................................................... 5 2 INTRODUO..................................................................................................................... 7 3 Calculando as notas............................................................................................ 11 4 Qualidade das questes..................................................................................... 21 5 Relao entre a nota da TRI e o nmero de acertos................. 25 6 Composio das notas........................................................................................ 27 7 Avaliaes que utilizam a TRI........................................................................ 27 8 Principais dvidas sobre a nota do Enem............................................ 29 9 Entendendo tecnicamente a nota da TRI.............................................. 31 10 Referncias bibliogrficas............................................................................ 33

1 APRESENTAO

Prezado Participante, Passadas as provas do Exame Nacional do Ensino Mdio (Enem), para as quais voc dedicou grande parte do seu tempo se preparando, vem a expectativa do resultado, ou seja, das notas. Este um momento muito importante para voc e sua famlia, afinal, com a nota que voc se candidata a vagas em Instituies Pblicas de Ensino Superior e a programas do Governo como, por exemplo, o Programa Universidade para Todos (Prouni) e o Fundo de Financiamento Estudantil (Fies). Tendo em vista que o Enem utiliza uma metodologia de correo das questes objetivas, a Teoria de Resposta ao Item (TRI), que diferente da metodologia clssica, ns do MEC e do Inep entendemos que um direito seu conhecer e entender o sistema de correo utilizado no Enem. Esse o objetivo deste Guia do Participante Entenda a sua nota no Enem. Esperamos, dessa forma, contribuir para dirimir as dvidas que voc possa ter em relao sua nota nas questes objetivas, da mesma forma como fizemos com o Guia do Participante A redao no Enem 2012. Contamos com sua participao para que possamos aprimorar este Guia em edies futuras e esperamos que suas notas tenham refletido todo seu esforo, dedicao e tempo de estudo, e que possam proporcionar o alcance de seus sonhos e objetivos.

Luiz Cludio Costa Presidente do Inep

Entenda a sua Nota no Enem

Guia do Participante

2 INTRODUO

Como calculada a minha nota no Enem? Por que acertei mais questes este ano do que no ano anterior e a minha nota menor? Qual o peso de cada questo do Enem? Por que quem acerta todas as questes no recebe nota 1000 ou os que erram todas no tm nota zero? Para lhe ajudar, esta cartilha foi elaborada com objetivo de esclarecer suas dvidas. O Enem uma prova em que a nota no calculada da mesma forma como estamos acostumados nas salas de aula. Por isso, muitos participantes tm dificuldade para entend-la. Nas avaliaes, normalmente, as nossas notas so calculadas de 0 a 10 ou de 0 a 100, e a forma de calcular a nota simples, bastando somar as questes corretas na prova. Imaginemos que um professor elabore uma prova com 10 questes, para avaliar o conhecimento dos seus alunos de Matemtica, em que cada questo vale um ponto. Ao final da prova, o Aluno A e o Aluno B acertaram seis questes, porm no acertaram exatamente as mesmas questes. Ser que os alunos deveriam receber a mesma nota? Ser que os dois alunos possuem o mesmo conhecimento de Matemtica? Assumir que todas as questes fornecem a mesma quantidade de informao sobre o conhecimento que o participante domina no a melhor opo metodolgica. H questes que representam melhor o que est sendo avaliado do que outras e h questes que informam mais. A Teoria de Resposta ao Item (TRI) capta isso. Neste texto, explicaremos o clculo da nota da prova objetiva, uma vez que a nota da redao calculada de outra forma, j explicada no Guia do Participante: A redao no Enem 2012.1 Na prova objetiva do Enem, a nota no calculada levando-se em conta somente o nmero de questes corretas, mas tambm a coerncia das respostas do participante diante do conjunto das questes que formam a prova realizada. Essa coerncia ser discutida mais adiante. Essa nota atribuda em uma mtrica (escala) criada especialmente para o Enem pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep), com o objetivo de medir o

1 Disponvel em: <http://download.inep.gov.br/educacao_basica/enem/downloads/2012/guia_ participante_redacao_enem2012.pdf>.

Entenda a sua Nota no Enem

Guia do Participante

conhecimento (proficincia) do participante em quatro reas: Matemtica e suas Tecnologias; Linguagens, Cdigos e suas Tecnologias; Cincias da Natureza e suas Tecnologias; e Cincias Humanas e suas Tecnologias. Na avaliao do conhecimento, a unidade de medida se expressa por meio do conjunto de itens pertencentes a uma escala de proficincia; assim, os parmetros dos itens so estabelecidos previamente. A proficincia verificada a partir da anlise do perfil das respostas do participante a esse conjunto de itens. No Enem, para medir o conhecimento do participante, a prova elaborada com 45 questes em cada rea do conhecimento, segundo a matriz de referncia do Exame, que toma como base os documentos oficiais que subsidiam o ensino mdio. O Inep criou uma escala para cada rea do conhecimento. Isso quer dizer que quatro notas so calculadas, sendo que cada escala depende de dois valores:

valor de posio ou de referncia, para o qual foi atribudo o valor 500, que
representa o desempenho mdio dos concluintes do ensino mdio da rede pblica de 2009 que realizaram o exame naquele ano;

valor de disperso, para o qual foi atribudo o valor 100, que representa uma
medida de variabilidade mdia das notas desses concluintes em relao ao desempenho mdio 500. Esse valor conhecido como desvio padro. A partir desses dois valores, podemos dizer que um participante com nota 600 apresenta proficincia com uma unidade de desvio padro acima da proficincia mdia dos concluintes de 2009. Essa escala poderia ser representada graficamente por uma rgua, como a apresentada a seguir, na qual as proficincias e os itens podem ser todos posicionados e seus pontos interpretados pedagogicamente, como veremos mais frente.
Posio de referncia

500

400

600

800

300

700

200

Escala de proficincia

8Entenda a sua
Nota no Enem
Guia do Participante

O que uma escala?

No contexto educacional, a escala de proficincia uma forma de estabelecer uma unidade de medida padro do conhecimento. Sem uma unidade de medida preestalecida, difcil fazer comparaes e julgamento de valor.

Para o Enem foram desenvolvidas quatro escalas, uma para cada rea do conhecimento. Como medir a proficincia em Matemtica?

1,53 m

Para medir o conhecimento, aplicam-se provas com itens pertencentes a uma escala de proficincia.

NOTA: Proficincia a nota do participante.

Entenda a sua Nota no Enem

Guia do Participante

A sua nota na escala (rgua) pode assumir qualquer valor no conjunto dos nmeros reais, como, por exemplo, 632,6, 421,8, etc. Outro aspecto importante no clculo da nota que as notas mnima (nenhum acerto) e mxima (45 acertos) dependem do grau de dificuldade da prova. Como j comentado, a prova constituda por um conjunto de itens com parmetros previamente conhecidos. So esses parmetros que definem os valores de mnimo e mximo da prova. Assim, quando a prova composta com muitos itens fceis, o mximo da prova tender a ser mais baixo, e quando ela composta com muitos itens difceis, o mnimo tender a ser mais alto. Ento, est claro que a nota mnima no 0 e a nota mxima no 1.000. Em outras palavras, o mnimo e o mximo em cada prova dependem somente das questes que compem a prova e no de quem as responde. Apesar de as provas poderem apresentar mnimos e mximos diferentes, seus resultados so comparveis, pois eles so todos calculados na mesma escala construda a partir de uma nica matriz de competncias. Da mesma forma, a comparao entre os resultados das diferentes reas deve ser feita em termos pedaggicos, ou seja, a partir da interpretao pedaggica da escala de cada rea. Em outras palavras, a comparao entre uma nota 800 em Matemtica e suas Tecnologias e uma nota 750 em Cincias da Natureza e suas Tecnologias s deve ser feita em termos de quanto de conhecimento em Matemtica e suas Tecnologias e em Cincias da Natureza e suas Tecnologias esses valores representam pedagogicamente.

10Entenda a sua
Nota no Enem
Guia do Participante

3 Calculando as notas

J est claro que a nota no Enem no calculada usando-se somente o nmero de acertos, que a nota mnima no 0 e que a nota mxima no 1.000, mas como calculada a nota? A nota do Enem calculada mediante um modelo matemtico da Teoria da Resposta ao Item (TRI), em que cada questo um item. Essa teoria considera para o clculo da nota a consistncia da resposta segundo o grau de dificuldade de cada questo. Considerando que o clculo das notas de acordo com a TRI exige um conhecimento avanado de estatstica e a utilizao de recurso computacional, com o objetivo de ter a mxima confiana nos resultados, os clculos so realizados de forma independente por trs grupos distintos de especialistas, todos profissionais com larga experincia na rea e com formao em estatstica, matemtica e/ou psicometria. Esse procedimento de tripla conferncia garante a qualidade dos resultados do Enem. O clculo da nota exige 6 etapas, apresentadas no infogrfico a seguir:

Entenda a sua Nota no Enem

11

Guia do Participante

Aplicao das provas

Processamento e constituio das bases de dados

JOO ABCAABCDE MARIA BCDEABDCA CARLOS CCDEABCDB

1 ABCAABCDE 2 BCDEABDCA 3 CCDEABCDB

Desidentificao das bases de dados

Envio da base de dados para o clculo das notas por trs equipes de analistas (estatsticos e psicometristas)

Equipe 1

Equipe 2

Equipe 3

1 600 2 700 3 800

1 600 2 700 3 800

1 600 2 700 3 800

Conferncia Conferncia dos dados dados das dos das trs equipes equipes trs

Divulgao dos resultados no Portal Enem JOO 600 MARIA 700 CARLOS 800

12Entenda a sua
Nota no Enem
Guia do Participante

O modelo matemtico da TRI usado no Enem (ver detalhes tcnicos mais adiante) considera trs parmetros (informaes) essenciais para avaliar a qualidade do item e, consequentemente, a qualidade da medida: a) parmetro de discriminao: o poder de discriminao que cada questo possui para diferenciar os participantes que dominam dos participantes que no dominam a habilidade avaliada naquela questo (item); b) parmetro de dificuldade: associado dificuldade da habilidade avaliada na questo, quanto maior seu valor, mais difcil a questo. Ele expresso na mesma escala da proficincia. Em uma prova de qualidade, devemos ter questes de diferentes nveis de dificuldade para avaliar adequadamente os participantes em todos os nveis de conhecimento; c) parmetro de acerto casual: em provas de mltipla escolha, um participante que no domina a habilidade avaliada em uma determinada questo da prova pode responder corretamente a esse item por acerto casual. Assim, esse parmetro representa a probabilidade de um participante acertar a questo no dominando a habilidade exigida.

1,0 0,9 0,8 0,7

Probabilidade de acerto

a
0,6 0,5 0,4 0,3 0,2 0,1 0,0 300 400 500 b 600 700 800

c Participante A

Proficincia

Grfico 1 Curva Caracterstica do Item

Fonte: Elaborado pela Daeb/Inep para este Guia.

Entenda a sua Nota no Enem

13

Guia do Participante

O Grfico 1 apresenta o perfil de uma questo em relao a seus parmetros. A curva obtida pelo modelo da TRI e mostra a relao entre a probabilidade de acerto e os parmetros dos itens e a proficincia do respondente. Podemos notar, ento, que somente respondentes com proficincia acima do valor do parmetro b de dificuldade que tero alta probabilidade de responder corretamente questo. Em nosso exemplo, o Participante A, com proficincia em torno de 650, tem, aproximadamente, probabilidade de 0,85 de responder corretamente questo representada. Em outras palavras, espera-se que 85% dos participantes com proficincia 650 acertem essa questo ou, ainda, que a habilidade avaliada nessa questo seja de domnio da maioria das pessoas que tm proficincia 650 ou mais. O Inep, a partir de pr-testagens nacionais e de algumas aplicaes iniciais do Enem, obteve os valores dos parmetros a, b e c de milhares de questes, montando assim um banco de itens (questes) para cada uma das quatro reas. A partir do conhecimento dos valores desses parmetros, as questes so posicionadas na escala (rgua), permitindo, desse modo, sua interpretao pedaggica. O posicionamento de cada questo nos nveis da escala (rgua) se d a partir de critrios probabilsticos, os quais garantem que somente participantes com proficincia igual ou maior que a daquele nvel possuem alta probabilidade de responder corretamente s questes que esto nesse nvel e em nveis inferiores. Geralmente, o posicionamento do item est um pouco acima do parmetro de dificuldade, sendo uma combinao dos trs parmetros. A questo sempre posicionada no valor da rgua onde a probabilidade de acerto est prxima de 0,65, o qual representa que participantes neste nvel possuem alta probabilidade de dominar o contedo da questo. Questes pedagogicamente mais fceis sero posicionadas na parte inferior da rgua e aquelas pedagogicamente mais difceis sero posicionadas na parte superior da rgua. O grande diferencial da TRI que questes e participantes so posicionados na mesma rgua. Na figura a seguir, podemos dizer que o Participante A deve dominar as habilidades avaliadas nas questes 1, 34, 45, 12 e 16, e no dominar aquelas contempladas nas questes 19 e 35. Por sua vez, o Participante B deve dominar somente as habilidades exigidas nas questes 1 e 34. Com isso, podemos dizer que o Participante A deve dominar, alm das habilidades contempladas nas questes 1 e 34, que so de domnio do Participante B, tambm aquelas das questes 12, 16 e 45, portanto sua nota dever ser maior.

14Entenda a sua
Nota no Enem
Guia do Participante

400

500

600

800

300

700

NOTA: A escala tem uma interpretao pedaggica, e as questes so posicionadas na rgua (escala) de acordo com uma coerncia pedaggica. O participante tambm ser posicionado na rgua, ou seja, ter sua nota conforme seu conhecimento pedaggico. Isso quer dizer que sua nota no depende das notas dos demais participantes, mas apenas do posicionamento das questes na rgua.

Para ilustrar a posio das questes na rgua, o Inep desenvolveu um mapa de itens por rea do conhecimento. Nesse mapa so apresentadas descries de habilidades avaliadas em questes de provas. Abaixo so apresentadas algumas dessas descries entre os nveis 650 e 700 de cada escala de proficincia. Voc poder visualizar o mapa completo e alguns itens no site do Inep: www.inep.gov.br
Cincias da Natureza e suas Tecnologias 697,2
Avaliar o combustvel mais energtico em funo da densidade e do calor de combusto.

200
Questo 1

Questo 34

Participante B

Questo 45

Questo 16 Questo 12

Participante A

Questo 19

Questo 35

681,2

Aplicar a lei da refrao luminosa em materiais de ndice de refrao negativo.

659,4

Relacionar o fenmeno da difrao em ondas luminosas e sonoras em diferentes situaes.

650,0

Calcular densidades de amostras que obedeam a normas internacionais.

Entenda a sua Nota no Enem

15

Guia do Participante

Cincias Humanas e suas Tecnologias 688,9

Analisar com base em grfico a conquista do voto pelos analfabetos.

671,2 662,5

Identificar mecanismos de controle social no perodo da Repblica Velha, a partir de fragmentos do discurso das oligarquias. Identificar a atividade econmica diretamente associada ao desenvolvimento econmico e urbano da Regio Centro-Oeste.

653,1

Identificar os interesses da elite brasileira em manter a estrutura social e poltica vigente no perodo posterior Independncia do Brasil.

Linguagens, Cdigos e suas Tecnologias 700,0

Analisar o uso de pronomes pessoais como marca de norma padro em charge.

665,6

Reconhecer caractersticas de hipertextualidade em texto informativo.

653,1 652,3

Reconhecer posicionamento crtico quanto ao uso da variedade no padro na escrita, a partir de texto multimodal. Reconhecer o sentido estabelecido por conectivos em texto literrio. Entender a temtica e o modo de construo do discurso narrativo em texto literrio.

Matemtica e suas Tecnologias 700,0

Determinar uma expresso algbrica baseada nos termos de uma sequncia de figuras geomtricas (quadrados), atendendo a um padro de formao, a partir da relao entre o nmero de lados e o nmero de figuras.

688,2 685,4 678,1

Calcular o volume de material necessrio para a fabricao de um objeto vazado (cubo). Calcular a probabilidade de um evento utilizando dados contidos em tabela de dupla entrada. Determinar, em uma sequncia de listas numricas justapostas na forma de um empilhamento triangular, o padro da soma de seus termos.

16Entenda a sua
Nota no Enem
Guia do Participante

No clculo da nota, o modelo matemtico da TRI usado no Enem considera a coerncia das respostas corretas do participante. Espera-se que participantes que acertaram as questes difceis devam tambm acertar as questes fceis, pois, entende-se que a aquisio do conhecimento ocorre de forma cumulativa, de modo que habilidades mais complexas requerem o domnio de habilidades mais simples. Lembrando que o posicionamento das questes na escala de proficincia determinado a partir das respostas dos estudantes. Assim, na rgua de Cincias da Natureza, um participante que capaz de responder a uma questo que exige a avaliao de qual o combustvel mais energtico em funo da densidade e do calor de combusto (posicionado no nvel 697,2 da escala) tem alta probabilidade de responder a uma questo que exige o clculo de densidade de amostras que obedeam s normas internacionais, que est posicionada no nvel 650 da escala. Por outro lado, se o participante acerta a questo de um nvel acima, que utiliza conhecimentos de um nvel abaixo, podemos inferir que no existe coerncia nas respostas e, dessa forma, os acertos acrescentaro menos na nota do participante. Na rgua a seguir, temos as respostas a 10 questes j posicionadas, dadas por dois participantes. Ambos acertaram a mesma quantidade de questes (5), mas o Participante A acertou as questes mais fceis e, a partir de um certo nvel de dificuldade, passou a errar, conforme o esperado pedagogicamente, logo sua nota ser maior do que a do Participante B, pois este acertou as questes mais difceis e errou as mais fceis. Entende-se, de acordo com o modelo da TRI utilizado no Enem, que foram acertadas no chute. Esse controle devido ao parmetro de acerto casual.

Entenda a sua Nota no Enem

17

Guia do Participante

Difcil

Nota 480

Participante B
800 700 600

Participante A

Nota 310

500

400

A coerncia pedaggica esperada que o participante acerte as questes que esto abaixo de seu nvel de proficincia. Se a proficincia do Participante B fosse alta, a probabilidade de acerto dos itens fceis seria grande. Todavia, ele errou os itens fceis, ento sua proficincia no deve ser alta.

300

200

Fcil

NOTA: Quando dizemos que o participante acertou uma questo no chute, no significa que sua nota ir diminuir, mas ela no tem tanto valor como se o participante tivesse acertado os itens com a coerncia pedaggica esperada. Ento, sempre melhor responder questo do que a deixar em branco, pois uma questo certa sempre aumenta a nota, e uma questo deixada em branco corrigida como errada.

18Entenda a sua
Nota no Enem
Guia do Participante

A ilustrao a seguir tambm exemplifica a coerncia esperada.

Altura

h= 80 cm

Dificuldade do Item

Item 1

Item 2

Item 3

Item 4

Item 5

Fazendo uma analogia, imagine uma competio de corrida com barreiras cuja altura aumenta ao longo do percurso. Imagine, ainda, um atleta que durante os treinos tenha conseguido saltar barreiras de at 80 centmetros. Espera-se que esse atleta, durante a competio, consiga saltar facilmente as barreiras com altura menor que 80 centmetros e tenha dificuldade para saltar barreiras com altura superior. Da mesma forma, espera-se que um participante apresente, durante a prova, coerncia pedaggica em suas respostas.

A nota do participante depende somente de seu conhecimento e de seu momento na prova. Ela no depende do desempenho dos outros participantes e nem do desempenho mdio dos concluintes regulares de 2009. O valor 500 atribudo a esses participantes de 2009 utilizado somente como referncia para a construo e a interpretao pedaggica da escala na qual sua proficincia (conhecimento) est representada. Depois dessas explicaes, podemos voltar situao da prova com 10 questes, apresentada no incio dessa cartilha, na qual os Alunos A e B acertaram seis questes cada. Se o Aluno A acertou as questes mais fceis posicionadas na

Entenda a sua Nota no Enem

19

Guia do Participante

parte inferior da rgua e o Aluno B acertou duas questes fceis, duas intermedirias e duas difceis, quem ter a maior nota? Se considerarmos o mesmo modelo matemtico da TRI que usado na prova objetiva do Enem, o Aluno A ter maior nota por ter respondido com mais coerncia s questes. Podemos afirmar que o Aluno A domina mais o contedo abordado na prova, elaborada pelo professor, do que o Aluno B.

IMPORTANTE: Para os participantes com o mesmo nmero de acertos na prova, ter a maior nota quem acertar as questes de forma mais coerente pedagogicamente.

20Entenda a sua
Nota no Enem
Guia do Participante

] 4 Qualidade das questes

IES 2 IES 3

IES 1 Elaborao dos itens O Inep realiza parcerias com instituies de educao superior interessadas em elaborar e revisar itens para a composio das provas do Enem. O objetivo dessas parcerias aumentar a participao da comunidade acadmica de todo o Brasil nos processos de avaliao educacional, agregando experincia, conhecimento e diversidade.

INEP

IES 4 IES 5

Banco Nacional de itens (BNI) gerenciado pelo INEP e consiste em um sistema de banco de dados no qual os itens de provas so armazenados de forma segura. Esses itens ficam disponveis para a construo de provas. A manuteno do BNI depende da entrada constante de itens de qualidade.

TEORIA DE RESPOSTA AO ITEM (TRI)

4
TEORIA CLSSICA DOS TESTES (TCT)
A) C) E) B) D)

Dificuldade Discriminao Probabilidade de acerto ao acaso

Pr-teste O pr-teste consiste na

aplicao de um conjunto de itens a uma amostra de alunos com caractersticas semelhantes s da populao para a qual a prova se destina. a forma emprica de se avaliar a qualidade tcnico-pedaggica e psicomtrica dos itens. Essa etapa tem como objetivo captar subsdios importantes para aumentar a preciso da prova que ser aplicada a milhes de participantes do Enem.

Anlise depois do Pr-teste A partir

das respostas dos alunos, realiza-se uma srie de anlises estatsticas e pedaggicas; por exemplo, avaliam-se a dificuldade do item, a capacidade de discriminao e a possibilidade de acerto ao acaso. Depois dessas anlises, as questes que atendem aos critrios ficam disponveis para a montagem das provas, e as demais questes so descartadas ou encaminhadas para reformulao.

5
A=B +C
2

Elaborao das provas

Durante a seleo dos itens para a composio de uma prova, os ndices psicomtricos obtidos a partir do pr-teste so utilizados. Outras caractersticas consideradas so: contedo abordado, temtica e habilidade da matriz de referncia.

144

3+4+5

Questo adequada
Encaminhada ao Banco Nacional de Itens e utilizada para a elaborao das provas.

Questo inadequada
Retorna para reformulao ou descarte.

Entenda a sua Nota no Enem

21

Guia do Participante

Como mencionado, as questes passam por um pr-teste e sua qualidade e seu nvel de dificuldade so avaliados pela TRI. As questes que so reprovadas no pr-teste podem retornar para que os elaboradores as aperfeioem, e as questes que so aprovadas ficam disponveis no banco de itens do Inep para serem usadas na prova do Enem, com seus parmetros j na escala do Exame. Quando o Inep elabora as provas do Enem, so colocadas questes de acordo com a matriz de competncias e com o grau de dificuldade estabelecido no prteste. Portanto, todas as provas do Enem so elaboradas com questes fceis, intermedirias e difceis, para os participantes serem avaliados corretamente, para obterem a certificao da educao de jovens e adultos (EJA) ou para sua admisso em uma universidade. Conhea as Instituies de Educao Superior (IES) que so parceiras do Inep no processo de elaborao de itens: Centro Federal de Educao Tecnolgica Celso Suckow da Fonseca Centro Federal de Educao Tecnolgica de Minas Gerais Fundao Universidade Federal do ABC Fundao Universidade Federal do Tocantins Instituto Federal de Educao, Cincia e Tecnologia de Braslia Instituto Federal de Educao, Cincia e Tecnologia de Minas Gerais Instituto Federal de Educao, Cincia e Tecnologia de So Paulo Instituto Federal de Educao, Cincia e Tecnologia do Esprito Santo Instituto Federal de Educao, Cincia e Tecnologia do sul de Minas Gerais Instituto Federal de Educao, Cincia e Tecnologia Sul-Rio-Grandense Universidade Federal da Bahia Universidade Federal de Alagoas Universidade Federal de Alfenas Universidade Federal de Campina Grande Universidade Federal de Gois Universidade Federal de Juiz de Fora

22Entenda a sua
Nota no Enem
Guia do Participante

 Universidade Federal de Lavras Universidade Federal de Mato Grosso Universidade Federal de Mato Grosso do Sul Universidade Federal de Minas Gerais Universidade Federal de Ouro Preto Universidade Federal de Santa Maria Universidade Federal de So Carlos Universidade Federal de Uberlndia Universidade Federal de Viosa Universidade Federal do Acre Universidade Federal do Cear Universidade Federal do Estado do Rio de Janeiro Universidade Federal do Par Universidade Federal do Paran Universidade Federal do Rio de Janeiro Universidade Federal do Rio Grande Universidade Federal do Tringulo Mineiro Universidade Federal dos Vales do Jequitinhonha e Mucuri Universidade Federal Fluminense Universidade Federal Rural do Rio de Janeiro Universidade Tecnolgica Federal do Paran

Entenda a sua Nota no Enem

23

Guia do Participante

5 Relao entre a nota da TRI e o nmero de acertos

Apesar de a nota do Enem no ser calculada diretamente pelo nmero de acertos, existe uma relao entre o nmero de acertos e a nota calculada pela TRI. Isso quer dizer que um participante que teve um nmero de acertos alto ter nota alta no Enem, e um participante que teve pouco acerto ter nota baixa, notas essas relacionadas com os valores mnimo e mximo de cada prova. Os grficos, a seguir, mostram a relao entre a nota da TRI e o nmero de acertos de 300 participantes da prova do Enem 2011. Observe que se a nota da TRI fosse exatamente o nmero de acertos, os pontos nos grficos estariam alinhados representando uma reta. As variaes desses pontos em relao reta mostram que participantes com o mesmo nmero de acertos podem ter notas diferentes no Enem. Note, no entanto, que essa variao no to grande. Poderamos nos perguntar: se existe alta relao entre o nmero de acertos e a nota da TRI, para que usar a nota da TRI? No seria mais simples usar o nmero de acertos? Uma das vantagens de se utilizar a TRI que sua nota nos possibilita fazer comparaes entre notas de diferentes provas da mesma rea, mas os acertos de provas diferentes no so diretamente comparveis. Com ela, podemos tambm construir e interpretar pedagogicamente a escala de proficincia. A seguir, alguns exemplos da relao entre a nota da TRI e o nmero de acertos nas provas de 2011. u Cincias da Natureza e suas Tecnologias: o Participante 1 teve 6 acertos e sua nota foi 300,8; o Participante 2 teve 19 acertos e sua nota foi 500,5 (lembre que a nota 500 representa a nota mdia dos concluintes regulares do ensino mdio de 2009), ou seja, ele acertou menos da metade da prova e seu desempenho foi equivalente ao desempenho mdio dos concluintes regulares do ensino mdio de 2009; e o Participante 3 teve 41 acertos com nota 825,0 (a nota mxima, ou seja, para quem acertou 45 questes, foi 867,2). u Cincias Humanas e suas Tecnologias: o Participante 1 teve 8 acertos e sua nota foi 279,4; o Participante 2 teve 24 acertos, mais da metade das questes, e sua nota foi 507,0; e o Participante 3 teve 44 acertos e sua nota foi 784,4 (a nota mxima, ou seja, para quem acertou 45 questes foi 793,1).

Entenda a sua Nota no Enem

25

Guia do Participante

u Linguagens, Cdigos e suas Tecnologias: o Participante 1 teve 5 acertos e sua nota no Enem foi 316,8; o Participante 2 teve 21 acertos e sua nota foi 498,9; e o Participante 3 teve 44 acertos e sua nota foi 756,1 (a nota mxima, ou seja, para quem acertou 45 questes foi de 795,5). u Matemtica e suas Tecnologias: o Participante 1 teve 5 acertos e sua nota no Enem foi 330,6; o Participante 2 teve 15 acertos e sua nota foi 504,0. J o Participante 3 teve 41 acertos e sua nota foi 878,7 (a nota mxima, ou seja, para quem acertou 45 questes foi de 953,0).

Cincias da Natureza e suas Tecnologias

900 800 Participante 3

Cincias Humanas e suas Tecnologias

900 800 Participante 3

Nota no Enem

Nota no Enem

700 600 500 400 300 200 0 5 10 15 20 25 30 35 40 45 Participante 1 Participante 2

700 600 500 400 300 200 0 5 Participante 1 10 15 20 25 30 35 40 45 Participante 2

Nmero de Acertos

Nmero de Acertos

Linguagens, Cdigos e suas Tecnologias

900 900 800

Matemtica e suas Tecnologias

Participante 3

Participante 3

Nota no Enem

800 700 600 500 400 300 200 0 5 10 15 20 25 30 35 40 45 Participante 1 Participante 2

Nota no Enem

700 600 500 400 300 200 0 5 Participante 1 10 15 20 25 30 35 40 45 Participante 2

Nmero de Acertos

Nmero de Acertos

Grfico 2 Relao entre o nmero de acertos e a nota calculada pela TRI

Fonte: Elaborado pela Daeb/Inep para este Guia.

26Entenda a sua
Nota no Enem
Guia do Participante

6 Composio das notas

Ao final, o participante receber cinco notas, uma para cada rea da prova objetiva e a nota da redao. Cada faculdade/universidade tem regras prprias para utilizar as notas de ingresso, colocando peso nas notas das reas que julgue ser mais importantes para o curso que est sendo pleiteado ou fazendo uma mdia aritmtica simples.

7 Avaliaes que utilizam a TRI

O uso da TRI em avaliaes educacionais teve incio no Brasil com o Sistema de Avaliao da Educao Bsica (Saeb), em 1995, e, posteriormente, foi implementado no Exame Nacional para Certificao de Competncias de Jovens e Adultos (Encceja), na Prova Brasil e, por ltimo, no Enem. No mbito internacional, a TRI vem sendo utilizada largamente por diversos pases: Estados Unidos, Frana, Holanda, Coreia do Sul, China e pases participantes do Programa Internacional de Avaliao de Estudantes (Pisa). Um dos grandes exemplos de avaliao que utiliza a TRI o exame de proficincia em lngua inglesa (Toefl).

Entenda a sua Nota no Enem

27

Guia do Participante

8 Principais dvidas sobre a nota do Enem

Responderemos, a seguir, a algumas questes mais frequentes, perguntadas pelos participantes nas redes sociais.

Por que em 2011 acertei mais questes em Matemtica do que em 2010 e a nota foi menor? A nota na TRI no calculada diretamente pelo nmero de acertos. A nota se baseia na complexidade do que exigido em cada questo. Apesar de as provas de 2010 e 2011 possurem o mesmo contedo pedaggico, na prova de 2011, havia questes relativamente mais fceis do que na prova de 2010, o que exigiu dos participantes um maior nmero de acertos para mostrar o mesmo domnio.

Como calcular a mdia das minhas notas no Enem? O Inep divulga as notas por rea do conhecimento. Cada universidade tem autonomia para definir os critrios de uso das notas do Enem para ingresso na educao superior.

Como se pode, na prova do Enem 2011, acertar 40 questes em Linguagens, Cdigos e suas Tecnologias e minha nota ser 658,2? Apesar do nmero grande de acertos, preciso analisar a coerncia das respostas na prova. Provavelmente, das cinco questes que voc errou, deve haver algumas questes bem fceis e, por isso, o acrscimo da sua nota no foi maior. importante lembrar tambm que a nota mxima na prova de Linguagens, Cdigos e suas Tecnologias, na edio de 2011, foi 795,5, ou seja, caso voc tivesse acertado 45 questes, sua nota teria sido 795,5.

Entenda a sua Nota no Enem

29

Guia do Participante

Se acertei mais questes em Cincias Humanas que em Matemtica, por que minha nota em Matemtica maior? O importante voc verificar, a partir da escala pedaggica construda pelo Inep para cada uma das reas, o significado pedaggico da nota que voc obteve em cada rea. As notas no so comparveis diretamente entre as reas.

Qual o peso de cada questo do Enem utilizado no clculo da nota? No Enem, no so utilizados pesos para o clculo das notas. A estimao da proficincia tem como base a consistncia das respostas e as caractersticas (parmetros) de cada questo. Entretanto, esses parmetros no podem ser interpretados como pesos, e est errada a inferncia de que a divulgao dos parmetros possibilitaria a reproduo dos clculos a partir de simples ponderaes.

A utilizao da TRI no clculo dos resultados torna a prova do Enem mais difcil? O uso da TRI no clculo dos resultados no altera a dificuldade da prova. A TRI no modifica, significativamente, a classificao dos participantes em relao ao percentual de acertos. Contribui, sim, para detalhar melhor as notas, o que ajuda a evitar grande nmero de empates. Aplicando ou no a TRI, o mais preparado se sair melhor na prova.

Como sei se fui bem na prova depois da divulgao das notas? Meses depois da aplicao do exame, o Inep divulga em seu site, na pgina de acompanhamento do Exame, o boletim do participante, o qual registra a porcentagem de participantes do Enem por faixa de proficincia (abaixo de 300, 300 a 400, 400 a 500, 500 a 600 e, assim, sucessivamente). A partir dessa distribuio, possvel verificar em qual faixa sua nota se posiciona.

Quais as notas mnima e mxima nas provas objetivas? As notas mnimas e mximas variam e dependem das questes da prova. Como as questes das provas no so as mesmas, em cada ano, podemos ter notas mnima e mxima diferentes. Na divulgao dos resultados, o Inep disponibilizar as notas mnima e mxima das provas objetivas.

30Entenda a sua
Nota no Enem
Guia do Participante

9 Entendendo tecnicamente a nota da TRI

Apesar de alguns comentrios terem sido feitos anteriormente, destacaremos novamente as principais caractersticas do modelo de probabilidade da TRI para o clculo da nota do Enem. A TRI modela a probabilidade de um participante responder corretamente a um item (questo), como funo dos parmetros do item e da proficincia desse participante. Essa relao expressa por meio de uma funo monotnica crescente, que indica que quanto maior o conhecimento do participante, maior ser sua probabilidade de acertar o item (ver, por exemplo, Andrade et al., 2000; Baker; Kim, 2004; Hambleton et al., 1991; Klein, 2003; Pasquali, 1997). No Enem, a funo monotnica uma funo logstica de 3 parmetros, desenvolvida por Birnbaum (1968), em que a probabilidade P de uma resposta correta do participante j ao item i (uji = 1), em funo do parmetro de proficincia j e dos parmetros do item ai, bi e ci, dada por

1c i P(uji = 1| j , ai , bi , ci ) = ci + __________ a ( b ) 1 + e
i j i

Para se obter a nota do participante do Enem, basta estimar (encontrar) o valor do parmetro , que representa a nota do participante, levando em considerao o vetor de respostas dele e os parmetros dos itens que compem a prova. Como no possvel obter esse valor diretamente, mediante uma frmula simples, preciso utilizar um mtodo matemtico mais sofisticado para calcular a nota. Existem, na literatura, alguns mtodos para o clculo da nota. O Enem e outras avaliaes de larga escala, como, por exemplo, o Sistema de Avaliao da Educao Bsica (Saeb), utilizam o mtodo denominado Expected a Posteriori (EAP). O mtodo EAP tem como princpio usar uma funo de probabilidade a priori para calcular a nota. Essa funo tem a informao da nota mdia e do desvio padro dos participantes concluintes do ensino mdio da rede pblica que realizaram o Enem em 2009. A partir dessa informao, as notas so calculadas com mais preciso para a maior parte dos participantes, por meio da frmula apresentada a seguir:

Entenda a sua Nota no Enem

31

Guia do Participante

R L(u | ).f()d E( | u) = ____________ R L(u | ).f()d

Nota-se que f() a funo de probabilidade a priori; L(u | ) uma funo matemtica associada ao padro de respostas dos participantes e aos parmetros dos itens, valores conhecidos; e representa a proficincia do participante que ser calculada. Para obter a nota do participante, necessrio resolver a expresso acima, que exige um processo de integrao. Na matemtica, a resoluo de integrais nem sempre to simples, pois depende da complexidade da funo que est sendo usada no caso do Enem, essa funo bastante complexa. Para contornar esse problema, Stroud e Secrest (1966) sugerem a criao de intervalos para funes complexas e a resoluo numrica de cada intervalo dessa funo esse mtodo conhecido como quadratura Gaussiana , sendo que a expresso pode ser resolvida pela soma desses intervalos com o uso da seguinte frmula:

X L(Xk ) f (Xk ) k =1 k = ____________ q Xk L(Xk ) f (Xk )

k =1

Essa a frmula pela qual obtida a nota dos participantes do Enem, . Detalhes sobre as expresses apresentadas nesta seo representada nela por podem ser consultadas nas referncias bibliogrficas a seguir.

32Entenda a sua
Nota no Enem
Guia do Participante

10 Referncias bibliogrficas

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. DA C. Teoria da Resposta ao Item: conceitos e aplicaes. So Paulo: Associao Brasileira de Estatstica (ABE), 2000. BAKER, F. B.; KIM, S. Item response theory: parameter estimation techniques. Nova York: Marcel Dekker, 2004. BIRNBAUM, A. Some latent trait models and their models ant their use in inferring an examinees ability. In: Lord, F. M.; NOVICK, M. R. (Ed.). Statistical theories of mental test scores. Reading, MA: Addison-Wesley, 1968. p. 397-479. HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. California: Sage Publications, 1991. KLEIN, R. Utilizao da Teoria de Resposta ao Item no Sistema Nacional de Avaliao da Educao Bsica (Saeb). Ensaio: avaliao e polticas pblicas em educao, Rio de Janeiro, v. 11, n. 40, p. 283-296, 2003. LAWLEY, D. N. On problems connected with item selection and test construction. In: Proceedings of the Royal Society of Edinburgh, 61A, 1943. p. 273-287. LORD, F. M. A Theory of Test Scores. Psychometric Monograph, n. 7, 1952. PASQUALI, L. Psicometria: teoria e aplicaes. Braslia: Ed. UnB, 1997. Soares, T. M.; Gonalves, F. B.; Gamerman, D. An Integrated Bayesian Model for DIF Analysis. Journal of Educational and Behavioral Statistics, v. 34, n. 3, p. 348, sep. 1, 2009. STROUD, A. H; SECREST, D. Gaussian Quadrature Formulas. Englewood Cliffs. New Jersey: Prentice-Hall, 1996. YEN, W. M.; FITZPATRICK, A. R. Item Response Theory. In: BRENNAN, R. L. Educational Measurement. American Council on Education/Oryx Press Series on Higher Education, 2006. p. 111-153.

Entenda a sua Nota no Enem

33

Guia do Participante