Você está na página 1de 20

1

Guia de Elaborao e Reviso de Itens


Volume 1

MINISTRIO DA EDUCAO
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS
ANSIO TEIXEIRA
DIRETORIA DE AVALIAO DA EDUCAO BSICA

GUIA DE ELABORAO E REVISO DE ITENS

BRASLIA-DF
ABRIL 2010

Guia de Elaborao e Reviso de Itens


Volume 1

Diretoria de Avaliao da Educao Bsica


Coordenao Geral de Instrumentos e Medidas
Equipe Tcnica da CGIM
Adlia de S Pedreira
Adriana de Oliveira Barbosa
Alessandro Borges Tatagiba
Alexandre Marques Jaloto Rego
Ana Mgna Silva Couto
Andr Vitor Fernandes dos Santos
Andria Lunkes Conrado
Andr Teles Guedes
Camila Akemi Karino
Carlos Eduardo Sousa Costa
David de Lima Simes
Eduardo Carvalho Sousa
Gabriela Freitas de Almeida
Guilherme Veiga Rios
Gustavo Caetano Oliveira de Faria Almeida
Jane Machado da Silva
Joana Darc Ribeiro
Joo Luis Horta Neto
Joo Fonseca de Oliveira
Lenice Medeiros
Marco Csar Araujo Pereira
Miguel de Brito Santos
Maria Vilar Ramalho Ramos
Patricia Andra de Arajo Queiroz
Patricia Vieira Nunes Gomes
Robert Lassance
Sidelmar Alves da Silva Kunz
Simone Poch Vieira Palma
Tase Pereira Liocdio
Tefilo Francisco de Paula
Vanessa Carvalho Nascimento

Guia de Elaborao e Reviso de Itens


Volume 1

SUMRIO
APRESENTAO ....................................................................................................

1 DEFINIES E CONCEITOS ................................................................................

1.1 Matriz de Referncia .................................................................................

1.2 Competncias e Habilidades .................................................................... ...

1.3 Item ...........................................................................................................

1.4 Situao Problema ....................................................................................

ESTRUTURA DO ITEM MLTIPA ESCOLHA ....................................................

2.1 Texto-Base .................................................................................................

10

2.2 Enunciado ..................................................................................................

10

2.3 Alternativas .................................................................................................

11

2.3.1 Gabarito .......................................................................................

11

2.3.2 Distratores ...................................................................................

11

2.3.3 Justificativas ................................................................................

11

3 ETAPAS PARA ELABORAO DE ITEM ...........................................................

12

4 ESPECIFICAES PARA APRESENTAO DO ITEM .....................................

15

5 ETAPAS PARA VALIDAO DE ITEM ...............................................................

15

6 PROTOCOLO DE REVISO DE ITEM ................................................................

15

7 REFERNCIAS BIBLIOGRFICAS ....................................................................

19

Guia de Elaborao e Reviso de Itens


Volume 1

APRESENTAO

O Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep)


responsvel pela elaborao e aplicao de avaliaes nacionais em larga escala da
educao brasileira. A Diretoria de Avaliao da Educao Bsica (Daeb) realiza a cada
dois anos os testes que compem as avaliaes diagnsticas Sistema de Avaliao da
Educao Bsica (Saeb) e Prova Brasil e, anualmente, o Exame Nacional do Ensino
Mdio (Enem), que a partir de 2009 se tornou um exame de seleo para o ingresso no
ensino superior e de certificao do ensino mdio; o Exame Nacional para Certificao de
Competncias de Jovens e Adultos (Encceja), exame de certificao do ensino
fundamental e mdio de jovens e adultos que no concluram a escolaridade na idade
apropriada; e a Provinha Brasil, que avalia o nvel de alfabetizao dos estudantes ao
final de um ano de escolarizao, entre outras avaliaes.
As avaliaes em larga escala distinguem-se das avaliaes internas, na medida
em que estas so feitas pelo professor ou pela prpria instituio de ensino para fazer
julgamentos de valor e propor alternativas no mbito da sala de aula ou da instituio,
enquanto as avaliaes em larga escala so elaboradas por um rgo externo s escolas,
com a finalidade de fazer juzos de valor e propor alternativas em mbito mais amplo que
o da instituio de ensino. Esses juzos so possveis por meio da aplicao de
instrumentos de medida e da anlise de seus resultados. No caso da educao, um
instrumento de medida muito utilizado o teste, o qual pode ser desenhado para medir o
desempenho dos participantes em determinadas situaes, com o objetivo de realizar
inferncias sobre o processo educacional em desenvolvimento.
Uma atividade necessria para que essas avaliaes aconteam a manuteno
de um banco de itens que oferea subsdios para construir os testes. A existncia de um
Banco Nacional de Itens (BNI) no Inep necessria para que se tenha uma quantidade
expressiva de itens com comprovada qualidade tcnico-pedaggica e psicomtrica para
comporem os testes de uma avaliao em larga escala.
O BNI define-se, portanto, como uma coleo de itens de testes de natureza
especfica organizada segundo determinados critrios disponveis para a construo
de instrumentos de avaliao. A manuteno do BNI depende da entrada constante de
itens de qualidade. Para tanto, educadores e pesquisadores da educao brasileira so

Guia de Elaborao e Reviso de Itens


Volume 1

chamados a colaborar nessa construo, elaborando itens que possam fazer parte desse
banco. Em atividades dessa natureza, a experincia docente de fundamental
importncia para que se possam elaborar itens em consonncia com o contexto
educacional.
Este Guia de Elaborao e Reviso de Itens apresenta as orientaes do Inep para
a construo e reviso de itens para testes de avaliao, considerando a literatura
especializada na rea, e se estrutura da seguinte forma:
Definies e conceitos;
Estrutura do item de mltipla escolha;
Etapas para elaborao de item;
Especificaes para apresentao do item;
Etapas de validao de item;
Protocolo de reviso de item;

Guia de Elaborao e Reviso de Itens


Volume 1

Nesta seo, so apresentados definies e conceitos utilizados na rea de avaliao


educacional e adotados pelo Inep para fundamentar a elaborao de itens, visando
composio de testes de avaliao em larga escala desenvolvida pela instituio.
1.1 Matriz de Referncia
A Matriz de Referncia o instrumento norteador para a construo de itens. As
Matrizes desenvolvidas pelo Inep so estruturadas a partir de competncias e habilidades
que se espera que os participantes do teste tenham desenvolvido em uma determinada
etapa da educao bsica. importante destacar que a Matriz de Referncia no se
confunde com o currculo, que muito mais amplo. Ela , portanto, uma referncia tanto
para aqueles que iro participar do teste, garantindo transparncia ao processo e
permitindo-lhes uma preparao adequada, como para a anlise dos resultados do teste
aplicado.
1.2 Competncias e habilidades
Competncia a capacidade de mobilizao de recursos cognitivos, socioafetivos ou
psicomotores, estruturados em rede, com vistas a estabelecer relaes com e entre
objetos, situaes, fenmenos e pessoas para resolver, encaminhar e enfrentar situaes
complexas. Segundo Perrenoud (apud Macedo, 2005, p. 29-30), uma das caractersticas
importantes da noo de competncia desafiar o sujeito a mobilizar os recursos no
contexto de situao-problema para tomar decises favorveis a seu objetivo ou a suas
metas.
As habilidades decorrem das competncias adquiridas e referem-se ao plano imediato
do saber fazer (Brasil. Inep, 2005, p. 17).
1.3 Item
Item consiste na unidade bsica de um instrumento de coleta de dados, que pode ser
uma prova, um questionrio etc. (Brasil. Inep, 2006). Nos testes educacionais, item pode
ser considerado sinnimo de questo, termo mais popular e utilizado com frequncia nas
escolas.

Guia de Elaborao e Reviso de Itens


Volume 1

Itens podem ser de dois tipos: (i) de resposta livre e (ii) de resposta orientada ou
objetivo. Um nico teste pode conter itens de ambos os tipos ou apenas de um deles. Aos
propsitos deste guia, interessam particularmente os itens objetivos.
H vrias formas possveis de itens objetivos, sendo que a mais adequada a ser
escolhida ser determinada, em grande parte, pelo que se pretende examinar (Anastasi,
1977). Entre os itens objetivos, destacam-se os de mltipla escolha, definidos como
aqueles que permitem ao participante do teste escolher a resposta entre vrias
alternativas, das quais apenas uma correta (Bradfield & Moredock, 1964).
Segundo Vianna (1982), os especialistas reconhecem que os instrumentos de medida
educacional possuem vantagens e limitaes, sejam eles objetivos ou no. No entanto,
ambos podem ser utilizados, indistintamente, para medir os mesmos aspectos do
desempenho acadmico. assim que os itens objetivos permitem verificar tanto
comportamentos simples, de memorizao ou reconhecimento, como comportamentos
mais complexos, envolvendo compreenso, aplicao, anlise, sntese e avaliao.
Entre as principais vantagens dos itens objetivos esto, segundo Anastasi (1977), a
facilidade, a rapidez e a objetividade da correo, alm de permitirem uma cobertura mais
completa do contedo. Os itens objetivos mostram-se menos vulnerveis aos erros de
julgamento na atribuio dos escores, sendo especialmente recomendveis nos casos em
que os grupos a serem avaliados so grandes, bem como quando h grande presso
para a divulgao dos resultados (Vianna, 1982).
Na elaborao do item, necessrio estar atento para evitar o que tem se
mostrado muito comum em itens utilizados em vestibulares e concursos: a induo ao
erro (pegadinha). Essa estratgia cria quase sempre situaes que exigem do
participante ateno a detalhes que o levam a errar o item no porque no domina,
necessariamente, a habilidade testada.
1.4 Situao-problema
um desafio apresentado no item que reporta o participante do teste a um
contexto reflexivo e instiga-o a tomar decises, o que requer um trabalho intelectual capaz
de mobilizar seus recursos cognitivos e operaes mentais.
Uma situao-problema deve estar contextualizada de maneira que permita ao
participante aproveitar e incorporar situaes vivenciadas e valorizadas no contexto em
que se originam para aproximar os temas escolares da realidade extraescolar (Brasil.
Inep, 2003). Alm disso, uma situao-problema no deve se restringir a uma parte

Guia de Elaborao e Reviso de Itens


Volume 1

especfica do item, mas deve permear toda a sua estrutura, ao longo de todo o processo
de composio, a comear pela escolha do texto-base, passando pela construo de
todas as partes que compem um item.
Em uma avaliao, um item contextualizado pretende transportar o participante do
teste para uma situao normalmente vivenciada por ele no dia a dia, e que, no item,
pode se materializar ou no em uma situao hipottica.

A elaborao de itens de mltipla escolha requer que o elaborador tenha domnio


tanto da rea de conhecimento a ser avaliada quanto dos procedimentos tcnicos que
envolvem a construo de itens; compreenda os objetivos educacionais e as
caractersticas educacionais e psicolgicas daquele que se submete ao teste; e seja
criativo para propor situaes novas e engenhosas (Vianna, 1982, p. 49).
O processo de composio do item desenvolve-se artesanalmente e a verso final
ser alcanada aps vrias revises.
O item de mltipla escolha utilizado nos testes do Inep divide-se em trs partes,
conforme ilustrado na Figura 1.

Figura 1 Partes constitutivas do item


O item deve ser estruturado de modo que se configure uma unidade de proposio
e contemple uma nica habilidade da Matriz de Referncia. Para tanto, devem ser
observadas a coerncia e a coeso entre suas partes (texto-base, enunciado e
alternativas), de modo que haja uma articulao entre elas e se explicite uma nica
situao-problema e uma abordagem homognea de contedo.

Guia de Elaborao e Reviso de Itens


Volume 1

2.1 Texto-base
Motiva ou compe a situao-problema a ser formulada no item a partir da utilizao
de um ou mais textos-base (textos verbais e no verbais, como imagens, figuras, tabelas,
grficos ou infogrficos, esquemas, quadros, experimentos, entre outros), que podero
ser de dois tipos: (i) formulados pelo prprio elaborador para o contexto do item e (ii)
referenciados por publicaes de apropriao pblica.
Devero ser respeitadas as seguintes especificaes:
1. a formulao de textos, imagens, esquemas, tabelas etc. pelo prprio
elaborador 1. para o contexto do item est condicionada, necessariamente,
construo de uma situao hipottica;
2. o uso de publicaes implica a citao da respectiva fonte, mesmo daquelas 2.
de domnio pblico, conforme as normas da Associao Brasileira de Normas
Tcnicas (ABNT). Recomenda-se que estas publicaes no sejam de autoria
do prprio elaborador;
3. no poder ser utilizado livro didtico como fonte para o texto-base.
4. A referncia bibliogrfica utilizada deve ser fidedigna. Entende-se por fonte
fidedigna, o texto-base que seja recupervel em pesquisa pela Internet ou em
material impresso de ampla divulgao. Em ambos os casos, o texto-base
dever estar conforme a redao no original e no poder ser traduo livre.
Em caso de adaptao, esta no deve alterar o sentido global na fonte primria.
Esta parte inicial do item deve apresentar as informaes necessrias para a
resoluo

da

situao-problema

proposta,

suprimindo-se

elementos

de

carter

meramente acessrio, que possam conferir ambiguidade interpretao da tarefa a ser


realizada ou que demandem dispendioso tempo de leitura. Deve-se evitar a exigncia de
informaes simplesmente decoradas, como frmulas, datas, termos, nomes, enfim,
detalhes que no avaliam a habilidade, mas privilegiam a memorizao.
2.2 Enunciado
O enunciado constitui-se de uma ou mais oraes e no deve apresentar
informaes adicionais ou complementares ao texto-base; ao contrrio, dever considerar
exatamente a totalidade das informaes previamente oferecidas.

10

Guia de Elaborao e Reviso de Itens


Volume 1

No enunciado, inclui-se uma instruo clara e objetiva da tarefa a ser realizada pelo
participante do teste. Essa instruo poder ser expressa como pergunta ou frase a ser
completada pela alternativa correta.

2.3 Alternativas
Alternativas so possibilidades de respostas para a situao-problema apresentada,
dividindo-se em gabarito e distratores.
2.3.1 Gabarito
O gabarito indica, inquestionavelmente, a nica alternativa correta que responde
situao-problema proposta.
2.3.2 Distratores
Os distratores indicam as alternativas incorretas resoluo da situao-problema
proposta. Alm disso, essas respostas devem ser plausveis, isto , devem parecer
corretas para aqueles participantes do teste que no desenvolveram a habilidade em
questo (Haladyna, 2004). Isso significa que o distrator plausvel deve retratar hipteses
de raciocnio utilizadas na busca da soluo da situao-problema apresentada. Como
consequncia, se esse distrator retrata uma dificuldade real do participante com relao
habilidade, no devem ser criadas situaes capazes de induzi-lo ao erro.
A utilizao de erros comuns observados em situao de ensino-aprendizagem
costuma aumentar a plausibilidade dos distratores. Por outro lado, aqueles que retratam
erros grosseiros ou alternativas absurdas, dentro ou no do contexto do item, tendem a
induzir a identificao da alternativa correta.
2.3.3 Justificativas
As justificativas fazem parte do protocolo de apresentao do item, devendo ser
formuladas separadamente para cada uma das alternativas.
Visam no somente indicar qual a resposta correta e as demais incorretas, como
tambm oferecer elementos que permitam compreender o acerto ou o equvoco implcito
na resoluo da situao-problema abordada no item. No que se refere reviso tcnicopedaggica do item, a apresentao das justificativas oferecer elementos que permitiro
verificar a plausibilidade dos distratores.

11

Guia de Elaborao e Reviso de Itens


Volume 1

As justificativas devero informar exatamente os motivos pelos quais cada uma das
alternativas representa ou no a opo correta de resposta, de modo que no sero
aceitas justificativas tautolgicas.

1. Selecione uma habilidade da Matriz de Referncia.


2. Construa a situao-problema, atentando-se para a realidade cotidiana do pblico-alvo.
3. D preferncia a fontes primrias, originais e sem adaptaes, caso utilize textos-base
referenciados, de acordo com as normas da ABNT.
4. Utilize, preferencialmente, textos que abordem temas atuais e sejam adequados ao
pblico-alvo.
5. Evite a utilizao de textos muito extensos, levando em considerao o tempo de
leitura do item durante a realizao do exame.
6. Elabore itens inditos (no publicados, divulgados ou utilizados em sala de aula).
7. Elabore, sempre que possvel, at trs itens abordando o(s) mesmo(s) texto(s)-base,
desde que os itens contemplem diferentes habilidades.
8. Evite abordagens de temas que suscitem polmicas.
9. Evite utilizar ou redigir texto-base, enunciado e alternativas que possam induzir o
participante do teste ao erro (pegadinhas).
10. Elabore o enunciado:
utilize termos impessoais como: considere-se, calcula-se, argumenta-se
etc.;
no utilize termos como: falso, exceto, incorreto, no, errado;
no utilize termos absolutos como: sempre, nunca, todo, totalmente,
absolutamente, completamente, somente etc.;
no utilize sentenas como: Pode-se afirmar que, correto afirmar que
etc.
11. Construa as alternativas:
com paralelismo sinttico e semntico, extenso equivalente e coerncia
com o enunciado;
independentes umas das outras, de maneira que no sejam excludentes,
negando informaes do texto, nem semanticamente muito prximas;

12

Guia de Elaborao e Reviso de Itens


Volume 1

dispostas

de

maneira

lgica

(sequncia

narrativa,

alfabtica,

crescente/decrescente etc.);
evite repetio de palavras que aparecem no enunciado;
evite alternativas demasiadamente longas;
no use: todas as anteriores, nenhuma das anteriores;
o gabarito deve estar exposto de forma clara, ser a nica alternativa correta
e no deve ser mais atrativo que os distratores;
os distratores no devem ser absurdos em relao situao-problema
apresentada.
12. Pontue as alternativas e observe as regras para sua redao, de acordo com a rea
de conhecimento:

13

Guia de Elaborao e Reviso de Itens


Volume 1

13. Construa as justificativas para as alternativas com argumentao consistente que


explique o erro ou o acerto, de maneira que no sejam tautolgicas.
14. Indique o nvel de dificuldade estimada do item (fcil, mdio ou difcil) com base na
sua experincia docente.
15. Considere o tempo mdio de trs minutos para resoluo do item.

14

Guia de Elaborao e Reviso de Itens


Volume 1

A configurao bsica do documento Word para a elaborao de itens dever ser:


tamanho do papel: A4;
margens: superior = 2 cm, inferior = 2 cm, direita = 2 cm, esquerda = 2 cm;
fonte: Arial 12 para o item, exceto para as referncias bibliogrficas (Arial 10);
espaamento entre linhas: 1,5;
figura escaneada: limitar seu tamanho em at 600 kb, com resoluo de at 300
dpi;
frmulas: utilizar o MS Equation do Word;
numerao: as alternativas e as justificativas devero ser identificadas por letras
maisculas entre parnteses (A), (B), (C), (D), (E) e os textos, grficos, tabelas,
figuras etc., quando utilizados mais de um(a) para a construo do enunciado, por
nmeros romanos (I, II, III...).

1. Reviso tcnico-pedaggica.
2. Aceite do Inep.
3. Reviso lingustica.
4. Pr-testagem (Teoria Clssica dos Testes TCT e Teoria de Resposta ao Item
TRI).
5. Leitura pedaggica com base nos parmetros psicomtricos.
6. Insero no BNI.

A ficha de reviso de item tem o objetivo de orientar a anlise do revisor, registrar os


resultados e fundamentar a reviso final do item apresentado para compor o BNI.
Compe-se de 35 critrios, divididos em cinco blocos, relacionados a todos os aspectos
do item, de forma a permitir uma anlise ao mesmo tempo global e detalhada. No final da
ficha, h um campo a partir do qual podem ser feitas observaes que o revisor julgar
necessrias para justificar, documentar e, finalmente, qualificar a resposta dada ao item
assinalada por NO ( ) na primeira e/ou na segunda leituras. A proposta da ficha a de
oferecer, aps seu completo preenchimento, o encaminhamento a ser dado ao item.
O primeiro bloco de informaes trata dos aspectos formais do item, da integridade
de informaes que so necessrias sua reviso. O segundo bloco trata da composio

15

Guia de Elaborao e Reviso de Itens


Volume 1

do texto-base. O terceiro bloco trata da estrutura textual do enunciado. O quarto bloco


trata da composio textual das alternativas e das justificativas, objetivando estabelecer o
rigor necessrio para a sua elaborao. O quinto bloco trata da adequao global do item
a aspectos distintos, tais como habilidades, competncias, contextualizao, nvel de
dificuldade e adequao norma padro da lngua portuguesa.
O revisor tcnico-pedaggico, na primeira leitura, deve devolver o item ao
elaborador, se identificar um ou mais dos seguintes problemas: no atendimento a
nenhuma habilidade da Matriz de Referncia; erro conceitual; mais de um ou nenhum
gabarito; ausncia ou insuficincia das justificativas; ilegibilidade das imagens; no
indicao da referncia bibliogrfica, quando necessrio; enunciado sem problematizao
satisfatria ou sem explicitao de um nico problema a ser resolvido. Se, na segunda
leitura, um ou mais problemas como os descritos permanecerem, o item deve ser
reprovado.
O revisor tcnico-pedaggico tem autonomia de fazer pequenas modificaes no
item que julgar necessrias para a sua aprovao, na primeira ou na segunda leituras,
desde que no sejam relacionadas aos problemas mencionados anteriormente.
A reviso deve ser identificada por meio do cdigo do item e do cdigo do revisor, o
que permitir a rpida recuperao de informaes a respeito do revisor e do item
revisado, se necessrio.
Por fim, deve-se proceder sntese da reviso, por meio da marcao de uma
opo:

16

Guia de Elaborao e Reviso de Itens


Volume 1

17

Guia de Elaborao e Reviso de Itens


Volume 1

18

Guia de Elaborao e Reviso de Itens


Volume 1

ANASTASI, Anne. Testes psicolgicos. Trad. Dante Moreira Leite. 2 ed. So Paulo: EPU,
1977.
BRADFIELD, James M.; MOREDOCK, H. Stewart. Medidas e testes em educao:
introduo sua teoria e prtica para os nveis da escola primria e secundria. Rio de
Janeiro: Brasil Fundo de Cultura, 1964. v. 2.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep).
Roteiro para elaborao de itens de Matemtica. Braslia, 2009.
_______. Orientaes para elaborao de itens para a Avaliao Nacional de Jovens e
Adultos. Braslia, 2006.
_______. Exame Nacional do Ensino Mdio: fundamentao terico-metodolgica.
Braslia, 2005. Disponvel em:
<http://www.publicacoes.inep.gov.br/detalhes.asp?pub=4005>.
_______. Guia para elaborao de itens de Lngua Portuguesa. Braslia, 2003.
_______. Exame Nacional do Ensino Mdio: documento bsico. Braslia, 2002.
BRASIL. Ministrio da Educao. Orientaes curriculares para o ensino mdio:
linguagens, cdigos e suas tecnologias. Braslia, 2008. v. 1.
BRASIL. Ministrio da Educao. Secretaria de Educao Mdia e Tecnolgica.
Parmetros curriculares nacionais: ensino mdio. Braslia, 1999.
HALADYNA, Thomas M. Developing and validating multiple-choice test items. 3 ed.,
Mahwah, NJ: Lawrence Erlbaum, 2004.
MACEDO, Lino de. A situao-problema como avaliao e como aprendizagem. In.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep).
Exame Nacional do Ensino Mdio: fundamentao terico-metodolgica. Braslia, 2005. p.
29-36. Disponvel em: <http://www.publicacoes.inep.gov.br/detalhes.asp?pub=4005>.
VIANNA, Heraldo M. Testes em educao. 4 ed. So Paulo: Ibrasa, 1982.

19

Guia de Elaborao e Reviso de Itens


Volume 1

20

Guia de Elaborao e Reviso de Itens


Volume 1

Você também pode gostar