1

INSTRUMENTOS DE AVALIAO: PROVAS DE PERGUNTAS DISCURSIVAS.

Isauro Beltran Nnez DEPED/UFRN

1. Acerca da avaliao da aprendizagem
Avaliao um processo por meio do qual se obtm informaes acerca do ensino e
da aprendizagem, utilizando-se tcnicas e instrumentos variados.
As provas escritas so os instrumentos de avaliao mais utilizado em escolas,
processos seletivos, concursos, etc, e compreendem trs funes importantes da
avaliao: outorgar uma nota que reflete a aprendizagem; fornecer informaes sobre
o processo de ensino e de qualquer aprendizagem; detectar problemas de
aprendizagem para poder fornecer uma ajuda a tempo.
Uma prova escrita pode avaliar diferentes habilidades, capacidades ou competncias e,
de acordo com os objetivos que se pretende alcanar, podem ser elaborados diferentes
tipos de questo.

2. Validade e confiabilidade da prova escrita
a) A elaborao de uma prova, como instrumento de avaliao (mensurao), deve considerar
dois critrios: a validade e confiabilidade.
b) Uma prova vlida quando consegue avaliar o que se pretende, ou seja, quando expressa o
grau de adequao ao que se deseja avaliar. O conceito de validade s tem sentido em relao
ao objetivo da prova. O que se pretende avaliar? A validade est necessariamente relacionada
aos objetivos ou propsitos da prova, de modo que uma prova pode ser vlida para uma
situao, e no ser para outra.
c) A validade tambm se refere adequada correspondncia da questo com os contedos e as
exigncias cognitivas da formao inicial.
d) Se a avaliao tiver validade, pode-se inferir que nota alta implica boa aprendizagem do
contedo expresso no objetivo da questo.
e) A validade no um conceito esttico, absoluto: as provas so vlidas, em maior ou menor
grau, para avaliar o que pretendem.
f) Uma prova confivel quando seus resultados merecem credibilidade. Isso implica, por
exemplo, a definio de critrios adequados para a correo de provas discursivas, de tal
forma que diferentes examinadores (da mesma disciplina) ou o mesmo avaliador em
momentos diferentes possam atribuir a mesma nota a um mesmo candidato, reduzindo-se o
nmero de discrepncia. Assim, a confiabilidade depende da observncia aos critrios de
correo previamente estabelecidos por quem corrige a prova.
g) A confiabilidade, portanto, se associa de certa forma, a uma repetio de resultados da
avaliao. A confiabilidade est relacionada como avaliamos e corrigimos.


3. Objetivos
3.1. Discutir critrios para elaborao de perguntas discursivas.
3.2. Elaborar e analisar perguntas discursivas, segundo critrios definidos.


4. A prova de perguntas discursivas ou dissertativas.
As perguntas discursivas ( tambm chamadas de perguntas abertas ou dissertativas), se
orientam a avaliar nveis de aprendizagens de contedos conceituais e procedimentais que
exigem aes produtivas, de competncia, de compreenso do objeto do conhecimento, pela
2
produo de conhecimentos, fundamentados nas teorias, leis, princpios, conceitos ,
procedimentos, atitudes e valores da disciplina.
4.1 A prova de perguntas discursivas, em relao prova objetiva, tem como vantagens:

Permite avaliar processos mentais superiores como a capacidade para analisar,
organizar, sintetizar o conhecimento, aplica-lo e avalia-lo, expressar idias com a
linguagem especfica, dentre outros.
A probabilidade de acerto causal reduzida.
A organizao relativamente fcil e rpida.
Pode ser copiada no quadro.

4.2 Alguns autores, assinalam como limitaes desse tipo de prova:

Pouca fidedignidade ( confiabilidade) na correo.
A amostragem do contedo limita
Requer muito tempo para correo.

Essas limitaes no so restritivas do potencial desse tipo de avaliao, e podem ser
diminudas se se consideram fatores como a validez e a confiabilidade, em especial, com uma
adequada chave de correo, dentre outras.
A elaborao da prova discursiva um processo didtico de importncia na atividade
profissional docente.
Esse processo deve desenvolver-se segundo um plano da prova ( como foi analisado na aula
anterior) A fim de se pensar melhor o processo de elaborao das perguntas discursivas da
prova existem diversas recomendaes. Dessa diversidade pertinente considerar que :
As perguntas devem estar baseadas em situaes problemas contextualizadas.
O mesmo contedo no dever ser abordado em mais de uma questo.
Nenhuma questo (ou subitem) dever possibilitar exagerado espectro de respostas.
Isso dificulta a fidedignidade da prova.
Nenhuma questo dever exigir um domnio terico e de raciocnio, que extrapole
o nvel de exigncia do programa da disciplina.
Indique claramente no enunciado de cada questo a extenso e a profundidade das
respostas desejadas.
Utilize-se de varias dissertaes breves, em vez de uma ou duas questes extensas.
Formule as questes do tema, da forma mais exata possvel, para o nvel e tipo de
tratamento para uma resposta satisfatria.
As perguntas ao contextualizar o contedo, devem usar linguagem tcnica
apropriada e textos ou figuras, esquemas, grficos que mostrem informaes
necessrias. Esses recursos podem reforar o efeito psicolgico e educativo da
prova.
Os dados (informaes) usados, no geral, devem ser reais, e vinculados a um
contexto. Podem ser includos dados suprfluos quando se deseja avaliar a
capacidade de selecionar as informaes relevantes.

As avaliaes escritas devem prestar ateno aos contedos, objeto da aprendizagem, e
as habilidades e competncias desejadas. Dessa forma se faz necessrio:

No usar perguntas que possibilitem respostas fruto da aprendizagem mecnica de
conceitos, fenmenos, fatos e algoritmos procedimentais.
3
Estimular a compreenso integral e contextualizada da disciplina.
Prestar ateno aos diferentes meios de apropriao dos contedos.
5. Planejamento da prova
As provas escritas devem avaliar os contedos, objeto da aprendizagem, e as habilidades e
competncias desejadas. Dessa forma, faz-se necessrio elaborar o plano das questes da
prova.
Para cada questo, o plano deve explicitar:
N da Questo:
Objetivo(s)/Habilidade(s):
Contedo:
Questo:
Grau de dificuldade da questo (tomando-se como parmetro os resultados dos cinco ltimos
vestibulares)
Chave de correo (incluindo pontuao):

6. Correo da prova discursiva
A correo da prova escrita um outro momento que influencia na qualidade da avaliao
como categoria didtica e em seu impacto na aprendizagem dos estudantes e no ensino do
professor. A correo implica outorgar uma nota, um valor quantitativo qualidade da
resposta.
Outorgar uma nota, no o mesmo que avaliar mais uma etapa importante quando se define
a nota como forma numrica de informar o resultado da avaliao e entre um juzo de
valor sobre a aprendizagem dos estudantes.
A nota expressa de forma quantitativa, um juzo de valor em relao a qualidade da
resposta.

6.1 Em relao ao processo de correo, recomenda-se:
Estabelecer os critrios para a correo de cada questo. ( Devem estar
especificadas no plano da prova).
Estabelecer uma relao entre as notas e o percentual de resposta correta.
( Considerar respostas possvel, amplas e flexveis).
Corrigir a mesma questo de toda a prova, e no cada prova completa
separadamente.
Tentar manter o anonimato das provas durante a correo.
Usar uma escala de 0-10 que descreva os nveis de respostas dos estudantes para
a pergunta. Esses nveis devem se corresponder com estgios de qualidade da
resposta como produo de conhecimento ao responder a situao problema.
Relacionar parmetros quantitativos e qualitativos
Compartilhar os resultados com os estudantes ( e os pais dos estudantes )


A seguir, um exemplo de uma pergunta discursiva e seu plano de elaborao.

QUESTO 8. Vestibular UFRN 2008.
Plano da pergunta:
Objetivos:
1. Calcular a concentrao de nitrognio (mg/l) em uma amostra de gua a partir da relao
molar entre nitrato e nitrognio.
2.-Explicar propriedades de substancias a partir da estrutura.
Contedos: Frmulas qumicas e lei das propores constantes;
4
Concentrao das solues;Os modelos de ligaes qumicas. Poluio e tratamento da gua.


QUESTO:
Em guas residuais, a matria orgnica que contm nitrognio biodegradada em compostos
mais simples, nesta seqncia:
Nmatria orgnica NH3 NO2 NO3

Um dos principais poluentes da gua o nitrato (NO3). A legislao probe que a
quantidade de nitrognio proveniente do NO3 exceda 10mg por litro.
A) Em uma amostra de gua coletada em uma torneira domstica, foi encontrada uma
concentrao de nitrato igual a 62mg de NO3 por litro. Determine se a amostra apropriada
para o consumo.
(Apresente os clculos e, se necessrio, use a relao de massa molar NO3/N = 62/14 4,4).

B) Uma das formas de remoo do NO3 o uso de bactrias heterotrficas, que, sob
condies especiais, transformam o NO3 em gs nitrognio (N2).
Com base na geometria e na polaridade das molculas de NH3 e N2, explique por que, em
condies ambientes, o NH3 se dissolve melhor em gua que o N2.

Para essa pergunta se prope a seguinte chave de correo
Item A:
PONTUAO TOTAL = 4 PONTOS
4 pontos para o clculo e justificativa correta;
3 pontos justificando os clculos e concluindo corretamente;
3 pontos se expressar corretamente a relao estequiomtrica e acertar a justificativa, mas
errar o clculo;
2 pontos se expressar corretamente a relao estequiomtrica e acertar o clculo, mas fazer a
justificativa errada;
1 ponto se expressar corretamente a relao estequiomtrica, mas errar no clculo e na
justificativa;
1 ponto se no expressar a relao estequiomtrica e errar no clculo, mas acertar a
justificativa;

Item B:
PONTUAO TOTAL = 6 PONTOS
6 pontos para geometria e polaridade do N2 e NH3 e relacionar a polaridade dessas
substncias com a sua solubilidade em gua;
4 pontos para a geometria (indicao ou desenho) e polaridade (momento de dipolo) do N2 e
NH3;
2 pontos para a geometria (indicao ou desenho) e polaridade (momento de dipolo) do N2 ou
NH3;
1 pontos para a geometria (indicao ou desenho) ou polaridade (momento de dipolo) do N2
ou NH3;
2 pontos para a polaridade da gua relacionada com a regra de solubilidade semelhante
dissolve semelhantes;
1 ponto se citar apenas a regra de solubilidade sem a polaridade da gua ou vice-versa.

EXEMPLO:
(ENADE 2006, QUESTO 37 BIOMEDICA)
5
Indivduos tratados com hormnio de crescimento humano antes de 1985 tm risco de
desenvolver doena de Creutzfeld-Jacob, que se acredita seja transmitida por agentes
patognicos chamados prons. O hormnio era ento produzido a partir de hipfise de
cadveres e, em 1985, foi introduzido o hormnio de crescimento recombinante, produzido
em laboratrio por bactrias.

A) Como a aplicao de hormnio de crescimento de hipfise pode estar relacionada com
essa doena? (valor: 5,0 pontos)
B) Por que a protena recombinante no apresenta risco do desenvolvimento dessa doena?
(valor: 5,0 pontos)
Chave de correo:
A) A protena era purificada de hipfise de cadveres e poderia estar contaminada com prons.
Estes podem ter infectado os pacientes tratados com hormnio de crescimento. (5,0 pontos)
Resposta incompleta ou parcialmente errada: 2,0 pontos
B) Isso acontece porque a protena recombinante obtida em bactrias, evitando o risco de
contaminao com agentes patognicos para humanos. (5,0 pontos)
Resposta incompleta ou parcialmente errada: 2,0 pontos
Anlises dos itens:
A anlise da prova e dos resultados uma etapa importante do processo de avaliao.
Geralmente, esta anlise considera:
O grau de dificuldade do item;
O grau de discriminao do item.
Se observarmos que os grupos difceis se agrupam no final da prova possvel que o baixo
desempenho no seja s pelas dificuldades cognitivas da pergunta, como tambm do tempo
no disponvel para se responder. Esta situao deve ser evitada.
Para a anlise pedaggica das provas, so usadas aqui trs categorias: o ndice de Acerto (IA)
ou ndice de Dificuldade (ID), o Grau de Dificuldade (GD) e o ndice de Discriminao
(IDS).
NDICE DE ACERTO/ NDICE DE DIFICULDADE
Trata-se da percentagem dos estudantes que responde corretamente s perguntas. Quanto
maior o ndice de acerto, mais fcil o item.
O ndice de acerto se calcula da seguinte forma:
As teorias de anlise
de item consideram
de dificuldade
moderada (mdia)
aqueles itens
situados na faixa de
0,40 a 0,70 (numa
escala de 0 a 1,00).

A partir dessa considerao, classificamos o ndice de acerto de acordo com a Tabela 1.
Tabela 1 - Classificao do ndice de acerto -
Intervalo de resposta correta (%) ndice de acerto
90

Muito alto
90 70

Alto
70 40

Mdio
40 10

Baixo
10

Muito baixo
Fonte: UFRN - COMPERVE


ID ou IA = ndice de Dificuldade ou Acerto,
ID ou IA = 100
N
A
A = respostas corretas
N = nmero de estudantes que
respondem pergunta.
6


GRAU DE DIFICULDADE DA PERGUNTA
A dificuldade de uma pergunta se mede com base no percentual de acertos na pergunta. O
indicador varia entre 0 e 1. Assim, uma pergunta com uma dificuldade 0,2 mais difcil que
uma pergunta com uma dificuldade de 0,8. No primeiro caso, s 20% dos candidatos
acertaram a resposta, enquanto, no segundo caso, 80% acertaram. Como j deve ter sido
observado, o indicador se mede de forma inversa ao ndice de Acerto.
Uma pergunta tem uma dificuldade mdia quando respondida corretamente por
aproximadamente 50% dos estudantes; ou seja, o ndice de dificuldade prximo de 0,5.
Geralmente, os ndices de dificuldade entre 0,3 e 0,7 maximizam a confirmao de que a
prova estabelece diferenas significativas entre os estudantes.
A tabela abaixo mostra os nveis de dificuldade da pergunta para as nossas anlises.
Tabela 2 - Nveis de dificuldade das perguntas.
Nvel ndice de dificuldade
Muito fcil 0,75 1,00
Fcil 0,55 0,74
Intermedirio 0,45 0,54
Difcil 0,25 0,44
Muito difcil 0,00 0,24
Fonte:UFRN - COMPERVE
O NDICE DE DISCRIMINAO
O ndice de discriminao expressa em que medida cada item ou cada pergunta diferencia os
que sabem mais dos que sabem menos. A discriminao de uma pergunta se mede pelo grau
em que uma pergunta ajuda a ampliar as diferenas estimadas entre os estudantes que
obtiveram uma pontuao relativamente alta na prova e os que obtiveram uma pontuao
relativamente baixa. Esse ndice no se calcula com todos os sujeitos que responderam
prova, mas com os 25% que obtiveram as pontuaes mais altas (AS) e os 25% que tiveram
as pontuaes mais baixas (AI).
O ndice de discriminao calculado pela expresso:
ID = AS AI
N
AS = Nessa expresso o nmero de estudantes do grupo superior;
AI= nmero de estudantes do grupo inferior;
N= nmero total de estudantes.
O ndice de discriminao de uma pergunta varia entre -1 e 1. Os valores positivos indicam
que a pergunta discrimina a favor do grupo superior, e os valores negativos indicam que a
pergunta discriminadora a favor do grupo inferior.
A tabela 03 mostra os critrios de classificao do ndice de discriminao de uma pergunta.
Tabela 3 - Classificao da discriminao das perguntas.
Classificao ndice de discriminao
Muito alto 0,40 1,00
Alto 0,30 0,39
Moderado 0,20 0,29
Baixo 0,10 0,19
Muito baixo 0,00 0,9
Fonte:UFRN - COMPERVE
Uma limitao desse ndice que o valor 1 s atingido quando todos os estudantes do grupo
superior acertam a resposta e se equivocam todos os do grupo inferior.
7
As categorias ndice de Aproveitamento (IA), Grau de Dificuldade das perguntas (GD), e
Discriminao das Perguntas(D) correspondem ao referencial terico da teoria clssica dos
testes.