Análise Gráfica de Itens em Avaliações Bimestrais

Marcelo Rivadávia*
Centro Educacional Municipal Francisco Antônio Machado
Disciplina de Matemática
São José, SC

17 de Setembro de 2018

* marcelorivadavia@gmail.com

1
Análise Gráfica de Itens em Avaliações Bimestrais

Marcelo Rivadávia

Resumo

A análise gráfica de itens utiliza o modelo da Teoria Clássica de Tes-

tes, TCT, e é utilizada em testes de aptidão. Os seus pressupostos são os
seguintes:

1. Um sujeito que dá resposta certa a um item de múltipla escolha sabe

mais, em geral, que um sujeito que dá uma resposta errada.
2. Um sujeito que acerta mais itens sabe mais do que um sujeito que
acerta menos itens.

Percebe-se que o sujeito que sabe mais terá um escore total no teste
superior que um sujeito que tem menos conhecimento do assunto a ser me-
dido. Deste modo, indivíduos que possuem escores maiores tenderão a acer-
tar um determinado item(questão) com maior probabilidade que indivíduos
com escores menores. Admitindo-se que isto é uma verdade, segue que é
possível analisar os itens de um teste em função do escore total no teste.
Confirmando-se tal evento, podemos afirmar que o item é de boa qualidade,
isto é, cumpre com o objetivo a que se destina.

2
Conteúdo
1 Avaliação 4

2 Análise de Itens 4

3 Dificuldade do Item 5

4 Discriminação do Item 5

5 Coeficiente de Correlação Bisserial 6

6 Correlação Bisserial 7
6.1 Análise dos Itens de uma Avaliação . . . . . . . . . . . . . . . . 8
6.2 Item 1 - Avaliação 1 . . . . . . . . . . . . . . . . . . . . . . . . . 9
6.3 Item 2 - Avaliação 1 . . . . . . . . . . . . . . . . . . . . . . . . . 13

7 Conclusão 17
Bibliografia18

3
1 Avaliação
Medir é uma operação de quantificação, em que se atribuem valores numé-
ricos, segundo critérios preestabelecidos, a características dos indivíduos, para
estabelecer o quanto possuem destas.
Avaliar é determinar o valor de alguma coisa para um determinado fim. A
avaliação educacional visa, portanto, à coleta de informações para julgar o valor
de um programa, produto, procedimento ou objetivo(Worthen e Sanders, 1973). A
avaliação decorre de um esforço sistemático para definição de critérios, em função
dos quais se coletam informações precisas para julgar o valor de cada alternativa
apresentada. Avaliar é, assim, emitir um julgamento de valor sobrea característica
focalizada, podendo esse valor basear-se, parcial mas não exclusivamente, em
dados quantitativos(Vianna, 1989).
Tyler(1942) coube a difusão da definição de avaliação como um processo de
comparação entre os dados do desempenho e os objetivos instrucionais prees-
tabelecidos. Stufflebeam et al.(1971) definiram avaliação como o processo de
identificar e coletar informações que permitam decidir entre várias alternativas.

2 Análise de Itens
A análise de itens permite ao professor aproveitar as informações obtidas para
aprimorar a qualidade dos itens e, assim, garantir a precisão do instrumento de
medida que pretende usar. As funções que a análise de intens desempenha podem
ser sintetizadas em três pontos:

a Fornece informações sobre o desempenho dos examinandos que permitem

identificar possíveis problemas de aprendizagem;

b Proporciona dados quantitativos que possibilitam identificar deficiências

técnicas que comprometem o item como unidade de informação;

c desenvolve no professor a capacidade de elaborar bons itens, exercitada

através da reestruturação de itens cuja análise revelou carência de requisitos
básicos.

4
 A análise quantitativa dos itens, realizada com base nas suas propriedades
estatísticas, procura determinar:

I Itens que são muito fáceis, mesmo para alunos deficientes;

II Itens que são muito difíceis, ainda que para os melhores examinandos;

III Itens que não discriminam os bons alunos dos de aproveitamento deficiente.

3 Dificuldade do Item
Na teoria clássica dos testes, a dificuldade do item, Di , é simplesmente a me-
dida pela proporção de acertos, ou seja, é igual ao número de indivíduos que
responderam assertivamente ao item, dividindo pelo número de indivíduos sub-
metidos ao item:

Ci
Di =
Ni
Podemos observar que quanto maior é a dificuldade do item, mais fácil é o
item(questão). O parâmetro varia de 0, zero,(ninguém acertou) a 1, um,(todos
acertaram).

Proporção Avaliação Interpretação

0-0.39 Muito difícil Pouca contribuição para a variância total.
0.40-0.60 Bom Grande contribuição para a variância total.
0.61-1.00 Muito fácil Pouca contribuição para a variância total.
Tabela 1: Interpretação do grau de dificuldade de um item

4 Discriminação do Item
A discriminação é concebida como a capacidade do item de diferenciar indiví-
duos com habilidades ou proficiências distintas. Na TCT, separamos os conjuntos
de examinandos em três grupos, de acordo com o escore global no teste. Os gru-
pos são: grupo inferior, Gin f ; grupo intermediário, Gint ; grupo superior, G sup .

5
 • Grupo Superior: 27% de maior desempenho;

• Grupo intermediário: 46% de desempenho intermediário;

• Grupo inferior: 27% de menor desempenho;

Espera-se que os indivíduos do grupo superior tenham proporção de acertos

superior que a do grupo intermediário e inferior.
Definindo, temos:

1. P sup percentual de acerto no grupo superior;

2. Pint percentual de acerto no grupo intermediário;

3. Pin f percentual de acerto no grupo inferior;

Recomenda-se que P sup > Pint > Pin f . Quanto maior a diferença entre P sup − Pin f ,
maior será o potencial de discriminação do item. Adota-se, portanto, a discrimi-
nação do item como:

Disc = P sup − Pin f

A tabela a seguir mostra o poder de discriminação na teoria clássica de itens.

Valores Classificação
Disc ≥ 40 Item Bom
30 ≤ Disc < 40 Item bom, mas sujeito a aprimoramento
20 ≤ Disc < 30 Item marginal, sujeito a reelaboração
Disc < 20 Item deficiente, que deve ser rejeitado
Tabela 2: Classificação dos Itens.

5 Coeficiente de Correlação Bisserial

É a correlação de Pearson quando o item é dicotômico(certo-errado). O intuito
deste coeficiente é responder à pergunta: quem escolhe a opção correta e quem não
a escolhe? Se o coeficiente for maior ou igual a trinta denota que o item foi bem
construído. Uma correlação negativa significa que os alunos que escolheram as

6
alternativas errôneas em maior proporção foram aqueles que obtiveram os piores
escores. Daí a importância do índice de discriminação na análise de itens.
r
Sp −S p
ρ pb = ·
σ 1− p
em que

• S p é o escore médio no teste para os indivíduos que acertaram o item;

• S é o escore médio no teste para todos os respondentes;

• σ é o desvio padrão dos escores obtidos no teste pelos respondentes;

• p é a proporção correspondente aos respondentes que acertaram o item no

teste, ou seja, o índice de dificuldade, Di ;

• 1 − p é a proporção correspondente aos respondentes que erraram o item no

teste.

6 Correlação Bisserial
Em essência, a correlação bisserial tenta estimar qual seria a correlação se se
levasse em conta um conhecimento parcial. A explicação é que, quando se dá
zero para a resposta errada e um para a resposta certa, está-se simplificando o
mundo real, porquanto não se pode dizer que os escolheram uma das opções erra-
das tinham absoluto desconhecimento. A correlação bisserial deve ser superior a
correlação ponto bisserial.

ρ pb ·
p
p · (1 − p)
rbis =
h(p)
em que h(p) é o valor da densidade da distribuição normal padrão no ponto
em que a área da curva à esquerda desse ponto é igual a p, a proporção de acertos
do item. A figura a seguir ilustra a forma de se encontrar o valor de h(p).

7
 h(p) 2
√1 − z2
2π
·e

p
Os coeficientes bisseriais podem também ser calculados para cada opção de
resposta do item. Neste caso, utiliza-se, no lugar de p, a proporção de respostas
para cada opção do item, fazendo-se a devida adaptação também no coeficiente
ponto-bisserial. Em geral, itens que apresentam coeficiente de correlação inferio-
res a 0,30 são considerados de baixa discriminação.

6.1 Análise dos Itens de uma Avaliação

A análise que se fará compreende identificar nos itens, que respondidos pelos
alunos do oitavo ano matutino, do Centro Educacional Municipal Antônio Fran-
cisco Machado, quais são mais fáceis ou não, que alternativas dos itens possuem
vieses ou se os itens cumprem com o objetivo de medir e avaliar aos alunos.
Foram aplicadas quatro avaliações, cada avaliação contendo cinco questões(itens),
nas três primeiras provas havia quatro questões de múltipla escolha e uma dis-
sertativa, enquanto que na última avaliação todas as questões eram de múltipla
escolha. Nisto, compreendia vinte questões, dezessete eram itens que possuiam
alternativas de a a d. O número de alunos avaliados foi de 66. Pretende-se analisar
o desenvolvimento dos alunos durante o segundo bimestre através destas quatro
provas.
As análises se darão somente nos quatro primeiros itens da primeira avaliação.
Não se fará dos demais itens por uma questão de tempo.
Realizou-se uma análise de dados usando uma planilha de Excel em que se

8
pode determinar a média de acertos das dezessete questões, o desvio padrão entre
outros parâmetros.
Segue abaixo, alguns destes parâmetros:

Parâmetros Valores
Número de Itens 17
Total de Alunos 66
Total de Acertos 465
Mínimo Acertos 2
Maior Acertos 13
Média Acertos 7,05
Desvio Padrão 2,59

6.2 Item 1 - Avaliação 1

1.Marque a alternativa correta correspondente às multiplicações das frações

7 2 5 2
· , · e 195
3 5 9 5 90
· 269 , respectivamente:
a) 41 , 43 e
15 45
1755
2340

b) 98 , 14
7
e 204
116

c) 14 , 10 e
15 45
3
4 A alternativa correta é a letra C

d) 159 , 45
7
e 204
2340

Calculando a discriminação do item que é a variação de escores brutos para

aqueles que escolheram a alternativa correta. Esta variação é ∆ = max(EB) −
min(EB) + 1, sendo que max(EB) é o escore máximo obtido de algum exami-
nando e min(EB) é o escore mínimo obtido por outro examinando no conjunto
das avaliações.

∆ = max(EB) − min(EB) + 1 = 13 − 2 + 1 = 12

A variação de Escores neste item foi na ordem de 12. O grupo superior e o

grupo inferior são calculados como, respectivamente:

9
 G sup = 27% · 12 ' 3

e
Gin f = 27% · 12 ' 3

O grupo intermediário é determinado de modo imediato: Gint = 6.

Calculemos a proporção de acertos no grupo superior e no inferior,pois a dis-
criminação do item depende disto:
P sup = AB , tal que A é o total de alunos do Grupo superior que escolheram a
alternativa correta e B é o total de alunos no grupo superior.
P sup = AB = 55 = 1

Pin f = CD , tal que C é o total de alunos do Grupo inferior que escolheram a

alternativa correta e D é o total de alunos no grupo inferior.
P sup = AB = 12
5
= 0.417

Portanto, a discriminação do item é Disc = P sup − Pin f = 1 − 0.417 = 0.583.

Isto nos permite classificar o item como um item bom.
Levantando dados a partir das respostas dos examinandos para este item:

Número de alunos que responderam cada opção e seus escores totais.

O índice de dificuldade de um item é a proporção de alunos que escolheram a
opção correta pelo total de avaliados.

10
 C1 43
D1 = = = 0.65
N 66
A análise do item do nível de dificuldade enquadra esta questão como sendo
muito fácil, pois a variância dos alunos que acertaram a questão é alta.

Proporção de alunos que responderam cada opção e seus escores totais.

Segue os parâmetros do item de cada alternativa.

Segue a análise gráfica do item:

11
Segue as observações a partir dos dados:
1. Item considerado fácil, isto é, os alunos demonstraram facilidade ao resolvê-
lo.

2. Item considerado bom, isto é, discrimina os alunos com habilidade de resolvê-

lo daqueles que não demonstraram esta habilidade. Se o valor da discrimi-
nação fosse inferior a 0.4, lembrando que obtivemos Disc = 0.583, pode-
ríamos analisar o item para melhor redigí-lo, pois uma proporção maior de
alunos do grupo inferior que possuem um escore bruto total que varia de
dois acertos a 4 estariam assinalando a resposta correta ao acaso.

3. A correlação bisserial positiva para a alternativa C e superior a 0.3 indica

que os alunos de bom desempenho optaram em assinalá-la demonstrando a
habilidade que o item exige.

4. A correlação bisserial da alternativa A revela que alunos de baixo desem-

penho e intermediários a assinalaram indicando que há alguma confusão ao
entender as diferenças entre multiplicação de frações e adição de frações.
Metade dos alunos que obtiveram escore bruto igual a cinco escolheram
esta opção.

5. Quanto mais próximo de zero é o valor da correlação bisserial maior é a

quantidade de alunos de bom ou médio desempenho escolhem a alternativa
errada. A correlação bisserial sendo quase zero demonstra que os alunos
medianos insistem no erro de adicionar ou subtrair numerador com nume-
rador e denominar com denominador.

12
 6. O valor da correlação bisserial negativo indica que os alunos de baixo de-
sempenho optaram por esta alternativa. Misturam adição e multiplicação.

7. Valores de correlação bisserial negativo distantes de zero podem indicar

que os alunos de baixo desempenho chutaram qualquer alternativa por não
a assimilarem o conteúdo.

8. É esperado que uma questão de discriminação fácil como esta, a medida que
os escores brutos aumentam, a alternativa correta aumenta paralelamente.

9. A ocorrência de escore de respostas aleatórias corresponde a um total de 17

4
,
ou seja, 4 questões derivam de chute. Isto, leva-nos a suspeitar que os alu-
nos de baixo desempenho podem ter realizado algum chute e mesmo assim
optado pela resposta correta. A partir do escore bruto superior a quatro que
veremos um aumento sistemático da resposta certa e diminuição da escolha
de respostas incorretas.

6.3 Item 2 - Avaliação 1

2.Marque a alternativa correta correspondente às adições e subtrações das

frações 73 + 59 , 15
14
+ 10
45
e 299
90
− 52
45
, respectivamente:
a) 12 , 24 e
12 60
247
45

b) 269 , 52
45
e 195
90

c) 78 , 780 e
9 45
8775
90 A alternativa correta é a letra B

d) 35 , 140 e
27 675
195
90

Calculando a discriminação do item que é a variação de escores brutos para

aqueles que escolheram a alternativa correta. Esta variação é ∆ = max(EB) −
min(EB) + 1, sendo que max(EB) é o escore máximo obtido de algum exami-
nando e min(EB) é o escore mínimo obtido por outro examinando no conjunto
das avaliações.

∆ = max(EB) − min(EB) + 1 = 13 − 4 + 1 = 10

13
 A variação de Escores neste item foi na ordem de 10. O grupo superior e o
grupo inferior são calculados como, respectivamente:

G sup = 27% · 10 ' 3 e Gin f = 27% · 10 ' 3

O grupo intermediário é determinado de modo imediato: Gint = 4. Destes

cálculos, dizemos que o grupo inferior é composto por alunos que obtiveram os
escores brutos nos valores de 4,5 e 6. O grupo superior não houve modificações,
pois sua variação é de 11 a 13 escores brutos.
Calculemos a proporção de acertos no grupo superior e no inferior,pois a dis-
criminação do item depende disto:
P sup = AB , tal que A é o total de alunos do Grupo superior que escolheram a
alternativa correta e B é o total de alunos no grupo superior.
P sup = AB = 55 = 1

Pin f = CD , tal que C é o total de alunos do Grupo inferior que escolheram a

alternativa correta e D é o total de alunos no grupo inferior.
P sup = AB = 23
4
= 0.174

Portanto, a discriminação do item é Disc = P sup − Pin f = 1 − 0.174 = 0.826.

Isto nos permite classificar o item como um item bom.
Levantando dados a partir das respostas dos examinandos para este item:

Número de alunos que responderam cada opção e seus escores totais.

14
 O índice de dificuldade de um item é a proporção de alunos que escolheram a
opção correta pelo total de avaliados.

C1 20
D1 = = = 0.30
N 66
A análise do item do nível de dificuldade enquadra esta questão como sendo
muito difícil, pois a variância dos alunos que acertaram a questão é menor.

Proporção de alunos que responderam cada opção e seus escores totais.

Segue os parâmetros do item de cada alternativa.

Segue a análise gráfica do item:

15
Segue as observações a partir dos dados:

1. Item considerado muito difícil, isto é, os alunos demonstraram dificuldade

ao resolvê-lo.

2. Item considerado bom, isto é, discrimina os alunos com habilidade de resolvê-

lo daqueles que não demonstraram esta habilidade.

3. A correlação bisserial positiva para a alternativa B e superior a 0.3 indica

que os alunos de bom desempenho optaram em assinalá-la demonstrando a
habilidade que o item exige.

4. A correlação bisserial da alternativa A revela que alunos de baixo desem-

penho e intermediários a assinalaram indicando que há alguma confusão
para entender a adição de frações. Metade dos alunos que obtiveram escore
bruto igual a nove escolheram esta opção. Alunos do grupo superior não
sentiram-se atraídos por esta questão, prova que a habilidade para respon-
der está bem desenvolvida.

5. O valor da correlação bisserial positivo para uma alternativa C, errônea,

demonstra que alunos na vizinhança do grupo superior a escolheram. O
item produz viés, pois foi atrativo para alunos que possuem um desempe-
nho satisfatório, sendo assim, este item deve ser reformulado ou descartado.
Mesmo assim, há deficiências indicadas como a incompreensão em frações
equivalentes.

16
 6. O valor da correlação bisserial negativo da alternativa D indica que os alu-
nos de baixo e satisfatório desempenho optaram por esta alternativa, embora
poucos. Parecem não compreender a diferençã entre os símbolos de adição
e da multiplicação.

7. É esperado que uma questão de discriminação difícil como esta, a medida

que os escores brutos aumentam, a alternativa correta aumenta paralela-
mente. Indicando que a correlação bisserial é positiva. Agora, se fosse o
contrário, em que a medida que os escores brutos diminuem e a alterna-
tiva correta não sendo escolhida, teríamos uma correlação bisserial nega-
tiva, mostrando que os alunos estão escolhendo as demais alternativa por
elas terem maior atratividade e, portanto a questão seria considerada de dis-
criminação difícil.

7 Conclusão
Pode-se a partir das análises dos itens de um teste, prova, avaliação, determinar
o quanto que um item é discriminativo, isto é, o quanto que alunos de bom desem-
penho tenderão a acertar mais os itens do instrumento de medida que sujeitos de
menor escore. Pode-se, inclusive, após uma análise dos coeficientes bisseriais,
determinar o quanto que uma alternativa é bem elaborada ou não, e neste caso,
rejeitando-a e reformulando-a para uma nova avaliação. Isto permite que o exa-
minador reveja e redija novamente o item ou alternativa para melhor avaliar, e de
imediato, realiza uma auto-análise do que se quer, como e o que se deseja avaliar.
Partindo de questões que cumpriram com o seu papel de avaliar, pode-se buscar
progredir os alunos nos objetivos do conhecimento, pois uma vez alcançada as
habilidades deste objetivo, parte-se para outro objeto afim de progredir o aluno
nas habilidades e torná-lo apto nas competências matemáticas.

17
Referências
PASQUALI, L., Psicometria:Teoria dos testes na Psicologia e Educação. 2◦ . ed.
- Rio de Janeiro: VOZES, 2003.
RABELO, M., Avaliação Educacional:Fundamentos, metodologia e aplicações
no contexto brasileiro. 1◦ . ed. Rio de Janeiro: SBM, 2013.
VIANNA, H. M., Testes em Educação. 3◦ . ed. São Paulo: IBRASA, 1978.
VIANNA, H. M., Introdução à Avaliação Educacional. ed. São Paulo: IBRASA,
1989.

18