avaliação clássica de testes como instrumento de análise quantitativa

Sabemos que a qualificação profissional na área educacional é permeada por novos e diferentes
olhares em todos os contextos. Nesse sentido, avaliar as capacidades e habilidades de nossos
estudantes se transformou em um desafio permanente, pois avaliar com eficiência perpassa a
busca pela qualidade de nosso sistema educacional.

Este desafio teve um aumento considerável após a pandemia da COVID-19. Perdemos o perfil
cognitivo dos nossos estudantes, relações socioemocionais foram afetadas e nossas avaliações
internas se transformaram em testes digitais.

Com este cenário formado, a comunidade escolar se torna imprescindível para a urgente
retomada do processo educacional. É necessário que as intervenções pedagógicas sejam
pontuais e todos os instrumentos de análise sejam utilizados e otimizados.

Assim, esperamos ampliar as considerações acerca do processo de avaliação de larga escala,

em particular, as provas SAEB, propiciar instrumentos de análise das avaliações clássicas,
objetivando mapear as necessidades dos nossos estudantes em relação as avaliações de larga
escala com correção TRI.

Sobre a análise de itens, esperamos aproximar a análise de uma prova Clássica de Testes (TCT)
aos conceitos exigidos numa prova de Teoria de Resposta ao Item (TRI), direcionando nossas
ações a uma elaboração de avaliações mais precisas e eficientes e que possam mostrar
caminhos e correções de rotas no processo de aprendizagem dos nossos estudantes.

Este material é uma coletânea de estudos acerca das avaliações padronizadas de larga escala,
com sua origem em palestras, oficinas, cursos e materiais de apoio de domínio público em sua
maioria.

Boa leitura

Página 2 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

OBJETIVOS DA FORMAÇÃO

Objetivo Geral

 Oferecer subsídios teóricos e práticos para a análise de uma avaliação TCT de múltipla
escolha apoiados pela Teoria de Resposta ao Item (TRI)

Objetivos Específicos

 Explorar conceitos e diferentes entre os modelos TCT e TRI.

 Identificar os elementos utilizados numa avaliação padronizada de larga escala.
 Compreender a importância de cada um dos elementos que compõem a prova externa.
 Analisar sistematicamente dentro dos parâmetros exigidos num item de avaliação de
larga escala e aferir sua eficiência mediante os elementos e habilidades exigidas.

Para fins didáticos, este material foi dividido em 3 capítulos:

Capitulo 1 – Tipos de Avaliações.

Capítulo 2 – Elementos constituintes de uma avaliação externa padronizada de larga escala

Capítulo 3 – Elementos exigidos na análise e elaboração da Prova SAEB

Página 3 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CAPÍTULO 1- tipos de AVALIAÇÕES EDUCACIONAIS

Neste capítulo, estabeleceremos as diferenças entre avaliações do tipo TCT e TRI e

aprofundaremos o conceito de prova e instrumento de avaliação.

Nosso roteiro de estudos passará pelos seguintes temas:

 Características de uma avaliação TCT e TRI

 Conceitos de prova/exame e instrumento de avaliação.

Esses são os temas essenciais para compreensão capítulo 1, que também contribuem para
ampliação conceitual das equipes pedagógicas no processo avaliativo.

Objetivo do Capítulo

 Compreender os conceitos de avaliação interna clássica (TCT) e avaliação externa,

padronizada e de larga escala (TRI)
 Conceituar provas e instrumentos de avaliação.

Página 4 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CARACTERÍSTICAS DOS DOIS TIPOS DE CORREÇÕES: TCT E TRI

As duas teorias que abrangem modelos de correção: Teoria de Resposta ao Item, conhecida
como TRI, e Teoria Clássica dos Testes, conhecida como TCT. É importante enfatizar que cada
um dos modelos de correção tem finalidades específicas que se traduzem na teoria que embasa
a consolidação dos resultados. Porém, mesmo com finalidades diferentes, esses dois modelos
de correção podem ser complementares e as suas evidências podem apontar caminhos mais
assertivos para o planejamento das intervenções pedagógicas.

Observe o resumo abaixo:

TCT
Teoria Clássica dos Testes
Mesmo peso em cada questão
Soma dos pontos a partir do número de
acertos
Sem critérios apurados para correção
Sem critérios específicos para elaboração das
questões
Origem conteudistas
Apresenta resultados pontuais
Apoiada em conteúdos isolados
TRI
Teoria de Respostas ao Item
Itens parametrizados
Níveis de dificuldades são características
próprias dos itens
Processo estatístico de análise e “calibração”
Embasamento em uma matriz de referência
Ênfase nos traços latentes dos estudantes
Permite comparabilidade entre as avaliações
Foco nos descritores e proficiências

TEORIA CLÁSSICA DE TESTES (TCT)

Modelo de correção mais comum, por isso é também o mais fácil de identificar. Ela parte do
pressuposto de que um instrumento de avaliação (a prova) é um conjunto de questões que
compões um todo para avaliação do domínio do estudante. Em geral, as questões têm o mesmo
peso e o desempenho do estudante é avaliado pelo número de acertos. Quanto maior o número
de acertos, maior é o domínio do estudante.

O estudante é avaliado no contexto em que aquele instrumento foi concebido e aplicado. A TCT
tem limitações em relação à comparabilidade, pois não é possível comparar resultados de provas
aplicadas em contextos diferentes e períodos distintos. Um outro aspecto da TCT é que pode ser
elaborada pela equipe da escola em seus processos de avaliação interna, uma vez que o
processo de aferição de resultados é simples. Ela também pode ser adaptada às diversas
abordagens avaliativas (múltipla escolha, dissertativas e orais). É um instrumento de fácil
preparação e interpretação limitada perante os conteúdos exigidos. Por essa razão, a maior parte
das avaliações escolares lança mão da TCT.

Página 5 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

A TCT respalda uma ampla variedade de possibilidades avaliativas e sua correção considera o
resultado total obtido pelo estudante em uma prova ou teste. Abaixo, listamos possíveis
interpretações dos resultados de uma correção pela TCT:

 Análise da dificuldade de questões: o grau de dificuldade é inversamente proporcional ao

número de acertos.
 Análise de discriminação: separa os grupos de indivíduos com maior pontuação e com
menor pontuação.

Assim, na TCT, para identificar a dificuldade, devemos considerar quantos alunos acertaram
cada questão dentro do instrumento aplicado. Por exemplo, em um teste aplicado com 10
questões de múltipla escolha, duas questões tiveram o menor índice de acerto. Isso pode apontar
para o grau de dificuldade dessas questões nesse conjunto de questões e por esse número de
respondentes, não sendo possível extrapolar esses resultados.

O objetivo da análise de discriminação é diferenciar os grupos que tiveram alta pontuação dos
que tiveram baixa pontuação – ou seja, não é possível determinar a proficiência desses alunos,
apenas seu desempenho em relação aos respondentes da mesma prova e nas mesmas
condições.

Alguns estudos utilizam a divisão em dois grupos, 27% superiores (que obtiveram os escores
mais altos) e os 27% inferiores (que obtiveram os escores mais baixos) (SARTES; SOUZA;
FORMIGONI, 2013). A partir disso, é possível planejar intervenções pedagógicas distintas para
esses grupos.

Porém, é preciso pontuar que as interpretações dos índices estão atreladas às características
da amostra de indivíduos utilizada para a normatização do teste, podendo sofrer influências de
fatores como respostas omitidas (em branco) e respostas corretas obtidas pelo acaso (Acerto
Casual) (SARTES; SOUZA; FORMIGONI, 2013).

É importante salientar que tais parâmetros são apontamentos para interpretações que vão
compor a análise pedagógica, sustentados também por outras evidências registrada pelo
professor.

A análise pedagógica que se apoia a TCT deve, portanto, ser mais ampla e considerar outras
condições além dos resultados da aplicação do instrumento em si. O tipo de avaliação adotada
pelo professor em virtude de uma necessidade pedagógica também interfere na análise dos
resultados obtidos.

Página 6 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

TEORIA DE RESPOSTAS AO ITEM (TRI)

Quando utilizada em avaliações educacionais, parte do princípio de que a probabilidade de

acerto em item está relacionada ao grau de domínio do estudante em determinado conteúdo ou
habilidade (OLIVEIRA, 2019).

Sendo assim, o item é o elemento principal. Cada item é considerado em relação à:

 Dificuldade
 Capacidade de discriminação e,
 Probabilidade de acerto ao acaso.

Um dos diferenciais da TRI é a possibilidade de analisar a coerência pedagógica. Com esse

modelo de correção, é possível identificar se o estudante acertou um item difícil porque ele
realmente tem o domínio da habilidade ou se o acerto foi ao acaso. Para viabilizar essa análise,
é feita uma observação do comportamento de um item dentro de uma aplicação com grande
volume de respostas.

A qualidade dessa análise é sustentada por um modelo matemático sofisticado e que exige
processos de pré – testagem e ancoragem dos itens.

A partir do conceito de parâmetros de itens, obtidos pelo processo estatístico de “calibração” dos
níveis de dificuldade do item, são identificadas as características que possibilitam classificar as
questões em fáceis, médias e difíceis.

Dada a sofisticação dos seus processos, a aplicação da TRI só é viável em avaliações externas,
padronizadas e em larga escala.

O grande desafio enfrentado pelos coordenadores e professores é condicionar o estudante a fazer

uma prova TRI utilizando os parâmetros e as limitações de uma prova TCT. Tal estratégia exige
reorganização das avaliações aplicadas nas escolas e uma reformulação das questões que irão
compor tal avaliação TCT.

O conceito de item dentro de uma avaliação educacional está vinculado à Teoria de Resposta
ao Item (TRI), um modelo de correção que passou a ser utilizado nas avaliações externas e em
larga escala, pois sua modelagem estatística viabiliza a comparabilidade e a criação de séries
históricas para acompanhar a evolução dos resultados. No Brasil, esse modelo é utilizado na
prova Saeb e no Enem. As avaliações externas padronizadas em larga escala destacam – se
por seus objetivos sociais, econômicos e políticos e, ao mesmo tempo, têm papel na valorização
e na qualidade da educação.

Página 7 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

O termo “avaliação externa padronizada e em larga escala” compreende três conceitos:

•Elaborada por uma equipe que está fora da escola onde a

avaliação será aplicada.
Externa

•Segue padrões relacionadas a tres objetivos: objeto de

avaliação, coleta de dados e mensuração dos resultados.
Padronizada

•Desenhada para ser aplicada em diversas escolas de uma

mesma rede, cidade, estado ou país.
Larga Escala

Para as escolas, a avaliação externa e em larga escala traz resultados que permitem verificar os
requisitos de qualidade propostos pelos exames de maior abrangência, o que possibilita a análise
comparativa e orienta para tomada de decisão em uma esfera mais ampla. Sendo assim, é
importante que o elaborador tenha clareza sobre a finalidade da avaliação, assegurando a
validade do item para atender à intencionalidade da coleta de dados proposta.

Página 8 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CONCEITO DE PROVA/TESTE E INSTRUMENTO DE AVALIAÇÃO.

A avaliação da aprendizagem escolar é um meio e não um fim em si mesma. A prática escolar

predominante hoje se realiza dentro de um modelo que pressupõe a educação como um
mecanismo de conservação e reprodução da sociedade.

Por vários motivos, acabamos transformando nossas avaliações em métodos seletivos e

excludentes. Os exames são classificatórios, ou seja, classificam os alunos em aprovados ou
reprovados e excluem grande parte dos educandos, estabelecendo uma escala de notas de zero
a dez.

Nesse sentido, Luckesi faz a seguinte observação:

A atual prática da avaliação escolar estipulou como função do ato de avaliar a

classificação e não o diagnóstico, como deveria ser constitutivamente. Ou seja, o
julgamento de valor sobre o objeto avaliado passa a ter a função estática de classificar
um objeto ou um ser humano histórico num padrão definitivamente determinado. Do ponto
de vista da aprendizagem escolar, poderá ser definitivamente classificado como inferior,
médio ou superior. Classificações essas que são registradas e podem ser transformadas
em números e por isso, adquirem a possibilidade de serem somadas e divididas em
médias (Luckesi, 1999, p. 34).

O ato de avaliar geralmente não é utilizado como forma de repensar a prática, e sim como meio
de julgá-la e torná-la estratificada. Com a função classificatória, a avaliação não auxilia o avanço
e o crescimento do aluno, transformando assim, a avaliação em teste/exame. Veja o quadro
abaixo sobre as diferenças entre exame e avaliação:

EXAME
• Voltado para o passado: o que nosso aluno aprendeu para eu aprová-lo ou não;
• Olhando para o passado: o ato é classificatório;
• Seletividade: alguns entram, mas muitos ficam de fora.

AVALIAÇÃO

• Voltado para o futuro: o que foi que nosso aluno aprendeu e ainda vai aprender ?
• Olhando para o futuro: o ato é inclusivo (todos têm direito de aprender);
• Seletividade: É diagnóstico, ato de investigação, de intervenção para prosseguir.

Luckesi (1999)

Página 9 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

OS PROPÓSITOS DAS AVALIAÇÕES EM SALA DE AULA

A avaliação em sala de aula assume muitas formas e ajuda os professores a tomarem diversos
tipos de decisões.

PLANEJANDO E CONDUZINDO AS AULAS

As informações da avaliação são usadas para organizar os alunos em uma sociedade funcional
de sala de aula, planejar e executar instruções e monitorar a aprendizagem dos estudantes. A
avaliação é muito mais do que dar provas formais de papel e caneta para os alunos.

Avaliar para obter um instantâneo do processo de ensino – aprendizagem, e esse instantâneo

será o guia para tomadas de decisão referente ao modo de ensinar e aprender após sua
aplicação

Vale ressaltar que a avaliação será o guia para tomadas de decisão referente ao modo de ensinar
e aprender após sua aplicação. A avaliação serve ao processo e não o contrário, e dessa forma
devemos observar atentamente, segundo ALMEIDA (2012), os 6 princípios norteadores para a
avaliação. São eles:

Princípio da Coerência: Deve ser coerente com o que consta no currículo [objetivos,
metodologias, conteúdos e Descritores]

Princípio da Integração: A avaliação como parte integrante do processo de aprendizagem.

Princípio de Caráter Positivo: A avaliação deve ser voltada para que o estudante saiba fazer,
ao invés de estar direcionada para o que o professor ensinou e o estudante ainda não sabe.

Princípio da Generalidade: A avaliação e seus resultados devem ser analisados como ‘um todo’
durante o processo de aprendizagem.

Princípio da Diversidade: A avaliação aplicada de diversas formas e atender às diferentes

características dos estudantes.

Princípio da Postura: A avaliação deve acontecer num ambiente de confiança e clareza e ter
conhecimento antecipado do modelo de avaliação. O professor deve detalhar o instrumento de
avaliação.

A avaliação só existe porque, ensino não implica necessariamente aprendizagem. Numa escola
ideal ensino e aprendizagem seriam a mesma coisa, porém nem tudo que se ensina é aprendido.

Página 10 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CAPÍTULO 2- ELEMENTOS DE UMA AVALIAÇÃO EXTERNA

No capítulo 2, iremos aprofundar os conceitos de avaliação e explanar as definições de medir e

avaliar.

Faremos um breve comentário sobre os tipos de avaliação e identificaremos de forma detalhada

os elementos componentes e necessários para uma avaliação externa

Nosso roteiro de estudos passará pelos seguintes temas:

 Medir versus Avaliar

 Tipos de Avaliação
 Matriz de Referência: Competências, habilidades e objetos de conhecimento.

Esses são os temas essenciais para compreensão capítulo 2, que também contribuem para
ampliação conceitual das equipes pedagógicas no processo avaliativo.

Objetivo do Capítulo

 Identificar os elementos de uma avaliação padronizada, externa e de larga escala

Página 11 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

MEDIR VERSUS AVALIAR = VALOR ATRIBUÍDO VERSUS SIGNIFICADO

PEDAGÓGICO

O processo de avaliação sempre suscitou grandes debates em torno do uso produtivo de

parâmetros confiáveis. Nos últimos anos, o processo de avaliar despertou grande interesse em
governos e instituições, e é certo que um dos seus objetivos refere-se ao fator político.

Nossa atenção, aqui, está direcionada ao processo de avaliação como sinônimo de “qualidade
educacional”, principalmente no que diz respeito ao desempenho dos alunos em seu contexto
pessoal, social e profissional. Tendo em vista esse objetivo, nossas ações medem ou avaliam
nossos alunos?

Para responder essa pergunta, é importante especificar as características de cada um dos

processos. Medir significa atribuir uma representação numérica a um fenômeno observado, ou
seja, ao aplicar uma avaliação é possível estabelecer uma representação numérica para
sintetizar o comportamento de erros e acertos dos alunos, de acordo com os critérios
estabelecidos.

Avaliar é um processo mais complexo, em que é verificado se aquilo que foi planejado foi
alcançado. O ciclo de avaliação compreende as seguintes etapas:

Página 12 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

No campo da avaliação educacional, considera-se que o ato de “medir” esteja relacionado a um

paradigma que tem como objetivo apenas a soma e os resultados dos alunos, de maneira a
ranqueá-los. No entanto, a representação numérica trazida a partir do que foi mensurado é uma
das etapas do processo avaliativo, que não se encerra na coleta de dados. Além disso, o
processo de avaliar estabelece relações com aspectos tanto cognitivos quanto sociais, afetivos
e culturais de um estudante.

Mobilizar uma turma, uma escola ou até mesmo uma rede em prol de um momento avaliativo
exige que todas essas dimensões sejam consideradas. Por essa razão, a equipe de coordenação
pedagógica deve considerar as implicações desses conceitos também na dinâmica de formação
continuada dos professores, de forma a prepará-los para lidar com os instrumentos e com as
devolutivas, bem como desdobrar a análise dos resultados em ações de replanejamento e
correção de rota com base nos objetivos e metas da escola.

Ainda sobre a avaliação, os PCN’s indicam:

É fundamental a utilização de diferentes códigos, como o verbal, o oral, o
escrito, o gráfico, o numérico, o pictórico, de forma a se considerar as diferentes
aptidões dos alunos. Por exemplo, muitas vezes o aluno não domina a escrita
suficientemente para expor um raciocínio mais complexo sobre como
compreende um fato histórico, mas pode fazê-lo perfeitamente bem em uma
situação de intercâmbio oral, como diálogos, entrevistas ou debates. (BRASIL,
1997)

Ao longo de todo o processo, algumas observações devem ser realizadas para uma certificação
da metodologia ou uma possível correção de rota e, para isso, o professor deve adotar várias
formas de avaliar, aferir e analisar o progresso ou os ajustes de seus alunos.

Os vários tipos existentes fornecem dados diversos sobre o desempenho dos estudantes. Cada
modelo tem características e objetivos pedagógicos distintos. Por isso, conhecer e aplicar o tipo
adequado de avaliação para cada momento do processo educacional é de grande importância.

As avaliações diagnósticas, formativas, comparativas e somativas estão entre ass principais

modalidade de avaliação escolar. Em alguns casos, esses tipos de avaliação podem lançar mão
dos mesmos instrumentos de aplicação, mas é fundamental observar que as intencionalidades
de cada uma se diferem.

Apresentamos a seguir a proposta de cada um dos tipos de avaliação e suas possibilidades de

uso para a melhoria do processo de aprendizagem.

Página 13 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

AVALIAÇÕES DIAGNÓSTICAS

Faz parte do tipo de avaliação conhecido como diagnóstica identificar a realidade de

conhecimento de cada aluno e verificar suas habilidades ou dificuldades de aprendizagem.

Normalmente essa modalidade é aplicada nos momentos iniciais e finais de uma fase da
educação. Objetivo: Conhecer melhor os estudantes, identificando e compreendendo suas
necessidades.

Sem caráter classificatório, as informações das avaliações diagnósticas indicam os avanços ou

dificuldades da turma. As informações obtidas por meio desse tipo de avaliação evidenciam os
pontos fortes e fracos do processo educativo. Isso permite que as instituições de ensino
repensem as atividades que irão favorecer o aprendizado dos alunos ao avaliarem possíveis
mudanças nas práticas escolares por meio das intervenções pedagógicas.

As avaliações diagnósticas podem ser realizadas por meio de :

• Provas ou testes escritos

• Provas ou testes orais

• Simulados

• Avaliações on-line

• Questionários

AVALIAÇÕES COMPARATIVAS

Com a proposta de mensurar o aproveitamento e o nível de conhecimento e as habilidades dos

alunos. Tem como objetivo qualificar o ensino, possibilitando reflexão sobre o que foi aprendido
e o que ainda precisa ser ensinado.

Aplicada durante ou depois de uma aula, ela pode acontecer por meio de:

• Testes rápidos e/ou trabalhos simples durante ou ao final das aulas;

• Resumos dos conteúdos trabalhados

• Observações de desempenho;

• Relatórios;

• Atividades em sala;

• Auto avaliação;

• Avaliações entre pares.

Página 14 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

AVALIAÇÕES FORMATIVAS (PARCIAIS)

Essa modalidade de avaliação busca medir o desempenho escolar dos estudantes durante o
processo. Tem o objetivo de dividir o processo, unidade escolar, para fins quantitativos e permite
que a equipe de coordenação e docente possam fazer correções de rotas/intervenções
pedagógicas/ajustes às necessidades dos alunos no restante do processo.

Dentre os principais instrumentos desse tipo de avaliação, podemos destacar:

• Provas ou testes escritos;

• Simulados;

• Avaliações online;

• Seminários;

• Estudos de caso;

• Produções audiovisuais;

• Trabalhos e pesquisas.

AVALIAÇÕES SOMATIVAS

A modalidade avaliativa mais comum dentro das escolas brasileiras. Utilizadas ao final de um
processo educacional – que pode ser definido como ano, semestre, trimestre, bimestre ou ciclo,
por exemplo – as avaliações somativas determinam o grau de domínio dos conteúdos pré –
estabelecidos.

Em essência, sua principal característica no processo de ensino – aprendizagem é demonstrar

o sucesso de assimilação (ou não) dos conteúdos pelos estudantes, por meio da associação de
notas ou conceitos como forma de classificação.

Dentre os instrumentos mais comuns para quantificar e categorizar os resultados da avaliação

somativa, estão:

• Exames avaliativos escritos ao final de um período escolar;

• Junção de uma ou mais atividades trabalhados pelo professor;

• Atividades com questões de múltipla escolha;

• Atividades com questões de resposta construída.

Página 15 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

MATRIZ DE REFERÊNCIA: COMPETÊNCIAS, HABILIDADES E OBJETOS DE

CONHECIMENTO

O processo de elaboração de itens está vinculado ao modelo de correção pela TRI, utilizado em
avaliações externas, padronizadas e em larga escala. O ponto de partida desse processo é a
matriz de referência, pois ela define as habilidades contempladas pelo objeto de avaliação e os
critérios que embasam os parâmetros de correção e leitura dos resultados, possibilitando a
tradução pedagógica destes. Portanto, os testes de avaliação em larga escala têm como objetivo
aferir a proficiência dos estudantes em determinadas áreas do conhecimento, em períodos
específicos de escolarização (BRASIL, 2008). É um documento aberto, transparente para todos
os envolvidos no processo de avaliação.

Assim, verifica-se que a matriz de referência

[...] contém uma coleção de habilidades (descritores), separadas por categorias

(tópicos), que se espera ou se deseja que os estudantes de determinado nível
de ensino tenham desenvolvido ao longo de seus anos de escolaridade. A
matriz é constituída por descritores, ou seja, descrições objetivas de qual é a
habilidade a ser focalizada, em geral escritas com um verbo no infinitivo, por
exemplo: inferir, localizar, identificar, distinguir etc. (RIBEIRO; COSCARELLI,
2010, p. 318)

Não se deve confundir a matriz de referência com o currículo , pois este dá conta de outro escopo
de planejamento e estabelecimento de metas, abrangendo espectros mais amplos de avaliação
no que tange os instrumentos, que devem mapeados pela equipe escolar e aferidos por meio de
avaliações internas.

É importante salientar que a matriz de referência possui característica norteadora em relação

aos requisitos mínimos de qualidade estabelecidos pelos órgãos responsáveis por sua aplicação.
Esses requisitos mínimos são as competências e/ou habilidades, detalhadas nos descritores. A
seguir, apresentamos algumas definições.

• Competências

Tomamos como base a definição de competência apresentada no documento do Instituto

Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Assim competência é
"[...] a capacidade de mobilização de recursos cognitivos, socioafetivos e psicomotores,
estruturados em, com vistas a estabelecer, encaminhar e enfrentar situações complexas"
(BRASIL, 2020, p.7)

• Habilidades

O mesmo documento esclarece ainda que as habilidades são decorrências das

competências, sendo entendidas como o modo de saber fazer algo ou alguma coisa

Página 16 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

• Objeto de Conhecimento

Os objetos do conhecimento se traduzem em forma de tópicos ou pontos relevantes em que o

estudante deve apresentar seus conhecimentos cognitivos.

A matriz de referência do Sistema Nacional de Avaliação da Educação Básica (Saeb), decorre

do estudo e análise dos documentos mais importantes para o planejamento da Educação Básica,
quais sejam: Parâmetros Curriculares Nacionais e as Diretrizes Curriculares e os Livros
Didáticos.

Matriz de Referência de Língua Portuguesa do Saeb: temas e seus descritores do 5º ano do

Ensino Fundamental. [DESCRITORES]

Página 17 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 18 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CAPÍTULO 3- PROVAS SAEB

ITENS DE UMA AVALIAÇÃO EXTERNA

Os itens compõem o instrumento que será utilizado para coleta de dados resultantes da aplicação
de uma avaliação. A elaboração do instrumento deve estar alinhada com as evidências que se
pretende coletar. A avaliação da qual resulta esse processo é um constructo.

É a partir deste processo de análise que se define o constructo da avaliação.

“Constructos são traços, aptidões ou características, supostamente existentes

e abstraídos de uma variedade de comportamentos que tenham significado
educacional” (VIANNA, 2014, p. 136).

Em uma avaliação externa padronizada e em larga escala, o constructo é definido a partir da

matriz de referência e das condições de aplicação do instrumento. Por essa necessidade de
padronização, o modelo mais comum é aquele com itens fechados de múltipla escolha. Já nas
avaliações internas, o constructo é definido no planejamento reverso, considerando os critérios
avaliados em âmbito escolar que vão além das competências e habilidades demandadas em
uma avaliação externa.

Estamos muito habituados a conectar a imagem do instrumento à da aplicação prova,

enxergando como resultado uma avaliação somativa. Porém, há outros tipos de instrumentos
que podem ser aplicados em uma avaliação interna. Vamos citar alguns exemplos:

• questionamentos;

• devolutivas descritivas;

• instrumentos de avaliação oral (seminários, debates);

• portfólio;

• rubricas.

Dessa forma, compreender os conceitos de “prova” e “instrumento” é útil para fomentar recursos
de apoio ao processo de avaliação em uma escola. No âmbito escolar, as equipes podem se
apoiar em diversos instrumentos para coleta de dados. Outrossim, se a finalidade da avaliação
abrange outros contextos e ambientes externos à escola, o que implica o sistema educativo como
um todo, o instrumento assume características baseadas em “testes de desempenho”, os quais
utilizam itens fechados de múltipla escolha e avaliam um único traço latente a ser traduzido na
proficiência do aluno.

Página 19 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

É importante salientar que há uma diferença entre a leitura de resultados de um instrumento

elaborado em uma avaliação externa com correção pela TRI e aquele aplicado em uma avaliação
interna, mesmo que o formato de item utilizado seja o mesmo. A correção pela TRI viabiliza a
identificação da proficiência por meio da coerência pedagógica, que parte da premissa de que,
uma vez obtida a informação de proficiência do aluno, ela pode embasar a análise dos
resultados.

Assim, um aluno que apresente comportamentos discrepantes tem sua nota ajustada levando
em consideração a possibilidade de acerto ao acaso e recompensando, assim, a coerência no
desempenho que corrobora a proficiência. Portanto, um aluno de alta proficiência deve acertar
muitos itens fáceis, uma boa quantidade de itens medianos e vários itens difíceis; um aluno de
baixa proficiência não deve acertar itens difíceis, que não correspondam ao seu desempenho
nas questões fáceis e médias. Esse tipo de análise não pode ser replicada nas condições
encontradas em avaliações internas, pois depende de uma modelagem estatística sofisticada.
Assim, os instrumentos de avaliação são considerados recursos para a obtenção de dados com
base em objetivos concretos. Podem ser realizados internamente ou podem ser avaliações
externas, e devem informar as ações e estratégias adotadas pelas equipes docentes.

Taxonomia de Bloom: matriz Enem e Saeb

Agora que você já sabe sobre a importância da matriz de referência para a elaboração de um
item, vamos compreender qual é sua relação com a Taxonomia de Bloom, que surgiu a partir da
necessidade de facilitar a comunicação entre examinadores e articular novas pesquisas sobre o
tema.

De acordo com os estudos de Bloom e seus colaboradores, o domínio cognitivo está relacionado
ao aprender. Envolve a aquisição de um novo conhecimento, do desenvolvimento intelectual, de
habilidades. Nesse domínio, os objetivos foram agrupados em seis categorias e são
apresentados em uma hierarquia de complexidade e dependência, do mais simples ao mais
complexo. Para ascender a uma nova categoria, é preciso ter obtido um desempenho adequado
na anterior, pois cada uma utiliza capacidades adquiridas nos níveis anteriores (TREVISAN;
AMARAL, 2016).

Página 20 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

Portanto, a Taxonomia de Bloom oferece-nos elementos que auxiliam na interpretação dos

descritores de uma matriz de referência e orienta para o grau de complexidade da operação
mental que o item deve exigir do aluno para avaliar tal descritor.

Página 21 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

TAXONOMIA DE BLOOM NA AVALIAÇÃO ESCOLAR, ENTENDA COMO APLICAR

A avaliação é vista como uma das mais importantes ferramentas à disposição dos professores
para alcançar o principal objetivo - o aprendizado dos alunos, recorrendo a diversos instrumentos
para fazê-los compreender os conteúdos previstos.
Ou seja, é muito importante encontrar caminhos para medir a qualidade do aprendizado dos
alunos, identificar se eles estão realmente aprendendo e oferecer alternativas para a evolução
do aprendizado.
Nós, como educadores, sabemos que nem sempre é fácil avaliar o aprendizado do aluno de
modo a compreender quais competências e habilidades ele conseguiu desenvolver.
Podemos considerar que o uso dessa ferramenta serve para classificar e discutir os objetivos
educacionais até a capacidade de desenvolver as competências da taxonomia, servindo como
instrumento de avaliação dentro do processo de ensino-aprendizagem.
“A Taxonomia de Bloom contribui para auxiliar os professores na definição
daquilo que eles esperam que os alunos saibam, por meio de uma distribuição
hierárquica de complexidade” BLOOM, 1983.

Entretanto desses três campos, somente o primeiro foi amplamente desenvolvido e colocado em
prática, por isso iremos abordar apenas os itens avaliativos baseados no campo cognitivo.

1. Domínio Cognitivo
O domínio cognitivo tinha como objetivo categorizar objetivos educacionais e era composto de
seis categorias: conhecimento, compreensão, aplicação, análise, síntese e avaliação.

1.1 Conhecimento: Envolve reconhecer e lembrar de fatos, termos, conceitos básicos ou

perguntas sem necessariamente entender o que elas querem dizer.

1.2 Compreensão: Abrange demonstrar um entendimento de fatos e ideias, organizando,

comparando, traduzindo, interpretando, descrevendo ideias principais.

1.3 Aplicação: Inclui usar o conhecimento adquirido – resolução de problemas – em situações

novas aplicando o que aprendeu.

1.4 Análise: Engloba examinar e dissecar a informação em partes, além de determinar como
essas partes se relacionam; identificar motivos ou causas, fazer inferências e encontrar
evidências para apoiar generalizações.

Página 22 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

1.5 Síntese: Compreende construir uma estrutura ou caminho de elementos diversos. Também
faz referência ao ato de juntar partes para formar um todo.

1.6 Avaliação: Envolve apresentar e defender opiniões, fazendo julgamento de valor sobre a
informação, a validade das ideias ou qualidade do trabalho baseado em algum critério.

2. Domínio afetivo
O domínio afetivo lida com nossos sentimentos e emoções, incluindo como enfrentamos o
entusiasmo, rejeição, encorajamento e outros.
Na taxonomia de Bloom, o domínio afetivo encoraja o estudante a não só receber, lembrar e
entender a informação, como também a interagir com ela em uma forma pessoal e emocional.
Ele é divido em cinco estágios:

2.1 Recepção: Capacidade de tomar consciência das próprias emoções e atitudes.

2.2 Resposta: Aluno participa ativamente no processo de aprendizagem, recebendo e reagindo

a estímulos.

2.3 Avaliação: Representa a atribuição de valor à informações e fenômenos.

2.4 Organização: Comparar, relacionar e elaborar todas as informações aprendidas.

2.5 Caracterização: Neste nível é forjada uma crença particular que pode influenciar o
comportamento do estudante.

3. Domínio psicomotor
Os objetivos do domínio psicomotor representam a mudança de comportamento. Refere-se à
agilidade dos alunos em habilidades psicomotoras. Assim como o domínio afetivo também é
dividido em cinco subáreas:

3.1 Percepção: O indivíduo toma consciência do mundo exterior pelos sentidos.

3.2 Predisposição: Está fisicamente, mentalmente e emocionalmente preparado.

3.3 Resposta guiada: Quando o aluno é guiado por professores com instruções para realizar
tarefas. Aqui entra o processo de tutoria.

Página 23 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

3.4 Resposta Mecânica: Processo automatizado que acontece devido à repetição do processo
guiado.

3.5 Resposta completa e clara: Capacidade de realizar ações de forma clara e efetiva.
Processo Cognitivo

O campo da cognição estrutura habilidades em nível hierárquico, ou seja, partindo de uma

habilidade mais simples até chegar em uma habilidade mais complexa.
O professor consegue perceber onde quer que o meu aluno chegue (planejamento reverso) e,
a partir disso, pensar as formas de trabalhar e avaliar esses estágios do aprendizado.

É importante dizer que a taxonomia propõe não apenas uma classificação desses níveis
progressivos de aprendizagem, mas também uma estrutura clara da complexidade do processo
de aprender.

Por exemplo, o aluno precisa compreender que a habilidade de conhecer um conceito, é

anterior e necessária para que ele adquira a habilidade de aplicar esse conceito em uma
situação específica.
Abaixo, apresentamos a tabela com alguns comandos de ação a partir dos comandos – chaves
da Taxonomia de Bloom

Lembrar Compreender Aplicar Analisar Avaliar Criar

Listar Esquematizar Utilizar Resolver Defender Elaborar
Relembrar Relacionar Implementar Categorizar Delimitar Desenhar
Reconhecer Explicar Modificar Diferenciar Estimar Produzir
Identificar Demonstrar Experimentar Comparar Selecionar Prototipar
Descrever Associar Calcular Explicar Justificar Traçar
Citar Converter Demonstrar Integrar Comparar Projetar
Localizar Parafrasear Classificar Investigar Explicar Inventar

Como vimos, a própria taxonomia de Bloom lista os verbos de ação que compõe cada nível,
que são um mecanismo objetivo e simples que ajuda a formular as questões e facilitar a
compreensão de qual habilidade precisa ser trabalhada em cada etapa do processo de
aprendizagem do aluno.
Por exemplo, “justificar” é a ação que você espera do seu aluno no nível da avaliação,
enquanto que “resolver” é algo que se espera no nível de aplicação.
Pela Taxonomia de Bloom, se você utiliza distratores em todas as alternativas, torna a questão
mais complexa.
Página 24 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

Por exemplo, os distratores de uma questão de conta de divisão, o professor subentende ao

planejar a questão, que o aluno precisa saber somar, diminuir e multiplicar para depois
aprender a dividir, seguindo a hierarquia das habilidades que o aluno precisa desenvolver.
Então, resolvendo aquela conta de forma errada, como se não soubesse algum desses pré-
requisitos, isso vai gerar ao aluno respostas distratoras.

Nesse contexto, esses distratores irão ajudar a identificar onde está a defasagem daquele
aluno, se ele marca a alternativa que tem um erro no processo de divisão ou em algumas das
habilidades anteriores na hierarquia do processo cognitivo.

ATENÇÂO: A alternativa correta precisa ter o mesmo nível de desenvolvimento dos distratores.

MUDANÇAS NA ESTRUTURA DA TAXONOMIA

A estrutura sugerida inicialmente pela Taxonomia de Bloom era construída com apenas uma
dimensão, sendo então proposta em 2001 a adição de uma segunda dimensão.

A primeira dimensão, apresentada em 1956, se identifica como a dimensão do conhecimento,

ou seja, o tipo de conhecimento a ser aprendido. Já a segunda dimensão identifica o processo
cognitivo, isto é, o processo usado para aprender.
Os autores revisaram a taxonomia para incentivar o dinamismo dos conceitos das
classificações. A dimensão do conhecimento é composta de quatro níveis explicados abaixo.
Conhecimento factual: consiste em conhecimento da terminologia e conhecimento de detalhes
específicos e elementos.
Conhecimento conceitual: abrange os conhecimentos de classificações e categorizações;
conhecimento de princípios e generalizações; conhecimento de teorias, modelos e estruturas.
Conhecimento procedural: é representado pelo conhecimento de habilidades específicas para
a disciplina e conhecimento de técnicas e métodos específicas para a disciplina.
Conhecimento metacognitivo: contém as ideias de conhecimento estratégico; conhecimento
sobre tarefas cognitivas, incluído contexto apropriado e conhecimento condicional e
autoconhecimento.
A tabela abaixo contém 19 subcategorias e pode ajudar professores a escrever objetivos e
alinhar padrões curriculares.

Página 25 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

Dimensão do Dimensão do Processo Cognitivo

Conhecimento Lembrar Entender Aplicar Analisar Sintetizar Criar
Factual Listar Resumir Classificar Ordenar Ranquear Combinar
Conceitual Descrever Interpretar Experimentar Explicar Avaliar Planejar
Procedural Tabular Prever Calcular Diferenciar Concluir Compor
Meta-Cognitivo Executar Construir Alcançar Agir Efetivar

DESCRITORES DE UMA AVALIAÇÃO

São elementos que descrevem as habilidades trabalhadas nas avaliações externas, a partir dos
quais são alaboradas as questões dessas mesmas avaliações.

É a partir de descritores que são elaboradas as questões das avaliações em larga escala. Assim,
por meio do resultado dessas avaliações é possível mapear o domínio dos estudantes nas
habilidades nas áreas do conhecimento, a fim de se propor um planejamento pedagógico
direcionado às necessidades de cada estudante, turma, escola, regional ou estado.

Segundo o inep:

Competência é definida na BNCC como “a mobilização de conhecimentos (conceitos e

procedimentos), habilidades (práticas cognitivas e socioemocionais), atitudes e valores
para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania
e do mundo do trabalho” (BRASIL, 2017a, p. 8).

Apresentamos, a relação itens x Taxonomia de Bloom nas provas SAEB do 5º e 9ª anos:

LINGUAGENS

Página 26 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

Esses percentuais tomaram por base a representatividade de cada eixo

estruturante/componente curricular na BNCC (BRASIL, 2017a), com ajuste para enfatizar a
avaliação dos procedimentos de Leitura em língua portuguesa, uma vez que esse é um objeto
definidor da qualidade do letramento escolar.Através do padrão de resposta de cada participante.

MATEMÁTICA

As Matrizes de Referência de Matemática propostas neste documento contemplam os aspectos

cognitivos passíveis de serem medidos em testes de larga escala. Não contemplam os aspectos
socioemocionais, atitudinais ou valorativos, os quais poderão ser medidos por intermédio dos
questionários (além dos itens usuais, poderiam ser incluídos itens sobre a autoestima dos
estudantes em relação à Matemática, a perseverança em resolver problemas de Matemática, o
tempo dedicado ao estudo da disciplina etc.). Sobre o motivo de um teste de Matemática (dito
de outro modo, por que testar Matemática?), conforme versa a própria BNCC (BRASIL, 2017a,
p. 263):

o conhecimento matemático é necessário para todos os alunos da Educação

Básica, seja por sua grande aplicação na sociedade contemporânea, seja pelas
suas potencialidades na formação de cidadãos críticos, cientes de suas
responsabilidades sociais. A Matemática não se restringe apenas à
quantificação de fenômenos determinísticos – contagem, medição de objetos,
grandezas – e das técnicas de cálculo com os números e com as grandezas,
pois também estuda a incerteza proveniente de fenômenos de caráter aleatório.
A Matemática cria sistemas abstratos, que organizam e inter-relacionam
fenômenos do espaço, do movimento, das formas e dos números, associados
ou não a fenômenos do mundo físico. Esses sistemas contêm ideias e objetos
que são fundamentais para a compreensão de fenômenos, a construção de

Página 27 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

representações significativas e argumentações consistentes nos mais variados

contextos.

Página 28 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

ESCALAS DE PROFICIÊNCIA

É um conjunto de números ordenados, obtido pela Teoria de Resposta ao Item (TRI) que mede
a proficiência (habilidade) em uma determinada área de conhecimento. Podem ser visualizadas
como réguas que permitem aferir as habilidades dominadas pelos alunos do nível mais baixo
para o mais alto, de forma contínua.

Exemplo:

ÁREA DE CONHECIMENTO: Implicações do suporte, do gênero e/ou do enunciado na

compreensão do texto.

CÓDIGO DO DESCRITOR: D5 – Interpretar texto com auxílio de material gráfico diverso

(propagandas, quadrinhos, fotos, etc...)

ESCALA DE PROFICIÊNCIA:

NÍVEL 1 [125,150] Localizar informações explícitas em textos narrativos curtos, informativos e

anúncios.

NÍVEL 2 [150,175] Interpretar linguagem verbal e não-verbal em tirinhas.

NÍVEL 3 [175,200] Inferir o sentido de palavra, o sentido de expressão ou o assunto em cartas,

contos, tirinhas e histórias em quadrinhos com o apoio de linguagem verbal e não verbal..

NÍVEL 4 [200,225] Inferir efeito de humor em tirinhas e histórias em quadrinhos.

NÍVEL 5 [225,250] Reconhecer relação de causa e consequência e relação entre pronome e seu
referente em tirinhas, contos e reportagens.

NÍVEL 6 [250,275] Inferir assunto principal e sentido de expressão em poemas, fábulas, contos,
crônicas, reportagens e tirinhas.

NÍVEL 7 [275,300] Reconhecer o gênero textual a partir da comparação entre textos e assunto
comum a duas reportagens..

NÍVEL 8 [300,325] Reconhecer assunto comum entre textos de gêneros diferentes.

Página 29 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

CONCLUSÃO

Com este material, procuramos destacar a importância de avaliar itens elaborados ou adaptados
pelo professor/articulador ou por outros profissionais. Isso nos faz refletir sobre pontos que
necessitamos melhorar em nossa prática docente.

Temos consciência de que as características socioemocionais, psicológicas e culturais, ou seja,

o conjunto de aspectos qualitativos dos nossos estudantes impactam no aprendizado mas, o
aspecto quantitativo/estatístico das avaliações internas e externas devem merecer a devida
atenção. Ambos os aspectos podem coexistir inseridos no processo ensino – aprendizagem.

Por fim, esperamos que nosso objetivo tenha sido alcançado – iniciar a discussão sobre a
preparação/condicionamento dos nossos estudantes para aumentar o desempenho nas
avaliações externas de larga escala que futuramente serão submetidos e, trazer mudanças,
intervenções, correções de rotas no trabalho do professor sem causar grandes transtornos.

Gratidão

Página 30 de 46
 avaliação clássica de testes como instrumento de análise quantitativa

ANEXOS

Página 31 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 32 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 33 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 34 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 35 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 36 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 37 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 38 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 39 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 40 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 41 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 42 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 43 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 44 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 45 de 46
avaliação clássica de testes como instrumento de análise quantitativa

Página 46 de 46