Conceitos centrais para definir um teste

» Um teste tem um domínio de interesse - corpo

específico de conhecimentos, competências, capacidades…

» Um teste é uma amostra de produtos - itens

representativos do que é suposto os alunos saberem fazer.

» Um teste permite fazer inferências sobre o domínio e

usá-las para descrever e tomar decisões relativamente aos
avaliados.

» O grau em que essas inferências são adequadas

designa-se por validade.

Madaus, Haney, e Kreitzer (2000[1992])

Etapas de construção de um teste

» Conceção e planeamento

» Elaboração

» Aplicação

» Classificação

» (Tomada de decisões)

» Análise de resultados
Qualidade da Avaliação
» Validade - A informação recolhida com um teste é
válida se for uma medida daquilo que se pretende
medir; traduz o seu grau de precisão.

» Fiabilidade - A fiabilidade da informação recolhida

traduz o seu grau de consistência, revelando se os
elementos recolhidos vão no mesmo sentido ou se são
contraditórios entre si.

» Erro de medida – toda a informação que se recolhe

está afetada por um erro de medida.
Validade e Fiabilidade

Analogia entre a informação recolhida com um instrumento de avaliação

e a posição num alvo dos tiros disparados por uma arma

Linn e Gronlund (1995)

Qualidade da Avaliação

» As decisões só devem ser tomadas com base em

informação concordante, é essa que se pode considerar
fiável.

» No caso dos professores, a possibilidade de recolher e

analisar informação ao longo do ano, usando tarefas e
instrumentos diversificados e cruzando a informação
recolhida, dá alguma garantia de fiabilidade.

» A fiabilidade da informação recolhida é uma condição

necessária mas não suficiente da sua validade.
Fatores que afetam a validade e a
fiabilidade
Na conceção e planeamento
• Domínio, Amostra…

Na elaboração
• Instruções, Vocabulário e Estrutura frásica,
Na aplicação
• Duração e extensão, Condições de aplicação…
Na classificação
• Critérios de classificação e Consistência entre classificadores…
Nas decisões e análise de resultados
• Inferências incorretas ou não sustentadas…
Referencial e Matrizes de um teste
Conceção e planeamento do teste

O quê? Objeto Finalidades Para quê?

da avaliação da avaliação
− Explicitado no − Certificação
Referencial: − Seleção
Domínios de conteúdo
e Domínios cognitivos
Conceção
Como?
do teste
− Matrizes
− Estrutura
Referencial e Matrizes de um teste
Programa
Documentos Metas Curriculares
orientadores Quadro Europeu Comum de Referência
…

Referencial do Matriz geral

teste
Passível de ser avaliado e
sua relevância curricular

Matrizes
específicas
Desenho conceptual de uma matriz

Nível superior

Nível médio

Nível elementar

Difícil
Tema 1
Tema 2
Tema 3
Tema 4 Fácil
Dekker (2007)
Matriz geral de um teste
Processos Nível Nível Nível Total
cognitivos elementar médio superior (Peso %)
Conteúdos
Tema 1
- Objetivo 1 8 a 13 itens
- Objetivo 2 (25% - 35%)
…
Tema 2
- Objetivo 1 8 a 13 itens
- Objetivo 2 (25% - 35%)
- Objetivo 3
Tema 3 3 a 7 itens
… (15% - 25%)
Tema 4 3 a 7 itens
… (15% - 25%)
Total 15 itens 10 itens 5 itens 30 itens
(Peso %) (50%) (33%) (17%) (100%)
Matriz específica de um teste
Processos Conhecer Interpretar, Relacionar, Total
cognitivos conceitos e aplicar inferir, criar, (Peso %)
Conteúdos regras, … conceitos, … …
Tema 1 1, 2, 21, 22 3, 4, 25 5, 28, 29
- Objetivo 1 10 itens
- Objetivo 2 (25% - 35%)
…
Tema 2 6, 7, 8, 20, 9, 10, 26, 27 11, 30
- Objetivo 1 23, 24 12 itens
- Objetivo 2 (25% - 35%)
- Objetivo 3
Tema 3 12, 13, 18 14, 19 5 itens
… (15% - 25%)
Tema 4 15, 17 16 3 itens
… (15% - 25%)
Total 15 itens 10 itens 5 itens 30 itens
(Peso %) (50%) (33%) (17%) (100%)
Definição de um item de teste

Um item […] é uma unidade de medida com um estímulo

e uma orientação para fornecer a resposta; é pensado
para produzir uma resposta do examinando a partir da
qual pode ser inferido o seu desempenho num dado
constructo psicológico (conhecimento, habilidade,
predisposição…).
Osterlind (1990)
Formatos de item

Seleção Construção
Escolha múltipla Resposta curta
Associação Resposta restrita
Ordenação Resposta extensa
Verdadeiro e Falso

Completamento
Pressupostos na construção de itens

» Clareza das instruções

» Qualidade e adequabilidade
» Qualidade dos critérios de classificação
» Equidade
» …

A informação recolhida é válida e fiável

Construção de itens
Aspetos gerais (1)

1. Adequação entre a duração e a extensão do teste

2. Adequação do formato dos itens aos conhecimentos

e níveis cognitivos

3. Adequação da sequência dos itens

4. Adequação do nível de dificuldade dos itens

5. Adequação do discurso (vocabulário e estrutura

sintática) ao nível de escolaridade
Construção de itens
Aspetos gerais (2)

6. Formulação simples, clara e sem ambiguidades

7. Formulação sem pistas para a resposta a outros itens

8. Formulação sem pistas de resposta devido à

linguagem, à extensão ou à localização da opção
correta

9. Formulação sem padrões de resposta

Escolha Múltipla
Um tronco, onde se apresenta a questão ou se inicia uma
afirmação, seguido de diversas opções de resposta ou de
completamento
A opção correta é a chave e as incorretas são os distratores

Vantagens e desvantagens
 Fáceis e rápidos de classificar
 Fáceis de compreender
 A probabilidade de acertar ao acaso pode ser reduzida
 Permitem a identificação de erros
- Construção morosa e difícil

A classificação das respostas é dicotómica

Escolha Múltipla
Recomendações
 O tronco do item deve
- estar na afirmativa
- admitir apenas uma possibilidade de resposta

 As opções devem ser

- plausíveis
- tão curtas quanto possível
- semelhantes em extensão e forma
- consistentes com o tronco do item
- ordenadas de acordo com um critério lógico

 Devem ser evitadas

- pistas para a resposta
- as alternativas “nenhuma das anteriores” e “todas as
anteriores”
Associação
Dois conjuntos de elementos entre os quais o aluno estabelece
uma correspondência, de acordo com uma regra dada.

Vantagens e desvantagens
 Fáceis de classificar
 Difíceis de acertar ao acaso
- Em cada item só podem ser usados conjuntos de elementos
homogéneos

A classificação das respostas é dicotómica, no entanto, podem ser

previstas pontuações para respostas parcialmente corretas
Associação
Recomendações

 Os elementos de cada conjunto devem

- ser homogéneos
- ser ordenados segundo um critério lógico
- estar na mesma página

 Os dois conjuntos devem conter um número

diferente de elementos
 As instruções devem conter as especificações
para a associação dos elementos dos dois
conjuntos
Verdadeiro e Falso
Conjunto de afirmações, que o aluno classifica como
verdadeiras ou falsas.

Vantagens e desvantagens
 Fáceis de construir
 Fáceis de compreender
 Fáceis e rápidos de classificar
- Prestam-se a padrões de resposta
- Permitem acertos ao acaso

A classificação das respostas é dicotómica, no entanto, podem ser

previstas pontuações para respostas parcialmente corretas
Verdadeiro e Falso
Recomendações
 As afirmações devem ser
- claramente verdadeiras ou falsas
- sensivelmente do mesmo tamanho

 Deve haver sensivelmente o mesmo número de

afirmações verdadeiras e falsas

 Devem ser evitados

- termos indefinidos (às vezes, nem sempre, alguns…)
- formulações na negativa (dupla negativa)
- afirmações pouco significativas em termos de
aprendizagem
- um padrão de respostas
Ordenação
Elementos que o aluno tem de organizar de acordo com um
critério dado.

Vantagens e desvantagens
 Fáceis de classificar
- O item constitui um todo relativo ao mesmo tema,
requerendo homogeneidade e consistência entre os
seus elementos

A classificação das respostas é dicotómica

Completamento
Um enunciado incompleto com espaço(s) em branco para
preencher, selecionando elementos de um conjunto dado ou
construindo os elementos em falta.

Vantagens e desvantagens
 Fáceis de construir
 Quando são de construção, não permitem acertos ao acaso
- Quando são de construção, podem levantar problemas de
falta de objetividade na classificação

A classificação das respostas é dicotómica, no entanto, podem ser

previstas pontuações para respostas parcialmente corretas
Completamento
Recomendações

 Os espaços em branco devem ser todos do mesmo tamanho

 Evitar espaços em branco no início das frases

 Não incluir pistas para a resposta

 Especificar
- O grau de precisão que se pretende nas respostas numéricas
- As unidades nos casos em que se aplique
Itens de construção
Requerem a produção de uma resposta cuja estrutura e extensão
depende das instruções de realização, desde a apresentação de uma
palavra, um número ou uma frase até à elaboração de uma
composição ou um ensaio.

Vantagens e desvantagens
 Permitem a identificação dos processos utilizados
 Não permitem acertos ao acaso
- Colocam questões de falta de objetividade na classificação
- Requerem tempo para a análise da resposta
- São pouco adequados para diagnosticar dificuldades
específicas dos alunos
Item de resposta curta

Apresentação de uma palavra, um número, uma frase, …

Prova de Aferição de Matemática do 4.º ano de 2012

A classificação das respostas é dicotómica, no entanto, podem ser

previstas pontuações para respostas parcialmente corretas
Item de resposta restrita

Apresentação de uma explicação, uma comparação, uma

previsão, cálculos…

2. Compare as duas perspetivas acerca do I Plano de Fomento, expressas

nos documentos 3 e 4, quanto a três dos aspetos em que se opõem.
Exame de História A do ensino secundário de 2012

A classificação das respostas é politómica, envolvendo níveis de

desempenho ou etapas de resolução, a que correspondem pontuações
definidas em critérios de classificação.
Item de resposta extensa
Uma resposta mais extensa como, por exemplo, uma
composição, que poderá ser orientada por um conjunto
de instruções

Exame de História A do ensino secundário de 2012

A classificação das respostas é politómica envolvendo níveis de

desempenho a que correspondem pontuações definidas em critérios de
classificação.
Critérios de Classificação

Conjunto articulado e estruturado de regras e procedimentos a

usar na atribuição de uma classificação às respostas a uma prova

Critérios gerais – aplicam-se a todos os itens de um teste ou

aos itens de um mesmo formato

Critérios específicos – são construídos para a classificação

de um único item
Critérios de Classificação

Os critérios específicos são construídos em

simultâneo com o enunciado do item

Enunciado do item Critério de classificação

… …
… …

E a questão central é
o que é que se quer avaliar com este item?
Critérios de Classificação
O que se procura na resposta a um item de construção?

» A presença ou ausência de certos elementos solicitados

(‘produtos’) e o critério corresponde a uma lista de
verificação

» O grau de qualidade de outros elementos solicitados

(evidências de ‘processos’ e ‘produtos’) e o critério
corresponde a uma escala de classificação (níveis de
desempenho)
Análise de itens
Índice de dificuldade de um item

» Percentagem de alunos que respondeu corretamente

» Assume valores numa escala de 0 a 1

» Quanto maior é o índice menos difícil é o item

Muito fácil – superior a 80%
Fácil – de 60% a 80%
Médio – de 40% a 60%
Difícil – de 20% a 40%
Muito difícil – inferior a 20%
Análise de itens

Índice de discriminação de um item

» Tem a ver com a diferença de desempenho no item
dos alunos melhor e pior classificados
» Assume valores numa escala de -1 a 1
» Quanto maior é o índice maior é o poder de
discriminação do item
Bom – superior a 0,40
Razoável – entre 0,20 e 0,40
Pobre – inferior a 0,20
Ebel (1954)
Análise de itens

Cálculo dos parâmetros de itens

Critérios de Classificação
Por etapas

Item

Prova Final de Matemática do 6.º ano de 2012

Critérios de Classificação
Por níveis de desempenho

Item

Exame de Biologia e Geologia do Ensino Secundário de 2014

Dekker, T. (2007). A model for constructing higher level classroom
assessments. Mathematics Teacher, 101(1), 56-61.
Madaus, G., Haney, W. & Kreitzer, A. (2002). The role of testing in
evaluations. In D. Stufflebeam, G. Madaus e T. Kellaghan (Eds),
Evaluation models: Viewpoints on educational and human services
evaluation, pp 113-125. Kluwer Academic Publishers: NY.
Miller, M., Linn, R. e Gronlund, N. (2009). Measurement and assessment in
teaching (10th ed), New York: Pearson Education.
Osterlind, S. J. (2002).Constructing test items: Multiple-choice,
Constructed-response, Performance and other formats. Boston: Kluwer
Academic.