RECOMENDAES PARA A ELABORAO DE TESTES DE MLTIPLA ESCOLHA

GRUPO DE TRABALHO PARA AVALIAO

Comisso de Graduao Faculdade de Medicina de Ribeiro Preto USP 1994

COMPILAO: Pedagoga ANA RAQUEL LUCATO C1ANFLONE Prof. Dr. LUIZ ERNESTO DE ALMEIDA TRONCON Proa. Dr. MARIA DE LOURDES VERONEZE RODRIGUES Prof. Dr. JOS FERNANDO DE CASTRO

FIGUEIREDO

RECOMENDAES PARA A ELABORAO DE TESTES ESCOLHA

DE

MLTIPLA

l. Introduo:

Os testes de mltipla escolha constituem um dos mais eficientes e versteis instrumentos de avaliao educacional. Servem predominantemente para avaliao da esfera cognitiva, ainda que possam ser usados para a avaliao do domnio afetivo, como atitudes, valores, etc. No obstante o reconhecimento de suas varias vantagens, este mtodo tem sido alvo de vrias crticas. Entre estas, talvez a principal seja a de que estudantes bem treinados em "resolver testes" possam obter altos ndices de acerto, mesmo sem domnio dos contedos que esto sendo examinados. Acredita-se, porm, ser possvel minimizar, em muito, este fato, com a utilizao de testes tecnicamente bem elaborados. Do mesmo modo, testes com problemas na forma de sua elaborao podem induzir os estudantes ao erro, mesmo os que dominam o contedo testado. O objetivo deste manual , portanto, apresentar um conjunto de recomendaes que facilitem a elaborao de testes bem feitos. Nesse sentido, sero feitas consideraes sobre a seleo dos contedos a serem examinados, sobre as escolhas do tipo de teste e sobre as normas formais recomendadas para composio do enunciado e das alternativas das questes dos testes de mltipla escolha.

2. Seleo de contedos a serem examinados:

A seleo do contedo a ser examinado em cada teste determinada pelos objetivos instrucionais pr-determinados. Estes devem guardar relao com os programas das vrias disciplinas ou cursos. Entretanto, deve haver esforo no sentido de fazer com que o conjunto de testes apresentados seja adequado quanto extenso, profundidade, grau de complexidade dos processos mentais exigidos e quanto proporcionalidade entre o nmero de questes e os itens do programa. Para atingir estas caractersticas, recomenda-se que a construo de testes seja precedida de uma etapa de planejamento, que grandemente facilitada pelo emprego de uma Tabela de Especificao.

"Grau questes

de

complexidade

das Conhecimento domnio informao. (2) 3

ou Compreens-

Aplicao

de TOTAL (5)

da so e uso de princpios, informao. (3) raciocnios solues (4) 3 1 1 2 1 1 1 2 4 2 3 11 e

CONTEUDO (1) Hidratao Distrbios respiratrios do recmnascido Asma bronquica Insuficincia Cardaca Pneumonias TOTAL (6)

1 1

Esta Tabela d uma idia geral dos itens de contedo que esto sendo examinados (1), do grau de complexidade exigido (2,3 e 4) e das distribuies proporcionais dos contedos (5) e dos graus de complexidade (6). Na elaborao dos itens de contedo a serem analisados, recomendamos que sejam selecionados os mais relevantes em cada Departamento. Isto deve ser decidido por consenso entre os integrantes de cada equipe departamental. No h necessidade de se respeitar as diferentes cargas horrias das inmeras disciplinas ministradas em cada Departamento. Igualmente, no h necessidade de se contemplar todas as disciplinas de cada Departamento. A distribuio proporcional do nmero de questes entre os tpicos de contedo selecionados, deve ser feita conforme o maior ou menor destaque que se queira dar a cada um. Isto ser expresso nos totais de cada item da coluna (5) da Tabela acima. O grau de complexidade, dos processos mentais exigidos para a soluo das questes propostas numa dada prova, desenvolve-se em linha contnua, desde a simples memorizao at altos e complexos processos de raciocnio cientfico. Esses processos podem ser classificados em trs grupos (colunas (2), (3) e (4) da Tabela,

respectivamente: - problemas que exigem apenas conhecimento em todos o S seus nveis de fatos, dados, mtodos e teorias; - problemas que exigem capacidade de compreenso, de interpretar, traduzir ou generalizar, de fazer inferncias e julgamentos; - problemas que exigem aplicao de princpios, raciocnios ou solues que requeiram processo mental complexo. A distribuio das questes, quanto aos diferentes graus de complexidade exigidos, ser expressa pelos totais da linha (6) da Tabela acima. Dada a natureza da Avaliao Terminal em curso, recomenda-se que seja exigido, predominantemente, graus mais complexos (3 e 4) que, em geral, so mais relevantes ao exerccio da medicina.

3. Seleo do tipo de teste: 3.1. Formato Existem vrios tipos de testes, definidos de acordo com o seu formato geral. Entre estes, mencionamos os seguintes: 3.1.1. Problema nico, com mltiplas alternativas de soluo. 3.1.2. Mltiplo falso-verdadeiro 3.1.3. Associao 3.1.4. Assero-razo 3.1.5. Mltiplas alternativas isoladas

Ha uma tendncia natural do examinador de selecionar o tipo que seja mais fcil de ser construdo. Contudo, isto pode ocasionar problemas variados para os examinandos, como confuso, demora, cansao, etc.. Isto, evidentemente, interfere com o objetivo principal do teste que a avaliao do domnio cognitivo dos itens de contedo. Neste sentido, recomendamos que sempre que possvel, se j feito o uso do primeiro dos tipos mencionados: "problema nico, com mltiplas alternativas de soluo".

Exemplo:

Aps a recuperao do Infarto do Miocrdio, deve ser orientado ao paciente que evite: a) uso de bebidas alcolicas b) o uso de antiinflamatrios c) atividade sexual d) dirigir veculos e) fumar - Alternativa correta: e Recomendamos, ainda, que, tanto quanto possvel, seja evitado o uso do formato "mltiplas alternativas isoladas" Nesse tipo de teste, muito freqentemente, as alternativas transformam as opes num conjunto de frases soltas, que so julgadas isolamento, como certas ou erradas.

Por exemplo: Assinale a alternativa correta: a) Em recm-nascidos s se deve usar BCG oral. b) A BCG pode ser aplicada por via subcutnea. c) A viragem tuberculnica ps-vacinal no depende do estado nutricional. d) Em sade pblica, a BCG pode ser aplicada sem PPD prvio. Essa forma de apresentar a questo pode refletir, no s o desconhecimento das normas de construo das questes, mas tambm, a dificuldade em propor pelo menos, quatro opes plausveis a cerca de determinado tpico. Reunem-se, assim, quatro afirmativas certas ou erradas, sob a aparncia de questes de mltipla escolha. Esse erro o mais frequente. Contraria uma das principais vantagens desse tipo de prova, ou seja, o estmulo atitude de crtica, pela solicitao da capacidade de analisar e comparar uma srie de respostas possveis relativas a um tpico. Um enunciado bem formulado permite, a quem domina o assunto, antecipar a resposta certa, antes de examinar as opes. Com relao aos demais formatos, reconhecido que exigem grande habilidade e inteligncia na sua construo e que inadequaes de forma e linguagem podem tornar as questes muito difceis de serem entendidas plos estudantes.

3.2. Nmero de alternativas: Aspectos tericos e probabilsticos recomendam que sejam empregados, pelo menos, quatro alternativas. Em funo de razes de ordem operacional local, recomendamos a construo de testes com cinco alternativas.

4. Recomendaes quanto a forma: 4.1. Aspectos gerais a) Conforme j recomendado, a questo deve exigir conhecimento relevante, pertinente e de grau de complexidade compatvel com as caractersticas da populao alvo; b) Solicitar, de preferncia, processos mentais que envolvam raciocnio e reflexo, compreenso de razes e de relaes, aplicao e uso da informao, mais do que simples memorizao ou reteno da informao; c) Propor o problema com clareza, e conter, na questo, todas as informaes necessrias para sua soluo; d) Propor o problema no enunciado, incluindo elemento que de fato contm a pergunta, isto , o verbo da sentena; e) Compor cada questo de modo que seja independente das demais questes, isto , no fornecer "pistas" para outras questes ou provocar propagao de erro; f) Evitar o uso de jarges, siglas, abreviaturas ou de linguagem estereotipada.

4.2. Enunciado a) Evitar enunciados vagos, que transformam as opes num conjunto de frases soltas julgadas, isoladamente, como certas ou erradas. O enunciado deve conter todo um problema, uma pergunta, uma situao. b) Incluir o mximo de palavras no enunciado para que as opes sejam resumidas. Assim, se reduz o tempo de leitura crtica de cada questo, permitindo aumentar o total de questes na prova. c) Sempre que possvel, incluir no enunciado os elementos que se repetem nas alternativas, o que encurta o item e torna mais evidente o elemento variante, que aparece nas alternativas; d) Concluir o enunciado com palavra neutra, para no induzir, ou afastar,

de sada alguma resposta, especialmente pela concordncia gramatical. Redigir as opes de modo a completar gramaticalmente o enunciado. e) Evitar, no enunciado, dados desnecessrios resoluo da questo, a menos que a questo vise averiguar a habilidade separar o fundamental do acessrio. f) Evitar proposio de problema sob a forma de negativa (NO e EXCETO). Caso seja absolutamente necessrio, redigi-los com letras maisculas e grifadas. g) Evite termos como "nunca", "sempre" ou "invariavelmente". h) Evite termos qualitativos que contenham certa impreciso, como "pouco", "muito" ou "s vezes". i) Seja especfico e inclua no enunciado somente as afirmaes necessrias resoluo da questo.

4.3. Alternativas Quanto s alternativas, devem elas: a) apresentar uma nica resposta correta; b) ser homogneas, tanto no contedo - integrando uma mesma famlia de fatos e idias - quanto na forma - expressas de maneira paralela e, tanto quanto possvel, com a mesma extenso; c) representar idias plausveis que possam ser admitidas como boas e atraentes por examinandos menos informados ou que desconheam a matria; quando absurdas, a maioria acerta por simples eliminao; d) ser independentes, redigidas de forma clara e correta, sem subentendidos ou referncias a alternativas anteriores; e) ser colocadas em ordem lgica, crescente ou decrescente, sempre que apresentem valores numricos ou outra gradao; f) evitar coleo de conceitos falso-verdadeiro, independentes; g) evitar o uso de "nenhuma das anteriores" ou "todas as anteriores". h) no propor opes que possam funcionar como "ciladas" inutilizando todo o esforo de medida de rendimento; i) evitar que as alternativas sejam mutuamente exclusivas. Isto aumenta a probabilidade de acerto casual.

j) observar com cuidado o uso de nmeros pois, podem ser causa de imprecises.

4.4. Cuidados especiais Alguns cuidados so necessrios para evitar "pistas" que sugira qual a alternativa correia, mesmo para aqueles que no dominem o contedo da questo. Entre estes conveniente EVITAR:

a) frases que no se entrosem com o enunciado, sob o aspecto da correo gramatical; b) resposta mais abrangente, longa e bem elaborada; c) repetio de termos constantes no enunciado sob forma idntica ou afim; d) certas palavras freqentemente associadas a afirmaes verdadeiras. Exemplos: frases que aparecem sempre ou nunca, tudo ou todo, s ou somente, so, em alta porcentagens, falsas; as que encerram alguns ou geralmente so, em grande maioria, verdadeiras. Do mesmo modo, na composio das alternativas, conhecida a tendncia do examinador em "esconder" a opo correta entre os extremos (a e e). Isto resulta em maior frequncia de alternativas corretas na 3 posio (c) ou, mesmo, na 4a

posio (d) e menor proporo de questes certas em "extremidades" (a e e).

5. Reviso das questes aconselhvel proceder a cuidadosa reviso das questes, antes da sua construo em forma final. Isto pode ser feito em vrias instncias: a) pelo prprio autor da questo, algumas horas ou dias, aps a construo do teste ter sido concluda; b) por especialista no assunto, que pode checar a adequao do contedo, a preciso do enunciado, e, principalmente, se a alternativa correta no admite reparo; c) Por assessor informal (colega de Departamento) que pode, as vezes, num rpido exame da questo, detectar falhas importantes, que passaram desapercebidas; d) Aps ter sido elaborado o conjunto definitivo das questes, confira seno h superposio de contedos a serem avaliados por duas ou mais questes.

6. Recomendao Final Lembre-se que as questes constituem material CONFIDENCIAL, cujo manuseio e circulao devem ser resguardados pelo devido SIGILO, sob pena de invalidarem a avaliao a que se destinam.

7. Bibliografia Harden R. MacG. - Constructing multiple choice questions types. Medical Education 13. 305-312,1979. Lennox B. - Hints of the setting and evaluation of multiple choice question of the one from five type. Bookiet 3. ASME, Dundee , 1974. Popham, W.J. - Educational evaluation, Englewwod Cliffs (New Jersey), Prentice Hall, 1975. Rosa, A.R. et ai. Erros comuns na construo de questes de mltipla escolha. R. Brs. Educ. Md., Rio de Janeiro, 5(3):222-31, set./dez. 1989. Vianna, H.M. - Testes em Educao. So Paulo, Ibrasa, 1983. of multiple true/false