Domingos Fernandes

AVALIAO DAS APRENDIZAGENS: UMA AGENDA, MUITOS DESAFIOS

NDICE
Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Algumas Referncias Recentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Trs Razes Suficientes para Mudar a Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Primeira Razo: Aprendizagem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Segunda Razo: Currculo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Terceira Razo: Democracia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Conceptualizaes de Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Avaliao como Medida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Avaliao como Descrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Avaliao como Juzo de Valor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Sntese e Limitaes das Trs Geraes de Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Avaliao como Negociao e como Construo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 7 7 7 8 10 10 11 11 12 13

Avaliao Psicomtrica e Avaliao Alternativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Princpios e Orientaes para uma Avaliao Alternativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Integrao Ensino-Aprendizagem-Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Seleco de Tarefas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Funes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Triangulao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Triangulao de estratgias, tcnicas e instrumentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Triangulao de intervenientes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Triangulao de espaos e de tempos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Transparncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 16 16 18 18 19 19 19 19

A Essencialidade do Feedback na Avaliao Alternativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 O Portfolio como Exemplo de Avaliao Alternativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Os Professores e a Avaliao das Aprendizagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Avaliao Externa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Exames Pblicos Nacionais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Breve bosquejo histrico dos exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Caractersticas gerais dos exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Funes dos exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Consideraes sobre o tipo de questes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Equidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Validade e fiabilidade dos exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Vantagens e desvantagens dos exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Avaliao Aferida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Estudos Internacionais de Avaliao das Aprendizagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 25 26 26 28 30 32 33 35 36 42

Uma Agenda, Muitos Desafios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Referncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

INTRODUO
Este texto* surge numa altura em que esto em curso, ou esto em vias de concretizao, um conjunto de medidas de poltica relativas ao sistema educativo portugus. Entre outras, podem destacar-se a gesto flexvel do currculo na educao bsica, o incio de uma reviso curricular abrangendo percursos de educao e de formao de nvel secundrio, a aplicao de provas de aferio nos anos terminais dos ciclos da educao bsica, a introduo de exames nacionais no final da escolaridade bsica, a passagem para a tutela do Ministrio da Educao de toda a formao inicial de natureza vocacional ou profissionalizante ou o alargamento da escolaridade obrigatria para 12 anos. Por outro lado, como sabido, prepara-se uma reviso da Lei de Bases do Sistema Educativo que, supostamente, ir enquadrar, a posteriori, decises de poltica educativa publicamente anunciadas pelo Ministro da Educao ou j sob a forma de normativo legal como o caso de algumas das que acima se referem. No que concerne avaliao das aprendizagens dos alunos do ensino no superior, estamos num momento particularmente importante para fazer um ponto de situao to desapaixonado e imparcial quanto possvel, acerca dos problemas, dos desafios, das potencialidades ou das questes relativas ao seu desenvolvimento. O mesmo dizer que interessa analisar o que se passa actualmente com a avaliao das aprendizagens, nas suas mltiplas e complexas dimenses, para que se possam identificar linhas de aco que contribuam para democratizar, modernizar e melhorar o sistema educativo. Importa antes do mais referir que a avaliao das aprendizagens aqui entendida como todo e qualquer processo deliberado e sistemtico de recolha de informao, mais ou menos participado, mais ou menos negociado, mais ou menos contextualizado, acerca do que os alunos sabem e so capazes de fazer numa diversidade de situaes. Normalmente este processo permite a formulao de apreciaes por parte dos diferentes intervenientes (incluindo os prprios alunos), acerca do mrito ou valor do trabalho desenvolvido pelos alunos o que, em ltima anlise, permitir tomar decises que regulem os processos de aprendizagem e de ensino. Assim, neste sentido amplo, a avaliao das aprendizagens inclui a avaliao de conhecimentos, de desempenhos, de capacidades, de atitudes, de procedimentos ou de processos mais ou menos complexos de pensamento. Se quisermos, inclui a avaliao de competncias, ou a avaliao dos saberes em utilizao, como agora se ouve com alguma frequncia, a partir de concepes dominantes nos meios econmicos e empresariais. (Por razes de simplificao de escrita, sempre que neste texto surgir a palavra avaliao e se nada for dito em contrrio, estarei a referir-me avaliao das aprendizagens.) Voltando ento ao raciocnio que antes seguia, poder-se- dizer que a avaliao, componente indissocivel do ciclo constitudo pelo ensino e pela aprendizagem, constitui um elemento essencial de desenvolvimento dos sistemas educativos porque atravs dela que, por exemplo, as escolas podem empobrecer ou enriquecer o currculo, os professores podem organizar o ensino com maior ou menor nfase na experimentao ou na resoluo de problemas, os alunos podem estudar com maior ou menor motivao, os pais e encarregados de educao podem acompanhar a vida escolar dos seus filhos ou educandos com maior ou menor interesse, a sociedade em geral pode estar mais ou menos satisfeita com o que os jovens esto a aprender ou que os governos podem, ou no, decidir afectar recursos a um dado projecto, a uma dada escola ou a um conjunto de escolas.
* Este texto uma verso no definitiva de um trabalho em desenvolvimento para publicao posterior na Texto Editora.

Repare-se que, em princpio, governos, polticos, escolas, gestores escolares, professores, pais e alunos esto todos interessados na avaliao, precisam dela ou utilizam-na, mais ou menos sistematicamente, de diversas formas. Por exemplo, os governos e os polticos precisam de avaliar para estabelecer standards (padres de excelncia se quisermos) para monitorizar a qualidade da educao, para perceber os efeitos dos exames nacionais ou para formular polticas. As escolas e os respectivos gestores utilizam a avaliao para identificar pontos fortes e pontos fracos dos seus projectos educativos, para planificar ou melhorar projectos e programas em curso ou para intervir na gesto dos recursos humanos e materiais. Os professores e os diversos responsveis pela vida das escolas utilizam a avaliao para monitorizar o progresso dos alunos, para avaliar o currculo e proceder ao seu refinamento, para introduzir correces no processo de ensino, para motivar os alunos ou para preparar a atribuio de classificaes. Finalmente, os pais e os alunos podem utilizar a avaliao para ajuizar acerca do trabalho realizado pelas escolas, para tomar decises conscientes relativas a prosseguimento de estudos, para analisar pontos fortes e pontos fracos dos alunos ou para regular o processo de aprendizagem. Assim, num contexto de alteraes curriculares e tendo em conta o que acima se refere, parece fazer sentido que neste texto se procurem equacionar e sistematizar conceitos, ideias ou procedimentos relacionados quer com a avaliao interna (avaliao desenvolvida e integralmente controlada pelos professores e pelas escolas) quer com a avaliao externa (avaliao desenvolvida e normalmente totalmente controlada por uma instituio ou instituies externas escola; no nosso caso, normalmente o Ministrio da Educao atravs de alguns dos seus departamentos, gabinetes ou direces gerais). No que se refere avaliao interna analisam-se as principais caractersticas da avaliao alternativa, tambm designada por avaliao autntica, avaliao contextualizada ou avaliao educativa, em contraste com as caractersticas da avaliao psicomtrica, fazem-se consideraes relativas a prticas de professores identificadas por algumas investigaes realizadas em Portugal, identificam-se e discutem-se as suas principais funes, analisam-se e discutem-se as suas relaes com o ensino e com a aprendizagem e referem-se estratgias e instrumentos de avaliao. Quanto avaliao externa, analisam-se e discutem-se vrias questes relacionadas com os exames nacionais do ensino secundrio, nomeadamente no que se refere aos seus possveis efeitos no desenvolvimento do currculo, sua validade e fiabilidade e s suas vantagens e desvantagens. No que se refere s provas aferidas, faz-se uma anlise diacrnica do seu desenvolvimento entre ns, procurando caracterizar as razes que parecem justificar o seu, pelo menos aparente, fracasso. Portugal participou e continua a participar em estudos internacionais de avaliao promovidos e orientados quer pela International Association for the Evaluation of Educational Achievement IEA quer pela Organizao para a Cooperao e Desenvolvimento Econmico OCDE. No primeiro caso o nosso pas participou no Third International Mathematics and Science Study (TIMSS) e, no segundo, participou e continua a participar no Programme for International Student Assessment (PISA). Nestas condies e considerando o crescente impacto destes estudos de avaliao externa na formulao das polticas educativas dos pases participantes, pareceu-me interessante tecer algumas consideraes acerca da natureza destes estudos, dos seus propsitos e dos seus impactos. Um outro objectivo deste texto o de propor uma agenda para a aco no domnio da avaliao das aprendizagens. Refira-se que uma agenda e no a agenda! Ou seja, uma agenda que resulta duma leitura que fao do actual estado das coisas e que interfere no domnio das polticas educativas, no domnio da organizao e funcionamento das prticas pedaggicas e didcticas das escolas, no domnio da formao de professores e no domnio da produo de conhecimento por parte das instituies do ensino superior. evidente que podem surgir outras agendas, reflectindo outras vises, outras concepes e, consequentemente, outras prioridades. O que sinceramente espero que a agenda proposta contribua para que, no domnio da avaliao das aprendizagens, possamos conjugar esforos da formao, da investigao e das prticas que se traduzam em linhas de orientao devidamente fundamentadas que ajudem a consolidar o que tem funcionado bem, a melhorar o que tem funcionado menos bem e a pr a funcionar o que, muito simplesmente, no tem funcionado.

ALGUMAS REFERNCIAS RECENTES

Nos finais dos anos 80 e muito particularmente nos anos 90 do passado sculo, assistiu-se a uma grande proliferao de reflexes, investigaes e consideraes de natureza terica e prtica relativamente avaliao das aprendizagens dos alunos. Instituies e autores de insuspeita credibilidade produziram, e continuam a produzir, milhares de pginas onde se discutem questes de desenvolvimento dos sistemas educativos, do ensino e das aprendizagens e os papis que a avaliao tem desempenhado e dever vir a desempenhar nesse desenvolvimento. Pareceu-me interessante referir aqui algumas publicaes que considero mais relevantes pela notria influncia que, um pouco por todo o mundo, tm exercido junto de investigadores, educadores e professores, particularmente interessados na avaliao, junto de responsveis por instituies que trabalham em avaliao ou mesmo junto de responsveis polticos. Trata-se apenas de uma sugesto de um conjunto de referncias que conheo bem e no de uma lista exaustiva e sistemtica de todas as publicaes de qualidade que surgiram no perodo em referncia. (Publicaes resultantes de reflexes e de investigaes realizadas entre ns so referidas, de forma mais contextualizada, ao longo do texto.) Ainda nos finais dos anos 80, Desmond Nuttall, investigador ingls prematuramente falecido, editou um livro notvel integralmente dedicado avaliao das aprendizagens com um conjunto de artigos que abordam questes que vo desde a avaliao em larga escala, tal como se organiza em vrios pases do mundo, at s questes relacionadas com a procura de alternativas avaliao predominante nos sistemas educativos (Nuttall, 1986). Nos incios dos anos 90 publicado um conjunto livros de referncia incontornvel no domnio da avaliao das aprendizagens (Berlak, Newmann, Adams, Archbald, Burgess, Raven e Romberg, 1992; Gifford e OConnor, 1992; Gipps, 1994; Stake 1991a, 1991b). Todos eles pem uma particular nfase, entre outros assuntos, nos paradigmas que, digamos assim, sustentam diferentes abordagens tericas e prticas de avaliao, na organizao e funcionamento de exames nacionais e de avaliaes em larga escala sem qualquer impacto na progresso dos alunos, nas questes de validade, fiabilidade, equidade e comparabilidade dos instrumentos utilizados e/ou dos resultados por eles produzidos ou ainda nas polticas de avaliao. Permito-me destacar o excelente conjunto de artigos constantes nos dois volumes editados por Stake (1991a, 1991b). Num deles discutem-se as relaes entre as necessidades de reformar a educao e as polticas de avaliao. So apresentadas e discutidas perspectivas sobre polticas de avaliao em diferentes pases, questes referentes comparao entre escolas a partir da utilizao dos resultados em provas de avaliao externa e formas de lidar com as diferenas e de preservar a individualidade. No outro analisam-se os efeitos da avaliao externa obrigatria (com ou sem efeitos na progresso dos alunos) nas prticas de ensino. Comeam por analisar-se os efeitos positivos e negativos da avaliao externa na organizao e funcionamento das escolas, depois apresentam-se, discutem-se e analisam-se percepes de professores sobre o impacto das avaliaes externas no ensino e, mais geralmente, nas salas de aula e, finalmente, em trs artigos, ilustra-se como que questes de natureza conceptual se relacionam com mudanas nas polticas de avaliao. ainda no incio dos anos 90 que a Associao de Professores de Matemtica dos Estados Unidos da Amrica, o National Council of Teachers of Mathematics (NCTM), imagem do que aconteceu com outras instituies e associaes de professores de outras disciplinas, dedica inteiramente o seu Yearbook de 1993 avaliao das aprendizagens nas salas de aula de matemtica (Webb e Coxford, 1993) e, dois anos passados, publica um documento programtico de grande relevncia Assessment Standards for School Mathematics (NCTM, 1995) que estabelece um conjunto de standards destinados a orientar as prticas de avaliao dos professores de matemtica. Este ltimo um documento cujo contedo perfeitamente transfervel para outros contextos (disciplinares ou no). Aps a primeira metade da dcada de 90, a Association of Teacher Educators norte-americana publicou o seu Handbook of Research on Teacher Education (Sikula, 1996) no qual se inclui um artigo dedicado avaliao autntica (Tellez, 1996). Merece ainda referncia um livro editado por Gary Phye que inclui um conjunto de 18 artigos de natureza terica e prtica (avaliao das aprendizagens nos jardins de infncia e nas aulas de matemtica, de estudos sociais, de lnguas, de artes visuais) e artigos relativos avaliao em larga escala e ao desenvolvimento de standards (Phye, 1997). Mais recentemente, a prestigiada editora holandesa Kluwer Academic Publishers publicou a segunda edio do clssico Evaluation Models: View Points on Educational and Human Services Evaluation (Stufflebeam, Madaus e Kellaghan, 2000), cuja primeira edio data de 1983. Nesta segunda edio os editores mantiveram apenas sete artigos da edio anterior, promoveram a reviso de trs e acrescentaram quinze. Apesar de se

centrar essencialmente na avaliao de programas, o livro contm artigos de natureza terica relevantes para a compreenso e conceptualizao da avaliao das aprendizagens (Madaus e Kellaghan, 2000; Madaus e Stufflebeam, 2000; Scriven, 2000; Stake, 2000). Inclui ainda dois artigos mais directamente relacionados com a avaliao das aprendizagens (Madaus, Haney e Kreitzer, 2000; Kellaghan e Madaus, 2000). A American Educational Research Association (AERA), publicou a quarta edio do seu Handbook of Research on Teaching (Richardson, 2001) na qual se inclui um artigo sobre o papel da avaliao na sala de aula, no ensino e na aprendizagem (Shepard, 2001). Refira-se que este Handbook publicado sensivelmente de 10 em 10 anos e constitui uma referncia de grande qualidade no domnio da investigao em ensino, apresentando frequentemente estados da arte de vrias reas e domnios de investigao. Finalmente, refira-se que a Kluwer publicou, em dois volumes, o International Handbook of Educational Evaluation (Kellaghan e Stufflebeam, 2003), com quatro captulos dedicados avaliao das aprendizagens: um de Mislevy, Wilson, Ercikan e Chudowsky (2003), que discutem princpios psicomtricos presentes na avaliao das aprendizagens dos alunos; um de Airasian e Abrams (2003), que apresentam e discutem cinco reas de avaliao na sala de aula que se realizam antes, durante e depois do ensino e que, na opinio dos autores, representam a maioria das avaliaes que os professores desenvolvem; um de Gipps e Stobart (2003), em que se enunciam e discutem as caractersticas de uma avaliao alternativa a partir do contraste entre os paradigmas psicomtrico e educativo; e um de Kellaghan e Madaus (2003), em que se discutem exaustivamente as caractersticas, as formas de desenvolvimento, a validade, a fiabilidade, a comparabilidade, a equidade, as vantagens e as desvantagens dos exames nacionais mas tambm as vantagens e desvantagens das avaliaes internas, baseadas nas escolas.

TRS RAZES SUFICIENTES PARA MUDAR A AVALIAO

Em praticamente todas as referncias acima indicadas clara a preocupao dos autores em demonstrar que necessrio mudar e melhorar as prticas de avaliao das aprendizagens dos alunos. Quer ao nvel das salas de aula e das escolas quer ao nvel da chamada avaliao em larga escala, como o caso dos exames nacionais, obrigatrios, do ensino secundrio ou das provas de aferio. E porqu? Julgo que essencialmente por trs ordens de razes, todas igualmente importantes. (A ordem de apresentao meramente arbitrria.)

Primeira Razo: Aprendizagem

Os resultados da investigao no campo das cincias cognitivas mostram que os processos de aprendizagem no so lineares, antes se desenvolvem em mltiplas direces e a ritmos que no obedecem propriamente a padres regulares. O desenvolvimento de processos complexos de pensamento deve iniciar-se logo desde o incio da escolaridade e, em geral, no ocorre s aps os alunos dominarem previamente um conjunto de factos bsicos. As pessoas de todas as idades e de todos os nveis de competncia utilizam, reconstroem e integram conceitos de diferentes graus de complexidade. Por outro lado, parece haver uma grande variedade nas formas e ritmos com que as pessoas aprendem, nas capacidades de ateno e de memria que podem utilizar nos seus diferentes desempenhos e na aprendizagem de conceitos e ainda nas formas que utilizam para comunicar os significados pessoais que atribuem ao que vo aprendendo. O que hoje sabemos acerca da aprendizagem permite-nos considerar inadequado, sob muitos pontos de vista, um ensino baseado quase exclusivamente na prtica de procedimentos rotineiros e na aprendizagem de conhecimentos de factos discretos e descontextualizados que no so vistos de forma integrada. A investigao tem sugerido que aprender (?) desta forma dificulta a aplicao e mobilizao dos conhecimentos em contextos diversificados, nomeadamente na resoluo de problemas da vida real. As aprendizagens significativas so reflexivas, construdas activamente pelos alunos e auto-reguladas. Por isso, os alunos no so encarados como meros receptores que se limitam a gravar informao, mas antes como sujeitos activos na construo das suas estruturas de conhecimento. Conhecer alguma coisa significa ter que a interpretar e ter que a relacionar com outros conhecimentos j adquiridos. Alm disso, hoje reconhece-se que no basta saber como desempenhar uma dada tarefa mas preciso saber quando a desempenhar e como adaptar esse desempenho a novas situaes. Sabe-se ainda que as competncias metacognitivas e scio-afectivas desempenham um papel relevante no desenvolvimento das aprendizagens. por isso que, muitas vezes, as diferenas entre alunos fracos e bons na resoluo de problemas no residem tanto nos conhecimentos que ambos os grupos possuem mas antes na utilizao que ambos fazem desses mesmos conhecimentos. Ou seja, adquirir conhecimentos uma condio necessria mas no suficiente para que algum se torne bom a resolver problemas. preciso saber mobilizar atitudes e estratgias e saber quando e como as utilizar. Parece evidente que, nestas circunstncias, avaliar o desempenho dos alunos em tarefas rotineiras ou conhecimentos que pouco mais exigem do que a sua memorizao ser insuficiente. A avaliao tem que abranger processos complexos de pensamento, tem que contribuir para motivar os alunos para a resoluo de problemas, tem que contribuir para que os aspectos de natureza scio-afectiva sejam devidamente valorizados, tem que se centrar mais nas estratgias metacognitivas utilizadas e a utilizar pelos alunos.

Segunda Razo: Currculo

Nos ltimos 30 anos, tem havido profundas alteraes nos currculos de praticamente todos os pases do mundo. A expanso dos regimes democrticos, a grande facilidade de mobilidade de pessoas e de mercadorias e as novas tecnologias de informao e de comunicao transformaram significativamente as sociedades modernas. S a ttulo de exemplo, pensemos nas profundas transformaes econmicas, sociais, polticas e culturais a que temos assistido nos pases europeus. As sociedades tornaram-se muito mais multiculturais, muito mais competitivas, muito mais exigentes a todos os nveis e muito mais abertas do ponto de vista econmico. Mas tambm se tornaram mais instveis, mais incertas, mais inseguras, menos previsveis. Hoje sabe-se que dificilmente um emprego ser para toda a vida, numa dada empresa ou mesmo num dado pas.

H muito maior interdependncia entre os pases e, em particular, entre as suas economias. Decises tomadas num pas asitico podem ter reflexos polticos, econmicos e sociais profundos nos pases europeus. Podemos dizer que as mudanas rpidas e profundas, a imprevisibilidade e a interdependncia econmica, poltica e social so caractersticas marcantes das nossas sociedades. Os jovens de hoje tm que estar habilitados com um conjunto de saberes, capacidades e atitudes que lhes permitam viver integrados neste tipo de sociedades. Nestas circunstncias e numa tentativa de adaptar os sistemas educativos ao actual estado das coisas, mas tambm ao que se pensa que ser o futuro, os governos tm procurado imprimir um ritmo reformista quase permanente que, essencialmente, se tem caracterizado pela introduo de alteraes curriculares mais ou menos profundas, pela diversificao e flexibilizao de percursos educativos e formativos, pela aposta na educao e formao ao longo da vida, pelo alargamento da escolaridade obrigatria, pela maior autonomia das escolas e, simultaneamente, pelo estabelecimento de mecanismos que, centralmente, reforcem o controlo do currculo e da avaliao por parte do Estado. A ideia parece ser a de procurar garantir que os sistemas educativos preparem jovens capazes de lidar com situaes complexas, de resolver problemas em contextos diversificados nacionais e internacionais, de trabalhar em grupos cada vez mais multiculturais, de comunicar facilmente na sua lngua e, pelo menos, numa lngua estrangeira, de saber utilizar as novas tecnologias da informao, de seleccionar informao, de ser tolerantes para com as diferenas, de ser cidados crticos e participativos na vida democrtica das sociedades. Enfim, a lista poderia prosseguir por mais algumas pginas O que sobretudo interessa salientar que os currculos de hoje nos lanam desafios que vo muito para alm da memorizao de conhecimentos e de procedimentos rotineiros. So muitssimo mais exigentes do que h 30 anos atrs, quer na diversidade e profundidade de conhecimentos que se exigem quer na complexidade das tarefas que se propem aos alunos quer ainda na preocupao explcita com a integrao, relao e mobilizao de conhecimentos e aprendizagens que, tanto quanto possvel, se devem desenvolver em contextos com real significado para os alunos. neste contexto que os pases participam em estudos internacionais de avaliao das aprendizagens dos alunos. Num certo sentido, tais estudos acabam por constituir uma presso para que os pases participantes adiram a certos padres curriculares e para que os seus sistemas educativos definam standards que, supostamente, os ajudem a melhorar a qualidade do servio prestado. Curiosamente, s muito recentemente, mais concretamente a partir do incio dos fins dos anos 80 e apenas num reduzido nmero de pases, se comearam a percepcionar movimentos, mais ou menos institucionais, tendentes a alinhar a avaliao com as novas exigncias curriculares. Como veremos mais adiante, tal alinhamento ainda est longe de ser concretizado. H um intenso e interessantssimo debate que ainda est a fazer o seu caminho. Uma coisa parece ser certa: ningum est propriamente satisfeito com o tipo de avaliao das aprendizagens dominante nos sistemas educativos. H at quem diga, talvez exagerando um pouco, que as sucessivas reformas tm falhado porque a avaliao permanece praticamente imutvel. Talvez no seja rigorosamente assim, mas a verdade que, no caso do nosso pas, s 18 anos aps a instituio da democracia se pode dizer que surgiu um conjunto de orientaes para a avaliao, baseado em princpios cognitivistas e construtivistas, mais consistente com uma viso progressiva da educao, do ensino e da aprendizagem. Trata-se do Despacho n. 98-A/92.

Terceira Razo: Democracia

O acesso de todas as crianas e jovens ao bem da educao uma conquista das sociedades democrticas. Percebe-se que, em ltima anlise, a consolidao e o desenvolvimento das democracias depende do que formos capazes de fazer nos domnios da educao, da cincia e da cultura. Num certo sentido, tudo o resto poder ser uma consequncia do investimento que fizermos naqueles domnios da actividade humana. Acontece que ter todas, ou praticamente todas, as crianas e jovens nas escolas uma importante conquista das sociedades, mas temos que pensar de que formas que esto nas escolas. Ser que todos os alunos tm as mesmas oportunidades para aprender? Ser que todos recebem os mesmos tipos de feedback quanto aos seus progressos e dificuldades? Ser que todos podem ir to longe quanto as suas motivaes, interesses e saberes lho permitirem? Ser que todos, nas suas diferenas, sejam elas quais forem, se sentem plenamente integrados e vem satisfeitas as suas legtimas aspiraes? Ser que a todos proporcionada uma educao e uma formao que lhes permitam integrar-se plena e dignamente na sociedade? So questes que se colocam frequentemente e cujas respostas esto ainda longe de ser francamente positivas.

Mas o que que a necessidade de mudarmos e melhorarmos a avaliao das aprendizagens dos alunos tem a ver com a democratizao dos sistemas educativos? Eu diria que muito! Na verdade, as formas de organizar a avaliao podem motivar ou desmotivar os alunos, podem constituir importantes alavancas para superar obstculos ou ser, elas mesmas, mais um obstculo a superar, podem ajudar os alunos a estudar e a compreender bem as suas limitaes e potencialidades ou, muito simplesmente, desinteress-los. A avaliao pode e deve ter um papel relevante no desenvolvimento de aprendizagens complexas, no desenvolvimento moral e no desenvolvimento scio-afectivo dos alunos. A avaliao pode segregar ou pode integrar. Pode melhorar a auto-estima dos alunos, pode pior-la ou, em casos extremos, pode mesmo destru-la. Pode orientar o percurso escolar dos alunos ou pode afast-los de qualquer percurso! Para muitos autores, a avaliao uma das foras que mais influencia o desenvolvimento dos sistemas educativos porque: 1. Influencia as ideias dos estudantes acerca do que importante aprender; 2. Afecta a sua motivao e a sua percepo acerca dos saberes, capacidades e atitudes a desenvolver; 3. Estrutura a forma como os alunos estudam e o tempo que dedicam ao trabalho acadmico; 4. Consolida as aprendizagens; 5. Promove o desenvolvimento dos processos de anlise, sntese e dos processos metacognitivos. Quaisquer mudanas e melhorias que se queiram introduzir nos sistermas educativos no sentido da sua integral democratizao tm necessariamente que ser acompanhadas de esforos que nos permitam repensar a teoria e a prtica da avaliao das aprendizagens. S talvez dessa forma poderemos aspirar a que as escolas possam responder aos legtimos interesses e direitos das crianas, aos interesses e aspiraes das comunidades em que vivem e, como acima se referiu, aos interesses das sociedades democrticas em que queremos viver.

CONCEPTUALIZAES DE AVALIAO
Guba e Lincoln (1989) distinguem quatro geraes de avaliao que, na sua opinio, correspondem a outras tantas perspectivas, abordagens, significados ou conceptualizaes, que possvel identificar ao longo dos ltimos cerca de cem anos. Os autores referem que a evoluo dos significados que se foram atribuindo avaliao no se pode desligar dos contextos histricos e sociais, dos propsitos que se pretendiam alcanar ou das convices filosficas dos que tinham algo a ver com a concepo, desenvolvimento e concretizao das avaliaes. Referem ainda que, ao longo dos tempos, as conceptualizaes de avaliao se tornaram mais complexas e sofisticadas. Muito sucintamente, caracterizam-se a seguir as trs primeiras geraes identificadas e discutidas por Guba e Lincoln.

A Avaliao como Medida

Na primeira gerao, conhecida como a gerao da medida, avaliao e medida eram sinnimos. Isto , a ideia que prevalecia era a de que a avaliao era uma questo essencialmente tcnica que, atravs de testes bem construdos, permitia medir com rigor e iseno as aprendizagens escolares dos alunos. A inspirao para esta concepo vem dos testes destinados a medir a inteligncia e as aptides que se desenvolveram em Frana por Alfred Binet e que vieram a dar origem ao chamado coeficiente de inteligncia, resultante do quociente entre a idade mental e a idade cronolgica das pessoas. Este tipo de testes mentais foi largamente utilizado para fins de recrutamento, encaminhamento e orientao de jovens para as foras armadas e acabaram por se tornar cada vez mais populares nos sistemas educativos nos primrdios do sculo XX. Refiram-se aqui dois factores que, na opinio dos autores, influenciaram esta primeira gerao de avaliao. Um tem a ver com uma questo de afirmao dos estudos sociais e humanos que se comeavam a realizar em Inglaterra, nos Estados Unidos, na Alemanha e em Frana, particularmente no contexto dos sistemas educativos e dos sistemas de sade. Os marcantes e significativos sucessos da matemtica e das cincias experimentais, que ocorreram ao longo do sculo XVIII e princpios do sculo XIX, foram tambm o sucesso dos mtodos que lhes eram prprios, em particular o mtodo cientfico. A investigao em cincias sociais, sem mtodo e sem uma base sistemtica de ataque aos problemas, era pressionada ou aconselhada, nomeadamente por Stuart Mill, a seguir o mtodo experimental, no sentido de se afirmar junto da comunidade cientfica e de ganhar credibilidade (Guba e Lincoln, 1989; Madaus e Stufflebeam, 2000). Ora os testes e outros instrumentos destinados a medir aptides ou aprendizagens humanas permitiam quantific-las, compar-las ou orden-las numa escala. De facto, era possvel trabalhar matematicamente os seus resultados e proceder a um conjunto de transformaes que poderiam servir uma variedade de finalidades. Esta quantificao das aprendizagens, das aptides ou das inteligncias dos alunos permitia seguir o modelo cientfico e obter a credibilidade que se pretendia para os estudos sociais e humanos. O outro factor que acabou por ter uma importante influncia no desenvolvimento e utilizao dos testes para fins educativos foi a emergncia do movimento da gesto cientfica no mundo da economia. O que, no fundo, se procurava era tornar o mais eficiente, eficaz e produtivo possvel o trabalho dos seres humanos atravs de mtodos de gesto que no cabe no mbito deste texto especificar. A sistematizao, a standardizao e a eficincia caracterizavam o essencial deste movimento que teve em Fredrick Taylor o seu principal terico. Madaus e Stufflebeam (2000), ao caracterizarem as diferentes idades da avaliao que, na sua opinio, se desenvolveram a partir de 1792 at aos nossos dias, consideram o perodo compreendido entre 1900 e 1930 como a Idade da Eficincia e dos Testes e sublinham a influncia do trabalho e das ideias de Taylor no mundo da educao. Na verdade, as concepes essenciais do Taylorismo foram rapidamente adoptadas pelos sistemas educativos que, para muitos educadores e responsveis, passaram a ser vistos como anlogos s organizaes empresariais. Ora os testes acabavam por ter um papel determinante para verificar, para medir, se os sistemas educativos produziam bons produtos a partir da matria prima disponvel os alunos. S nos Estados Unidos foram produzidos nesta altura milhares de testes standardizados. Uma bibliografia dedicada aos testes contava, em 1933, com mais de 3500. Em 1945, a autora, Gertrude Hildreth, publicou outra com 5200 entradas!

10

As concepes que so caractersticas desta gerao ainda se mantm e tm considervel influncia nos sistemas educativos actuais. Trata-se, como vimos, de uma conceptualizao em que avaliao e medida so sinnimos. Em termos prticos, de sala de aula, pode significar que a avaliao se reduz a pouco mais do que a administrao de um ou mais testes e atribuio de uma classificao em perodos determinados. Ou seja, uma perspectiva em que: 1. Prevalecem as funes sumativa, classificativa e selectiva da avaliao; 2. O nico objecto de avaliao so os conhecimentos; 3. H pouca, ou nenhuma, participao dos alunos no processo; 4. A avaliao , em geral, descontextualizada; 5. Se privilegia a quantificao das aprendizagens em busca da objectividade e da neutralidade do professor (avaliador); 6. A avaliao referida a uma norma ou padro (por exemplo, a mdia) e, por isso, os resultados de cada aluno so comparados com os de outros grupos de alunos.

A Avaliao como Descrio

A segunda gerao procurou superar algumas das limitaes entretanto detectadas nas avaliaes da primeira gerao. Uma delas est directamente relacionada com o facto de os conhecimentos dos alunos serem considerados os nicos objectos de avaliao. Obviamente que, a certa altura, acabou por se considerar que era limitador avaliar um sistema educativo apenas com base nos resultados dos alunos. H muitos outros intervenientes que tm que ser considerados e envolvidos num processo que, por exemplo, tenha a ver com a reviso dos currculos existentes. Guba e Lincoln (1989) referem que os avaliadores, perante objectivos educacionais previamente definidos, tinham como principal objectivo descrever padres de pontos fortes e de pontos fracos. Por isso se referem gerao da descrio, que no se limita a medir, mas vai um pouco mais alm ao descrever at que ponto os alunos atingem os objectivos definidos. A medida deixou de ser sinnimo de avaliao. Passou a ser um dos instrumentos ao seu servio e, por isso, muitas das perspectivas anteriores mantm-se presentes nas abordagens de avaliao. Ralph Tyler, um investigador e avaliador norte-americano, referido como tendo tido uma grande influncia nesta gerao pois foi ele quem, pela primeira vez, se referiu necessidade de se formularem objectivos para que se pudesse definir mais concretamente o que se estava a avaliar. Tyler, j nos anos 30 e 40, tinha uma concepo de currculo como um conjunto planeado e alargado de experincias formativas que ocorriam na escola, destinadas a contribuir para que os alunos pudessem atingir um conjunto de objectivos comportamentais previamente definidos. Avaliao educacional foi a expresso que escolheu para designar o processo de avaliar em que medida os objectivos eram ou no alcanados. Para muitos autores e investigadores (e.g., Guba e Lincoln, 1989; Madaus e Stufflebeam, 2000) Ralph Tyler referido como o pai da avaliao educacional pelo trabalho que desenvolveu ainda nos anos 30 e 40 e que, ao longo de 25 anos, veio a ter uma influncia muito significativa na educao e na avaliao, particularmente a partir da utilizao de testes. Talvez por isso mesmo Madaus e Stufflebeam (2000) designam o perodo de avaliao decorrido entre 1930 e 1945 como a Idade Tyleriana. Parece evidente que a influncia das perspectivas de Tyler visvel em muitas das avaliaes que se desenvolvem nos sistemas educativos actuais. A grande diferena em relao conceptualizao anterior o facto de se formularem objectivos comportamentais e de se verificar se eles so ou no atingidos pelos alunos. Pode talvez falar-se numa funo reguladora da avaliao e na preocupao em conceptualizar o currculo de forma abrangente. Mas persistem todas as outras caractersticas da avaliao da gerao anterior.

A Avaliao como Juzo do Valor

A terceira gerao, designada por Guba e Lincoln (1989) como a gerao da formulao de juzos ou julgamentos, nasce, tal como a anterior, da necessidade de superar falhas ou pontos fracos na avaliao da gerao precedente. Sentiu-se que se deveriam fazer esforos para que as avaliaes permitissem formular juzos de valor acerca do objecto de avaliao. Assim, os avaliadores, mantendo as funes tcnicas e descritivas das geraes anteriores, passariam tambm a desempenhar o papel de juzes. Apesar dum conjunto de

11

reaces quanto questo da avaliao implicar a emisso de juzos de valor, a verdade que, a partir dos finais da dcada de sessenta, todas as abordagens de avaliao, independentemente das suas diferenas, estavam de acordo nesse ponto. Esta gerao de avaliao fica marcada pelo lanamento do Sputnik, pela ento Unio Sovitica, no ano de 1957. O Ocidente temia estar a ficar para trs na corrida ao espao e receava que o desenvolvimento cientfico e tecnolgico da Unio Sovitica fosse muito superior. Houve ento uma generalizada reaco com uma importante expresso no desenvolvimento de reformas educativas orientadas para promover, em especial, o ensino da matemtica e das cincias. Os pases mais desenvolvidos da Europa e os Estados Unidos fizeram investimentos muito significativos na avaliao dos currculos, dos projectos e das aprendizagens dos alunos porque se queriam certificar de que os novos currculos obedeciam aos critrios de qualidade que se pretendiam alcanar. Foi uma poca de grande expanso e desenvolvimento da avaliao e, talvez por isso, Madaus e Stufflebeam (2000) chamaram a este perodo, entre 1958 e 1972, a Idade do Desenvolvimento. , de facto, nesta gerao que a avaliao alarga muito os seus horizontes. Surge, em 1967, atravs de Michael Scriven, a distino entre o conceito de avaliao sumativa, mais associada prestao de contas, certificao e seleco e o conceito de avaliao formativa, mais associada ao desenvolvimento, melhoria das aprendizagens e regulao dos processos de ensino e de aprendizagem (Nevo, 1986). Surgem as ideias de que a avaliao deve induzir e/ou facilitar a tomada de decises, a recolha de informao deve ir para alm dos resultados que os alunos obtm nos testes, a avaliao tem que envolver os professores, os pais, os alunos e outros intervenientes, os contextos de ensino e de aprendizagem devem ser tidos em conta no processo de avaliao ou de que a definio de critrios essencial para que se possa apreciar o mrito e o valor de um dado objecto de avaliao.

Sntese e Limitaes das Trs Geraes de Avaliao

Ao longo das trs geraes que acima se discutiram sucintamente verificou-se que a avaliao se foi tornando mais complexa e mais sofisticada, evoluindo muito ao nvel dos mtodos utilizados, dos objectos de avaliao considerados ou dos propsitos ou finalidades. De uma concepo inicial muito redutora foi-se evoluindo para uma concepo mais sistmica e abrangente com a sistemtica apreciao do mrito e do valor dos objectos avaliados, que deixaram de ser exclusivamente as coisas relativas aos alunos para passarem a incluir professores, projectos, currculos, programas, materiais, ensino ou polticas. Em suma, poder-se- dizer que, nesta altura, era relativamente consensual conceber a avaliao como um processo deliberado e sistemtico de recolha de informao acerca de um ou mais objectos, no sentido de se poder formular um juzo acerca do seu mrito e/ou do valor que permitisse a tomada de decises (Joint Committee on Standards for Educational Evaluation, 1981). No entanto, segundo Guba e Lincoln (2000), todas as trs geraes, no seu conjunto, apresentam trs importantes limitaes: 1. Uma tendncia para as avaliaes reflectirem os pontos de vista de quem as encomenda ou as financia, nunca, verdadeiramente, sendo postos em causa ou considerados co-responsveis, mesmo que tambm tenham responsabilidades no sistema educativo. Normalmente, as responsabilidades pelos falhanos dos sistemas educativos tendem a ser distribudas quase exclusivamente pelos professores e pelos alunos, ficando de fora todos os outros intervenientes; 2. Uma dificuldade das avaliaes acomodarem a pluralidade de valores e de culturas existentes nas sociedades actuais; 3. Uma excessiva dependncia do mtodo cientfico ou, se quisermos, do paradigma positivista de investigao (Guba e Lincoln, 1994), que se traduz em avaliaes pouco ou nada contextualizadas, com uma excessiva dependncia da concepo de avaliao como medida e numa certa irredutibilidade das avaliaes que se fazem porque esto apoiadas num mtodo que, se bem utilizado, d resultados muito dificilmente questionveis. Do mesmo modo, os avaliadores nunca so postos em causa porque, considerando-se que a cincia isenta de valores, a adeso ao mtodo cientfico liberta o avaliador de quaisquer responsabilidades. Os avaliadores so neutros, no contaminam a avaliao nem se deixam contaminar por ela. Utilizam instrumentos que tambm so neutros e que medem com rigor o que so supostos medir.

12

Enfim, so algumas das perspectivas presentes na avaliao psicomtrica, que tambm se caracteriza por estar associada a modelos de medida das aprendizagens, standardizao de tarefas de avaliao, de procedimentos de administrao e de correces e utilizao de instrumentos referidos norma. Ou seja, o desempenho de um aluno visto tendo em ateno o desempenho dos seus colegas e, nestas condies, analisado em termos relativos e no em termos absolutos. Em ltima anlise, dir-se- que um estudante no pode controlar as suas prprias classificaes porque no pode controlar os desempenhos dos seus colegas.

A Avaliao como Negociao e como Construo

Evidentemente que Guba e Lincoln (1989) propem uma alternativa quelas trs geraes s quais atribuem as limitaes que acabei de enunciar. Trata-se, naturalmente, da quarta gerao de avaliao, que uma gerao de ruptura com as anteriores que, de acordo com aqueles autores, j no conseguem responder cabalmente s actuais necessidades de avaliao. Deve, no entanto, referir-se que os autores assumem que a sua prpria concepo poder ter dificuldades e limitaes e que, eventualmente, no futuro, ter que ser revista nos seus pressupostos, concepes e mtodos ou vir mesmo a ser completamente posta de parte. A quarta gerao de avaliao caracteriza-se por ser respondente, isto , partida, no estabelece parmetros ou enquadramentos. Estes sero determinados e definidos atravs de um processo negociado e interactivo com aqueles que, de algum modo, esto envolvidos na avaliao. Por outro lado, trata-se de uma avaliao construtivista, expresso que, no fundo, designa a metodologia que efectivamente posta em prtica na avaliao. Noutros termos, poderemos dizer que a avaliao de quarta gerao, respondente e construtivista, est baseada num conjunto de princpios, ideias e concepes de que se destacam os seguintes: 1. A avaliao um conceito algo relativo que no tem propriamente uma definio, que muito dependente de quem a faz e de quem nela participa; 2. Os professores devem partilhar o poder de avaliar com os alunos e outros intervenientes e devem utilizar uma variedade de estratgias, tcnicas e instrumentos de avaliao; 3. A avaliao deve estar integrada no processo de ensino e aprendizagem; 4. A funo formativa a principal funo da avaliao e est relacionada de perto com funes tais como a de melhorar, desenvolver, aprender ou motivar; 5. O feedback, nas suas mais variadas formas, frequncias e distribuies, um elemento indispensvel na avaliao pois atravs dele que ela entra no ciclo do ensino e da aprendizagem; 6. A avaliao deve servir mais para ajudar as pessoas a desenvolverem as suas aprendizagens do que para as julgar ou classificar numa escala; 7. A avaliao um processo em que so tidos em conta os contextos, a negociao, o envolvimento dos participantes, a construo social do conhecimento e os processos sociais e culturais na sala de aula; 8. A avaliao deve utilizar mtodos predominantemente qualitativos, no se pondo de parte a utilizao de mtodos quantitativos. A avaliao de quarta gerao, desenvolvida por Guba e Lincoln (1989), os trabalhos de Berlak (1992a; 1992b), de Broadfoot (1994), de Gipps (1994), de Gipps e Stobart (2003) e de tantos outros investigadores tm contribudo para que se v afirmando a avaliao alternativa, tambm designada por avaliao autntica, avaliao contextualizada ou avaliao educativa. Naturalmente que a avaliao alternativa surge baseada em concepes da aprendizagem diferentes das concepes subjacentes na avaliao psicomtrica. Mas tambm surge baseada em concepes filosficas diferentes ou, se preferirmos, paradigmas diferentes relativos produo de conhecimento. Por isso me pareceu oportuno fazer aqui uma breve incurso nos paradigmas em que se baseiam as avaliaes psicomtricas e as avaliaes alternativas.

13

AVALIAO PSICOMTRICA E AVALIAO ALTERNATIVA

Para Guba e Lincoln (1994), um paradigma um sistema bsico de concepes, de natureza axiomtica, de que um indivduo possuidor e que lhe proporciona uma certa viso do mundo e da sua natureza. Acaba por ser, como refere Foucault (1979), um regime de verdade. Ou seja, um conjunto de prticas, procedimentos e discursos que uma dada comunidade cientfica utiliza e que acaba por determinar o que so, ou no, procedimentos legtimos de investigar ou de produzir conhecimento. O paradigma na sua funo normativa d indicaes acerca dos mtodos, procedimentos ou conhecimentos considerados, ou no, aceitveis pela comunidade. Para Guba e Lincoln (1994), as concepes bsicas que definem um paradigma de investigao podem ser sintetizadas a partir das respostas que forem dadas a questes de natureza ontolgica (Qual a forma e a natureza da realidade? H uma realidade susceptvel de ser conhecida ou estudada de forma objectiva? O que que existe que possa ser conhecido?), de natureza epistemolgica (Qual a natureza da relao entre aquele que quer conhecer e aquilo que se pensa que pode ser conhecido? Como que quem quer conhecer se relaciona com o conhecimento?) e de natureza metodolgica (Que procedimentos so utilizados por quem quer conhecer para descobrir o que pensa que pode ser conhecido?). Para Kuhn (1970), os paradigmas so sempre efmeros, so sempre transitrios. Os paradigmas transformam-se e evoluem atravs do desenvolvimento, por parte de uma dada comunidade cientfica, de novos conceitos, novas concepes e valores que se destinam a procurar responder a problemas e a questes a que o paradigma dominante j no responde de forma satisfatria. ento que surgem, no dizer de Kuhn, as revolues cientficas que arrastam a introduo de novas prticas e novas formas de abordar as questes e que se traduzem por rupturas mais ou menos dramticas uma vez que o novo paradigma, ou o paradigma emergente, questiona e pe em causa todo o sistema de concepes, de valores e de interesses diversos que sustentam o velho paradigma. Para muitos autores vive-se actualmente um momento de tenso motivado pelo facto do paradigma psicomtrico, que o que mais prevalece nos sistemas educativos e que est bem presente nas trs primeiras geraes de avaliao definidas por Guba e Lincoln (1989), ter atingido um perodo crtico, pois no est a responder satisfatoriamente aos problemas de renovao e de melhoria do ensino, das aprendizagens e das escolas (e.g., Berlak, 1992a, 1992b; Berlak et al. 1992; Gipps, 1994; Gipps e Stobart, 2003). Esto de facto identificadas inconsistncias entre o paradigma psicomtrico e o que, por exemplo, hoje sabemos acerca das formas como os alunos aprendem, dos seus processos de pensamento e acerca dos aspectos sociais e culturais da cognio. Vem a propsito referir aqui que vrios autores tm vindo a sugerir aquilo a que alguns chamam a inevitabilidade da convivncia do paradigma psicomtrico, no mbito da avaliao externa com efeitos na progresso dos alunos, com o paradigma da chamada avaliao alternativa, autntica, educativa ou contextualizada, de inspirao construtivista e cognitivista, no mbito da avaliao interna (Gipps, 1994; Gipps e Stobart, 2003; Madaus et al, 2000; Mislevy et al, 2003; Kellaghan e Madaus, 2000; Kellaghan e Madaus, 2003). Na realidade parece haver uma tendncia cada vez maior para este compromisso nos sistemas educativos europeus. Pode haver vrias explicaes para esta situao. Desde as vantagens e desvantagens de cada uma das formas de avaliao quanto a questes de validade, de fiabilidade, de correco, de equidade e de comparabilidade, at evoluo na elaborao de itens em exames ou provas de larga escala, ou preocupao crescente em contextualizar os dados. A este propsito interessante recordar aqui que, h 12 anos atrs, Berlak (1992a), Archbald e Newmann (1992) e Kilpatrick (1992) consideravam no ser claro assistir-se rejeio do paradigma psicomtrico e sua substituio pelo paradigma da avaliao contextualizada. A tendncia, diziam, poder ir no sentido do desenvolvimento de uma teoria da avaliao baseada na evoluo daqueles dois paradigmas. Algumas publicaes recentes mostram que, em cerca de 10 anos, no se assistiu, de facto, rejeio do paradigma psicomtrico e que surgem variados exemplos de uma certa evoluo no sentido de procurar uma conciliao com o paradigma construtivista tendo em conta as finalidades da respectiva avaliao. Ou seja, parece existir a tendncia prevista por aqueles investigadores h cerca de 12 anos: a avaliao psicomtrica e a avaliao alternativa (autntica, educativa ou contextualizada) esto a evoluir e a conviver sob muitas formas num nmero aparentemente crescente de sistemas educativos (Kellaghan e Madaus, 2000, 2003; Kellaghan e Madaus, 2003; Kellaghan e Stufflebeam, 2003; Madaus et al, 2000; Mislevy et al, 2003; Torrance, 2003).

14

De acordo com Broadfoot (1994), uma das consequncias da perspectiva psicomtrica a nfase na avaliao de aspectos mais facilmente mensurveis em detrimento de, por exemplo, processos mais complexos de pensamento, de atitudes e aspectos de natureza scio-afectiva. Consequentemente, e tendo em conta, o que, por exemplo, nos dizem Berlak (1992a, 1992b), Lester e Kroll (1990), Raven (1992) e Schoenfeld (1985), quanto indissociabilidade dos sistemas de concepes, valores, interesses e competncias dos alunos e a sua influncia nas aprendizagens, facilmente se infere que avaliar sem ter em conta estes sistemas pode ser insuficiente. Por outro lado, aquilo a que muitos chamam a excessiva nfase na utilizao dos testes na avaliao psicomtrica tem levado vrios autores a identificar as limitaes destes instrumentos. Na verdade, os testes em geral, apresentam, entre outras, as seguintes limitaes: 1. Avaliam um leque relativamente estreito das competncias previstas no currculo; 2. Tendem a fraccionar o conhecimento, assumindo a independncia e no a interdependncia dos objectivos educacionais; 3. Tendem a centrar-se em objectivos que suscitam mais a utilizao de processos algortmicos ou de procedimentos rotineiros e menos a utilizao de processos complexos de pensamento, porque se pressupe incorrectamente que os alunos devem, em primeiro lugar, atingir objectivos de nvel elementar para s mais tarde atingirem objectivos de nvel mais complexo; 4. Podem fornecer informao pouco vlida e pouco fivel acerca do que se pretende avaliar (Broadfoot, 1994; Conceio, Neves, Campos, Fernandes, e Alaiz, sem data, Fernandes, 1991, 1992a, 1992b, 1993a, 1997; Lemos, Neves, Campos, Conceio e Alaiz, 1992; NCTM, 1995; Raven, 1992). A conscincia destas limitaes dos testes, os emblemticos instrumentos da avaliao psicomtrica e os mais largamente valorizados e utilizados nas escolas, no deve fazer esquecer-nos as suas vantagens ou pontos fortes, tais como a de proporcionarem oportunidades para que os alunos mostrem saberes adquiridos, a de poderem constituir momentos de aprendizagem ou a de poderem ser elementos reguladores do processo de ensino-aprendizagem (Conceio et al., sem data). claro que, muitas vezes, os problemas podero surgir mais das utilizaes que se fazem dos testes e dos seus resultados do que dos testes em si mesmo. Os testes so necessrios e podem ser instrumentos muito teis no desenvolvimento das aprendizagens dos alunos. necessrio melhorar a natureza das questes, diversificar as possibilidades de administrao, relativizar o seu peso no contexto de todos os elementos de avaliao que se recolhem e ter conscincia de que, tal como todos os outros instrumentos, estratgias e tcnicas de avaliao, os testes tm limitaes. Vejamos de seguida um conjunto de princpios orientadores para uma avaliao alternativa.

15

PRINCPIOS E ORIENTAES PARA UMA AVALIAO ALTERNATIVA

Perante a necessidade sentida de se desenvolver uma avaliao alternativa mais consentnea com as mudanas curriculares dos ltimos anos, com as caractersticas sociais e culturais das escolas e ainda com os desenvolvimentos da psicologia das aprendizagens, importa caracterizar os seus princpios, os processos que utiliza, as formas que pode tomar e as respectivas utilizaes. H um conjunto de princpios ou de orientaes de natureza diversa que so mais ou menos referidos em toda a literatura sobre avaliao alternativa e que, de facto, contrastam com as limitaes que vm sendo apontadas avaliao psicomtrica. Estou a falar de princpios que tm sido adoptados em projectos de inovao (Anderson e Bachor, 1998; Archbald e Newmann, 1992; Bell, Burkhardt e Swan, 1992a, 1992b, 1992c; California Assessment Program, 1989; Koretz, 1998; Lange, 1987, 1993; Stecher, 1998; The Vermont Department of Education, 1992); recomendados em documentos programticos (National Research Council, 1989, 1993; National Council of Teachers of Mathematics, 1989, 1991,1995); ou enunciados em trabalhos de reflexo e/ou de investigao (Chambers, 1993; Cockroft, 1982; Conceio, 1993; Fernandes, 1991, 1992a, 1992b, 1993a, 1995; Gipps, 1994; Gipps e Stobart, 2003; Instituto de Inovao Educacional, 1992b; Lemos et al, 1992; Lester e Kroll, 1990; O' Connor, 1992; Raven, 1992; Romberg, Zarinnia e Collis, 1990; Tellez, 1996; Valencia, Hiebert e Afflerbach, 1994; Webb, 1992, 1993). Seleccionei apenas alguns que, naturalmente, me parecem importantes, embora tenha conscincia de que outros ficam, nesta altura, por discutir, como o caso da equidade que, de algum modo, abordado noutra seco deste texto.

Integrao Ensino-Aprendizagem-Avaliao
Uma nota claramente distintiva entre a avaliao psicomtrica e a avaliao alternativa o facto de, neste caso, o ensino, a aprendizagem e a avaliao constiturem como que um ciclo articulado e coerente. A avaliao, atravs do processo de comunicao que se estabelece e, muito particularmente, atravs de um feedback deliberada e devidamente preparado e utilizado, entra no ciclo do ensino e da aprendizagem. Como se costuma dizer o feedback que contribui para a plena integrao da avaliao, do ensino e da aprendizagem. Gipps e Stobart (2003) sustentam que a avaliao alternativa no far qualquer sentido se no fizer parte integrante do processo ensino. Uma adequada integrao entre estes trs processos permite, ou deve permitir, regular o ensino e a aprendizagem, utilizar tarefas que, simultaneamente, so para ensinar, aprender e avaliar e contextualizar a avaliao. Assim, haver uma relao muito prxima entre as tarefas de avaliao e as finalidades do ensino. Como Gipps e Stobart (2003) sublinham, a avaliao alternativa no se limita exclusivamente utilizao de formas alternativas de avaliao mas tambm uma utilizao alternativa de avaliao como parte integrante do processo de aprendizagem. Por outro lado, atravs desta integrao que se torna possvel abranger mais consequentemente uma grande variedade de domnios do currculo ao contrrio do que normalmente acontece com a avaliao psicomtrica. H mais consistncia e mais equilbrio entre as finalidades do currculo, o ensino e a avaliao. Repare-se que, no havendo integrao, a avaliao aparece como algo externo ao processo de ensino e de aprendizagem e como um procedimento cujas funes so de natureza mais sumativa, selectiva e certificadora e menos para ajudar os alunos a aprender e a desenvolver as suas aprendizagens.

Seleco de Tarefas
A seleco das tarefas fundamental porque atravs das actividades que suscitam quer aos professores quer aos alunos que pode residir a essncia de um processo de ensino orientado para a resoluo de problemas, para o desenvolvimento dos processos mais complexos de pensamento ou, numa palavra, para o desenvolvimento de um amplo espectro de aprendizagens que vo dos conhecimentos de contedos especficos da disciplina at aos aspectos de natureza mais transversal (e.g. scio-afectivos, resoluo de problemas, relao com os outros). tambm atravs de tarefas adequadamente seleccionadas que se podem desenvolver processos de

16

avaliao mais contextualizados, mais elaborados, mais interactivos e mais directamente relacionados com a aprendizagem. De facto, as tarefas a utilizar podem facilitar a desejvel articulao entre o ensino, a aprendizagem e a avaliao ou podem dificultar, ou mesmo impedir, essa articulao. Ou seja, sempre que possvel, as tarefas devem ter uma tripla funo: 1. Integrar as estratgias de ensino utilizadas pelo professor; 2. Ser meios privilegiados de aprendizagem; 3. Ter associado um qualquer processo de avaliao. preciso perceber-se que nem tudo tem a mesma importncia. Ou seja, preciso que se distinga o essencial do acessrio, identificando os saberes, os conceitos e os procedimentos que so verdadeiramente estruturantes (aqueles que nenhum aluno deve deixar de trabalhar e de aprender, pois ajudam a estruturar reas de saber e a estabelecer ligaes com outras reas) e, naturalmente, prever tarefas que reflictam aquela distino. preciso evitar, por todos os meios, a ideia de que tudo tem a mesma relevncia e, ainda pior, que as pessoas se percam na definio de mirades de competncias ou de objectivos e se deixem submergir numa atomizao e fragmentao do currculo que, em tais circunstncias, far muito pouco sentido. necessrio que a avaliao reflicta as aprendizagens mais importantes, mais estruturantes e mais significativas a desenvolver pelos alunos. E isto significa, muito simplesmente, que essencial a concentrao de esforos na organizao e desenvolvimento do ensino (e.g., seleco de tarefas, seleco das aprendizagens estruturantes, seleco de dinmicas de sala de aula, seleco de estratgias de avaliao) a partir de um quadro to simples quanto possvel, o que no significa frgil, ligeiro ou simplista. Ocorrem-me, a propsito, palavras do consagrado arquitecto alemo Mies van der Rohe quando, com frequncia, referia que less is more. Na verdade, parece-me importante trabalhar no sentido de integrar mais e dispersar menos. Dispersar pode ser um comeo para no se fazer o essencial. Integrar obriga-nos a relacionar conceitos e domnios do currculo e a seleccionar o que verdadeiramente importante. Por isso me parece oportuno dizer que, no fundo, no precisamos de mais avaliao. Precisamos de melhor avaliao! O que significa que talvez possamos evitar excessos, mais ou menos tecnicistas, nas salas de aula e fora delas, com a utilizao de instrumentos que reflectem uma pulverizao do currculo, como certas grelhas de observao, ou certas listas de verificao, que chegam a ter vrias dezenas de itens para observar e para verificar! talvez a melhor forma de no avaliarmos o que verdadeiramente importante. A avaliao no , de facto, uma mera questo tcnica. uma questo essencialmente pedaggica associada ao desenvolvimento pessoal, social e acadmico das pessoas. uma questo de desenvolvimento curricular da maior relevncia. tambm uma questo tica. Por isso, antes dos instrumentos, que, naturalmente, interessa que sejam bem construdos e, sobretudo, melhor utilizados, vem o que pensamos sobre o papel que a avaliao deve desempenhar nas salas de aula, na educao e formao das crianas e dos jovens. Na mesma linha de raciocnio, no precisamos de mais tarefas, precisamos de melhores tarefas. Ricas do ponto de vista educativo e formativo, cuja resoluo implique que os alunos relacionem, integrem e mobilizem um leque alargado de aprendizagens (e.g., conhecimentos, capacidades, atitudes, competncias metacognitivas, competncias scio-afectivas). Sem prejuzo, obviamente, de se utilizarem uma variedade de tarefas que permitam alcanar os diferentes tipos de objectivos curriculares. Entre as metodologias sugeridas para desenvolver o currculo inscrevem-se a necessidade de propor aos alunos tarefas de aprendizagem mais diversificadas e relacionadas com a vida real, a utilizao de materiais manipulativos, o envolvimento em projectos destinados a resolver situaes problemticas ou o recurso ao trabalho de grupo. A concretizao destas recomendaes exige novas formas de avaliar. Uma prtica de avaliao tradicional, quase exclusivamente baseada em testes de papel e lpis, seria insuficiente e at totalmente desajustada, pois tenderia a ignorar todas as competncias que vo para alm da aquisio de conhecimentos. Por isso, deve haver consistncia entre a avaliao, o currculo e as metodologias e estratgias utilizadas para o desenvolver, fazendo, deste modo, sempre que possvel, coincidir as tarefas de aprendizagem com as tarefas de avaliao. S desta forma, como vimos acima, a avaliao far parte integrante do ensino e da aprendizagem e poder assumir o seu papel regulador.

17

Funes
As funes da avaliao mais tradicionalmente referidas so as funes formativa e sumativa. A avaliao de natureza psicomtrica privilegia a funo sumativa, isto , a formulao de juzos acerca das aprendizagens dos alunos aps um perodo mais ou menos longo de ensino e de actividades conducentes aprendizagem. uma perspectiva consistente com uma concepo de avaliao como medida de produtos do ensino, atravs de instrumentos, normalmente testes, referidos norma. Uma concepo que, consequentemente, tende a dar mais relevncia s funes de classificao, de ordenao, de seleco ou de certificao e, por isso mesmo, no d destaque aos processos de aprendizagem nem aos contextos em que esta se desenvolve. O que no significa que a avaliao psicomtrica no considere de todo a avaliao formativa ou que no lhe d qualquer ateno. Por sua vez, a avaliao alternativa tende a dar mais destaque avaliao formativa, isto , aquela que tem lugar durante os perodos em que ocorrem o ensino e todas as actividades a ele associado. uma concepo substancialmente diferente da anterior j que h uma preocupao com os processos de ensino e de aprendizagem, que so analisados in loco; com a plena integrao da avaliao nesses mesmos processos; com a criteriosa seleco de tarefas que motivem e mobilizem os alunos; e com o seu envolvimento, to activo quanto possvel, na aprendizagem e na sua avaliao. Por isso, a avaliao alternativa tende a dar relevncia a funes da avaliao tais como a motivao, a regulao e a auto-regulao, o apoio aprendizagem , a orientao ou o diagnstico. evidente que em qualquer processo de avaliao tm que se considerar os processos e os produtos de aprendizagem. S que as nfases, nas duas concepes aqui revistas, so diferentes e, como tal, devero produzir resultados diferentes! A prtica consequente da avaliao alternativa no implica que a certificao se faa e, implicitamente, a seleco. Mas sempre convm referir que a atribuio de classificaes no a nica funo da avaliao. muito importante que a avaliao ajude a motivar os alunos para aprenderem e para lhes dar conta dos seus progressos e dos seus sucessos mas tambm dos seus insucessos e dificuldades.

Triangulao
Como facilmente se compreende no possvel avaliar tudo o que um aluno sabe e capaz de fazer. O que normalmente fazemos avaliar amostras de desempenhos dos alunos, relativamente a domnios previstos no currculo, na sequncia da resoluo de tarefas de natureza diversa. Em geral, se tudo correr bem, as amostras de desempenho numa variedade de tarefas permitem-nos afirmar com alguma segurana se os alunos aprenderam, ou no, o que era suposto aprender relativamente a um dado domnio. Sabemos, por outro lado, que, sempre que avaliamos estamos a cometer um erro. Ou seja, no h nenhuma estratgia, tcnica ou instrumento que nos permita avaliar exactamente determinadas aprendizagens dos alunos. Todos tm as suas vantagens e desvantagens e todos nos induzem num erro que, naturalmente, temos que procurar reduzir sua nfima expresso. Tambm no fcil garantir que a avaliao abranja todos os domnios do currculo ou mesmo o essencial de cada um dos domnios. O desenvolvimento das aprendizagens dos alunos est condicionado por um conjunto complexo e interdependente de factores tais como as suas capacidades intelectuais, os seus sistemas de concepes, as suas capacidades metacognitivas, as suas atitudes, desejos, persistncia ou os contextos scio-culturais em que se inserem. Convm ter em ateno que os alunos possuem conhecimentos, aptides, motivaes, estilos e ritmos de aprendizagem que podem variar significativamente. H alunos que resolvem situaes problemticas por escrito com facilidade mas podem no ter a mesma facilidade se tm que as resolver oralmente, ou perante o grupo da sua turma. H alunos com uma inteligncia lingustica de fraco nvel mas que podem ter uma inteligncia lgico-matemtica ou uma inteligncia espacial de nvel bom ou mesmo muito bom (Gardner, 1983; 1991; Gardner e Hatch, 1989). A recolha de informao, que toda a avaliao pressupe, tem que ter em conta as consideraes que acima se fizeram. Por isso se prope um princpio de triangulao aplicvel s estratgias, tcnicas e instrumentos, aos intervenientes no processo de avaliao, aos tempos ou momentos de avaliao e aos espaos ou contextos.

18

Triangulao de estratgias, tcnicas e instrumentos

necessrio diversificar os mtodos e instrumentos de recolha de dados e encontrar formas de dar alguma estrutura avaliao de natureza mais informal. atravs da avaliao que os alunos tomam conscincia do tipo de actividades, experincias de aprendizagem, atitudes, valores, conhecimentos e competncias que so valorizados. A utilizao privilegiada de testes de papel e lpis manifestamente insuficiente. desejvel que se recolha informao atravs de relatrios, de pequenos comentrios, de observaes mais ou menos estruturadas, de conversas (entrevistas) mais ou menos formais, mais ou menos estruturadas ou de trabalhos e produtos realizados pelos alunos de diversa natureza. Perante a diversidade de tarefas de avaliao os alunos percebem que no chega estudar para o teste e que se espera que desenvolvam um alargado leque de aprendizagens. A diversificao de mtodos de recolha de informao permite avaliar mais domnios do currculo, lidar melhor com a grande diversidade de alunos que hoje esto nas salas de aula e tambm reduzir os erros inerentes avaliao.

Triangulao de intervenientes
A diversificao dos intervenientes no processo de avaliao justifica-se pelas razes j acima enunciadas mas tambm por razes tais como: 1. A tendncia para se avaliar o trabalho do professor e da escola; 2. A necessidade de proceder a apreciaes mais globais e transversais dos progressos experimentados pelos alunos; 3. A reconhecida importncia da avaliao diagnstica e formativa; 4. A necessidade de resolver os problemas de aprendizagem por meios pedaggicos, em vez de por meios administrativos. Para poder dar resposta a tudo o que hoje dele se exige, o processo de avaliao deve poder contar com os prprios alunos, com os pais, com outros professores e, se necessrio, com outros tcnicos, como o caso dos assistentes sociais e dos psiclogos escolares. Assegura-se deste modo a triangulao entre os principais intervenientes no processo de avaliao o que, como se imagina, tem consequncias a diversos nveis. Um deles o da disponibilidade dos professores para partilharem genuinamente o poder que lhes conferido pela avaliao.

Triangulao de espaos e de tempos

Na mesma linha dos raciocnios anteriores, parece importante que a avaliao possa decorrer em diferentes contextos ao longo de diferentes perodos de tempo. Isto significa pelo menos duas coisas. Uma a de que pode ser importante recolher informao dentro da sala de aula, onde se podem criar situaes muito diversificadas (e.g., trabalho individual, em pequeno grupo, em grande grupo, inter-pares, dramatizaes, simulaes de conferncias, apresentaes, leitura, etc.) mas tambm fora dela como , por exemplo, o caso de visitas a museus, a unidades empresariais, a mercados, a instituies cientficas ou a instituies pblicas. Outra a de que a informao, desejavelmente, deve ser recolhida em tempos diversificados; sempre que possvel ao longo dos perodos escolares e no em dois ou trs momentos previamente anunciados.

Transparncia
Qualquer processo de avaliao tem que ser transparente. Os objectivos, as aprendizagens a desenvolver e todos os processos de avaliao devem ser claramente expressos e devem estar sempre disponveis para quem a eles quiser ter acesso. Os critrios de avaliao devem ser apresentados de forma clara e devem constituir um elemento fundamental de orientao dos alunos. Ou seja, qualquer apreciao que se faa do trabalho dos alunos deve ter em conta os respectivos critrios e os alunos devem ser capazes de perceber sem problemas a sua situao face s aprendizagens que tm que adquirir ou desenvolver.

19

A ESSENCIALIDADE DO FEEDBACK NA AVALIAO ALTERNATIVA

Na avaliao alternativa, a comunicao, sob as mais diversas formas, assume um papel indispensvel. Sem ela estaramos num processo, mesmo assim pouco habitual, de avaliao psicomtrica. atravs da comunicao que todos os alunos devem tomar conscincia dos seus progressos e/ou dificuldades em relao s aprendizagens que tm que adquirir. atravs da comunicao que os professores tambm podero perceber as alteraes que necessitam de fazer para que o seu ensino v ao encontro das necessidades dos seus alunos. evidente que, na ausncia de qualquer informao por parte dos professores, os alunos tero certamente mais dificuldades em situar-se perante os desafios que tm que enfrentar, os esforos que tm que fazer ou os mtodos de estudo que devem utilizar. Devolver qualquer trabalho a um aluno em branco, com uma mera designao ou com uma apreciao escrita so certamente situaes muito diferentes. Os alunos precisam de orientaes sistemticas e de avaliaes do seu trabalho e dos seus desempenhos que os ajudem a melhorar as suas aprendizagens, que os estimulem e que os motivem a ir to longe quanto possvel ou que reconheam os seus progressos e sucessos. Ou seja, os alunos precisam de feedback acerca dos processos e produtos do seu trabalho e acerca dos seus comportamentos sociais. Como j se referiu, o feedback indispensvel para que a avaliao integre os processos de ensino e de aprendizagem e, muito particularmente, para que a avaliao assuma a sua natureza formativa. De facto, atravs de um feedback regular e sistematicamente providenciado, os alunos podem comear a desenvolver competncias de auto-avaliao e de auto-regulao das suas aprendizagens durante, e no no final, de um dado perodo de ensino e aprendizagem. Consequentemente, podem utilizar o feedback como orientao para melhorar ou corrigir o caminho que vinham seguindo. O feedback desempenha um papel crucial na aprendizagem porque, atravs dele, os alunos so sistematicamente lembrados dos nveis de aprendizagem, ou dos standards, que necessrio alcanar e ficam cientes dos seus prprios progressos tendo em conta a comparao com os seus prprios desempenhos anteriores ou critrios previamente definidos. Um dos aspectos que merece ponderao relaciona-se com a distribuio do feedback, seja ele de natureza escrita, oral ou no verbal. Pode haver a tendncia para que, numa turma, o feedback seja mal distribudo pelos diferentes alunos. Pode acontecer que os bons alunos, os alunos que apresentam mais respostas certas, os rapazes, os alunos das etnias dominantes ou os alunos das classes mdia e mdia alta recebam mais feedback do que os alunos mais fracos, do que os que apresentam mais respostas erradas, do que as raparigas, do que os alunos de minorias tnicas ou do que os alunos das classes sociais mais desfavorecidas. Por outro lado, para alm de ser necessrio distribuir equitativamente o feedback, importante equilibrar a forma e a natureza que ele pode assumir. Convm equilibrar a proporo de feedback oral, escrito ou no verbal, a oportunidade para o fazer em pblico ou em privado, dentro ou fora da sala de aula ou de o focar exclusivamente nos aspectos referentes a contedos disciplinares especficos ou tambm noutros aspectos como, por exemplo, nas aprendizagens de natureza transversal. Tunstall e Gipps (1996) distinguem entre feedback avaliativo, em que so emitidos juzos acerca do valor ou do mrito de um dado trabalho, com referncia implcita ou explcita a normas ou standards, e feedback descritivo, relativo s tarefas apresentadas aos alunos e utilizado para se referirem explicitamente as aprendizagens evidenciadas na sua resoluo. Os autores consideram dois tipos de feedback descritivo. Um, em que o professor se mantm essencialmente no controlo de toda a actividade pedaggica, nomeadamente mantendo todo o poder na avaliao, e em que se reconhecem as aprendizagens conseguidas pelos alunos, se produzem diagnsticos com base em critrios especficos ou se corrigem procedimentos. Outro, em que o professor partilha o seu poder de avaliador, com os alunos, responsabilizando-os igualmente pelas suas aprendizagens, analisando em conjunto a utilizao de estratgias para a auto-regulao e auto-controlo do processo de aprendizagem. Por isso, este ltimo tipo de feedback descritivo pode contribuir para que os alunos, sempre apoiados pelo professor, se tornem mais autnomos para avaliarem e regularem os seus desempenhos e para encontrarem maneiras de os melhorar. O professor acaba por assumir um papel mais facilitador em vez de mais fornecedor de feedback ou de juiz. , segundo Gipps e Stobart (2003), uma perspectiva em que se d nfase ao papel do professor com o aluno em vez de para o aluno. A avaliao alternativa no o ser verdadeiramente sem a utilizao deliberada, sistemtica e fundamentalmente didctica e pedaggica, de um sistema de feedback que apoie, regule e melhore os processos de aprendizagem e de ensino. Desta forma, consolida-se a funo formativa da avaliao, contribui-se para que os alunos se tornem mais autnomos, mais responsveis pelas suas aprendizagens, mais capazes de avaliarem e regularem o seu trabalho, o seu desempenho e as suas aprendizagens e mais geis na utilizao das suas competncias metacognitivas.

20

O PORTFOLIO COMO EXEMPLO DE AVALIAO ALTERNATIVA

Os portfolios de trabalhos dos alunos tm sido referidos como uma estratgia que pode permitir a organizao da avaliao alternativa de acordo com as ideias e os princpios que acima se apresentaram e discutiram. Um portfolio uma coleco organizada e devidamente planeada de trabalhos produzidos por uma aluna ou um aluno durante um certo perodo de tempo. A sua organizao deve ser tal que permita uma viso to alargada, to detalhada e to profunda quanto possvel das aprendizagens conseguidas pelos alunos. No h propriamente um modelo ou um formulrio para a construo de um portfolio. Professores e alunos, de acordo com os objectivos que se pretendem alcanar, as condies e os recursos de que dispem, estabelecem as regras; isto , acertam o tipo de trabalhos a incluir no portfolio, as condies em que o podem fazer e os objectivos de tal incluso. O processo de avaliao deve tambm ser objecto de discusso e de negociao. Os produtos elaborados pelos alunos, que devem constituir uma amostra alargada do que sabem e so capazes de fazer, podem ser de natureza muito diversificada e, naturalmente, devem contemplar os domnios destacados pelo currculo e/ou pelo projecto de escola e/ou pelo projecto curricular de turma. por isso desejvel que os trabalhos a integrar no portfolio tenham, pelo menos, as seguintes caractersticas: 1. Contemplem todos os domnios do currculo ou, pelo menos, os que so considerados essenciais e estruturantes; 2. Sejam suficientemente diversificados quanto forma (escritos, visuais, audiovisuais, multimdia); 3. Evidenciem processos e produtos de aprendizagem; 4. Exemplifiquem uma variedade de modos e processos de trabalho; 5. Revelem o envolvimento dos alunos no processo de reviso, anlise e seleco de trabalhos. Um portfolio poder incluir uma ampla variedade de trabalhos dos alunos tais como relatrios, composies, comentrios breves a textos ou a quaisquer situaes de aprendizagem (filme educativo, pea de teatro, acontecimento cientfico, tecnolgico ou social), relatos e reaces escritas a visitas de estudo, trabalhos individuais e de grupo, produtos multimdia, desenhos e ilustraes, reflexes dos alunos sobre a disciplina, os seus progressos, as suas dificuldades, resolues de problemas ou relatos de experincias. ( apenas uma lista de sugestes. As circunstncias e os contextos em que as pessoas funcionam que devem determinar o tipo de coisas a incluir.) No fundo, a ideia de organizar, de forma pensada e deliberada, os trabalhos dos alunos num portfolio, a de obter uma imagem, to ntida quanto possvel, das aprendizagens que desenvolveram ao longo de um dado perodo de tempo, das suas experincias, dificuldades, e progressos. Um ambiente de ensino e de aprendizagem em que, frequentemente, os alunos tm uma participao activa, em que se prope um conjunto diversificado de tarefas, em que se resolvem situaes problemticas ou em que se utilizam diferentes dinmicas de trabalho exige uma avaliao diferente. Uma avaliao mais contextualizada ou mais autntica, mais participada e mais reflexiva. Mais contextualizada, ou mais autntica, porque ocorre medida que os alunos vo resolvendo ou trabalhando nas tarefas que lhes so propostas no contexto normal da sala de aula, sem tantos constrangimentos de tempo e de administrao que tm que ser utilizados nos testes standardizados. Mas tambm porque os alunos tm oportunidades para analisarem o seu trabalho e, por isso, a auto-avaliao e auto-regulao das aprendizagens podem ser prticas habituais. Nestas condies, os alunos podero, em princpio, ter mais oportunidades para mostrar o que sabem e so capazes de fazer e os professores mais oportunidades para conhecer as suas dificuldades e ajud-los a super-las. Mais participada porque os professores partilham o poder da avaliao com os seus alunos, com outros professores e at com os pais e encarregados de educao. A avaliao assim um meio para tambm envolver outros intervenientes no apoio aos alunos, ajudando-os a superar dificuldades, a delinear estratgias de estudo e de trabalho ou a apreciar os seus trabalhos. A participao dos alunos na avaliao pode ser um processo de grande valor educativo e formativo, pois contribui para que desenvolvam um importante conjunto de aprendizagens de natureza cognitiva e metacognitiva e de natureza social, cultural e afectiva.

21

Mais reflexiva pois h oportunidades para que os alunos se habituem a rever os seus trabalhos de forma crtica, consciente e sistemtica. Consequentemente, podem analisar o que fizeram, identificar o que de mais caracterstico existe no seu trabalho, o que foi evoluindo com o tempo ou o que ainda necessita de ser feito. Trata-se de desenvolver competncias que lhes permitam rever e reformular o seu trabalho. Uma avaliao com estas caractersticas pode proporcionar mais e melhor informao aos professores e responsabilizar mais os alunos pela sua prpria aprendizagem, uma vez que so chamados a criticar e a reflectir, sistematicamente, sobre os seus prprios trabalhos. Sublinhe-se bem que um portfolio no uma mera coleco de trabalhos dos alunos organizados numa pasta de arquivo ou numa caixa. A organizao do portfolio exige uma planificao com propsitos bem claros e uma articulao sistemtica entre o desenvolvimento do currculo, a aprendizagem e a avaliao. Aderir a esta abordagem pode trazer vantagens tais como: 1. Abranger mais processos e objectos de avaliao; 2. Fazer coincidir tarefas de avaliao e de aprendizagem, contribuindo para melhorar a consistncia entre o currculo, o seu desenvolvimento e a avaliao; 3. Contextualizar a avaliao na medida em que ela surge associada situao em que a aprendizagem teve lugar e no numa situao mais formal, desligada do ambiente em que se trabalham as tarefas; 4. Mostrar mais acerca do que os alunos sabem e so capazes de saber; 5. Incentivar os alunos a participarem mais activamente no processo de avaliao e a reflectir criticamente sobre o seu prprio trabalho; 6. Melhorar a auto-estima dos alunos porque tm mais oportunidades para mostrar o que conseguem fazer e para evoluir; 7. Identificar mais facilmente os progressos e as dificuldades dos alunos dada a natureza longitudinal do portfolio; 8. Conhecer mais detalhada e profundamente as aprendizagens dos alunos o que permite tomar melhores decises. A utilizao desta estratgia no simples. Implica, como j se disse, uma planificao e organizao rigorosas, uma reviso sistemtica e regular dos trabalhos dos alunos e um cuidado muito especial com o tipo de tarefas que lhes queremos propor. No h qualquer garantia de que a utilizao de portfolios implique, por si s, uma avaliao alternativa, mais autntica, mais participada e mais reflexiva. Na verdade, os portfolios podem facilmente tornar-se meras pastas com coleces de trabalhos dos alunos. No entanto, se bem utilizados, podem influenciar positivamente as formas como se ensina, se aprende e se avalia. Podem dar origem a uma outra cultura, a uma outra ideia, de sala de aula: um espao em que as aprendizagens se vo construindo em conjunto e/ou individualmente ao ritmo de cada um, em que se reflecte e se pensa, em que se valorizam as experincias, intuies e saberes de cada aluno, em que se acredita que as dificuldades podem ser superadas e em que, essencialmente, se ensina e se aprende. Com mais ou menos esforo, mas sempre com gosto.

22

OS PROFESSORES E A AVALIAO DAS APRENDIZAGENS

As consideraes que se seguem so baseadas numa anlise de um conjunto de investigaes realizadas com professores dos trs ciclos da educao bsica e do ensino secundrio (Alves, 1997; Antunes, 1995; Boavida, 1996; Campos, 1996; Fernandes, Neves, Campos e Lalanda, 1996; Gil, 1997; Lobo, 1996; Neves, 1996). Na maioria destas investigaes, estudos de caso de natureza qualitativa, participou um nmero relativamente reduzido de professores, que foram entrevistados, e cujas aulas foram, em muitos casos, observadas. Naturalmente que o que aqui se pretende , tanto quanto possvel, integrar concluses e reflexes constantes naquelas investigaes numa tentativa de ilustrar como que os professores participantes organizavam as suas prticas de avaliao das aprendizagens e o que que pensavam sobre o assunto. No h aqui qualquer ideia de apresentar esta integrao de resultados como uma generalizao a todos os professores. Pode no entanto referir-se que os resultados, assim como as interpretaes consequentes, so, genericamente, consistentes com outras investigaes e/ou reflexes de ndole terica (e.g., Archbald e Newmann, 1992; Berlak, 1992a; Berlak, 1992; Broadfoot, 1994; Conceio, 1993; Fernandes, 1997; Gipps, 1994; Gipps e Stobart, 2003; O Connor, 1992; Raven, 1992; Stiggins e Conklin, 1992). Em geral, todos os participantes nas investigaes do uma clara nfase avaliao de conhecimentos especficos das disciplinas que leccionam. Em particular, aos factos, conceitos e procedimentos constantes nos livros de texto. Competncias de natureza transversal, como, por exemplo, as do domnio da resoluo de problemas ou do domnio das relaes scio-afectivas, so raramente valorizadas e, consequentemente, raramente avaliadas. H vrias explicaes possveis para esta constatao: 1. A comunicao que se estabelece na sala de aula essencialmente organizada em torno de contedos especficos que acabam por constituir, quase naturalmente, os principais, ou mesmo nicos, objectos de avaliao; 2. Para os professores participantes, as competncias de natureza transversal, ao contrrio dos contedos disciplinares, no esto clara e expressamente definidas nos currculos como alvos a atingir, por isso sentem falta de objecto de avaliao; 3. Culturalmente os professores tendem a valorizar mais, e quase exclusivamente, os conhecimentos especficos que os alunos evidenciam. De facto, no se conhecem casos de alunos que vejam posta em causa a sua progresso acadmica quando demonstram possuir conhecimentos considerados suficientes, apesar de eventualmente poderem revelar ausncia de competncias transversais como as de natureza scio-afectiva ou outras. Os testes so claramente os instrumentos mais valorizados e utilizados pelos professores participantes, que tendem a avaliar exclusivamente conhecimentos correspondentes aos contedos de natureza acadmica constantes nos programas. Penso tratar-se de um resultado que faz sentido e que coerente com as concepes sobre o ensino, a aprendizagem e a avaliao sustentadas por estes professores, que acabam por sentir que os testes lhes permitem medir com rigor as aprendizagens dos alunos. Sentem-se mais seguros e tambm sentem que a sua vida como avaliadores fica menos complicada. No entanto, estes professores acabam por recolher uma quantidade significativa de informao sobre o desempenho e sobre os saberes dos seus alunos que, muito provavelmente, utilizada de forma algo aleatria, sem se inscrever numa estratgia coerente e deliberada de avaliao. Trata-se de informao que essencialmente proveniente de observaes e de conversas informais. Por outro lado, os professores que, deliberadamente, tambm avaliam outros saberes e outras capacidades tendem a ver os testes como mais um meio para recolher informao e evidncias de aprendizagem e no o meio privilegiado para avaliar. De modo geral, verifica-se que a atribuio de classificaes est sobretudo dependente dos resultados dos testes. Os professores revelaram ter dificuldades vrias na integrao da informao que tm disponvel, que de natureza mais ou menos diversificada. Muito provavelmente porque no lhes igualmente fcil estabelecer critrios que os ajudem a fazer corresponder as aprendizagens dos alunos a um dado valor de uma dada escala. Nestas condies, os professores acabam por encontrar procedimentos ou frmulas mais ou menos consistentes, resultantes da sua intuio, conhecimento e experincia. Em todo o caso, os resultados dos testes, percepcionados como mais objectivos, mais vlidos e mais fiveis, acabam por ter um peso eventualmente desproporcionado nas decises que precedem a atribuio de classificaes finais. A grande maioria dos participantes nas investigaes referidas concorda com a necessidade de se diversificarem as estratgias, tcnicas e instrumentos de avaliao. Verificou-se, no entanto, que as prticas

23

de muitos professores no eram consonantes com aquela necessidade. interessante assinalar que os professores em cujas aulas se desenvolvia um ambiente em que os alunos participavam mais activamente na aprendizagem pareciam ter mais facilidade em valorizar e em utilizar outras estratgias, tcnicas e instrumentos para alm dos testes (e.g., portfolios, observaes sistemticas mais ou menos estruturadas, pequenos relatrios, trabalhos de casa, questionrios). A ideia com que se fica a de que a avaliao mais diversificada, mais significativa do ponto de vista educativo e formativo, mais consistente com o ensino e com a aprendizagem, quando os professores organizam o ensino e promovem um ambiente de trabalho em que os alunos participam mais activamente na resoluo de uma diversidade de tarefas cuidadosamente seleccionadas. A avaliao surge ento como um processo que ajuda a melhorar, a corrigir, a integrar, a regular, a definir critrios, a diagnosticar e a facilitar a comunicao. Um processo que indissocivel do ensino e da aprendizagem. Deve no entanto referir-se que esta maneira de trabalhar, isto , de ensinar e de avaliar, parece resultar mais da intuio, da experincia e dos saberes que dela so decorrentes e menos de um processo deliberadamente consciente, ancorado em perspectivas tericas que se procuram pr em prtica. Outro resultado interessante o de que a maioria dos professores participantes nas investigaes no explicitam os critrios de avaliao junto dos seus alunos. Mesmo os que o fazem actuam de forma mais ou menos isolada. Ou seja, os critrios so definidos um pouco de acordo com o que cada um pensa acerca do que importante e no parecem resultar de uma poltica definida ao nvel dos rgos prprios da escola (e.g., conselho pedaggico, departamento curricular). Por razes vrias fundamental que os critrios de avaliao sejam partilhados e at discutidos com os alunos. A avaliao tem que ser transparente e os critrios ajudam os alunos a organizar o seu estudo, contribuem para os motivar a aprender e a delinear estratgias de aprendizagem e de envolvimento nas tarefas que lhes so propostas pelos professores. As investigaes analisadas permitem que se fique com a ideia de que, em geral, os professores pensam, vivem e praticam a avaliao de forma muito isolada; este facto pode ajudar a explicar a relativa falta de confiana que os professores manifestam relativamente s suas avaliaes e s decises que delas decorrem assim como aos procedimentos que utilizam. Uma poltica de avaliao de escola que integre as principais preocupaes dos professores e que valorize as suas experincias e saberes pode ser uma ideia com bom acolhimento. O debate e a reflexo entre os professores de uma escola, de uma turma ou de um grupo de turmas poderia contribuir para clarificar reas problemticas tais como a definio de critrios de avaliao, a diversificao de estratgias, tcnicas e instrumentos, a integrao de informao, a atribuio de classificaes, a identificao de funes de avaliao, o envolvimento dos alunos, dos pais e de outros intervenientes, a distribuio, a frequncia e a natureza do feedback ou as questes de validade, fiabilidade e de equidade. Parece claro que os professores e as prprias escolas precisam de estar menos ss com as suas avaliaes. Em sntese, a ausncia de polticas de ensino e de avaliao nos projectos educativos das escolas e/ou nos projectos curriculares de turma parece ser uma importante debilidade que merecia ser cuidadosamente enfrentada. Os professores parecem estar um pouco entregues a si prprios numa questo que tem uma grande relevncia pedaggica, didctica e educativa mas tem tambm uma grande relevncia social. ( bom que se comecem a investigar e a discutir os diferentes tipos de consequncias pessoais e sociais resultantes das avaliaes.) Talvez por isso, mesmo os professores sentem-se relativamente inseguros e acabam por fazer as coisas sem possurem uma viso ampla e clara acerca do que realmente poder estar em causa na organizao do ciclo ensino-aprendizagem-avaliao.

24

AVALIAO EXTERNA
Todos os anos so gastos alguns milhares de milhes de euros no sistema educativo portugus e, para importantes sectores da nossa sociedade, persiste uma insatisfao quase crnica face qualidade do servio que prestado pelo sistema em geral e pelas escolas em particular. Sucessivas equipas governativas tm procurado contrariar este mal-estar da sociedade em relao ao sistema educativo. Infelizmente, apesar dos muitos esforos desenvolvidos, as equipas polticas acabam por se ver mais enredadas na gesto quase casustica dos mltiplos e corporativos interesses em presena, do que na concretizao de medidas estruturantes subordinadas a uma agenda prpria, decorrente de um plano estratgico para democratizar, modernizar e melhorar substancialmente a qualidade do sistema educativo. Entre os esforos que se tm realizado para reformar e reestruturar o sistema, contam-se os que se relacionam com o desenvolvimento do papel da avaliao na melhoria da qualidade do ensino e das escolas. Seguramente, nos ltimos anos, largas dezenas de milhes de euros tm sido destinadas avaliao externa, nomeadamente aos exames nacionais do ensino secundrio, s provas de aferio, participao nos estudos internacionais (TIMSS e PISA) e, a um outro nvel, avaliao integrada das escolas da responsabilidade da Inspeco Geral da Educao. Em vrios pases do mundo, nomeadamente nos Estados Unidos da Amrica, em Inglaterra, na Holanda, em Frana, na Austrlia e nos pases escandinavos, aps muitos anos de exames nacionais e de resultados consistentemente modestos, tm surgido crticas bastante fortes s medidas utilizadas para monitorizar o desempenho dos alunos e para avaliar os respectivos sistemas. Em geral, tais crticas referem-se quer forma quer ao contedo das medidas tradicionais, vulgo exames ou testes nacionais, que avaliam uma amostra muito reduzida dos domnios do currculo e, por isso, no avaliam muitos resultados significativos das aprendizagens dos alunos. Por outro lado, dizem os crticos, acabam por ter efeitos nefastos sobre o currculo, empobrecendo-o, sobre o ensino, demasiado condicionado pelo que sai no exame, sobre o desenvolvimento de competncias de resoluo de problemas por parte dos alunos e sobre as decises polticas. A um outro nvel, tm sido muito debatidas na literatura as caractersticas dos exames nacionais, o seu papel na avaliao da qualidade dos sistemas educativos, as suas vantagens, as suas relaes com a prestao de contas, as suas principais funes, a sua validade e fiabilidade, o problema da correco, particularmente o da fiabilidade entre correctores, assim como questes de equidade, de comparabilidade e de tica. Tudo questes ainda muito pouco analisadas e debatidas entre ns. As provas de aferio tambm se integram na avaliao externa e tm sido aplicadas aos alunos dos anos terminais dos ciclos da educao bsica desde o ano lectivo de 1999/2000, nas disciplinas de Matemtica e de Portugus. Importa analisar o seu papel na avaliao das aprendizagens e na avaliao do trabalho desenvolvido nas escolas assim como discutir as perspectivas que se podero desenhar tendo em conta o anunciado incio dos exames externos para todos os alunos do 9. ano de escolaridade. Finalmente, tal como acima referido, faz-se uma discusso acerca dos estudos internacionais de avaliao das aprendizagens.

Exames Pblicos Nacionais

De h cerca de 150 anos para c todos os pases tm experimentado um desenvolvimento significativo, nalguns casos verdadeiramente notvel, dos sistemas educativos. Ao longo destes anos, muitos pases conseguiram que todos os seus cidados em idade escolar viessem, efectivamente, a frequentar a escola. Outros tm progredido significativamente em relao a esse objectivo, comum a todas as sociedades democrticas. Como consequncia, na maioria dos pases, assistimos a uma significativa expanso de todos os nveis de ensino. Comeando, naturalmente, pela educao bsica, os sistemas quiseram, e querem, que todos os seus alunos frequentem formaes de nvel secundrio. A este crescimento do ensino secundrio correspondeu um aumento muito significativo das ofertas ao nvel do ensino superior que, em muitos casos, no foi suficiente para responder ao brutal aumento da procura. Os pases lidaram com estas situaes de formas diferentes mas, em geral, utilizaram exames, ou outro tipo de provas, como forma de regular situaes como a que sucedeu em Portugal, onde era muito maior o nmero de alunos a querer ingressar no ensino superior do que o nmero de vagas que as instituies podiam disponibilizar. Os exames assumiram, assim, uma funo marcadamente selectiva que, eventualmente, poder atenuar-se, ou mesmo desaparecer, se o sistema, entretanto, se tornar mais equilibrado e mais

25

aberto. Nesse caso, a funo de certificao das aprendizagens dos alunos ganharia maior relevncia do que a funo da sua seleco. evidente que, como veremos, h outras questes, para alm das suas funes, que devem ser analisadas relativas aos exames. Algumas dessas questes so abordadas nas pginas que se seguem.

Breve bosquejo histrico dos exames

Segundo vrios autores (e.g., Keeves, 1994; Kellaghan e Madaus, 2003) os exames pblicos nacionais parecem ter-se iniciado h cerca de 2500 anos na China, tendo em vista a seleco de pessoal militar e de funcionrios pblicos e, simultaneamente, evitar que a seleco fosse feita com base em laos familiares, ou outro tipo de afinidades, dos candidatos com os diferentes dignitrios dos poderes institudos. Foram os jesutas que, no sculo XVI, trouxeram os exames para a Europa, introduzindo-os nas suas escolas. Mas s no sculo XVIII, em 1748, a administrao de exames em larga escala comeou a ser utilizada na Europa, mais propriamente na antiga Prssia (Alemanha). O objectivo continuava a ser o de seleccionar funcionrios pblicos. Em Frana, aps a revoluo, em 1793, os exames so tambm adoptados. S no sculo XIX o Reino Unido decide adoptar os exames como meio de seleccionar funcionrios pblicos para um imprio ento em plena expanso. Nos Estados Unidos, os exames so introduzidos em 1883, ainda com o objectivo de seleccionar funcionrios para o governo, depois de comearem a ser utilizados na cidade de Boston em 1845 (Kellaghan e Madaus, 2003). No sculo XIX, ainda na Europa, as universidades acabam por ter um papel relevante na expanso dos exames pblicos administrados em larga escala, pois comearam a utilizar muitos dos sistemas de exames existentes para seleccionar os seus alunos. o caso do Abitur, na Alemanha, que era um exame de certificao usado na escola mdia alem desde 1788 e que veio a ser utilizado como exame de qualificao para entrada nas universidades. tambm o caso do Baccalaureat, introduzido em Frana por Napoleo, em 1808, que tambm era utilizado para acesso a certos cargos pblicos e ao mercado de trabalho em geral. No Reino Unido, a Universidade de Londres inicia os seus exames matriculation examinations em 1838 (Kellaghan e Madaus, 2003). Ao contrrio de muitos pases na Europa, os Estados Unidos no tinham, nem hoje tm, um sistema de exames pblicos nacionais. H exames pblicos externos obrigatrios em alguns estados, nomeadamente o famoso Regents examinations no Estado de Nova Iorque, institudos em 1860 e que ainda persistem. A partir das primeiras dcadas do sculo XX, os norte-americanos, baseados nos princpios da psicometria, iniciaram o desenvolvimento de uma abordagem substancialmente diferente da dos europeus no que se referia avaliao dos alunos atravs de provas em larga escala. Caracterizavam este tipo de avaliao a utilizao predominante de testes objectivos de escolha mltipla e uma standardizao de procedimentos de modo a que todos os candidatos, supostamente, realizassem os exames nas mesmas condies. Presentemente, de acordo com Kellaghan e Madaus (2003) e Keeves (1994), praticamente todos os pases do mundo tm um qualquer sistema de exames. Inclusivamente pases que no tinham tradio de exames pblicos externos, como o caso de muitos pases da ex-Unio Sovitica e da Europa Oriental, esto neste momento a introduzi-los, particularmente no final do ensino secundrio. Em 1993, o Despacho n. 338 do Ministrio da Educao institui os exames nacionais no final do ensino secundrio em Portugal, com funes de certificao e de seleco no acesso ao ensino superior. Assinale-se que o sistema educativo portugus estava, havia cerca de 20 anos, sem quaisquer exames ou qualquer tipo de avaliao externa com os efeitos definidos no despacho acima referido.

Caractersticas gerais dos exames

Analisando o que se passa em vrios sistemas educativos, verifica-se que, nuns casos, h sistemas de exames ao nvel das escolas, noutros, ao nvel regional e, em muitos, ao nvel nacional. Em certos sistemas educativos os exames tm apenas a funo de certificao, noutros servem para certificar e para seleccionar, como o caso dos nossos exames do ensino secundrio, e alguns apenas se destinam a seleccionar, como o caso de exames destinados a seleccionar alunos para certas vias ou percursos de nvel secundrio. Nuns sistemas educativos h alguma combinao, para efeitos de certificao ou de seleco, entre as classificaes obtidas pelos alunos nos exames nacionais e as que so obtidas nas escolas. Noutros sistemas a certificao e/ou a seleco baseada apenas nas classificaes externas, obtidas nos exames, ou nas classificaes internas, obtidas na chamada avaliao contnua das escolas.

26

Em todo o caso, possvel identificar um conjunto de caractersticas comuns a um elevado nmero de pases. Por exemplo, Kellaghan e Madaus (2003), identificam as seguintes: 1. Os exames so externos, isto , so preparados e controlados por uma ou mais entidades externas s escolas a que os alunos pertencem; 2. A administrao dos exames normalmente controlada pelo governo ou, no mnimo, por si supervisionada; 3. Os exames so construdos a partir dos contedos constantes nos currculos. Em geral, isto significa que a nfase mais no conhecimento dos contedos do que, por exemplo, na sua integrao e mobilizao para resolver situaes problemticas; 4. As provas de exame so iguais para todos os alunos, administradas segundo procedimentos standardizados, fora do ambiente normal da sala de aula e realizados por um grande nmero de alunos; 5. A maioria dos exames tem vrias funes, tais como certificar, controlar, seleccionar ou motivar; 6. Normalmente, o contedo, os critrios de correco e os resultados dos exames so tornados pblicos. Apesar destas caractersticas comuns a um elevado nmero de sistemas, h, como natural, um conjunto de diferenas, das quais destaco as seguintes: 1. Em geral, os exames ocorrem no final do ensino secundrio, mas h pases que utilizam exames, pelas mais variadas razes, a nveis mais elementares da escolaridade, normalmente quando os alunos tm cerca de 16 anos ou, em muitos casos, quando esto no final da escolaridade obrigatria; 2. O nmero de entidades envolvidas no processo de exames varia de pas para pas. Por exemplo, no nosso caso, h pelo menos sete instituies ou entidades envolvidas: O Gabinete de Avaliao Educacional (GAVE), que elabora as provas e os critrios de correco; O Departamento do Ensino Secundrio (DES) que responsvel pela administrao das provas, pela coordenao do processo de correco, pela recolha, tratamento e difuso da informao e pelo processo de reviso de provas solicitadas pelos alunos; O Jri Nacional de Exames do Ensino Secundrio (JNE), que elabora o respectivo regulamento e controla mecanismos operacionais para o fazer observar; As Direces Regionais de Educao (DRE), que cooperam com as entidades centrais em questes de natureza logstica e relacionadas com o processo de administrao dos exames; A Inspeco Geral da Educao (IGE), que zela, junto das escolas, para que os procedimentos estejam conforme os regulamentos, garantindo que os exames decorram em condies de igualdade para todos os alunos; A Editorial do Ministrio da Educao, que imprime as provas e assegura a sua distribuio por todas as escolas do pas onde se realizam exames; e As foras de segurana PSP e GNR que colaboram com a Editorial para garantir que a distribuio seja feita sem problemas; 3. H pases em que o peso dos exames para efeitos de certificao ou de seleco de 100%, ou muito elevado (mais do que 70%). Por exemplo, em Inglaterra o peso dos exames no cmputo da classificao final dos alunos de 80%, contra 20% da avaliao realizada nas escolas. Em Portugal, para efeitos de certificao, o peso dos exames de 30% e o da avaliao interna de 70%. Mas, para efeitos de seleco das entradas no ensino superior, o peso das disciplinas especficas de exame (normalmente duas) de 50% contra outros 50% da avaliao interna. Refira-se que s num reduzido nmero de pases europeus, como o caso da Irlanda, da Frana e da Inglaterra, a avaliao no final do secundrio totalmente ou quase totalmente externa. Noutros pases, h exames que so administrados e corrigidos pelos professores nas escolas com algum sistema de moderao externa;

27

4. O nmero de exames que os alunos tm que fazer tambm varia. Por exemplo, em Itlia os alunos fazem dois exames, na Alemanha e em Inglaterra fazem trs, em Portugal entre quatro e cinco e em Frana, na Irlanda e na Holanda fazem mais de seis exames; 5. O formato dos exames tambm pode variar sensivelmente quer quanto ao nmero de partes que o constituem quer quanto natureza e nmero das questes. Em muitos sistemas educativos as questes tipo ensaio tm sido predominantes mas tambm fazem uso de questes de resposta curta e de questes objectivas (vulgo escolha mltipla). H exames que incluem tarefas de desempenho para avaliao de competncias prticas e orais. Verifica-se, assim, que h uma variedade de modalidades, de funes, de formatos, de propsitos e de formas de controlo, de acordo com as polticas educativas dos diferentes pases e das prioridades ou objectivos que definem. Por outro lado, so conhecidos e esto amplamente documentados, os diferentes tipos de efeitos ou impactos que os exames podem ter aos mais variados nveis, tais como: 1. Nas vidas pessoais, sociais e acadmicas dos alunos; 2. Nas formas como as escolas e os professores se organizam e desenvolvem o currculo; 3. Naquilo que ensinado e como ensinado; 4. Naquilo que avaliado e como avaliado; 5. Na credibilidade social dos sistemas educativos. Em funo destes e doutros impactos dos exames, h, por sua vez, um conjunto de questes que, neste contexto, devem ser consideradas e discutidas como o caso da validade, da fiabilidade, da comparao, da correco ou da equidade. Consequentemente, surgem imediatamente problemas interessantes para analisar e discutir que se podem traduzir pelas seguintes questes: 1. O que que os exames, de facto, avaliam? 2. Que currculo avaliado pelos exames? 3. Qual a consistncia dos resultados dos exames? 4. Os exames sero igualmente justos para todos os alunos? 5. Haver grupos de alunos particularmente favorecidos ou particularmente desfavorecidos pelos exames? 6. A correco tem nveis aceitveis de consistncia? Isto , h fiabilidade entre os correctores? Como se poder melhor-la ou garanti-la? 7. A anlise, apresentao e divulgao dos resultados aceitvel? 8. H um plano estratgico, consistente e deliberado de investigao associado realizao dos exames? 9. Que consequncias se retiram dos resultados dos exames e da anlise dos dados? Estas e outras questes integram as preocupaes mais constantemente expressas na literatura e que aqui se procuram analisar e discutir, sem deixar de enunciar vantagens e desvantagens de um tipo de avaliao que, nos tempos que correm, parece estar em plena ascenso nos sistemas educativos.

Funes dos exames

Na maioria dos pases, os exames desempenham um conjunto variado de funes, algumas das quais muito associadas funo sumativa da avaliao. As funes normalmente referidas so as seguintes: 1. Certificao, que cumpre o papel de comprovar que um dado candidato, ao fim de um dado perodo de tempo, demonstrou possuir um dado conjunto de aprendizagens; 2. Seleco, que est muito associada funo de certificao e que controla a progresso escolar dos alunos, nomeadamente o acesso ao ensino superior; 3. Controlo, que permite que os governos, atravs de exames standardizados por si controlados, assegurem que contedos semelhantes sejam leccionados nas escolas do pas de acordo com o previsto no currculo nacional;

28

4. Monitorizao, muito associada prestao de contas e que, em alguns pases, consiste na utilizao dos resultados dos exames para pedir contas s escolas e aos professores. Normalmente promove-se a publicao de rankings das escolas de acordo com o seu desempenho nos exames nacionais; 5. Motivao, uma das funes principais quando os exames no tm qualquer efeito na vida escolar dos alunos, mas, no caso em que tm efeitos importantes no seu progresso escolar, podem ser desmotivadores, particularmente junto dos alunos que consideram os exames difceis. A funo de monitorizao, como se viu, aparece na literatura associada prestao de contas e publicao dos rankings das escolas. A este propsito julga-se importante discutir aqui algumas razes que desaconselham a prtica dos rankings. De modo geral, as comparaes que se possam fazer entre escolas tendem a no ter em devida conta os seus pontos de partida; isto , no consideram o tipo de alunos que a frequentam, nem as qualificaes dos professores e dos tcnicos e funcionrios da escola, nem os recursos materiais ou as condies fsicas da escola. Alm disso, as caractersticas da comunidade onde a escola est inserida tambm tm de ser devidamente consideradas. evidente que os professores e as escolas tm sempre responsabilidades no desenvolvimento das aprendizagens dos alunos, mas poderemos estar a cometer uma injustia se julgarmos uma escola baseados exclusivamente numa classificao que, por vezes, pode resultar de uma agregao de dados sem muito sentido. Quando, num dado pas, as escolas so confrontadas anualmente com um ranking oficial com base no desempenho dos seus alunos em exames nacionais, natural que comecem a delinear estratgias defensivas que lhes possam garantir um bom lugar no dito ranking. Uma delas a de convidar os alunos a desistirem, anulando as respectivas matrculas ou, pura e simplesmente, no levar os alunos a exame. Dito de outra maneira, certas escolas podero ter critrios, mais ou menos explcitos, bastante apertados atravs dos quais muito poucos alunos conseguem aceder aos exames. Pode sempre perguntar-se que significados atribuir ao facto de uma escola que, no incio do ensino secundrio, tem 200 alunos dos quais apenas 50 acabam por se apresentar a exame e est num lugar cimeiro do ranking, e ao facto de uma escola com um lugar modesto no ranking que tinha inicialmente 200 alunos iniciais dos quais 185 foram a exame. Qual a escola boa? A que reprovou 150 alunos? A escola m a que apenas reprovou 15 alunos porque, eventualmente, seria muito permissiva? H naturalmente muitas variveis que poderiam ser consideradas. O que importa sublinhar que no se trata de matria pacfica e que, mais uma vez, se podero estar a cometer injustias acerca dos juzos que se faam sobre certas escolas. Tem-se constatado, por outro lado, que h tantos rankings quantos os que quisermos. De facto, tudo depende dos resultados da escola que se utilizarem para produzir o ranking. No fcil encontrar uma varivel que possa traduzir a multidimensionalidade dos problemas a considerar e, sobretudo, uma varivel que faa sentido e que tenha real significado. Entre ns tm surgido ordenaes diferentes das escolas conforme os critrios utilizados pelos seus autores. Apesar de facilmente se perceber que h erros vrios que se cometem na elaborao de rankings ou, no mnimo, pressupostos incorrectos ou procedimentos muito pouco credveis, a verdade que, em geral, no so mencionados nem tidos em conta pelas autoridades, pela sociedade ou pela comunicao social. A elaborao e publicao de rankings pode ter outros efeitos indesejveis como o de estigmatizar escolas que eventualmente at podero estar a fazer um melhor trabalho do que escolas melhor classificadas no ranking, desmoralizando os professores e restantes colaboradores da escola e a prpria comunidade em que a escola se integra. Apesar de, como se disse, os resultados dos alunos estarem necessariamente relacionados com o que lhes ensinado e como lhes ensinado, redutor e precipitado estar a avaliar uma escola e os seus professores com base exclusiva em tais resultados. A investigao j h muitos anos que tem mostrado isso mesmo, assim como a dificuldade e a complexidade de se conceberem sistemas de avaliao dos professores e das escolas que sejam exequveis e que contribuam efectivamente para a melhoria dos sistemas educativos. Uma coisa parece certa, avaliar escolas e professores apenas com base nos resultados dos alunos uma simptica tentao mas no dever ser mais do que isso (Johnson, 2003; Pearlman e Tannembaum, 2003; Sanders e Davidson, 2003; Stufflebeam, 2003). A funo de monitorizar as escolas atravs dos exames tem naturalmente o seu papel e no tem necessariamente que passar pela publicao de rankings de escolas. necessrio considerar todas as faces do

29

problema e, sobretudo, quando se trata de atribuir responsabilidades, ter o cuidado de considerar todas as instituies, todas as pessoas que intervm no processo educativo. Seria estranho que algum pudesse, ou quisesse, ficar de fora.

Consideraes sobre o tipo de questes

Como j atrs se fez referncia, os exames podem incorporar uma variedade de questes tais como: Tarefas ou problemas; Ensaios; Resposta curta; Escolha mltipla. As questes mais abertas, tipo problemas, tarefas ou ensaios, so fortemente recomendadas pelos autores que se enquadram no paradigma da avaliao alternativa pois, entre outras, apresentam as seguintes vantagens: 1. Permitem analisar os processos e estratgias utilizados pelos alunos na resoluo de problemas novos; 2. Permitem avaliar as capacidades dos alunos para integrarem, relacionarem, aplicarem e organizarem conhecimentos; 3. Permitem avaliar as capacidades dos alunos para analisarem, sintetizarem e avaliarem a informao constante numa grande diversidade de textos ou de situaes problemticas; 4. Permitem avaliar aspectos originais e criativos do pensamento dos alunos. As questes deste tipo, no contexto de um exame nacional, com efeitos no progresso escolar dos alunos e/ou na certificao, apresentam os seguintes problemas: 1. So normalmente difceis de elaborar; 2. Demoram bastante tempo a ser corrigidas; 3. Os critrios de correco so difceis de elaborar; 4. A fiabilidade entre os correctores tende a baixar; 5. A fiabilidade do exame tende a baixar. Apesar de todos estes problemas deverem ser igualmente considerados numa avaliao em larga escala, com os efeitos dos exames em vigor em Portugal, talvez a mais preocupante seja a fiabilidade entre os correctores. Sobretudo porque pode questionar de forma mais ou menos sria a equidade dos exames. Sabe-se que h procedimentos que podem ajudar a diminuir este problema, alguns dos quais tm sido postos em prtica pelas entidades responsveis, como o caso do maior cuidado que tem sido posto na elaborao de critrios de correco, de algumas aces de formao para correctores ou a promoo de reunies entre correctores para aferio de critrios. Mas tambm se sabe que h aqui um longo caminho a percorrer. Perante esta situao, parece importante que se criem mecanismos mais apertados de controlo da correco e que, atravs de amostras aleatrias de provas, se determine quais so os nveis de fiabilidade das correces. uma questo relevante que no pode deixar de ser tratada com a maior transparncia. evidente que a soluo no eliminar as perguntas abertas relativas resoluo de problemas ou a outro tema qualquer. Por razes bvias desejvel e indispensvel que os exames mantenham esse tipo de questes. As perguntas de resposta curta e de escolha mltipla tambm so utilizadas entre ns nos exames nacionais do ensino secundrio, pelo menos em parte das provas de algumas disciplinas, nas provas de aferio do ensino bsico desde o ano 2000 e tambm nas provas dos estudos internacionais em que o nosso pas tem participado. Os testes ou perguntas de escolha mltipla, uns e outras largamente utilizados em exames nacionais em muitos pases do mundo surgem nos Estados Unidos da Amrica, em 1914, para responder a duas dificuldades: a) o nmero crescente de alunos no sistema educativo associado chegada de milhes de imigrantes aquele pas; e b) o facto de se detectarem grandes discrepncias na correco de exames em que as perguntas eram do tipo ensaio. Na verdade, investigaes conduzidas nos finais do sculo XIX e princpios do sculo XX mostraram que as classificaes atribudas aos testes com perguntas abertas, ou tipo ensaio, variavam muito

30

e dependiam de quem os corrigia. Os sistemas de exames ou de testes foram ento considerados pouco eficientes, ou mesmo ineficientes, e excessivamente subjectivos. Os testes de escolha mltipla acabaram por se afirmar no contexto norte-americano, particularmente aps a descoberta dos instrumentos de leitura ptica das respostas nos anos 50, mas rapidamente se foram disseminando por muitos sistemas educativos em todo o mundo. As razes para o seu aparente sucesso estavam relacionadas com o facto de permitirem examinar um grande nmero de alunos em pouco tempo e, sobretudo, porque a fiabilidade da correco era total dado que as perguntas, supostamente, eram todas objectivas. Kellaghan e Madaus (2000) referem que os testes de escolha mltipla so utilizados para avaliar aprendizagens adquiridas pelos alunos pelas seguintes razes: 1. A correco objectiva; num dado teste as classificaes sero sempre as mesmas independentemente de quem o corrija; 2. Os testes so muito eficientes porque podem ser facilmente administrados a muitos alunos e serem corrigidos rapidamente, sem erros e de forma muito barata devido utilizao de instrumentos de leitura ptica. A administrao muito simples e no exige formao especial dos intervenientes no processo; 3. Os testes de escolha mltipla podem abranger uma parte substancial do domnio a avaliar em relativamente pouco tempo. Por exemplo, em 40 minutos os alunos podem responder a cerca de 50 questes; 4. Os testes de escolha mltipla so normalmente fiveis; isto , os resultados tendem a ser consistentes se os testes, ou alguma verso considerada equivalente, forem administrados, em tempos diferentes, a populaes comparveis ; 5. Os testes de escolha mltipla, talvez porque a sua correco objectiva e so largamente utilizados, so considerados como boas e credveis fontes de informao; 6. As classificaes utilizadas nos testes de escolha mltipla so facilmente compreendidas pelas pessoas. (Kellaghan e Madaus, 2000, p.120) Os mesmos autores listam tambm as seguintes limitaes associadas aos testes de escolha mltipla: 1. Os testes de escolha mltipla so muitas vezes ambguos. Uma redaco de um item que parea clara para quem constri o teste pode confundir quem tem que o resolver; 2. Os testes de escolha mltipla proporcionam muito pouca informao diagnstica acerca dos alunos. No fornecem informao acerca das razes que esto na origem de eles acertarem, ou no, nas questes e acerca dos processos utilizados para lhes responderem; 3. Os testes standardizados de escolha mltipla fornecem muita pouca informao que possa ser directamente utilizada pelos professores para orientar ou melhorar o ensino; 4. Os testes de escolha mltipla, em geral, no nos fornecem informao acerca dos processos mais complexos de pensamento dos alunos. mais fcil construir itens de escolha mltipla para avaliar o conhecimento de factos, do que itens que tenham a ver com processos mentais mais complexos que se desenvolvam em mltiplas etapas; 5. Se os testes de escolha mltipla tiverem efeitos sobre a progresso acadmica dos alunos, seja para progredir para o ano seguinte ou para concluir o ensino secundrio, podem exercer uma influncia negativa no currculo. (Kellaghan e Madaus, 2000, p.120) So mltiplas as consequncias que resultam da utilizao de um teste com determinadas carcatersticas. O princpio de procurar diversificar o tipo de perguntas ou de itens, como me parece que tem sido feito entre ns, tem virtualidades importantes. A ideia deve ser a de procurar equilibrar as exigncias de validade, de fiabilidade, de equidade e de capacidade de comparao que tm que existir neste tipo de provas com as exigncias de um ensino e de uma aprendizagem em que a resoluo de problemas, a relao e integrao de saberes ou as competncias metacognitivas das pessoas tm um papel determinante. Sabemos atravs da experincia inglesa com a Assessment of Performance Unit APU, (Torrance, 2003), no incio dos anos 90, que, em princpio, quanto maior for a complexidade das tarefas (e.g., tarefas abertas, resoluo de problemas), mais difcil inclu-las em avaliaes em larga escala. Ou seja, tendencialmente, quanto maior for a escala de abrangncia dos exames e dos seus efeitos sobre o progresso e a certificao dos alunos, mais simples (mais objectivo) dever ser o tipo de itens. E isto porque assim os alunos tendero a ser tratados todos da

31

mesma maneira na correco das provas. H uma tenso entre os propsitos formativos e avaliativos do sistema nacional de exames e a relao entre a escala (larga, mdia, pequena) e a complexidade e objectividade das perguntas (objectivas, resposta curta, ensaio ou questes abertas). Muitas coisas importantes esto em jogo: estreitamento ou no do currculo, equidade do sistema, induo de boas ou ms prticas nas escolas ou, talvez surpreendentemente para alguns, a real possibilidade de se baixarem os nveis de aprendizagem dos alunos. So coisas demasiado srias para no se discutirem aberta e responsavelmente entre ns.

Equidade
A questo da equidade no sistema educativo e, em particular, na avaliao e nos exames nacionais no tem sido uma questo debatida entre ns, pelo menos como tem sido discutida, investigada e reflectida noutros pases europeus (e.g., Apple, 1989; Gipps e Murphy, 1994). Normalmente a discusso tem-se circunscrito necessidade de criar igualdade de oportunidades para todos os alunos e, particularmente, para os que pertencem a grupos que carecem de necessidades educativas especiais e a outros normalmente designados por minoritrios. E isto pode ter a ver com a origem scio-econmica, a origem tnica, a filiao religiosa, o gnero, a lngua materna ou com qualquer outra caracterstica. Em geral, procura-se assegurar igualdade de oportunidades, com sistemas, mais ou menos eficientes, de apoios e complementos educativos. A perspectiva que, em muitos pases, tem sido utilizada a de proporcionar igualdade de acesso aos recursos educativos e aos diferentes percursos de educao e de formao previstos nos sistemas educativos. Trata-se, sem dvida, de uma abordagem importante ao problema, mas que tem sido considerada insuficiente, porque os diferentes grupos de alunos, por exemplo, os rapazes e as raparigas ou alunos de etnias diferentes tm experincias fora da escola que podem ser significativamente diferentes. Ou seja, o modelo procura compensar as desvantagens de certos grupos de alunos garantindo-lhes acesso ao tipo de servio a que todos os seus colegas tm acesso. Seria interessante desde que algumas coisas pudessem mudar na forma como se organiza o ensino ou se envolvem estes alunos nas tarefas e na comunidade escolar. O que acontece que normalmente proporciona-se igualdade de acesso aos meios mas tudo o resto se mantm inalterado. Por isso, so poucos os que eventualmente superam as suas dificuldades. Outra abordagem ao problema a que se centra na igualdade de resultados que deve traduzir, em princpio, o acesso igualdade de oportunidades e que, necessariamente, recentra a discusso nos resultados dos diferentes grupos de alunos. Outras concepes consideram a equidade como o justo e adequado acesso educao por parte de todos os alunos e, consequentemente, como a real possibilidade de todos os grupos obterem resultados razoavelmente semelhantes em provas de avaliao, como o caso dos exames nacionais obrigatrios. Desta forma, o princpio da equidade em educao significaria que todos os alunos teriam acesso a uma educao e a uma formao semelhantes ou iguais e que, por consequncia, teriam resultados semelhantes nas avaliaes. Nestas condies, a igualdade de resultados acaba por constituir a base mais slida para a igualdade de oportunidades para todos os grupos de alunos que saem das escolas. Gipps e Murphy (1994), por seu lado, sustentam que a igualdade de resultados no propriamente uma finalidade apropriada, porque grupos diferentes podem ter experincias, interesses, motivaes, caractersticas, qualidades e pontos fortes e fracos muito distintos. Para estas autoras, a equidade na avaliao implica que as suas prticas e a interpretao dos resultados seja justa, adequada e equilibrada para todos os grupos. Ainda noutras concepes sustenta-se a ideia de que a igualdade de oportunidades no est associada opresso dos grupos e s suas desvantagens, mas antes preocupao em garantir que todos os alunos possam escolher individualmente, numa perspectiva de mercado livre, o que querem fazer das suas vidas escolares. Facilmente se percebe que esta perspectiva centra nos alunos a responsabilidade pelas suas desvantagens ou dificuldades de aprendizagem ao mesmo tempo que isenta as escolas e a comunidade de assumirem quaisquer papis porque as oportunidades esto l. O aluno s tem que escolher o que vai mais ao encontro das suas necessidades, motivaes e capacidades! Como reaco a estas perspectivas surgem outros que fazem passar o debate da equidade por questes curriculares to relevantes como as seguintes: 1. Que tipos de saberes, atitudes e capacidades so ensinados a quem? 2. Por que que os saberes, atitudes e capacidades so ensinados de certas formas a determinados grupos particulares?

32

3. De que formas conseguimos que as histrias e culturas dos diferentes grupos de alunos sejam responsavelmente integradas nos processos de ensino e aprendizagem? tendo em conta o que acima se discutiu que, num sistema nacional de exames com efeitos na vida acadmica, pessoal ou social dos alunos, como o caso dos exames nacionais do ensino secundrio em Portugal, as questes da equidade devem ser consideradas. Dir-se- que os exames nacionais asseguram a equidade quando os jovens que, partida, desenvolveram o mesmo tipo de aprendizagens, obtm resultados iguais ou, pelo menos, muito semelhantes. Se o sistema no assegura a equidade, ento poder haver grupos de estudantes que so beneficiados, ou prejudicados, em relao a outros. Fica assim a porta aberta para que certos grupos de alunos fiquem frente ou atrs de outros por razes que nada tm a ver com o tipo de conhecimentos ou aprendizagens testados no exame. As questes de equidade tm que ser equacionadas no sistema educativo em geral, pois no seu seio que as diferenas de tratamento, as discriminaes de ordem vria e a falta de oportunidades para aprender podem ser sentidas por certos grupos de estudantes e no por outros. Por estas razes, h investigadores que consideram que o problema da equidade nos sistemas educativos um problema central e que, sob muitos pontos de vista, constituem uma justificao para os exames externos (Kellaghan e Madaus, 2003). O que parece poder acontecer que, em exames nacionais, haja algumas parcialidades que acabem por afectar, prejudicando ou beneficiando, certos grupos de alunos rapazes, raparigas, grupos tnicos, grupos lingusticos, candidatos provenientes de meios urbanos ou rurais ou candidatos de escolas pblicas ou privadas. A investigao tem mostrado que as diferenas nas classificaes dos alunos esto normalmente associadas ao estatuto scio-econmico dos candidatos, sua origem tnica ou ao seu gnero, continuando por clarificar se tais diferenas so devidas ao exame ou ao que os alunos efectivamente sabem e so capazes de fazer. De acordo com Bolger e Kellaghan, Mathews e Stage (citados em Kellaghan e Madaus, 2003), h um resultado consistente num nmero de pases que atribui ao mtodo utilizado para avaliar as aprendizagens as diferenas entre gneros. Assim, os rapazes obtm consistentemente melhores resultados do que as raparigas em testes standardizados de mltipla escolha enquanto que as raparigas obtm melhores resultados em testes que contm perguntas abertas ou do tipo ensaio. H um conjunto de factores que deve ser considerado na abordagem sistemtica que necessrio fazer-se questo da equidade. J vimos que o estatuto scio-econmico dos alunos, o seu gnero, o grupo tnico e/ou lingustico a que pertencem, a situao da localidade de provenincia (urbana ou rural) ou tipo de escola (pblica ou privada) so factores a ter em conta. Outra questo que tem que ser devidamente enquadrada a que se refere aos candidadtos com necessidades educativas especiais. medida que o nmero de alunos que fazem exames aumenta, surgem cada vez mais alunos que necessitam de algum tipo de assistncia, que vai desde provas com dimenses e arranjos especiais, para alunos amblopes, at proporcionar um professor ou um tcnico de apoio para alunos com problemas motores, ou meios tecnolgicos especiais para crianas ou jovens paraplgicas ou tetraplgicas. O sistema deve assegurar que nenhuma criana com necessidades educativas especiais deixe de ter as condies de realizao do exame que lhe permitam mostrar o que sabe e o que capaz de fazer.

Validade e fiabilidade dos exames

A validade e a fiabilidade so duas das principais caractersticas psicomtricas da avaliao. Tradicionalmente diz-se que um teste vlido se avalia realmente aquilo para que foi construdo. Se um teste no avalia o que suposto avaliar ento a sua utilizao enganadora. Em geral, a literatura sobre esta matria refere os seguintes tipos principais de validade: a validade de previso (em que medida um teste um bom indicador de desempenhos futuros da pessoa que o resolve); a validade de contedo (em que medida que um teste contm uma amostra significativa do contedo relevante do domnio ou domnios que foram ensinados); a validade concorrente (em que medida os resultados do teste se correlacionam com os resultados doutro teste ou de outra avaliao das mesmas aprendizagens); a validade de critrio (em que medida o teste permite prever o desempenho relativo a um dado critrio); a validade de constructo (at que ponto o teste uma medida adequada do constructo; isto , da competncia subjacente que est a ser avaliada).

33

Apesar de todos estes tipos de validade, a verdade que os investigadores normalmente se referem a um ou dois tipos, com particular relevncia para a validade de contedo. De acordo com Gipps (1994), a validade hoje encarada como um conceito unitrio em que o constructo (a competncia ou a aprendizagem subjacente) o tema unificador. Trata-se de uma interessante e apaixonante discusso que, no fundo, considera que a validade de um teste ou de um exame no tem a ver s com o teste em si mesmo, ou com os resultados que produz, mas tambm com a utilizao que se faz desses resultados e com as consequncias das decises avaliativas. matria que se abordar detalhadamente na verso definitiva deste texto. A fiabilidade de um teste ou de um exame nacional tem a ver com a consistncia dos seus resultados. Ou seja, para analisarmos se um exame fivel temos que quantificar em que medida o desempenho dos examinandos se mantm sensivelmente o mesmo, se resolverem o exame em tempos ou ocasies diferentes. A fiabilidade tem uma relevncia acrescida quando os exames tm a sua funo de seleco muito marcada, como o caso do que se passa entre ns, pois, como vimos, os exames servem para seleccionar alunos para o ensino superior. por isso que se afirma que a principal questo a da replicao. Ou seja, se, na sequncia de um dado exame e de uma resultante seleco de candidatos, tivesse lugar uma replicao desse mesmo exame, pe-se a questo de saber se os candidatos seleccionados se manteriam os mesmos ou no. Se sim, ento o exame considerado fivel e, em ltima anlise, justo e equilibrado, tratando, com equidade, todos os candidatos. Se no, ento temos um problema srio, pois o exame permite que a seleco de candidatos ao ensino superior possa estar dependente de outros factores que no os conhecimentos ou as reais aprendizagens adquiridas pelos candidatos. H inmeros factores que podem influenciar a fiabilidade de um exame, alguns inerentes a qualquer tipo de avaliao e outros mais relacionados com avaliaes em que h uma grande incidncia de questes abertas. Analisemos ento alguns desses factores. Kellaghan e Madaus (2003) referem quatro factores que podem afectar a fiabilidade de um exame: 1. Os alunos podem ter desempenhos diferentes em momentos de resoluo diferentes; 2. Os desempenhos dos alunos podem ser influenciados por condies externas ao prprio exame; 3. Os desempenhos dos alunos podem variar com a variao das questes que tm que resolver; 4. As correces dos exames podem variar sensivelmente de corrector para corrector, principalmente em questes no objectivas, de resposta aberta. Para diminuir, ou mesmo anular, estas ameaas fiabilidade dos exames, o que normalmente se faz standardizar as condies de administrao; os critrios de correco, que devem to detalhados quanto possvel; e os procedimentos dos correctores, para assegurar que os critrios e os padres de correco so uniformes. tambm usual apresentar provas corrigidas, aos correctores, em que constam as explicaes para as pontuaes que se atribuem. Como evidente, quanto mais apertadas forem estas condies mais limitaes acabam por surgir quanto ao tipo de tarefas e, portanto, de conhecimentos, que se acabam por poder avaliar. Gipps e Stobart (2003) chamam a ateno para o facto das avaliaes alternativas serem particularmente vulnerveis aos problemas de fiabilidade. Nomeadamente referem que difcil administrar questes abertas de alta fiabilidade devido ao tempo que demoram a ser resolvidas. Assim, h limitaes srias quanto s inferncias que se possam fazer acerca dos desempenhos dos alunos, porque nunca se podero administrar muitas questes desta natureza num exame. Repare-se que Shavelson, Baxter e Gao, citados em Gipps e Stobart (2003), estimaram que, para se atingirem nveis aceitveis de fiabilidade, seriam necessrias entre 10 e 23 questes daquele tipo! Relativamente fiabilidade das correces, Gipps e Stobart parecem mais optimistas, pois consideram que pode ser significativamente melhorada com processos de formao, critrios de correco muito detalhados e trefas standardizadas. Gipps (1994), enumera as quatro tcnicas clssicas para avaliar a fiabilidade de um teste: 1. Administrar o mesmo teste com alguns dias de intervalo e comparar os desempenhos obtidos em cada administrao;

34

2. Administrar verses comparveis do mesmo teste a amostras semelhantes de uma dada populao e comparar os respectivos resultados; 3. Se s possvel proceder a uma administrao ou se s h um teste disponvel, divide-se aleatoriamente o teste em duas partes que se administram separadamente, comparando-se os resultados obtidos pelos alunos nas duas partes; 4. Determinar estatisticamente um coeficiente de consistncia interna a partir de todas as correlaes que se calculam a partir de todas as possveis divises do teste (por exemplo, calcular a correlao entre todos os resultados do item x e todos os resultados finais do teste). Para melhorar a consistncia das correces, Gipps enumera um conjunto de processos de moderao externa: 1. Moderao estatstica atravs da utilizao de testes de referncia ou tcnicas de scaling; 2. Moderao por inspeco; 3. Moderao por um painel de reviso; 4. Moderao por consenso; 5. Moderao por grupos; 6. Moderao intrnseca; 7. Moderao atravs da acreditao de instituies. Nem todos estes mtodos so passveis de utilizar num contexto de exames nacionais, pois alguns destinam-se mais a moderar avaliaes internas das escolas.

Vantagens e desvantagens dos exames

Os exames podem ter certamente um conjunto de vantagens e, talvez, em parte, por essa razo, so aplicados em quase todos os pases. Entre algumas vantagens que normalmente se associam aos exames, partindo do princpio que a sua concepo e elaborao tem qualidade pedaggica, educativa e formativa, poderemos indicar as seguintes: 1. Podem exercer um efeito moderador importante nas avaliaes internas; 2. Podem induzir prticas inovadoras de ensino e de avaliao; 3. Podem contribuir para avaliar o sistema educativo e ajudar a melhorar a tomada de decises a todos os nveis; 4. Podem ajudar as escolas a melhorar os seus projectos; 5. Podem dar indicaes s escolas, aos professores e aos alunos acerca do que importante ensinar e aprender. Por outro lado, os exames tambm possuem desvantagens que no se podem ignorar: 1. Centram-se sobretudo nos conhecimentos acadmicos, prestando relativamente pouca ateno a conhecimentos mais teis, relacionados com a vida real; 2. Condicionam os objectivos, as estratgias, o envolvimento e as atitudes dos alunos em relao s aprendizagens, nem sempre pelas melhores razes. Exames que usam perguntas objectivas e de resposta curta tendem a deixar de avaliar aprendizagens consideradas fundamentais, como o caso da resoluo de problemas; 3. Podem induzir prticas fraudulentas. Trata-se de uma questo sria em muitos pases, onde a corrupo, a compra de cpias de enunciados de exames, a substituio de alunos que eram supostos fazer o exame ou a cumplicidade entre professores vigilantes e examinandos so prticas comuns; 4. Podem induzir as escolas a concentrarem os seus esforos nos alunos que tm mais possibilidades de ter sucesso nos exames, 5. Podem discriminar, em vez de integrar, alunos. Particularmente certos grupos pertencentes a minorias de qualquer natureza.

35

Avaliao Aferida
Em 1991 publicou-se o Despacho n. 162/ME/91, que aprovava o sistema de avaliao dos alunos dos ensinos bsico e secundrio e que acabou por ser um primeiro passo para que os princpios e orientaes constantes dos diplomas legais a partir de ento passassem a ser mais consistentes com as exigncias curriculares, com as formas de aprendizagem e com as necessidades de desenvolvimento democrtico do sistema educativo. Se quisermos, foi um despacho que, at certo ponto, alinhou parte dos seus contedos com o movimento que, um pouco por todos os pases mais desenvolvidos, se tem vindo a designar por avaliao alternativa (Gipps e Stobart, 2003), avaliao autntica (Newmann e Archbald, 1992; Tellez, 1996) ou avaliao educativa (Gipps, 1994), de inspirao cognitivista e construtivista, em contraste com a avaliao dominante, inspirada nos modelos psicomtricos de medio da inteligncia e das aptides. O Despacho teve um processo de desenvolvimento que, pelo menos na altura, se poderia considerar indito. De facto, a sua publicao definitiva foi precedida de uma discusso pblica e de um estudo do tipo das sondagens que recolheu as opinies (geralmente de tendncia favorvel) de cerca de 60000 professores de todos os ciclos de ensino acerca das medidas constantes no projecto do sistema de avaliao dos alunos (Fernandes, Ramalho e Lemos, 1991). Uma das novidades foi a criao da avaliao aferida que, para efeito de progresso escolar d-se apenas no final do ensino bsico e no final do ensino secundrio. Ou seja, no final da educao bsica e no final da educao secundria, a avaliao aferida teria efeitos ao nvel da certificao dos alunos e ao nvel do prosseguimento de estudos. Para efeitos do clculo da classificao no final da educao bsica, a Avaliao Aferida teria peso 1 e a Avaliao Formativa teria peso 2. A mdia da chamada Avaliao Formativa (Avaliao interna, da responsabilidade exclusiva dos professores) era ponderada atravs do nmero de horas semanais de cada disciplina. Em suma, para efeitos de classificao final e atribuio do respectivo diploma, a avaliao externa tinha um peso de cerca de 33% e a avaliao interna um peso de cerca de 66%. As funes atribudas pelo Despacho mencionado avaliao aferida eram, no essencial, as seguintes: 1. Verificar o grau de cumprimento dos objectivos curriculares; 2. Controlar e avaliar a qualidade do sistema educativo; 3. Credibilizar socialmente os diplomas escolares; 4. Moderar externamente as classificaes resultantes da avaliao interna. O que se poder nesta altura referir que ento se procurou compatibilizar um sistema de avaliao interna, que continha um conjunto de princpios e de orientaes mais inspirados nas avaliaes alternativas de inspirao construtivista, com um sistema de avaliao externa com propsitos mais enquadrveis numa avaliao de cariz psicomtrico. Tal como, alis, hoje referido por vrios autores como uma inevitabilidade ou como uma situao que dificilmente ter uma soluo de natureza muito diferente nos prximos anos (Gipps e Stobart, 2003; Kellaghan e Madaus, 2003; Torrance, 2003). E porqu? Fundamentalmente pelas questes relacionadas com a falta de fiabilidade, equidade e comparabilidade da avaliao interna, retirando-lhe, por isso, a credibilidade exigida pelas sociedades. Da as presses exercidas sobre os sistemas educativos para que mantenham e desenvolvam qualquer forma de avaliao externa cuja standardizao, ou a sua natureza uniforme, permite garantir padres aceitveis de fiabilidade, de equidade e de comparabilidade, apesar dos problemas de validade que normalmente esto associados a provas de avaliao em larga escala. A conciliao entre uma avaliao interna essencialmente formativa, orientada para melhorar as aprendizagens, motivar os alunos, regular os processos de ensino e de aprendizagem e uma avaliao externa de natureza normativa e sumativa com funes de moderao, de seleco, de controlo e de avaliao do sistema, ter, como veremos, diferentes naturezas na legislao subsequente. O Despacho n. 162/ME/91 mal viu nascer a luz do dia pois foi revogado passados nove meses e 10 dias (!) e substitudo por dois Despachos Normativos: o n. 98-A/92, de 19 de Junho, referente ao sistema de avaliao da educao bsica e o n. 338/93, de 21 de Outubro, referente ao sistema de avaliao do ensino secundrio. No que se refere avaliao interna, o novo Despacho 98-A/92 manteve, no essencial, os princpios e orientaes constantes no Despacho anterior. Porventura, sublinhou mais enfaticamente a inspirao cognitivista e construtivista e a concepo fundamentalmente positiva da avaliao das aprendizagens. Talvez por

36

estas razes, a avaliao aferida deixou de ter quaisquer efeitos sobre a progresso dos alunos e, consequentemente, sobre a certificao. Ou seja, foi decidido que deixaria de haver qualquer tipo de avaliao externa que tivesse efeitos sobre as classificaes dos alunos da educao bsica, particularmente no final do 3. ciclo. Dito de outra maneira, a avaliao na educao bsica passou a ser da total e exclusiva responsabilidade dos professores e das escolas sem qualquer mecanismo de controlo ou de moderao por parte da administrao quanto execuo do currculo e avaliao das aprendizagens dos alunos. O poder poltico dava assim a prova mxima de confiana aos professores e s escolas, ao confiar-lhes totalmente o exclusivo da responsabilidade no desenvolvimento do currculo e na avaliao que ocorrem nas salas de aula. Talvez por isso, a medida tenha sido bem acolhida nos meios educativos e acadmicos, no se tendo questionado a fiabilidade e a equidade das avaliaes; de facto, o Despacho no previa quaisquer elementos de moderao interna ou externa que, de certo modo, contribussem para que os professores avaliassem tendo em conta standards e critrios de avaliao comuns ou semelhantes. Provavelmente esta preocupao justificou uma iniciativa do Instituto de Inovao Educacional (IIE), com a colaborao da Escola Superior de Educao de Castelo Branco, que consistiu numa formao em avaliao das aprendizagens destinada a um conjunto de cerca de 420 professores, organizados em trs grupos, oriundos de escolas de todas as Direces Regionais de Educao. Era suposto que, a partir desta formao, se estabelecessem redes de professores e de escolas da educao bsica tendo em vista articular e melhorar as prticas de avaliao e, sobretudo, sensibilizar e mobilizar os professores para a importncia de se porem realmente em prtica as orientaes constantes no Despacho 98-A/92. Foi uma iniciativa bastante valorizada pelos professores participantes, conforme se refere em Lemos (1993), que acabou por no ter a sequncia planeada devido a alteraes ento surgidas na equipa dirigente do Ministrio da Educao. Apesar disso, no mbito do IIE, e de acordo com as competncias que lhe estavam atribudas no domnio da avaliao, mencionadas no prprio Despacho 98-A, foi ainda possvel produzir e distribuir por todas as escolas um dossier com um significativo conjunto de informao terica e prtica sobre avaliao, vrias brochuras de apoio e estudos destinados a preparar a elaborao das provas de aferio (e.g., IIE, s/data, 1992a, 1992b; Oliveira, Pereira e Fernandes, 1993, 1994). Posteriormente, o Instituto de Inovao Educacional, que, entre 1990/1991 e 1994/1995, chegou a publicar e a promover a publicao de dezenas de estudos de avaliao, foi deixando de desenvolver trabalho significativo nesta rea, acabando mesmo por ser extinto. O Despacho 98-A/92, de 19 de Junho, acabou por fazer o caminho que o anterior no conseguiu fazer pois prevaleceu durante exactamente 9 anos e 3 dias! Foi revogado com a recente publicao do Despacho n. 30/2001, de 22 de Junho, no qual se afirma que, com as necessrias adaptaes e melhorias, no essencial se reproduzem os princpios e orientaes do seu antecessor. Na verdade, o Despacho 98-A/92 foi considerado um normativo claramente progressista, inspirado nos resultados da psicologia cognitiva sobre a aprendizagem, defendendo essencialmente uma concepo formativa da avaliao e a total autonomia dos professores e das escolas em matria de avaliao das aprendizagens. Na sequncia da sua publicao e do papel que ento foi desempenhado pelo IIE em matria de avaliao, gerou-se no pas uma interessante dinmica em torno da questo da avaliao das aprendizagens que se consubstanciou na realizao de mltiplas aces de formao, encontros de natureza diversa, trabalhos de investigao e trabalhos de reflexo e de interpretao do Despacho (Alaiz, 1993; Alves, 1997; Antunes, 1995; Benavente, Alaiz, Barbosa, Campos, Carvalho e Neves, 1995; Boavida, 1996; Campos, 1996; Conceio, 1993a, 1993b; Fernandes, 1992a, 1992b, 1992c, 1993a, 1993b; 1994a, 1994b, 1994c, 1995; Fernandes, Neves, Campos e Lalanda, 1996; Gil, 1997; Lemos, 1992, 1993; Lemos, Neves, Campos, Conceio e Alaiz, 1992; Lobo, 1996; Neves, 1996). Por outro lado, em 1992/1993, a Universidade Catlica Portuguesa iniciou o funcionamento do Mestrado em Cincias da Educao na especialidade de Avaliao em Educao. Em 1993/1994 tambm criado o Mestrado em Cincias da Educao (Avaliao em Educao) na Faculdade de Psicologia e de Cincias da Educao da Universidade de Lisboa. Dir-se-ia que foi nos anos 90 do sculo XX que a avaliao entrou inequivocamente nas agendas da investigao, da formao, da educao e da poltica educativa. Voltemos ento evoluo (?) da avaliao aferida. Recordemos que, em cerca de nove meses, sob um mesmo governo, a natureza da avaliao aferida mudou substancialmente. De componente externa da avaliao com efeitos na progresso e certificao dos alunos e com objectivos de avaliar a consecuo de objectivos e a qualidade do sistema, para componente externa da avaliao sem quaisquer efeitos na avaliao dos alunos, mas mantendo as preocupaes com a avaliao da qualidade do sistema. Estvamos em 1992. Em Setembro de 1994, o Despacho Normativo n. 644-A/94 fazia alguns aditamentos ao Despacho 98-A/92 no domnio da avaliao interna. Criavam-se as provas globais, da inteira responsabilidade da escolas, com um peso 1 contra peso 3 da classificao de frequncia no final do 3. perodo do 9. ano de escolaridade. Assim, os alunos que em 1995/1996 e em 1996/1997 frequentassem, respectivamente, o 8. e o 9. anos de

37

escolaridade, teriam que fazer provas globais escritas como parte integrante da avaliao sumativa interna. Os alunos do 8. ano faziam apenas a prova de Cincias Naturais. Relativamente s provas de aferio no houve lugar a quaisquer aditamentos. A avaliao e o desenvolvimento do curriculo permanecia integralmente sob o controlo dos professores e das escolas. Quanto ao Despacho 338/93, consagrou a avaliao externa atravs de exames no final do ensino secundrio, com efeitos na classificao final dos alunos, na certificao e ainda no acesso ao ensino superior mas tambm atravs de provas de aferio a administrar sempre que se julgasse necessrio. O facto dos exames nacionais do ensino secundrio constiturem uma tarefa que mobiliza uma quantidade muito significativa de recursos e ainda o facto de nunca verdadeiramente se ter definido uma poltica para as provas de aferio podem explicar porque que nunca mais se ouviu falar de concretizao da avaliao aferida no ensino secundrio. Aps uma aplicao piloto de provas de aferio de Matemtica e de Lngua Portuguesa, que teve lugar em 1999, o Despacho n. 5437/2000, de 18 de Fevereiro, vem definir as disciplinas em que as provas se realizaro, os anos de escolaridade e respectivos anos de aplicao. Fica a perceber-se que sero aplicadas a todos os alunos e no a uma amostra probabilstica. Fica a saber-se que sero aplicadas, progressivamente, a alunos dos 4., 6. e 9. anos de escolaridade, de acordo com uma calendarizao que se estende at 2001/2002. Foi o Despacho que ditou verdadeiramente o incio efectivo da aplicao das provas de aferio no nosso pas. Cerca de oito anos aps a sua criao! Foi tambm o Despacho que talvez tenha ido mais longe quanto definio precisa dos propsitos da avaliao aferida e quanto necessidade de se estabelecerem critrios de qualidade, de rigor e de controlo do nvel das aprendizagens dos alunos do ensino bsico. Vejamos um extracto do Despacho (itlico meu): A qualidade, o rigor e a pertinncia da avaliao constituem elementos determinantes para se aferir do modo como se operam os desempenhos dos alunos, em articulao coerente com a configurao do currculo. No ensino bsico, a avaliao surge como elemento regulador do processo de ensino-aprendizagem, assegurando que a transio entre ciclos de escolaridade e a obteno do diploma deste nvel de ensino possa corresponder a reais saberes e competncias. () () A avaliao aferida visa permitir o controlo dos nveis de desempenho dos alunos e a avaliao da eficcia do sistema, atravs da devoluo dos resultados s escolas para enriquecimento das aprendizagens, no mbito do desenvolvimento dos respectivos projectos educativos. () A avaliao aferida () destina-se a medir o grau de cumprimento dos objectivos essenciais () com o propsito de contribuir para a tomada de decises no sentido de melhorar a qualidade das aprendizagens e reforar a confiana social no sistema educativo. (Despacho n. 5437, 2000, p. 4613) talvez o Despacho mais clarificador no que se refere avaliao aferida, mas parece persistir a necessidade de uma maior clarificao em matrias relacionadas com os efeitos e consequncias dos resultados das provas, ao nvel das polticas educativas, das prticas da administrao, das prticas das escolas, do envolvimento dos pais e professores ou da formao de professores. Parece sentir-se ainda a falta de referncia a outras funes da avaliao aferida, tais como a funo moderadora das prticas de avaliao interna ou a funo motivadora e indutora de novas prticas de ensino dos professores, ou seja a sua funo formativa. No fundo, em todos os despachos se sente a ausncia de respostas ou orientaes para questes como: 1. O que fazer com os resultados das provas de aferio? 2. Quem deve analisar os resultados? 3. Como organizar a discusso dos resultados ao nvel local, regional e nacional? 4. Que consequncias deveremos retirar dos resultados ao nvel do currculo nacional? E ao nvel das prticas de desenvolvimento curricular nas escolas e salas de aula? 5. Como estaro asseguradas a validade, a fiabilidade, a equidade e a comparabilidade das provas? Sero provas justas e adequadas para os alunos? A correco credvel? 6. Que sistema de administrao das provas parece mais adequado? Qual a melhor periodicidade? Haver vantagens na administrao das provas ao universo dos alunos?

38

7. As provas devem manter-se exclusivamente nas disciplinas de Matemtica e de Lngua Portuguesa? No ser importante realizarem-se noutras disciplinas como as Cincias, as Lnguas, a Geografia, a Histria e outras? Alguns meses aps a publicao do Despacho n. 5437, o Conselho Nacional de Educao (CNE), atravs do ponto 50 do seu parecer n. 3/2000, de 14 de Julho, sobre a Proposta de Reorganizao do Ensino Bsico, pronunciava-se sobre as provas de aferio nos seguintes termos: Com as adequaes que a experincia recolhida vier a recomendar (e sem necessidade aparente de virem a ser confundidas ou modificadas no sentido dos exames tradicionais), as provas de aferio podero vir a constituir-se em fonte de indicadores valiosos para as estruturas centrais que dirigem e regulam a educao, para as escolas e para a sociedade em geral. Os resultados podero ainda constituir um recurso de elevada valia para conduzir a escola a novas prticas pedaggicas, ao permitirem a identificao das virtudes e das deficincias dos processos actuais. (CNE, 2000, p.13021) Dada a natureza, a abrangncia e a relevncia do parecer, talvez se pudesse esperar um pouco mais acerca da avaliao aferida, uma matria que suscita tantas interrogaes, a tantos nveis (e.g., desenvolvimento do currculo nacional, impacto sobre o ensino e a avaliao nas escolas, avaliao da qualidade do sistema, concepo, desenvolvimento, administrao e correco das provas, fiabilidade, validade, equidade, comparabilidade e adequao das provas). No faltando competncia ao CNE neste e noutros assuntos educativos, no foi, com certeza, possvel ir mais alm do que conjugar um conjunto genrico, consensual e abstracto de recomendaes que provavelmente no ajudaro muito o Ministrio da Educao a tomar as decises que, nesta matria, h muito se impem. Regressemos, mais uma vez, ao percurso legislativo da avaliao aferida. Cerca de dois anos aps a publicao do Despacho 5437, surge o Despacho n. 2205/2002, de 2 de Janeiro, que determina que as provas de aferio, em cada ciclo de escolaridade, sero aplicadas a todos os alunos em dois anos consecutivos, seguidos de um ano de pausa, no qual s sero aplicadas a uma amostra de alunos do ciclo em causa. Ou seja, como todos os alunos do 4. ano realizaram provas em 2000 e 2001, em 2002 as provas sero aplicadas a uma amostra de alunos deste ano. O mesmo se passando para os outros ciclos, a partir da primeira aplicao. Trata-se de uma louvvel tentativa de organizar a administrao das provas que, no entanto, contm uma opo bastante discutvel. Ou seja, para alm de persistir a indefinio e a falta de clarificao sobre um conjunto de matrias que acima se exemplificaram, no se vislumbra o alcance de, no ano da pausa, se administrarem as provas a uma amostra da populao em causa. Mas, afinal, no chegou a acontecer como despachado, para alm de 2002, porque logo surgiu o Despacho n. 474/2003, de 18 de Dezembro, que mais no fez do que determinar que as provas seriam sempre aplicadas a amostras de alunos de cada um dos ciclos. Nestes dois ltimos despachos, os decisores focaram a sua ateno na questo do mbito de administrao das provas; ou seja, amostra versus universo. No entanto, h uma certa fragilidade na argumentao utilizada, o que indicia que continuava a no existir uma viso estratgica e integrada para a avaliao das aprendizagens e, em particular, para a avaliao aferida. E tambm ausncia de clareza conceptual, como alis demonstra o Despacho n. 1911/2004, de 13 de Janeiro, que vem alterar o anterior, referindo que, afinal, em 2003/2004 as provas sero aplicadas a todos os alunos do 9. ano, e no a uma amostra, porque preciso aproximar o tipo de provas realizadas pelos alunos do 9. ano do modelo de avaliao externa prevista para o ano de 2005 (Despacho n. 1991, 2004, p.1489). Trata-se de uma funo nova das provas de aferio: preparar os alunos para o exame! algo estranho e, alm do mais, bastante mais caro do que outras solues possveis que poderiam ser postas em prtica com o objectivo de preparar os alunos para um dado tipo de exame. Mas o que parece ser verdadeiramente mais srio a confuso conceptual. Aparentemente, h o entendimento de que a natureza das provas de aferio, sem quaisquer efeitos na progresso dos alunos, idntica das provas de exame, com efeitos na progresso escolar dos alunos. A meu ver, as suas naturezas devem ser substancialmente diferentes porque algumas das suas principais funes tambm so consideravelmente diferentes. S para dar um exemplo, as provas de exame, que vo ter impacto na vida escolar dos alunos, tm, entre outras, uma funo sumativa e uma funo selectiva. As provas de aferio no tm estas funes. Por isso mesmo, muitos investigadores defendem que no mbito deste tipo de provas que se podero apresentar tarefas de avaliao mais diversificadas e abertas que normalmente no aconselhvel incluir em provas de exame com efeitos no progresso escolar dos alunos. E porqu? Fundamentalmente por razes que se prendem com a fiabilidade das correces (quanto mais abertas so as tarefas, mais complicado se torna garantir nveis aceitveis de fiabilidade

39

entre correctores porque mais difcil elaborar critrios de correco que suscitem utilizaes razoavelmente uniformes), com os processos de administrao (em provas sem efeitos no progresso escolar dos alunos pode aceitar-se uma maior flexibilizao nos procedimentos de administrao aproximando-os dos contextos mais familiares aos alunos como por exemplo serem os seus professores a administrar as provas) ou com a consistncia curricular (neste tipo de provas podem testar-se tpicos ou temas curriculares normalmente no cobertos nas provas de exame tradicionais, por exemplo tarefas que exijam algum tipo de experincia ou mtodo experimental, alargando assim a sua incidncia curricular). Dada a natureza dos despachos posteriores e anteriores ao Despacho n. 5437/2000, verifica-se que este, apesar de tudo, se mantm como o que mais avanou em termos de definio e de concretizao da avaliao aferida. Alis, todos os despachos posteriores o utilizam como referncia e, at ver, ainda no foi revogado. Como se viu anteriormente, as provas de aferio so institudas em 1992. Em 2000, ou seja, passados cerca de oito anos, so aplicadas as primeiras provas de Matemtica e de Lngua Portuguesa a todos os alunos do 4. ano de escolaridade. Assim, a administrao das provas, sempre em Matemtica e em Lngua Portuguesa, decorreu ou vai decorrer da seguinte maneira: 1. Em 2000, a todos os alunos do 4. ano de escolaridade; 2. Em 2001, a todos os alunos dos 4. e 6. anos de escolaridade; 3. Em 2002, a todos os alunos dos 6. e 9. anos de escolaridade e a uma amostra de alunos do 4. ano; 4. Em 2003, a amostras de alunos dos 4., 6. e 9. anos de escolaridade; 5. Em 2004, a amostras dos alunos dos 4. e 6. anos e a todos os alunos do 9. ano. Dos quatro anos de administrao de provas de aferio j decorridos foram produzidos, at ao dia em que redijo este texto, dois relatrios referentes s administraes de 2000 e de 2001 que foram distribudos pelas escolas (Ministrio da Educao, 2000; Ministrio da Educao, 2002). Os dados referentes administrao de 2002 foram h dias divulgados atravs da comunicao social. Quanto aos dados de 2003 ainda no se possuem quaisquer informaes. Desconheo, neste momento, se os dados de 2002 e de 2003 sero publicados sob a forma de relatrios. Temos aqui outro problema relacionado com os sinais que o poder poltico est a querer, ou no, dar sociedade em geral, aos professores, aos alunos e aos seus pais ou encarregados de educao. Que objectivos pretendemos alcanar quando analisamos os dados, produzimos um relatrio e o distribumos pelos servios do Ministrio da Educao, pelas escolas e pela comunicao social? Ser que a nossa funo est terminada? Que consequncias, que aces se empreendem perante os resultados? Ser que as escolas esto a fazer alguma coisa com os resultados? Com as provas? H algum ou alguma instituio dependente ou independente do Ministrio da Educao a reflectir sobre os dados ou a fazer alguma coisa no sentido de se cumprirem os grandes propsitos das provas de aferio? Por outro lado, que sinal estaremos a dar a todos os intervenientes se no sentimos necessidade de publicar atempadamente os resultados e a sua anlise? No me surpreenderia que muitos professores, alunos ou pais pensem que as provas de aferio no servem para nada. As pessoas podero pensar que se o prprio Ministrio da Educao que produz e aplica as provas no parece ter pressa em analisar os resultados porque no as valoriza. Ento porque havemos ns de as valorizar? Elas nem contam para as classificaes. Diro as pessoas. Ora isto muito negativo. As provas devem ser valorizadas, os seus propsitos muito claros e deve haver ilaes e aces a empreender por iniciativa do Ministrio da Educao que, nestas matrias, deve dar o exemplo. Ser que estaremos a prestar um bom servio avaliao do sistema educativo, prestao de contas do servio pblico de educao sociedade, aos professores, aos alunos e aos demais intervenientes, se estamos dois anos para divulgar os resultados das provas? Ser que estaremos a dar um sinal positivo acerca da grande relevncia que estas provas devem ter? Atente-se, por exemplo, no impacto do National Assessment of Educational Progress (NAEP) nos Estados Unidos da Amrica. Trata-se de uma avaliao externa que tambm no tem quaisquer efeitos sobre a progresso ou sobre as classificaes dos alunos e que est em vigor desde 1969. Presentemente administrada de dois em dois anos, a amostras de estudantes dos 4., 8. e 12. anos com, respectivamente, 9, 13 e 17 anos de idade, numa variedade de disciplinas (Beaton, 1997; Jones, 2003; Lapointe, 1986; Sebring e Boruch, 1991). Vale a pena perceber como so utilizados os resultados obtidos, quer pelo poder poltico quer pela comunidade dos investigadores quer ainda pelos professores e pelas escolas. um programa que ganhou uma grande credibilidade e muito respeitado pelos principais intervenientes porque, desde muito cedo,

40

definiu bem os seus propsitos, estabeleceu finalidades claras, soube sempre promover o envolvimento de investigadores na anlise dos resultados e sempre publicou e divulgou amplamente os resultados. No cabe aqui elaborar muito mais sobre este programa de avaliao externa que est exaustivamente caracterizado nas referncias acima indicadas. As provas de aferio voltam a ser referidas no Decreto-Lei n. 6/2001, de 18 de Janeiro, que estabelece os princpios orientadores da organizao e da gesto curricular do ensino bsico e onde se reafirma que no produzem efeitos na progresso escolar dos alunos e que so um instrumento de desenvolvimento do currculo nacional. O Despacho Normativo n. 30/2001, de 22 de Junho, que estabelece os princpios e os procedimentos a observar na avaliao das aprendizagens assim como os efeitos dessa avaliao, no que se refere aos alunos do ensino bsico, no faz referncia alguma avaliao aferida. Entretanto, o Decreto-Lei n. 209/2002, de 17 de Outubro, vem alterar o artigo do Decreto-Lei n. 6/2001 referente avaliao sumativa. Fica determinado que esta passa a ter uma componente interna, da responsabilidade dos professores e das escolas e uma componente externa, da responsabilidade do Ministrio da Educao, traduzida em exames nacionais, a realizar no 9. ano de escolaridade nas disciplinas de Matemtica e de Lngua Portuguesa. O Decreto omisso quanto a todo um conjunto de questes decorrentes da introduo destes exames, nomeadamente quanto ao regime de progresso dos alunos, natureza e mbito das provas, escalas de classificao ou peso dos exames para efeitos de certificao. Devem ser aspectos a regulamentar posteriormente. Tambm nada refere sobre a avaliao aferida, particularmente no 9. ano de escolaridade. Posteriormente, a Lei n. 31/2002, de 20 de Dezembro, aprova o sistema de avaliao da educao e do ensino no superior, desenvolvendo o regime previsto na Lei de Bases do Sistema Educativo. Julgo tratar-se de uma Lei que, quanto forma e quanto ao contedo, no ser muito feliz, pois no clarifica nem apresenta uma viso estratgica e integrada da avaliao da educao e do ensino no superior que nos continua a faltar. Cria, no mbito do CNE, uma comisso especializada permanente para a avaliao do sistema educativo que deve ter sido constituda em Abril de 2003 Ao fim de treze anos a avaliao aferida no tem o lugar credvel e prestigiado que deveria ter no sistema educativo portugus. Penso no exagerar se afirmar que, para alm daqueles que elaboram as provas, as administram e corrigem e dos que analisam os dados, ningum verdadeiramente parece dar-lhes qualquer importncia. Tenho tido a sensao que, do lado da administrao, a avaliao aferida faz-se mais ou menos para cumprir um calendrio que ainda nem acertado est. No se tem feito a pedagogia necessria para se entender o alcance que estas provas podem ter na melhoria da qualidade da educao bsica, na formao de professores, no desenvolvimento de bancos de itens a utilizar pelos professores e pelas escolas ou no desenvolvimento da investigao numa rea em que estamos francamente atrasados em relao aos nossos parceiros da Unio. S para termos uma noo do problema, uma investigao em curso que actualmente coordeno mostra-nos que, nos dez anos compreendidos entre 1993 e 2003, no foram elaboradas no nosso pas mais do que 40 teses de mestrado na rea da avaliao das aprendizagens. A avaliao aferida no foi objecto de qualquer investigao (C. Martins, comunicao pessoal, Fevereiro, 2004). Ora esta situao no favorece o nosso desenvolvimento pedaggico, cientfico, tecnolgico e tcnico numa rea relevante da educao, abrindo caminho pura especulao acerca dos processos e resultados do sistema educativo. Se bem enquadrada, devidamente organizada e levada muito a srio, a avaliao aferida pode ser uma forma relativamente barata de se obter informao de elevada qualidade sobre vrios desempenhos do sistema e uma alavanca importantssima para, entre outros efeitos, induzir boas prticas de ensino e de avaliao, promover investigao ou apoiar a tomada de decises polticas e administrativas aos nveis local, regional e nacional. Treze anos muito tempo. O trabalho at agora realizado na avaliao aferida mais do que modesto. A administrao das provas s se iniciou em 2000, aps terem sido criadas em 1992! Ser que vamos prosseguir neste ritmo para, de uma vez por todas, definirmos claramente o papel da avaliao aferida no nosso sistema educativo?

41

Estudos Internacionais de Avaliao das Aprendizagens

Os estudos internacionais de avaliao, que comparam as aprendizagens adquiridas pelos alunos nos sistemas educativos, tm vindo a ganhar uma importncia e uma notoriedade crescentes, particularmente a partir dos anos 80 do passado sculo. H vrias razes que podem explicar este facto, algumas das quais j acima foram aduzidas a propsito da necessidade de mudar a avaliao. As sociedades de hoje so mais interdependentes dos pontos de vista econmico, social, poltico e tecnolgico, so mais abertas e as pessoas tm uma capacidade muito maior de mobilidade o que gerou movimentos migratrios importantes, particularmente de pases da Europa de Leste, de pases Latino-Americanos, de pases Africanos e mesmo de pases Asiticos para os pases mais desenvolvidos do chamado Mundo Ocidental. Como consequncia destes fenmenos, as sociedades de hoje so multiculturais, mais competitivas e mais exigentes a todos os nveis. Os sistemas educativos confrontam-se com populaes de estudantes que nada tm a ver com as populaes, essencialmente homogneas, de h 30 ou 40 anos atrs. Muito provavelmente este incremento de estudos de avaliao ter um pouco a ver com tudo isto, pois os pases precisam que os seus sistemas educativos respondam com qualidade s necessidades de formao, s legtimas aspiraes e s motivaes dos jovens. Porque, desta forma, estaro tambm a responder aos desafios da competitividade, da mobilidade e da interdependncia a todos os nveis. H ainda outras razes, eventualmente decorrentes das anteriores, para o que parece ser o reforo recente destes estudos. Por exemplo, os decisores polticos comearam a interessar-se pela avaliao, pressionados pelas exigncias do mundo da economia, pelos meios de comunicao social e pelos prprios cidados que, cada vez mais, querem saber se os servios pblicos de educao, de sade ou de justia, prestam o servio que so supostos prestar. Os estudos internacionais podem pressionar os mais diversos agentes do sistema educativo no sentido de alterarem as suas prticas e procedimentos, podem ajudar os governos a justificar ou a fundamentar mudanas nos currculos, nos sistemas de formao de professores, nos sistemas de alocao de recursos s escolas ou nos sistemas de gesto e administrao escolar. Mas podem tambm constituir uma presso sobre os prprios governos para que adequem e alterem as suas polticas educativas. H duas organizaes internacionais de natureza bem diferente que se tm destacado na realizao de tais estudos. Uma, a International Association for the Evaluation of Educational Achievement (IEA), uma organizao no governamental que foi fundada em 1958, aps uma reunio de investigadores e especialistas em assuntos de educao, que teve lugar no Instituto de Educao da UNESCO, em Hamburgo. Presentemente, integram a IEA 55 pases por via dos respectivos Ministrios da Educao ou de institutos de investigao mais ou menos independentes. De acordo com Plomp, Howie e McGaw (2003) a sua grande finalidade a de, atravs dos estudos que promove, contribuir para melhorar a qualidade da educao. Os dois propsitos dos seus estudos internacionais so os seguintes: 1. Proporcionar informao aos decisores polticos e comunidade educativa acerca da qualidade da educao, tendo por referncia pases que possam ser relevantes para o efeito; 2. Apoiar os pases participantes a compreender as diferenas observadas entre si e as que se verificam dentro de cada pas. Em conformidade com estes propsitos, a IEA faz dois tipos de comparaes: num caso, compara internacionalmente os efeitos da educao a que as crianas e os jovens tm acesso nos diferentes pases, com base nos resultados que os alunos obtm em testes internacionais; no outro, analisa at que ponto, em cada um dos pases, o currculo proposto para um dado nvel de escolaridade realmente posto em prtica nas escolas e realmente aprendido pelos alunos. A IEA comeou a promover estudos internacionais em 1959 com a preocupao de comparar os resultados dos sistemas educativos como um todo e no os resultados dos estudantes ou das escolas tomados individualmente. O primeiro estudo internacional de avaliao das aprendizagens na disciplina de Matemtica foi realizado pela IEA nos anos 60. At aos anos 80, os estudos eram essencialmente controlados pelos interesses dos investigadores nas .reas do currculo, da construo de testes e da anlise e interpretao de dados. A partir daquela dcada comeam a surgir tambm os interesses dos decisores polticos e de diferentes grupos e interesses sociais, pelas razes que acima se enumeraram. De acordo com Plomp et al (2003), as quatros questes fundamentais do Third International Mathematics and Science Study (TIMSS), o ltimo estudo realizado pela IEA, na segunda metade dos anos 90, destinado a

42

alunos de 9 anos (3. ou 4. anos de escolaridade), de 13 anos (7. ou 8. anos de escolaridade) ou no ltimo ano do ensino secundrio, eram as seguintes: 1. O que que se espera que os alunos aprendam? (Ou seja, o que que est previsto no currculo? Que contedos? Que finalidades? Que recomendaes?) 2. Quem que assegura o processo de ensino? (Ou seja, quem so os professores? Que formao possuem? Que concepes e saberes revelam?) 3. Como que se organiza o ensino? (Ou seja, que mtodos e estratgias so utilizadas? Que dinmicas de sala de aula se desenvolvem? Qual o papel do professor e o papel dos alunos?) 4. O que que os alunos aprendem efectivamente? (Ou seja, o que que os alunos aprendem ao fim de um dado perodo de tempo relativamente ao que est previsto no currculo?) Repare-se que a natureza das questes revela uma preocupao em analisar os currculos dos pases participantes, as formas encontradas para os pr em prtica, os contextos de implementao e, naturalmente, as aprendizagens adquiridas pelos alunos ao fim de um certo perodo de ensino. Em geral, todos os estudos da IEA tinham estas caractersticas genricas, sendo certo que no TIMSS se foi mais longe na tentativa de ter mais em conta os contextos em que o ensino se desenvolve nos diferentes pases e, por isso, foi estudado um conjunto de variveis relacionadas com as escolas, os professores e os alunos. Para o efeito deste texto o que interessa talvez sublinhar que os estudos da IEA so baseados nos currculos em vigor nos pases participantes, que so analisados ao nvel do sistema (currculo proposto), ao nvel da escola ou da sala de aula (currculo ensinado ou currculo posto em prtica) e ao nvel do aluno (currculo aprendido), tendo em conta os diferentes contextos que podem influenciar o desenvolvimento do currculo, tais como as condies das escolas e das salas de aula, os processos utilizados, as caractersticas das comunidades em que as escolas se inserem assim como as caractersticas das escolas, dos professores e dos alunos. Trata-se de um esforo interessante se pensarmos que, nos estudos da IEA, participam dezenas de pases diferentes. No irei entrar aqui em pormenores tcnicos, mas poderei dizer que tem havido uma evoluo sensvel nos mecanismos de controlo relativamente a questes mais ou menos complexas, como o caso do processo de amostragem, da deciso acerca das populaes que devem participar no estudo (a questo da idade versus ano escolaridade), da seleco dos itens, da traduo dos itens ou das garantias de que todos os procedimentos so seguidos pelos diferentes pases da mesma forma. A outra organizao que tem promovido estudos internacionais de avaliao das aprendizagens dos alunos a Organizao para a Cooperao e Desenvolvimento Econmico (OCDE) que integra 30 pases membros, da Europa, da Amrica do Norte e da sia (Pacfico) que partilham as ideias do mercado livre e da democracia pluralista (OECD, 2000). A abordagem da OCDE s questes da educao e, em particular, da avaliao das aprendizagens proporcionadas pelos sistemas educativos, comeou por se centrar na recolha e tratamento de dados fornecidos pelos pases membros. Segundo Kellaghan (1986), na sequncia de um conjunto de preocupaes com a qualidade da educao manifestadas pelos ministros da educao dos pases da OCDE, em 1984, seguiu-se um interesse crescente por parte da organizao pelos estudos comparativos internacionais. A partir de 1992, comeou a publicar anualmente Education at a Glance onde, em cada nmero, se faz uma comparao internacional, baseada num conjunto de dezenas de indicadores, que proporcione uma viso acerca do funcionamento dos sistemas educativos, nomeadamente atravs da anlise dos recursos investidos na educao e do tipo de resultados da decorrentes. Por exemplo, em OECD (1997; 2000), podem identificar-se algumas dezenas de indicadores no conjunto das seguintes reas: 1. Contexto em que os sistemas educativos funcionam; 2. Recursos humanos e financeiros investidos na educao; 3. Acesso educao, participao, progresso e concluso; 4. Ambiente de aprendizagem e formas de organizao dos sistemas educativos; 5. Resultados da educao ao nvel individual, social e do mercado de trabalho; 6. Aprendizagens adquiridas pelos alunos.

43

O exaustivo conjunto de indicadores resultantes destas reas permite que os pases se comparem entre si e que, supostamente, possam fundamentar medidas de poltica que considerem apropriadas situao ou aos problemas detectados. Tratava-se de um trabalho de natureza mais geral do que os estudos da IEA mas, sob muitos pontos de vista, com indicaes de tendncias e informaes consideradas teis por parte dos pases membros. Na segunda metade dos anos 90 a OCDE decide avanar com estudos internacionais relativos avaliao das aprendizagens adquiridas pelos alunos, atravs do Programme for International Student Assessment (PISA). Na verdade, os resultados dos alunos utilizados em edies do Education at a Glance eram recolhidos dos estudos desenvolvidos no mbito da IEA, como o caso do TIMSS no final da dcada de 90, ou o caso do International Assessment of Educational Progress (IAEP), em que Portugal tambm participou nos meados dos anos 80. Talvez por esse facto a OCDE entendeu que deveria desenvolver estudos que fossem mais consistentes com os tipos de preocupaes e o tipo de cultura da organizao, mais ligada ao mundo do trabalho, com claras preocupaes econmicas e com o retorno dos vultuosos investimentos em recursos financeiros e em recursos humanos que os pases fazem na educao. A cultura da IEA mais marcada pelos investigadores e acadmicos da educao e da talvez o enquadramento conceptual dos seus estudos ser baseado na teoria curricular. A abordagem da OCDE diferente da abordagem da IEA. O seu enquadramento conceptual, se assim se pode dizer, est baseado no conjunto de indicadores que se foram produzindo na organizao, nomeadamente para o Education at a Glance. Com efeito, como referido em Plomp, Howie e McGaw (2003), um conjunto de 38 indicadores eram organizados em trs categorias gerais para o caso do Education at a Glance: 1. Contextos da Educao a) Contexto demogrfico (3 indicadores) b) Contexto social e econmico (4 indicadores) 2. Custos, Recursos e Processos Escolares a) Despesas com a educao (8 indicadores) b) Recursos humanos (2 indicadores) c) Participao na educao (7 indicadores) d) Caractersticas da tomada de decises (4 indicadores) 3. Resultados da Educao a) Resultados dos alunos (4 indicadores) b) Resultados do sistema (4 indicadores) c) Resultados do mercado de trabalho (2 indicadores) Mais tarde, e ainda de acordo com Plomp et al (2003), o Comit de Educao da OCDE decidiu, em 1999, adoptar um enquadramento baseado em cinco grandes reas: 1. Contextos que possam ser relevantes para os resultados; 2. Investimentos em recursos humanos e financeiros; 3. Acesso educao e aprendizagem; participao, progresso e concluso; 4. Ambiente de aprendizagem e organizao das escolas; 5. Resultados da educao ao nvel individual, social e do mercado de trabalho e transio da escola para o trabalho. Plomp et al (2003) referem o facto de, por exemplo, nenhum destes enquadramentos constituir um modelo conceptual que mostre como que esto ligadas componentes dos sistemas educativos, tais como os inputs, os processos e os resultados. O PISA est naturalmente influenciado por este trabalho anterior da OCDE e, como se disse, substancialmente diferente do TIMSS. Pretende averiguar em que medida os jovens de 15 anos de cada pas esto preparados para enfrentar os desafios das sociedades dos nossos dias. Por isso, a abordagem de avaliao do estudo no baseada no que os alunos sabem acerca dos contedos constantes nos currculos, como era o caso do TIMSS, mas, no dizer da OCDE, vai para alm de uma abordagem escolar, procurando avaliar a utilizao que os alunos fazem do conhecimento em tarefas do dia-a-dia (OECD, 2003).

44

A recolha de dados do PISA ocorre em trs ciclos separados por trs anos. A primeira recolha ocorreu em 2000, a segunda em 2003 e a terceira ocorrer em 2006. Em cada um destes ciclos recolhem-se dados sobre as competncias dos alunos em Matemtica, Cincias e Literacia. No primeiro ciclo, a nfase foi na Literacia o que significa que dois teros dos testes incidiram nesta rea e um tero nas reas da Matemtica e das Cincias. No segundo ciclo, que est a decorrer, a nfase na Matemtica. Refira-se que neste ciclo ocorrer uma recolha de dados acerca das competncias desenvolvidas pelos alunos na resoluo de problemas, domnio transversal. As avaliaes do PISA permitem obter trs tipos de resultados: 1. Indicadores bsicos, que proporcionam um perfil do conhecimento e competncias dos alunos; 2. Indicadores de contexto, que mostram como tais competncias esto relacionadas com importantes variveis demogrficas, sociais, econmicas e educacionais; 3. Indicadores de tendncias, que resultam da natureza continuada da recolha de dados e que mostram alteraes nos resultados e nas distribuies e nas relaes entre variveis e resultados ao nvel dos alunos e ao nvel das escolas. (OECD, 2003, p.13) Reconhecendo que os indicadores no so normalmente capazes de responder a questes prementes de poltica educativa, a OCDE/PISA desenvolveu um plano de anlise orientado para a deciso poltica que ir para alm da apresentao de indicadores. (OECD, 2003) Apesar das suas diferenas quanto a vrios aspectos relativos concepo e desenvolvimento dos estudos, quer a IEA quer a OCDE visam comparar as aprendizagens adquiridas pelos alunos em diferentes pases, caracterizar quais so os factores que esto mais relacionados com o desenvolvimento das aprendizagens de pas para pas e verificar se, em todos eles, so os mesmos factores ou so factores diferentes. Ao nvel dos impactos e das utilizaes destes estudos nas prticas e nas decises polticas dos pases participantes, Kellaghan (1996) e Plomp et al (2003) referem, por exemplo, os seguintes: 1. Permitir a identificao de aspectos dos sistemas educativos que podem ser considerados problemticos porque so discrepantes em relao ao que se passa na maioria dos pases (e.g. contedos curriculares, nveis das aprendizagens adquiridas pelos alunos); 2. Monitorizar o desenvolvimento dos sistemas atravs de um ciclo de avaliaes regulares nas disciplinas que esto a ser objecto de avaliao, para que possa haver sries de dados que indiquem as tendncias de evoluo dos sistemas. Trata-se do que neste momento se est a passar com os ciclos de estudos da IEA e da OCDE em Matemtica, em Cincias e na Literacia. 3. Compreender diferenas entre os sistemas educativos e as diferenas dentro de cada um deles que podem contribuir para a tomada de decises acerca da organizao da escolaridade, da gesto dos recursos disponveis ou sobre a organizao das prticas de ensino. 4. Contribuir para desenvolver uma cultura de avaliao e para o esclarecimento fundamentado acerca do desenvolvimento dos sistemas atravs da difuso de ideias junto das organizaes que tomam decises. Significa isto que podem contribuir para enriquecer a discusso pblica acerca da educao. Os estudos podem ainda contribuir para que os decisores percebam mais claramente o que, por exemplo, as escolas procuram alcanar, o que efectivamente alcanam e o que lhes ser possvel alcanar. 5. Desenvolver capacidade de investigao e capacidades tcnicas e tecnolgicas em pases com menos competncias em reas como os processos de amostragem, metodologias de avaliao em larga escala, processos de correco, tratamento estatstico dos dados, anlise dos dados ou identificao de populaes. 6. Proporcionar a pases que no possuam quaisquer dados sobre as aprendizagens desenvolvidas pelo sistema, a possibilidade de os comearem a ter e de os poderem passar a obter de forma mais regular, atravs das competncias que, entretanto, foi possvel adquirir. 7. Tornar os pases mais informados e conscientes do que se passa sua volta e retirar da as necessrias ilaes.

45

Keeves (1995), a propsito dos impactos dos estudos internacionais, refere que um significativo nmero de pases, tais como a Austrlia, a Hungria, a Irlanda, o Japo, a Nova Zelndia e os Estados Unidos, procederam a mudanas curriculares, mais ou menos profundas, na sequncia da sua participao em estudos da IEA. Refere ainda que, uma vez que a deciso poltica no normalmente documentada nem publicada, natural que possam existir outros efeitos que no so propriamente publicitados. Por outro lado, os estudos podem no responder directamente s questes que os decisores gostariam de ver respondidas, mas acabam por ajudar a fundamentar o planeamento e a tomada de decises. Tambm Robitaille, Beaton e Plomp (2000) se referem ao impacto do TIMSS sobre o ensino e a aprendizagem da Matemtica e das Cincias, mencionando a quantidade e a natureza das muitas discusses que tiveram lugar em muitos pases participantes. Portugal, como se sabe, tem participado e est neste momento a participar, quer no TIMSS quer no PISA, agora na sua segunda fase. Participou ainda no International Assessment of Educational Progress, nos finais dos anos 80. Tal como em relao s provas aferidas, fica-se com a sensao de que a nossa participao neste tipo de estudos, apesar das suas limitaes, como mais abaixo terei oportunidade de identificar, tem sido algo inconsequente. Isto , no tem obedecido a qualquer plano deliberado e estratgico que permita atingir objectivos relevantes para o nosso sistema educativo. Na verdade, para alm de todos aqueles que esto directamente envolvidos na concretizao dos estudos, poucos so os que sabem o que quer que seja sobre a sua natureza, os seus objectivos, as suas questes de investigao, as suas metodologias ou sobre as suas limitaes. Como resultado deste tipo de situao abrem-se as portas para consideraes e apreciaes sobre a nossa participao, que ignoram aspectos relevantes da anlise e da interpretao dos dados. Por exemplo, na primeira srie do PISA, Portugal aparece no ranking de pases numa posio modesta em Matemtica. Como j se referiu, o PISA testa jovens de 15 anos. Acontece que, na maioria dos pases participantes, os jovens desta idade frequentam o 10. ano de escolaridade ou, no mnimo, o 9.. Em Portugal, temos um nmero muito elevado de jovens de 15 anos que frequentam os 7., 8. ou 9. anos de escolaridade ou mesmo anos de escolaridade mais iniciais. Muitos deles foram testados e, naturalmente, os resultados foram fortemente afectados pois muito diferente testar um jovem de 15 anos que frequenta o 8. ano de escolaridade ou o 10. ano de escolaridade. Uma anlise mais fina dos dados mostra que a mdia dos jovens portugueses que frequentam o 10. ano de escolaridade superior mdia dos pases participantes. O que pode ser tambm interessante analisar e interpretar. Em todo o caso, o que aqui se pretende referir a incapacidade que, ao longo dos anos, temos vindo a demonstrar para proceder a anlises nacionais dos dados. No para esconder os dados internacionais, mas para contextualizar a anlise e proceder a anlises que retratem mais rigorosamente a nossa realidade e que, no contexto de um estudo internacional, podero no fazer muito sentido. Por outro lado, persiste a nossa incapacidade de promover discusses de diversas naturezas acerca da participao nestes estudos: com investigadores, com professores, com educadores, com pais, com opinion-makers ou com quaisquer grupos sociais ou profissionais. de certo modo confrangedor ver os resultados dos estudos serem sempre divulgados sob a forma de quadros do tipo das classificaes das equipas de futebol a partir dos relatrios internacionais, quando a complexidade, a abrangncia e a profundidade dos estudos deveria ser abordada de outra forma. Ou seja, Portugal participa neste tipo de estudos desde a dcada de 80. H cerca de 20 anos e, at hoje, no se conhecem consequncias significativas e visveis de tais participaes. Eventualmente existiro algumas mas, em geral, o panorama no me parece positivo. preciso pensar se estamos nestes estudos para cumprir calendrio, porque no podemos deixar de estar, porque parece mal no estarmos ou porque queremos que eles constituam mais uma oportunidade para conhecer melhor e desenvolver o sistema educativo. Apesar do cuidado com que, hoje em dia, estes estudos so desenvolvidos e apesar da grande evoluo que, nestes ltimos 40 anos, se tem verificado ao nvel da construo de itens e de testes, da administrao das provas, da elaborao e utilizao dos critrios de correco, da anlise de resultados ou da contextualizao das avaliaes, persistem problemas que ainda no esto resolvidos e que tm que ser tidos em conta. Beaton, Postlethwaite, Ross, Spearritt e Wolf (2000), Goldstein (1996), Kellaghan (2003) e Kellaghan e Grisay (1995) referem problemas que persistem nos estudos internacionais de avaliao das aprendizagens adquiridas pelos alunos. Indicam-se aqui alguns deles: 1. Sendo os sistemas educativos dos vrios pases diferentes quanto aos objectivos que definem, s nfases curriculares, aos tempos e espaos que atribuem aos diferentes domnios do currculo, torna-se muito difcil desenvolver uma metodologia que possa avaliar adequadamente os resultados em tal diversidade de currculos e contextos;

46

2. Tendo em conta as diferenas estruturais e organizacionais dos diversos sistemas educativos e ainda as diferenas culturais e sociais entre os pases, no fcil garantir a equivalncia das populaes e das amostras de estudantes que se pretendem comparar. Por exemplo, pensemos nos pases em que a escolaridade formal se inicia aos 7 anos de idade e nos que se inicia aos 6 anos de idade. Ou pensemos no que se espera socialmente de um jovem de 15 anos nuns pases e noutros. 3. Continua a ser difcil garantir que a traduo dos instrumentos tenha o mesmo significado ou seja interpretada da mesma forma em todos os pases. 4. Sendo os resultados apresentados em termos de uma nica classificao numrica que se refere s aprendizagens, h problemas quanto aos pressupostos relativos natureza da aprendizagem. 5. No est garantido que os itens que integram os testes tenham o mesmo tipo de relevncia curricular nos diferentes pases. Uns, podem dar-lhe uma grande importncia e, outros, podem dar-lhe pouca ou mesmo nenhuma. 6. Vrios pases compararam os resultados dos seus alunos em diferentes estudos internacionais e verificaram que no havia consistncia. Os investigadores concluram que parecia improvvel que tais discrepncias reflectissem verdadeiras diferenas nas aprendizagens, inclinando-se para variaes dos estudos, quanto aos conhecimentos e processos avaliados, correco das respostas ou aos critrios utilizados na definio dos nveis de proficincia. 7. Parece no estar ainda garantido que todos os pases participantes sigam fielmente os procedimentos emanados da coordenao dos estudos. Particularmente no que se refere aos procedimentos de identificao da populao e respectiva seleco da amostra, de administrao e correces dos testes ou de traduo. Todos estes problemas tm que ser considerados numa anlise isenta dos resultados dos estudos internacionais. Parece-me que, do mesmo modo que no devemos ignorar os seus resultados, a qualidade de muitos dos seus procedimentos e o saber, a competncia e a integridade dos seus investigadores responsveis, tambm no devemos ignorar as suas limitaes. Algumas das quais podem mesmo invalidar quaisquer inferncias minimamente credveis acerca das aprendizagens dos alunos. Em Portugal, tanto quanto posso perceber, no se tm considerado ou discutido devidamente estas limitaes. A ideia que se tem que o nosso pas tem problemas de diversa ordem (por exemplo, alunos de uma dada idade distribudos por vrios anos de escolaridade ou ausncia de qualquer prtica na resoluo de testes de escolha mltipla da grande maioria dos alunos da educao bsica) que o podero colocar, partida, numa posio desvantajosa. Valia a pena estudar ponderadamente estes e outros problemas decorrentes da nossa participao nos estudos. Na verdade, quando os resultados destes estudos so divulgados, normalmente de forma muito negativa e at alarmista, surgem invariavelmente duas posies que, a meu ver, em nada contribuem para a discusso fundamentada e clarificadora que se impe. Uma, a de rejeio pura e simples dos resultados dos estudos, com base numa ou mais das suas conhecidas limitaes. Outra, a de os aceitar como indicadores indesmentveis e absolutos dos falhanos da escola dominada pelos excessos das cincias da educao, utilizando-os, assim, como arma de arremesso poltico contra os que sustentam uma concepo do currculo e da escola que desenvolva, em todos os alunos, um alargado espectro de aprendizagens que lhes permitam integrar-se plenamente na sociedade. Ora, nem uma nem outra destas posies habituais contribui para que se analisem os resultados com a profundidade, a imparcialidade e a objectividade aconselhveis. E, muito menos, para que delas se retirem as consequncias que se revelem consistentes com uma viso estratgica de modernizao, de democratizao e de desenvolvimento dos sistema educativo portugus. Parece-me que vai sendo tempo para que a discusso sobre estas questes tenha lugar noutro patamar de qualidade. O Ministrio da Educao tem aqui um importante papel a desempenhar porque lhe compete definir uma poltica clara sobre a participao do nosso pas neste tipo de estudos.

47

UMA AGENDA, MUITOS DESAFIOS

O presente texto aborda um conjunto relativamente alargado de questes de natureza terica e prtica que se referem avaliao das aprendizagens. Houve desde o incio dois tipos de preocupaes. Por um lado, definir coordenadas tericas que fundamentem discusses, afirmaes e pontos de vista. Por isso, surge uma seco com referncias relativamente recentes, que me pareceram relevantes, e tambm alguma discusso em torno dos paradigmas que sustentam a avaliao psicomtrica e a avaliao alternativa. Por outro lado, abordar questes de natureza prtica, discutindo princpios que devem orientar a avaliao alternativa, integrada no ensino e na aprendizagem, da responsabilidade dos professores e das escolas e analisando prticas de avaliao de professores. Em cada uma das reas da avaliao das aprendizagens o texto identifica problemas que se discutem na literatura, prticas que se tm desenvolvido e questes que se mantm em aberto. Pode dizer-se que este texto teve por objectivo enumerar um alargado, mas no exaustivo, conjunto de matrias que, a meu ver, convm analisar e discutir de forma mais sistemtica, mais aprofundada e mais aberta. H questes que aqui no foram discutidas, algumas das quais a necessitar que isso se faa com alguma urgncia e em profundidade, como o caso das caracatersticas psicomtricas dos exames, dos efeitos dos exames nas escolas e nas salas de aula ou da consistncia das avaliaes realizadas nas salas de aula. H muito por fazer e a fazer numa rea que parece algo desagregada, algo ao sabor de circunstncias, sem rumo bem definido. Por outro lado, o texto, ao enumerar e discutir um conjunto de assuntos relacionados com a avaliao das aprendizagens, tinha por objectivo definir uma agenda de aco que identificasse e sintetizasse a natureza dos problemas e que, simultaneamente, contribusse para traar caminhos de desenvolvimento numa rea que, porque no diz-lo, tem sido encarada com algum desleixo. A agenda acaba, inevitavelmente, por lanar desafios s investigadoras e investigadores desta rea e s instituies de ensino superior, s escolas e s suas professoras e professores e tambm aos responsveis polticos e tcnico-pedaggicos do Ministrio da Educao. Uma das primeiras constataes que me parece poder ser feita com legitimidade a ausncia quase total de investigao consequente no domnio da avaliao das aprendizagens. H algumas teses de mestrado em curso, outras realizadas na ltima dcada do passado sculo e um ou outro projecto de investigao, mas no h quaisquer linhas ou programas de investigao que obedeam a qualquer plano que estabelea prioridades, que defina objectivos e que esteja articulado com reais necessidades de desenvolvimento do sistema educativo nesta rea. O que h uma disperso exagerada de pequenos projectos e de teses de mestrado mais ou menos desgarradas umas das outras. Como consequncia, h muito poucas publicaes na rea da avaliao das aprendizagens que sejam baseadas em dados empricos. A maioria so reflexes terico-prticas, por vezes baseadas em revises de literatura mais ou menos profundas. Nestas condies, parece prioritria a definio de linhas de trabalho investigativo que se centrem nas salas de aula e nas escolas. Precisamos de conhecer melhor o que que os professores fazem no domnio da avaliao das aprendizagens. Precisamos de investigar questes, tais como: 1. Como que os professores integram a avaliao no ciclo do ensino e da aprendizagem? 2. Que critrios de avaliao utilizam e como os articulam com o desenvolvimento das aprendizagens estruturantes que os alunos tm que realizar? 3. Que estratgias, tcnicas e instrumentos de avaliao privilegiam? 4. Qual o papel dos alunos, dos pais ou encarregados de educao e de outros professores no processo de avaliao? 5. Como se podero caracterizar as tarefas de avaliao utilizadas pelos professores? Como so seleccionadas? 6. H articulao entre os professores de uma escola quanto s suas prticas de avaliao e de ensino? 7. Que efeitos tem a avaliao externa nas prticas de ensino e de avaliao dos professores? 8. Os professores analisam os resultados dos seus alunos ou das suas escolas nas provas de avaliao externa? Utilizam-nos? De que formas? Que articulaes estabelecem entre a avaliao interna e a avaliao externa?

48

Estas e outras questes devem permitir a identificao de linhas de investigao que se reflictam na organizao e funcionamento de programas de ps-graduao j criados ou a criar e que contribuam para uma melhor definio do trabalho investigativo. A anlise das poucas investigaes em avaliao das aprendizagens que se fizeram em Portugal, os dados das provas de aferio do ensino bsico e dos exames do ensino secundrio sugerem que necessrio um esforo srio de formao. Mas no uma formao generalista sobre avaliao! A questo est em contextualizar, em concretizar, nas diferentes disciplinas, estratgias de avaliao que integrem o ensino e a avaliao e que respondam s dificuldades sentidas por muitos professores em promoverem nas suas aulas uma avaliao alternativa mais vlida, mais abrangente, mais transparente, mais exigente, mais diversificada e com tarefas mais ricas dos pontos de vista educativo e formativo. A avaliao tem como uma das suas funes ajudar os alunos a aprender. Logo, desejvel que qualquer formao em avaliao integre equipas de formadores do currculo, da avaliao e das didcticas das disciplinas. Por outro lado, a formao tem que estar bem relacionada com a investigao e, naturalmente, com as prticas. Os processos de formao deveriam ter um enquadramento tal que permitisse abordagens alternativas que nada tm a ver com turmas de professores a ouvir o que os formadores tm para dizer. Ou seja, abordagens em que a formao feita com os professores e no para os professores, num processo em que as prticas no podem deixar de ser um elemento que contextualiza e d real significado a todo o conjunto de perspectivas tericas e a todo o conjunto de discusses e reflexes que a formao deve proporcionar. A formao s tem real sentido se estiver devidamente articulada com os processos de investigao. Na verdade, a partir da investigao que se pode sistematizar um importante conjunto de prticas, de saberes, de estratgias e de atitudes que ajudem a reconstruir concepes e prticas nos processos de formao. Por outro lado, a investigao, utilizando a formao como contexto, permite-nos perceber os significados que os professores atribuem a todo o conjunto de problemas que a avaliao das aprendizagens lhes coloca na organizao do seu ensino. Em suma, h uma relao Formao-Investigao-Prticas que tem que ser aprofundada e devidamente tida em conta. As escolas, atravs dos seus rgos prprios, devem definir polticas de avaliao das aprendizagens que respondam s orientaes do currculo nacional e aos seus projectos educativos. Tais polticas devem contribuir para a definio de critrios de avaliao devidamente articulados com as aprendizagens estruturantes e essenciais a desenvolver e com as tarefas que se devem propor aos alunos. Desta forma, as escolas podem contribuir para melhorar substancialmente a consistncia das suas avaliaes e, consequentemente, melhorar a sua credibilidade junto da comunidade educativa e da sociedade em geral. H sistemas de moderao que a escola e os seus professores podem utilizar para que, pelo menos no que diz respeito s aprendizagens de conceitos, processos ou procedimentos estruturantes, haja alguma uniformizao de procedimentos ao nvel do ensino e da avaliao. A ideia a de conseguir que os alunos tenham oportunidades iguais, ou muito semelhantes, para aprenderem o essencial e, nestas condies, garantir que a equidade da avaliao seja uma realidade. Por outro lado, no que avaliao externa diz respeito, as escolas devem prever mecanismos de anlise e discusso dos seus resultados e dos resultados dos seus alunos para que, a partir da, possam retirar as devidas consequncias para a reformulao das suas polticas de ensino e de avaliao. As escolas no devem ficar indiferentes aos resultados das avaliaes externas, quaisquer que eles sejam, pois, de certo modo, uma forma de se verem ao espelho e decidirem se tm que fazer alguma coisa acerca da imagem que lhes reflectida. Alm disso, importante que comparem o currculo que avaliado atravs da avaliao externa com o que avaliado atravs das suas avaliaes internas, que analisem os efeitos das avaliaes externas nas polticas da escola e, sobretudo, nos professores e no seu ensino, nos alunos e nas suas aprendizagens. Naturalmente que h entidades do Ministrio da Educao que no podem ficar indiferentes a estes desafios que as escolas tm que enfrentar para que contribuam efectivamente para a modernizao de procedimentos, para que a equidade seja uma realidade e para que o ensino e as aprendizagens entrem noutro patamar de exigncia e de qualidade. O Ministrio da Educao, como veremos noutros pontos desta agenda, no pode deixar as escolas entregues a si prprias em matrias com a relevncia do ensino, da aprendizagem e da avaliao, a essncia do processo de educao e de formao. Tem que produzir e distribuir materiais de qualidade nos domnios do ensino e da avaliao, como aconteceu no incio dos anos 90 com a publicao do dossier Pensar Avaliao, Melhorar a Aprendizagem, no mbito do extinto Instituto de Inovao Educacional. Mas essencial que esses materiais sejam associados a processos de formao que envolvam activamente as escolas e os professores. No chega dizer que as escolas tm autonomia nesta ou naquela rea e, como tal, devem resolver os problemas.

49

A questo muito simples. Por exemplo, no ensino bsico, h um currculo nacional orientado por competncias. Sabe-se que a consistncia da avaliao interna dbil e que, sendo assim, podemos pr em causa a equidade, pois no sabemos se os alunos tm todos acesso ao mesmo tipo de oportunidades de aprendizagem. No podemos garantir que todos os alunos tiveram oportunidade para aprender este ou aquele domnio essencial e estruturante do currculo. O que faz o Ministrio da Educao perante esta situao? Como vai trabalhar com as escolas? Que tipo de meios de formao vai disponibilizar? Vai delinear um plano integrado, coerente e participado para melhorar a qualidade do ensino e da avaliao no ensino bsico? Ou pensar que estes problemas se resolvem por si mesmos ou atravs da mera administrao de exames? A avaliao externa tem obedecido mais a uma espcie de calendrio marcado pela fora das circunstncias do que a uma aco deliberadamente planeada e articulada com objectivos e com consequncias formativas para o sistema, as escolas, os alunos e os pais. No que se refere aos exames nacionais do ensino secundrio, pode dizer-se que, aps um perodo, difcil, de consolidao relativa a um vastssimo conjunto de procedimentos que ia desde a concepo e elaborao das provas e da distribuio de papel de prova at aos mecanismos de controlo e segurana do processo, tempo de se entrar numa fase de desenvolvimento da qualidade. Sendo os exames uma avaliao externa em larga escala, referida norma, necessrio garantir que as suas caractersticas psicomtricas sejam aceitveis e de acordo com o que so os standards internacionalmente recomendados e aceites. E esta questo relevante porque dela depende a equidade do processo. Ningum, com certeza, aceitar que o aluno A ou a aluna B tiveram, ou no, acesso ao ensino superior por razes devidas validade ou fiabilidade dos exames e no por razes devidas s aprendizagens de que eram, ou no, possuidores. Parece-me, por isso, que as entidades responsveis devem trabalhar no sentido de divulgar esses e outros parmetros psicomtricos tais como os ndices de dificuldade e de discriminao dos itens. Sente-se que o processo de exames, que muito transparente em muitos outros aspectos, deve ser mais transparente e mais aberto discusso e ao escrutnio dos cidados nas questes relativas qualidade das provas pois, dessa forma, poder-se- contribuir para uma discusso pblica melhor e mais fundamentada. Por isso mesmo, se estranha o facto de no serem amplamente divulgados relatrios em que se analisem e interpretem os dados, explicitando tendncias, j que as sries de dados existentes devem permitir faz-lo. Outro problema que tem que ser tornado mais transparente o processo de correco das provas. uma matria da maior importncia com efeitos que podem questionar completamente a equidade e a justeza de todo o processo. Por outro lado, seria importante que as anlises e interpretaes dos resultados permitissem tambm caracterizar o currculo que est efectivamente a ser avaliado e que tipo de efeitos que se sentem, inclusivamente, ao nvel das aprendizagens dos alunos. Uma questo sempre muito interessante a de saber se os alunos esto a aprender mais e melhor aps os exames. Ou ser que esto a aprender menos? Ser que, neste momento, teremos respostas para estas e outras questes to essenciais? Julgo que o processo de exames do ensino secundrio deve ter associado um programa permanente de investigao. S dessa forma o poderemos tornar mais transparente e levar a desempenhar mais adequadamente as suas funes de avaliao dos alunos e do sistema educativo. O texto mostra que o pas tem lidado mal com as provas de aferio. Neste momento, praticamente ningum parece lev-las a srio. Nem o prprio Ministrio da Educao quando demora cerca de dois anos para divulgar os seus resultados. um sinal muito negativo que se d s escolas, aos professores, aos alunos e sociedade em geral. Refira-se que em muitos pases da Europa de da Amrica do Norte existem provas desta natureza que tm um grande impacto na definio de polticas, no desenvolvimento do currculo ou na melhoria das prticas educativas a vrios nveis. As provas de aferio tm vrias vantagens que no devem ser desprezadas. Podem avaliar domnios do currculo que no o podem ser pelos exames. Podem ser realizadas em disciplinas que no so objecto de exame. Podem servir para dar sinais importantes aos professores e aos alunos acerca do que importante valorizar. Por outro lado, podem ser administradas pelos prprios professores dos alunos nas suas aulas, o que lhes confere uma natureza menos formal que os exames, permitindo assim gerir o tempo e os procedimentos de administrao de forma mais flexvel e menos standardizada do que se impe nos exames. Por exemplo, seria muito importante que se desenvolvessem provas na rea das cincias experimentais ou provas com componente de expresso verbal na lngua portuguesa e nas lnguas estrangeiras. Repare-se que as provas de aferio devero, preferencialmente, ser administradas a uma amostra de alunos do ano em causa e, por isso, h muito mais facilidade em avaliar estas reas do que num exame.

50

As provas aferidas tm que ser credibilizadas, tm que ter um plano de administraes e de disciplinas a abranger. um desperdcio administr-las anualmente. Nenhum pas parece estar a faz-lo. Precisa-se de uma ideia para as provas aferidas que as integre num todo coerente de contribuies para a avaliao dos alunos, das escolas e do sistema. Mais uma vez, dificilmente se poder conceber um programa de provas desta natureza sem um projecto associado de investigao que descreva, analise e interprete os dados e que seja capaz de intervir no sentido de fazer recomendaes que faam sentido para os decisores polticos, para as escolas, para os professores e para os alunos No domnio das provas internacionais, a situao no muito diferente. Vamos participando mas sem estratgia, sem objectivos aparentes para o desenvolvimento do sistema, sem ampla discusso e sem elaborao de relatrios nacionais com real impacto na sociedade e, sobretudo, nos nveis de deciso poltica, nas escolas e nos professores. importante promover programas de investigao que lhes estejam associados para que nos apropriemos de desenvolvimentos ao nvel da elaborao e da anlise de itens e de resultados que normalmente aparecem associados a estes projectos e que podem ser-nos teis para as provas externas. preciso definir uma poltica de avaliao que integre e relacione todas estas componentes, que credibilize e valorize efectivamente a avaliao interna e que promova a sua articulao com uma avaliao externa que pode e deve ter o seu papel no sistema educativo.

51

REFERNCIAS
Airasian, P. e Abrams, L. (2003). Classroom student evaluation. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 533-548. Dordrecht: Kluwer. Alaiz, V. (1993, Junho). School-based and external assessment in Portuguese primary and secondary education. Comunicao apresentada na 19th Conference of the International Association for Educational Assessment (IAEA). Grand Baie. Ilha Maurcia. Alves, J. Carlos. (1997). Representaes da avaliao por parte dos professores dos 2. e 3. ciclos em trs escolas do distrito de Setbal. Tese de mestrado em cincias da educao (Avaliao em educao) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Anderson, J. e Bachor, D. (1998). A Canadian perspective on portfolio use in student assessment. Assessment in Education, 5, 353-380. Antunes, Roque. (1995). Concepes de alunos do 11. ano em relao disciplina de Filosofia. Tese de mestrado em cincias da educao (Desenvolvimento Pessoal e Social) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Archbald, D. e Newmann, F. (1992). Approaches to assessing academic achievement. In H. Berlak, F. Newmann, E. Adams, D. Archbald, T. Burgess, J. Raven e T. Romberg (Eds.), Toward a new science of educational testing and assessment, pp. 139-180. Albany, NY: State University of New York Press. Beaton, A. (1997). The national assessment of educational progress. In G. Phye (Ed.), Handbook of classroom assessment: Learning, adjustment, and achievement, pp. 518-530. New York: Academic Press. Beaton, A., Postlethwaite, T., Ross, K., Spearritt, D., e Wolf, R. (2000). The benefits and limitations of international educational achievement studies. Paris: International Institute for Educational Planning/International Academy of Education. Bell, A., Burkhardt, H. e Swan, M. (1992a). Balanced assessment of mathematical performance. In R. Lesh e S. Lamon (Eds.), Assessment of authentic performance in school mathematics, pp.119-144. Washington, DC: AAAS. Bell, A., Burkhardt, H. e Swan, M. (1992b). Assessment of extended tasks. In R. Lesh e S. Lamon (Eds.), Assessment of authentic performance in school mathematics, pp.145-176. Washington, DC: AAAS. Bell, A., Burkhardt, H. e Swan, M. (1992c). Moving the system: The contributions of assessment. In R. Lesh e S. Lamon (Eds.), Assessment of authentic performance in school mathematics, pp.177-194. Washington, DC: AAAS. Benavente, A., Alaiz, V., Barbosa, J., Campos, C., Carvalho, A. e Neves, A. (1995). Novo modelo de avaliao no ensino bsico: Formas de implementao local. Lisboa: IIE. Berlak, H. (1992a). The need for a new science of assessment. In H. Berlak, F. Newmann, E. Adams, D. Archbald, T. Burgess, J. Raven e T. Romberg (Eds.), Toward a new science of educational testing and assessment, pp. 1-22. Albany, NY: State University of New York Press. Berlak, H. (1992b). Toward the development of a new science of educational testing and assessment. In H. Berlak, F. Newmann, E. Adams, D. Archbald, T. Burgess, J. Raven e T. Romberg (Eds.), Toward a new science of educational testing and assessment, pp. 181-206. Albany, NY: State University of New York Press. Berlak, H., Newmann, F., Adams, E., Archbald, D., Burgess, T., Raven, J. e Romberg, T. (Eds.) (1992), Toward a new science of educational testing and assessment. Albany, NY: State University of New York Press. Bloom, B. (1956). Taxonomy of educational objectives. David McKay. Boavida, Joaquim. (1996). Concepes e prticas de avaliao das aprendizagens de professoras do 1. ciclo do ensino bsico: Trs estudos de caso. Tese de mestrado em cincias da educao (Avaliao em educao) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Broadfoot, P. (1994). Les rsultats de l'enseignement. In OCDE (Ed.), valuer l'enseignement: De l'utilit des indicateurs internationaux, pp. 260-286. Paris: OCDE. California Assessment Program, (1989). A question of thinking: A first look of students performance on open-ended questions in mathematics. Sacramento, CA: California State Department of Education. Campos, Cristina. (1996). Concepes e prticas de professores sobre avaliao das aprendizagens: Dois estudos de caso. Tese de mestrado em cincias da educao (Avaliao em educao) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Chambers, D. (1993). Integrating assessment and instruction. In N. Webb e A. Coxford (Eds.), Assessment in the mathematics classroom, pp. 17-25. Reston, VA: NCTM. Cockcroft, W. (1982). Mathematics counts. Londres: HMSO. Conceio, J. (1993a). Ainda o novo sistema de avaliao. Noesis, 25, 64-67. Conceio, J. (1993b, Junho). External assessment in Portuguese compulsory education. Comunicao apresentada na 19th Conference of the International Association for Educational Assessment (IAEA). Grand Baie. Ilha Maurcia. Conceio, J., Neves, A., Campos, C., Fernandes, D. e Alaiz (sem data). Testes: Sim ou no? In IIE (Ed.), Pensar avaliao, melhorar a aprendizagem (Folha B/8). Lisboa: IIE. Conselho Nacional de Educao (2000). Parecer n. 3/2000. Dirio da Repblica, 180, 13016-13024. II Srie. Fernandes, D. (1991). Resoluo de problemas e avaliao. Actas do 2. Encontro Nacional de Didcticas e Metodologias de Ensino. Aveiro: Universidade de Aveiro. Fernandes, D. (1992a). Resoluo de problemas: Investigao, ensino, avaliao e formao de professores. In M. Brown, D. Fernandes, J. F. Matos e J. P. Ponte (Eds.), Educao matemtica: Temas de investigao, pp. 45-104. Lisboa: Instituto de Inovao Educacional. Fernandes, D. (1992b). O tempo da avaliao. Noesis, 23, 18-21.

52

Fernandes, D. (1992c). Prticas e perspectivas de avaliao: Dois anos de experincia no Instituto de Inovao Educacional. Documento policopiado no publicado. Fernandes, D. (1993a). Complexidade, tenses e mudana na avaliao das aprendizagens. In L. Almeida, J. Fernandes e A. Mouro (Orgs.), Ensino-aprendizagem da matemtica: Recuperao de alunos com baixo desempenho, pp. 43-60. Riba d'Ave: Didxis. Fernandes, D. (1993b). Some notes on studentsassessment in the context of the Portuguese educational reform. Trabalho no publicado apresentado na conferncia Research into pupil assessment and the role of final examinations in secondary education. Conselho da Europa. Universidade de Jyvaskyla: Finlndia. Fernandes, D. (1994a). Avaliao das aprendizagens: Das prioridades de investigao e de formao s prticas na sala de aula. Revista de Educao, 8, 15-20. Fernandes, D. (1994b). Evaluating the educational reform: Viewpoints from a Portuguese experience. In Mauritius Examination Syndicate (Ed.), 1993 IAEA Conference: School-based and external assessments, pp. 251-260. Reduit, Mauritius: Mauritius Examination Syndicate. Fernandes, D. (1994c). Contornos de uma experincia de avaliao desenvolvida no Instituto de Inovao Educacional (1990-1993). Boletim da Sociedade Portuguesa de Educao Fsica, 10/11, 7-32. Fernandes, D. (1997). Avaliao na escola bsica obrigatria: Fundamentos para uma mudana de prticas. In Pedro da Cunha (Org.), Educao em debate, pp.275-294 Lisboa, Universidade Catlica Portuguesa. Fernandes, D., Neves, A., Campos, C. e Lalanda, J. (1996). Das concepes, prticas e organizao da avaliao das aprendizagens formao de professores. (Relatrio do 1. ano do Projecto PI/12/94 financiado pelo Instituto de Inovao Educacional.) Documento policopiado no publicado. Fernandes, D., Ramalho, G. e Lemos, V. (1991). Opinies dos professores dos ensinos bsico e secundrio relativamente s medidas constantes no projecto do sistema de avaliao dos alunos. Lisboa: IIE. Foucault, M. (1979). Discipline and punish: The birth of prison. New York: Vantage. Gardner, H. (1983). Frames of mind. New York: Basic Books. Gardner, H. (1991). The unschooled mind: How children think and how schools should teach. New York: Basic Books. Gardner, H. e Hatch, T. (1989). Multiple intelligences go to school: Educational implications of the theory of multiple intelligences. Educational Researcher, 18(8), 4-9. Gifford, B. e O Connor (Eds.) (1992). Changing assessments: Alternative views of aptitude, achievement and instruction. Dordrecht: Kluwer. Gil, Dulcinea. (1997). Reflexes de professores do 2. ciclo do ensino bsico sobre avaliao das aprendizagens. Tese de mestrado em cincias da educao (Avaliao em educao) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Gipps, C. (1994). Beyond testing: Towards a theory of educational assessment. Londres: Falmer. Gipps, C. e Stobart, G. (2003). Alternative assessment. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 549-576. Dordrecht: Kluwer. Goldstein, H. (1996). International comparisons of student achievement. In A. Little e A. Wolf (Eds.), Assessment in transition: Learning, monitoring and selection in international perspective, pp. 58-87. Oxford: Pergamon. Guba, E. e Lincoln, Y. (1989). Fourth generation evaluation. London: Sage. Guba, E. e Lincoln, Y. (1994). Competing paradigms in qualitative research. In N. Denzin e Y. Lincoln (Eds.), Handbook of qualitative research, pp. 105-117. Londres: Sage. Instituto de Inovao Educacional (sem data). Pensar a avaliao, melhorar a aprendizagem. Lisboa: Autor. Instituto de Inovao Educacional (1992a). Estudo comparativo dos sistemas de avaliao dos alunos em quatro pases europeus. Lisboa: Autor. Instituto de Inovao Educacional (1992b). Avaliar aprender. Lisboa: Autor. Johnson, R. (2003). The development and use of school profiles. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 827-842. Dordrecht: Kluwer. Joint Committee on Standards for Educational Evaluation (1981). Principles and by-laws. Kalamazoo: MI: Western Michigan University Evaluation Center. Jones, L. (2003). National assessment in the United States: The evolution of a Nations report card. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 883-904. Dordrecht: Kluwer. Keeves, J. (1995). The world of school learning: Selected key findings from 35 years of IEA research. Amsterdam: IEA Secretariat. Kellaghan, T. (1996). IEA studies and educational policy. Assessment in Education, 3, 143-160. Kellaghan, T. (2003). Local, national, and international levels of system evaluation. Introduction. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 873-882. Dordrecht: Kluwer. Kellaghan, T. e Grisay, A. (1995). International comparisons of student achievement: Problems and prospects. In OECD (Ed.), Measuring what students learn, pp. 41-61. Paris: OECD. Kellaghan, T. e Madaus, G. (2000). Outcome evaluation. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 97-112. Dordrecht: Kluwer. Kellaghan, T. e Madaus, G. (2003). External (public) examinations. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 577-602. Dordrecht: Kluwer.

53

Kellaghan, T. e Stufflebeam, D. (Eds.) (2003). International handbook of educational evaluation. Dordrecht: Kluwer. Kilpatrick, J. (1992). Some issues in the assessment of mathematical problem solving. In J. Ponte, J. F. Matos, J. M. Matos e D. Fernandes (Eds.), Mathematical problem solving and new information technologies: Research in contexts of practice, pp. 37-44. Berlim: Springer-Verlag. Koretz, D. (1998). Large-scale portfolio assessments in the US: Evidence pertaining to the quality of measurement. Assessment in Education, 5, 309-334. Kuhn, T. S. (1970). The structure of scientific revolutions. Chicago: University of Chicago Press. Lange, J. de (1987). Mathematics, insight and meaning. Utrech, Holanda: OweOC. Lange, J. de (1993). Assessment in problem-oriented curricula. In N. Webb e A. Coxford (Eds.), Assessment in the mathematics classroom, pp. 197-208. Reston, VA: NCTM. Lapointe, A. (1986). Testing in the USA. In D. Nuttall (Ed.), Assessing educational achievement, pp. 114-124. London: Falmer. Lemos, V. (1992). Novo sistema de avaliao: Enquadramento de uma mudana. Comunicao apresentada no seminrio O Novo Sistema de Avaliao Instituto de Inovao Educacional: Lisboa. Lemos, V. (1993, Junho). Attitudes on assessment and the in-service training of teachers. Comunicao apresentada na 19th Conference of the International Association for Educational Assessment (IAEA). Grand Baie. Ilha Maurcia. Lemos, V., Neves, A., Campos, C., Conceio, J. e Alaiz, V. (1992). A nova avaliao da aprendizagem: O direito ao sucesso. Lisboa: Texto Editora. Lester, F. e Kroll, D. (1990). Assessing student growth in mathematical problem solving. In G. Kulm (Ed.), Assessing higher order thinking in mathematics, pp. 53-70. Washington: AAAS. Lobo, Aldina (1998). A. A. A. (Aprendizagem Assistida pela Avaliao): Um sorriso difcil sobre o novo sistema de avaliao do ensino bsico. Porto: Porto Editora. Madaus, G. e Kellaghan, T. (2000). Models, metaphors, and definitions in evaluation. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 19-32. Dordrecht: Kluwer. Madaus, G. e Stufflebeam, D. (2000). Program evaluation: A historical overview. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 3-18. Dordrecht: Kluwer. Madaus, G., Haney, W. e Kreitzer, A. (2000). The role of testing in evaluations. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 113-126. Dordrecht: Kluwer. Ministrio da Educao (1991). Despacho normativo n. 162. Dirio da Repblica, 244, 10598-10601. I Srie B. Ministrio da Educao (1992). Despacho normativo n. 98-A. Dirio da Repblica, 140, 2908(2)-2908(4). I Srie B. Ministrio da Educao (1993). Despacho normativo n. 338. Dirio da Repblica, 247, 5934-5937. I Srie B. Ministrio da Educao (1994). Despacho normativo n. 644-A. Dirio da Repblica, 214, 5556 (2). I Srie B. Ministrio da Educao (2000). Despacho n. 5437. Dirio da Repblica, 58, 4613. II Srie B. Ministrio da Educao (2000). Provas de aferio do ensino bsico: 4. ano 2000. Lisboa: Autor. Ministrio da Educao (2001). Decreto-Lei n. 6. Dirio da Repblica, 15, 258-265. I Srie A. Ministrio da Educao (2001). Despacho normativo n. 30. Dirio da Repblica, 166, 4438-4441. I Srie B. Ministrio da Educao (2002). Provas de aferio do ensino bsico: 4. e 6. anos 2001. Lisboa: Autor. Ministrio da Educao (2002). Despacho n. 2205. Dirio da Repblica, 23, 1762. II Srie. Ministrio da Educao (2002). Decreto-Lei n. 209. Dirio da Repblica, 240, 6807-6810. I Srie A. Ministrio da Educao (2002). Lei n. 31. Dirio da Repblica, 294, 7952-7953. I Srie A. Ministrio da Educao (2003). Despacho n. 474. Dirio da Repblica, 8, 376. II Srie. Ministrio da Educao (2004). Despacho n. 1911. Dirio da Repblica, 23, 1489. II Srie. Mislevy, R., Wilson, M., Ercikan, K. e Chudowsky (2003). Psychometric principles in student assessment. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 489-532. Dordrecht: Kluwer. National Council of Teachers of Mathematics (1989). Curriculum and evaluation standards for school mathematics. Reston, VA: Autor. National Council of Teachers of Mathematics (1991). Professional standards for teaching mathematics. Reston, VA: Autor. National Council of Teachers of Mathematics (1995). Assessment standards for school mathematics. Reston, VA: Autor. National Research Council (1989). Everybody counts: A report to the nation on the future of mathematics education. Washington, DC: National Academy Press. National Research Council (1993). Measuring up: Prototypes for mathematics assessment. Washington, DC: National Academy Press. Neves, Anabela. (1996). Observao nas concepes e prticas de dois professores do ensino bsico. Tese de mestrado em cincias da educao (Avaliao em educao) no publicada. Universidade Catlica Portuguesa. Faculdade de Cincias Humanas. Nevo, D. (1986). The conceptualization of educational evaluation: An analytical review of the literature. In E. R. House (Ed.), New directions in educational evaluation, pp. 15-29. London: Falmer. Newmann, F. e Archbald, D. (1992). The nature of authentic academic achievemente. In H. Berlak, F. Newmann, E. Adams, D. Archbald, T. Burgess, J. Raven e T. Romberg (Eds.), Toward a new science of educational testing and assessment, pp. 71-84. New York: SUNY. Nuttall, D. (Ed.) (1986). Assessing educational achievement. London: Falmer. O'Connor, M. (1992). Rethinking aptitude, achievement, and instruction: Cognitive science research and the framing of assessment policy. In B. Gifford e M. O'Connor (Eds.), Changing assessments: Alternative views of aptitude, achievement and instruction (p. 9-36). Norwell, MA: Kluwer.

54

OECD (1997). Education at a glance: OECD indicators. Paris: Autor. OECD (2000). Education at a glance: OECD indicators. Paris: Autor. OECD (2003). The PISA 2003 assessment framework: Mathematics, reading, science and problem solving knowledge and skills. Paris: Autor. Oliveira, I., Pereira, J. e Fernandes, D. (1993). Desenvolvimento de instrumentos de avaliao da aprendizagem em Matemtica. Lisboa: IIE. Oliveira, I., Pereira, J. e Fernandes, D. (1994). Seis propostas de avaliao: Matemtica. Lisboa: IIE. Pearlman, M. e Tannembaum, R. (2003). Teacher evaluation practices in the accountability era. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 609-642. Dordrecht: Kluwer. Phye, G. (Ed.) (1997). Handbook of classroom assessment: Learning, adjustment, and achievement. New York: Academic Press. Plomp.T., Howie, S. e McGaw, B. (2003). International studies of educational achievement. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 951-978. Dordrecht: Kluwer. Raven, J. (1992). A model of competence, motivation, and behavior, and a paradigm of assessment. In H. Berlak, F. Newmann, E. Adams, D. Archbald, T. Burgess, J. Raven e T. Romberg (Eds.), Toward a new science of educational testing and assessment, pp. 85-116. Albany, NY: State University of New York Press. Richardson, V. (Ed.) (2001). Handbook of research on teaching (4th Edition). American Educational Research Association. New York: Macmillan. Robitaille, D., Beaton, A. e Plomp, T. (2000). The impact of TIMSS on the teaching and learning of mathematics and science. Vancouver: Pacific Educational Press. Romberg, T., Zarinnia, E. e Collis, K. (1990). A new world view of assessment in mathematics. In G. Kulm (Ed.), Assessing higher order thinking in mathematics, pp. 21-38. Washington, DC: AAAS. Sanders, J. e Davidson, E. (2003). A model for school evaluation. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp.807-826. Dordrecht: Kluwer. Schoenfeld, A. H. (1985). Mathematical problem solving. New York: Academic Press. Scriven, M. (2000). Evaluation ideologies. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 249-278. Dordrecht: Kluwer. Sebring, P. e Boruch, R. (1991). How the national assessment of educational progress is used: An update of an exploratory study. In R. Stake (Ed.), Advances in program evaluation: Effects of mandated assessment on teaching (Volume 1, Part B), pp. 255-276. London: Jay Press. Shepard, L. (2001). The role of classroom assessment in teaching and learning. In V. Richardson (Ed.), Handbook of research on teaching (4th Edition). American Educational Research Association. New York: Macmillan. Sikula, J. (Ed.) (1996). Handbook of research on teacher education (2nd Edition). Association of Teacher Educators. New York: Macmillan. Stake, R. (Ed.) (1991a). Advances in program evaluation: Using assessment policy to reform education (Volume 1, Part A). London: Jay Press. Stake, R. (Ed.) (1991b). Advances in program evaluation: Effects of mandated assessment on teaching (Volume 1, Part B). London: Jay Press. Stake, R. (2000). Program evaluation, particularly responsive evaluation. In D. Stufflebeam, G. Madaus e T. Kellaghan, (Eds.) Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition), pp. 343-362. Dordrecht: Kluwer. Stecher, B. (1998). The local benefits and burdens of large-scale portfolio assessment. Assessment in Education, 5, 335-352, Stiggins, R. e Conklin, N. (1992). In teachers' hands: Investigating the practices of classroom assessment. Albany, NY: State University of New York Press. Stufflebeam, D. (2003). Institutionalizing evaluation in schools. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 775-806. Dordrecht: Kluwer. Stufflebeam, D., Madaus, G. e Kellaghan, T. (Eds.) (2000). Evaluation models: Viewpoints on educational and human services evaluation (2nd Edition). Dordrecht: Kluwer. Tellez, K. (1996). Authentic assessment. In J. Sikula (Ed.), Handbook of research on teacher education (2nd Edition), pp. 704-721. Association of Teacher Educators. New York: Macmillan. The Vermont Department of Education (1991). Looking beyond The Answer: The report of Vermont's mathematics portfolio assessment program (Pilot year, 1990-1991). Vermont: Autor. Torrance, H. (2003). Assessment of the national curriculum in England. In T. Kellaghan e D. Stufflebeam (Eds.), International handbook of educational evaluation, pp. 905-928. Dordrecht: Kluwer. Tunstall, P. e Gipps, C. (1996). Teacher feedback to youg children in formative assessment: A typology. British Educational Research Journal, 22, 389-404. Valencia, S., Hiebert, E. e Afflerbach, P. (1994). Authentic reading assessment: Practices and possibilities. Newark: International Reading Association. Webb, N. (1992). Assessment of students knowledge of mathematics: Steps toward a theory. In D. A. Grouws (Ed.), Handbook of research on mathematics teaching and learning, pp. 661-686. New York: MacMillan. Webb, N. (1993). Assessment for the mathematics classroom. In N. Webb e A. Coxford (Eds.), Assessment in the mathematics classroom, pp. 1-6. Reston, VA: NCTM. Webb, N. e Coxford, A. (Eds.) (1993). Assessment in the mathematics classroom. Reston, VA: NCTM.

55

Texto Editora 2004

ATENDIMENTO A PROFESSORES Livraria Cacm Edifcio Texto Editora - Estrada de Pao de Arcos, 66, 2735-336 Cacm Livraria Lisboa Rua Joaquim Pao D'Arcos, 13, 1500-365 Lisboa Livraria Porto Rua Damio de Gis, 45, 4050-225 Porto Linha do Professor 707 231 231 Fax 21 427 22 09 E-mail: escolar@te.pt

56