Titulo: Gesto e avaliao de projectos nas escolas Autor: Cndido Varela de Freitas Coleco: Cadernos de Organizao e Gesto Curricular

ISBN: 972-8353-39-1 Editora: Instituto de Inovao Educacional

NDICE
INTRODUO ......................................................................................................................................2 I - O QUE UM PROJECTO? ..............................................................................................................4 PROJECTO: PROCESSO E PRODUTO ....................................................................................5 II - AVALIAO DE PROJECTOS......................................................................................................6 TIPOS DE AVALIAO: EXPLICITANDO CONCEITOS .........................................................6 Avaliao e Auto-avaliao..............................................................................................6 Avaliao Interna e Avaliao Externa;Avaliao Formativa e Avaliao Sumativa.......7 A Avaliao Formativa.....................................................................................................7 A Avaliao Sumativa ......................................................................................................8 PRINCPIOS GERAIS PARA A AVALIAO DE PROJECTOS ................................................8 O Objecto da Avaliao ...................................................................................................8 O Design da Avaliao.....................................................................................................9 Instrumentos a Ser Utilizados...........................................................................................9 Critrios de Apreciao ....................................................................................................9 Comunicao dos Resultados .........................................................................................10 III - DESENVOLVER A AVALIAO DE UM PROJECTO............................................................12 PRIMEIROS PROBLEMAS A RESOLVER ...............................................................................12 Tipo de Avaliao ..........................................................................................................12 Viabilidade da Avaliao ...............................................................................................13 Oramento da Avaliao ................................................................................................13 O PAPEL DO AVALIADOR ......................................................................................................13 A Profisso de Avaliador ...............................................................................................13 A Proposta de Avaliao ................................................................................................14 A ANLISE CONTEXTUAL DE UMA AVALIAO ................................................................15 PERGUNTAS DE AVALIAO ................................................................................................15 DECIDIR O DESIGN DA AVALIAO....................................................................................16 A INFORMAO NECESSRIA ..............................................................................................17

RECOLHA E TRATAMENTO DA INFORMAO ...................................................................18 A Entrevista....................................................................................................................18 Produes Escritas: Dirios e Questionrios ..................................................................19 Dados de Observao .....................................................................................................19 Documentos....................................................................................................................20 O PLANO DE GESTO DA AVALIAO ................................................................................21 O ORAMENTO DA AVALIAO...........................................................................................23 CRITRIOS E INDICADORES .................................................................................................23 COMUNICAO DOS RESULTADOS ....................................................................................24 CONCLUSO............................................................................................................................24 REFERNCIAS....................................................................................................................................25 SUGESTO DE LEITURAS ...............................................................................................................26 SUGESTES PARA PROGREDIR COMO AVALIADOR................................................................29

INTRODUO
Foi somente nos anos 70 que em Portugal se comeou a prestar ateno avaliao educacional. Noutros pases (nomeadamente nos Estados Unidos da Amrica) as prticas de avaliao j existiam h muito, mas o grande debate sobre os paradigmas da avaliao apenas comeara e ia atingir o auge. Entre ns, ao mesmo tempo que se levavam a efeito algumas experincias de certa dimenso, como a avaliao dos chamados 3. e 4. anos experimentais no tempo do Ministro Veiga Simo e a avaliao do ensino secundrio unificado em 1975-1976, as universidades novas (Minho, Aveiro) incluam, nos curricula dos cursos de formao de professores, disciplinas nas quais a avaliao tinha lugar. A pouco e pouco, sem poder ser considerada uma actividade trivial, a avaliao em educao passou a ser conhecida. As escolas ganharam campo para desenvolverem actividades que no se resumiam s lectivas. Depois do perodo vivo do ps-25 de Abril, em que as circunstncias permitiram a muitas escolas desenvolver aces autnomas em vrios campos, a primeira verso da profissionalizao em servio (como se chamava na poca) para professores dos ento ensinos preparatrio e secundrio, ter sido, nos comeos da dcada de 80, um momento importante por ter concedido s escolas uma razovel margem de liberdade na promoo de projectos pedaggicos, para os quais havia clara inteno de deverem ser avaliados. Mais tarde, a adeso de Portugal Comunidade Europeia vai proporcionar uma srie de projectos e actividades para as quais requerida uma avaliao. Envolvendo-se nesses diversos projectos e concursos, muitas escolas vem-se confrontadas com a necessidade de prestar contas do que realizam e no mais possvel fugir a essa obrigao. Entretanto, avaliar passou a ser uma imposio legal. A Lei n.o 46/86, de 14 de Outubro, a chamada Lei de Bases, define no artigo 49. que o sistema educativo deve ser objecto de avaliao continuada. Em 1987 criado o Instituto de Inovao Educacional, que pela actual lei orgnica1 (Decreto-Lei n. 142/93, de 26 de Abril) tem precisamente essa incumbncia avaliar o sistema de ensino. O Decreto-Lei n. 43/89, de 3 de Fevereiro, que define os princpios de autonomia das escolas, no entanto omisso quanto hiptese de estas colaborarem em qualquer processo de avaliao. O mesmo no acontece quando publicada a Portaria n. 921/92, de 23 de Setembro, onde expressamente se diz que competncia do departamento curricular elaborar e avaliar o plano anual das actividades do departamento (alnea l do art. 3.). Tambm o Decreto-lei n. 249/92, de 9 de Novembro, que organiza o regime jurdico da formao contnua, estabelece no seu artigo 10. que a entidade formadora deve criar instrumentos de avaliao, proceder ao tratamento dos dados recolhidos e promover a divulgao dos respectivos resultados. So portanto grandes as responsabilidades que agora impendem sobre as escolas quanto avaliao em diversos campos. Infelizmente, como tem acontecido noutros sectores educativos, a deciso de implementar uma inovao no foi precedida da necessria cautela no que se refere formao dos agentes envolvidos nessa inovao. Acresce que a avaliao de programas (ou projectos) tem aspectos peculiares, condicionantes do seu desenvolvimento: h que conhecer a teoria e a prtica da
1

O primeiro diploma orgnico do IIE foi publicado em 1989 (Decreto-Lei n. 435/89, de 18 de Dezembro).

avaliao, o que requer aprendizagens especficas. Por esse motivo j existem cursos de especializao e mestrados em avaliao promovidos por escolas do ensino superior. Neste pequeno livro, que pretende apenas ser uma primeira abordagem ao tema, procuram-se identificar os aspectos mais importantes da avaliao de projectos, na perspectiva da Escola e dos professores responsveis pelo planeamento e implementao desses projectos. De modo algum se julga que o livro possa constituir o nico elemento de formao em rea to vasta e sensvel. Pensa-se, porm, que a sua leitura estimular a continuao do estudo do tema.

I - O QUE UM PROJECTO?
Projecto, sub.: do Latim projectu-, que se lana sobre, proeminente, saliente, transbordante, sem medida, desenfreado; abatido, certamente pelo francs projet, que sofreu influncia formal do citado vocbulo latino, por via culta.// Sc. XVIII. adj.: do Latim projectu-: por via culta, directamente. In Machado, J. P. (1977). Dicionrio Etimolgico da Lngua Portuguesa. Lisboa: Livros Horizonte. Projecto, s.m.- plano para a realizao de um acto; esboo; representao grfica e escrita, acompanhada de um oramento que torne vivel a execuo de uma obra; cometimento; empresa; desgnio; teno In Costa, J. A., & Melo, A. S. (s.d.). Dicionrio da Lngua Portuguesa (7. edio). Porto: Porto Editora. A histria das palavras muitas vezes a melhor maneira de compreender qual o seu sentido. A semntica, que se pode definir como o estudo histrico e psicolgico das mudanas no significado das palavras, ensina-nos que as palavras tm vida. H alguns anos, quando o conceito de projecto em educao comeava a ser usado em Portugal, algum, argutamente, relacionou o conceito inicial com o corrente, escrevendo um curto artigo intitulado Projecto Projctil (Corteso, Malpique, Torres & Lima, 1977). De certo modo, deve-se s autoras do artigo, que na altura estavam empenhadas num projecto real que consistia em definir qual a formao que deveria ser proporcionada aos futuros formadores de professores, a divulgao estimulante do uso de projectos em educao (Castro & Ricardo, 1992, p. 13). O termo cobre hoje realidades distintas, com uma raiz comum: um projecto escolar sempre uma actividade (uma tarefa ou conjunto de tarefas), seja ela realizada por alunos, por professores ou por alunos e professores em conjunto. Genericamente, um projecto procura responder a uma interrogao, simples curiosidade ou expresso de um problema; e porque implica quase sempre um trabalho de certa dimenso, normal que para o desenvolver se forme um grupo. H nas escolas mltiplas oportunidades para estabelecer projectos: a mais importante sem dvida o projecto educativo2, definidor da sua autonomia plena (art. 2. do Decreto-Lei n. 43/89, de 2 de Fevereiro), ele prprio proporcionador de muitos outros projectos que assumem, na maior parte das vezes, um carcter de interveno. Outros projectos so resposta a concursos especificamente dirigidos s escolas com finalidades de estimular o que se chama, habitualmente, investigao-

Diz a lei: O projecto educativo traduz-se, designadamente, na formulao de prioridades de desenvolvimento pedaggico, em planos anuais de actividades educativas e na elaborao de regulamentos internos para os principais sectores e servios (n.o 2 do Decreto-Lei n.o 43/89, de 3 de Fevereiro). No s a globalidade deste projecto deve ser avaliada, como a constelao de pequenos projectos que dele decorrem o deve ser.

aco. Neste campo, desde o seu incio o Instituto de Inovao Educacional tem estimulado as escolas do pas a participar em projectos de diversa ordem.
PROJECTO: PROCESSO E PRODUTO

Qualquer projecto envolve sempre uma viso antecipadora dos seus resultados. Para que atinja os objectivos propostos, tem de ser planeado e concretizado cuidadosamente. Assim, num projecto (qualquer que ele seja) podem considerar-se trs momentos fundamentais: o planeamento, a realizao e a obteno do produto desejado. Dito de outra maneira, e usando termos que os professores conhecem bem, qualquer projecto pode ser considerado como processo (enquanto se realiza) e como produto (depois de realizado). A tarefa de planear um projecto no uma tarefa fcil, sobretudo se falta ao(s) planeador(es) alguma experincia. Como j se disse, um projecto tem de antecipar tudo o que possa acontecer em virtude do seu desenvolvimento, incluindo a sua avaliao. Tem de jogar com os recursos humanos (isto , pessoas envolvidas a nvel administrativo, tcnico, educativo), materiais (por exemplo, equipamentos necessrios) e financeiros (prprios ou externos) disponveis. Tem de considerar o tempo em que se deve desenvolver, definindo os limites de cada momento com uma margem de segurana razovel (todo o planeamento deve ter um cronograma). Tem de escolher as equipas de trabalho com competncia para desenvolver o projecto e prever tempo para formao adicional e produo de materiais (se se revelar necessrio). Tem, finalmente, de encarar como pretende que esse projecto seja avaliado. No nos esqueamos que um projecto representa sempre um certo investimento, pelo que importante que preveja a sua avaliao.

II - AVALIAO DE PROJECTOS
Genericamente, avaliao refere-se determinao do mrito, ou valor, de um dado processo ou do que dele resultou (p. ex., Scriven, 1991, p. 139). Existem outros sentidos para o termo, nomeadamente quando se refere a avaliao do rendimento escolar dos alunos, mas no so relevantes para o fim que este caderno tem em vista. A avaliao uma constante da vida humana: somos avaliados e avaliamos em permanncia. Fazemo-lo em casos to frequentes como avaliar uma refeio ou noutros bem mais complicados, como avaliar a personalidade de algum que acabamos de conhecer. Como facilmente se compreende tais avaliaes no revestem qualquer segurana: em ambos os casos duas pessoas podem ter apreciaes diferentes e no h forma de se poder dizer quem tem razo, porque qualquer delas tem a sua razo. Por isso mesmo, nessas circunstncias evita-se falar de avaliao; mais comum, e tambm mais correcto, falar de opinio. Uma avaliao, para merecer esse nome, tem de ter um certo grau de objectividade, ser aceite como vlida. Tem de possuir caractersticas que a credibilizem nos processos que utiliza. Em certo sentido, a avaliao aproxima-se da investigao, porque usa por vezes mtodos e tcnicas comuns; mas a sua finalidade diferente. Embora ambas procurem a verdade, a investigao visa o saber pelo saber (investigao pura), ainda que depois utilize muitas vezes esse saber em novas situaes (investigao aplicada); a avaliao visa colher dados com o fim especfico de fornecer informaes sobre o objecto que est a ser (ou foi) avaliado. Assim sendo, num projecto, tanto o processo como o produto podem ser avaliados; e as informaes (dados da avaliao) podem, e devem, ter dois fins: primeiro, tentar ajudar quem concebeu e quem est a desenvolver o projecto; depois, apreciar os seus resultados.

TIPOS DE AVALIAO: EXPLICITANDO CONCEITOS

medida que a avaliao, como disciplina cientfica, se foi desenvolvendo na segunda metade do sculo XX, foram-se definindo princpios e terminologias prprias que importante ter em conta. Considerar-se-o aqui trs diferentes abordagens, todas elas com interesse para a avaliao de projectos, porque das decises que sobre elas forem tomadas haver consequncias com importncia para a instituio.

Avaliao e Auto-avaliao Sempre se reconheceu que o exame crtico dos prprios pelos seus actos importante sob vrios pontos de vista. Parece claro que a proximidade que os promotores e executores tm sobre os projectos que planearam e desenvolveram pode contribuir para uma mais fcil percepo das razes do seu xito ou fracasso. Alm disso, o reconhecimento pessoal do valor das actividades desenvolvidas ter mais influncia do que qualquer informao exterior. Deste modo, a auto-avaliao sempre importante, sobretudo ao nvel dos maiores responsveis dos projectos.

Contudo, mesmo quando existam instrumentos mais ou menos sofisticados que auxiliem a auto-avaliao, s por si ela insuficiente. sempre necessrio uma viso descomprometida e ela s possvel para quem esteja de fora o que no quer necessariamente dizer, como veremos, fora da instituio. Isto , um projecto deve ser sempre avaliado externamente, ainda que no dispense a auto-avaliao como um dos elementos a ter em conta no processo.

Avaliao Interna e Avaliao Externa;Avaliao Formativa e Avaliao Sumativa Geralmente, considera-se que a avaliao de um projecto pode assumir quatro dimenses, combinando a avaliao interna e externa, formativa e sumativa (que so conceitos diferentes) (Figura 1). Avaliao Interna Avaliao formativa Avaliao sumativa Interna formativa Interna sumativa Avaliao Externa Externa formativa Externa sumativa

Figura 1. As dimenses de uma avaliao (Segundo Worthen & Sanders, 1987, p. 38)

S se considera avaliao interna a que conduzida pelos prprios membros de uma equipa que planeia e desenvolve um programa; do mesmo modo a avaliao externa implica avaliadores alheios equipa de concepo e implementao. Se os avaliadores so externos mas pertencem instituio responsvel pelo projecto podero considerar-se avaliadores parcialmente externos.

A Avaliao Formativa O conceito de avaliao formativa deve-se a Scriven (1967) e foi logo adoptado quase universalmente. A avaliao formativa conduzida durante o design e implementao de um projecto (ou programa, termo muito mais abrangente mas muito expandido) com a finalidade nica de prestar aos seus responsveis as informaes avaliativas relevantes, teis para tentar melhorar o mesmo programa enquanto ele decorre. essa a justificao fundamental para que a avaliao formativa seja, na maior parte das vezes, confiada a avaliadores internos. Se os avaliadores forem externos tornar-se- necessrio um trabalho de cooperao entre eles e os responsveis e executores do projecto. A experincia ensina-nos, no entanto, que no fcil esta cooperao sem uma muito clara definio de objectivos e aceitao plena do papel dos avaliadores. Estes, por sua vez, tero de sustentar um permanente autocontrolo para evitar os enviezamentos, ou seja, o demasiado envolvimento no projecto que pode diminuir a capacidade de julgamento. Mesmo formativa, a avaliao tem sempre duas vertentes: a descritiva e a de apreciao, como de h muito Stake definiu ao apresentar o seu modelo de contingncia-congruncia (1967). Se na fase de descrio o papel de um avaliador interno pode ser de grande

utilidade, porque conhece muito bem a realidade do projecto, j na fase de apreciao os seus juzos tero sempre uma margem frgil de credibilidade. Por esta razo, ser altamente conveniente que uma avaliao formativa mantenha sempre o seu estatuto de formativa externa, a fim de permanecer neutra para cumprir a sua funo de ajuda.

A Avaliao Sumativa Como o nome indica, a avaliao sumativa preocupa-se com o(s) produto(s) de um projecto. A palavra sumativa vem do ingls summative, que significa adicionada, acumulada. Deste modo, a avaliao sumativa posterior ao desenvolvimento do projecto. Tal como acontece avaliao interna, a avaliao sumativa pode ser interna ou externa. Na comunidade cientfica h o sentimento generalizado que a avaliao sumativa deve ser conduzida por avaliadores externos. Em Portugal no existe uma tradio (diria mesmo, uma cultura) de avaliao, pelo que as experincias que desde h cerca de 25 anos tm vindo a ser feitas no tm tido as consequncias que normalmente seriam esperadas. H ainda um caminho a percorrer antes de se poder considerar que a avaliao educacional tem um estatuto de maioridade cientfica. Esse caminho est no entanto a ser aberto: a necessidade, cada vez mais premente dada a nossa integrao na Unio Europeia, de promover avaliaes, fora ao aparecimento de avaliadores e portanto divulgao de prticas que comeam a ter sentido para muitos professores. O que necessrio, agora, acautelar a objectividade e o rigor dessas avaliaes para que se ganhe a credibilidade essencial em processos onde se julga a actividade humana.

PRINCPIOS GERAIS PARA A AVALIAO DE PROJECTOS

A funo do avaliador no uma funo fcil e exigente em relao ao conhecimento do processo em si. Como atrs se disse, avaliar no anda longe de investigar, pelo que as exigncias necessrias para o investigador so na prtica as mesmas para o avaliador. H, no entanto, aspectos particulares que merecem ateno. Na avaliao de qualquer projecto h cinco aspectos fundamentais que tm de ser considerados: (a) o objecto da avaliao; (b) o design da avaliao; (c) os instrumentos a serem utilizados; (d) os critrios de apreciao; e (e) a comunicao dos resultados. Abordemos brevemente cada um deles.

O Objecto da Avaliao Objecto de uma avaliao o projecto que se pretende avaliar. No se deve confundir o objecto da avaliao com os objectivos do projecto, embora a avaliao, naturalmente, os tenha de considerar. Independentemente de se pretender uma 8

avaliao formativa ou sumativa, face ao projecto Oficina de Planificao e Construo de Materiais no mbito da Matemtica3 o avaliador ter sempre de se inteirar de todo o trabalho que o fundamentou. Como surgiu a ideia? Quais os objectivos que teve em vista? Que estratgia de desenvolvimento foi delineada (ou seja, como foi planeado? que tipo de design seguiu?) Que colaboradores intervieram? Que meios foram postos disposio? Que aces parcelares foram empreendidas? Estas perguntas esto formuladas no passado: para uma avaliao formativa algumas delas devem pr-se no presente. Em sntese, o avaliador tem de ficar completamente informado sobre tudo o que est a montante do projecto, projecto esse que o objecto da avaliao. Todos esses elementos sero importantes para prosseguir o trabalho.

O Design da Avaliao Senhor das informaes bsicas, o avaliador tem agora de planear o seu trabalho. Chama-se a essa tarefa o design da avaliao. Para esta palavra inglesa as tradues propostas de desenho ou plano so possveis mas no correspondem realmente ao seu contedo. De qualquer forma, trata-se de decidir como se ir desenvolver a avaliao, e h muitos caminhos possveis, na medida em que vrios modelos tm sido propostos e testados. Genericamente pode dizer-se que h dois pontos fundamentais que condicionam todo o processo: (a) definir as chamadas perguntas de avaliao e os critrios de apreciao; (b) decidir como se vo colher, analisar e interpretar os dados.

Instrumentos a Ser Utilizados Ao decidir sobre os dois pontos referidos anteriormente, o avaliador fica com margem para definir quais os instrumentos que vai usar no seu trabalho. Existem trs tipos de instrumentos mais populares para a colheita de dados: entrevistas, questionrios e observao directa. Quando se trata de uma avaliao sumativa indispensvel ter em ateno a anlise do produto esperado, dependendo dele a necessidade de criar ou adoptar outros instrumentos. Este momento do processo de avaliao de extrema importncia, porque depende muito do rigor dos instrumentos a qualidade dos dados a obter.

Critrios de Apreciao Avaliar implica a existncia de um padro que permita comparaes. S tem sentido afirmar que um projecto teve xito se se souber, previamente, o que ter xito. Os dados colhidos tm de ser interpretados e os resultados obtidos s tero
3

Trata-se do ttulo de um projecto real, que foi financiado no mbito da 8. edio do concurso Inovar, Educando/Educar, Inovando promovido pelo IIE.

valor se forem inteligveis. Uma analogia fcil encontra-se na avaliao do rendimento dos alunos, quando se utiliza uma escala (por exemplo, a de 0-20) e se estipula que o 10 a classificao mnima para o aluno ser considerado aprovado. Neste caso, independentemente da justia da avaliao feita, claro para todos o que representa um 7, um 11 ou um 16. Isto , h indicadores4 definidos que permitem identificar um aluno que no satisfez, um que satisfez quase no limite e outro que excedeu largamente esse limite. Noutras situaes, os critrios podem no ter directamente a apoi-los indicadores to claros. Sempre que na apreciao entram aspectos predominantemente qualitativos introduz-se uma margem de subjectividade que no pode ser ignorada. Quando se prope avaliar o grau de satisfao de participantes de uma determinada aco, que indicadores pode o avaliador utilizar? Haver, certamente, diferentes opinies, mas nenhuma poder considerar-se universalmente aceite. Atente-se, todavia, que mesmo quando existem critrios explcitos e aceites no sempre fcil decidir. Para identificar qual o grau no critrio a aplicar, necessrio que tenham sido definidos indicadores que claramente revelem o que se pretende detectar.

Comunicao dos Resultados A avaliao de um projecto deve ser comunicada a todos os que nela tm interesse, a comear pelos responsveis mas sem esquecer os participantes que eventualmente esperassem ter ganhos com esse projecto. A forma mais usual de comunicao dos resultados da avaliao a escrita, atravs de um relatrio, mas pode ser mais til uma informao verbal, sobretudo se se trata de uma avaliao formativa (Patton, 1990). O relatrio , no entanto, o processo que pode conter mais informao. A grande desvantagem que para ser completo um relatrio de avaliao acaba por ser muito volumoso e de leitura lenta, difcil. Em princpio um relatrio de avaliao deve conter captulos compreendendo os seguintes tpicos: (i) Introduo, salientando o fim da avaliao, as limitaes do trabalho (que existem sempre e no devem ser escondidos): (ii) Aspecto essencial da avaliao, descrevendo o seu objecto e as questes de avaliao; (iii) Plano de avaliao, no qual se informa o leitor do design decidido para a avaliao e dos processos utilizados para colheita dos dados; (v) Apresentao dos Resultados, evidenciando a interpretao dos dados; e (vi) Concluses e recomendaes, enquadrando os resultados nos critrios estabelecidos, evidenciando os pontos fortes e fracos do projecto e fazendo recomendaes tendo em vista o futuro. A fim de evitar que o efeito do relatrio seja perdido, normal que se produza um documento abreviado, onde os dois ltimos captulos desempenhem papel fundamental. H todavia outras formas mais expeditas e eficazes de apresentar os resultados de uma avaliao. Comea a ser frequente que se organizem sesses especficas com
4

Neste contexto, entende-se por indicadores resultados aferidos (ou simplesmente deduzidos) que esclarecem, para um dado critrio estabelecido, o grau de cumprimento desse mesmo critrio.

10

esse fim, nas quais os avaliadores, usando meios audiovisuais, resumam em pouco tempo o trabalho feito e o que dele concluram, seguindo-se o esclarecimento das dvidas emergentes na audincia (que composta, naturalmente, pelos interessados). Os mais modernos meios de apresentao, como por exemplo os que utilizam programas de computador especficos, que permitem animao e o uso de grficos sofisticados, tornam a informao muito mais aliciante e eficiente.

11

III - DESENVOLVER A AVALIAO DE UM PROJECTO

Referidos e sistematizados conceitos bsicos tentar-se- concretizar o tema de forma que possa servir de guia para quem nas escolas tem de gerir projectos.

PRIMEIROS PROBLEMAS A RESOLVER

Como foi dito, qualquer projecto deve, ao ser planeado, prever a sua avaliao. No cabe obviamente aos planeadores substituir-se ao avaliador, nem estarem demasiadamente constrangidos com ajustarem o plano s possveis necessidades do avaliador. Os planeadores no tm de definir previamente que modelo de avaliao se adaptar ao projecto, mas compete-lhes equacionar trs factores essenciais: primeiro, decidir que tipo de avaliao deve ser usado; segundo, perguntar-se sob que aspectos vivel a avaliao; terceiro, reservar, no oramento previsto para o projecto, uma verba a ser aplicada no processo avaliativo.

Tipo de Avaliao A primeira deciso importante ser esclarecer o tipo de avaliao para o projecto. Seja ele qual for, poder contar com uma unidade de avaliao formativa constituir sempre uma condio muito favorvel. Apesar de tudo o que foi dito sobre o interesse em confiar a avaliao a elementos externos, preciso ter conscincia de que em muitos casos nem a dimenso do projecto justifica nem os fundos disponveis permitem que uma escola contrate um avaliador ou uma equipa de avaliao formativa externa. Uma soluo razovel seria que na instituio algum, preferencialmente no envolvido no projecto mas com formao em avaliao, capaz de o seguir desde o seu incio, assumisse o papel de avaliador. O mesmo argumento apresentado para a avaliao formativa tem de se aplicar para a avaliao sumativa: um projecto de modestas intenes pode no justificar uma avaliao que ser sempre dispendiosa; contudo, se a escola encontrou um elemento disponvel para a avaliao formativa, o mesmo elemento pode, no final do processo, encontrar algumas solues para identificar o xito ou fracasso do projecto. Evidentemente, existe um problema se a escola no dispe de ningum com formao para assumir a avaliao. Dependendo da localizao da escola, h por vezes recurso a consultores externos (nas instituies de ensino superior que tm reas dedicadas educao ou em centros de formao de associaes de escolas) que, no se envolvendo directamente no processo de avaliao, podem contudo dar conselhos teis. A actividade de consultadoria, muito expandida em pases como os Estados Unidos da Amrica, tem muito interesse e deveria ser incentivada entre ns.

12

Viabilidade da Avaliao Em princpio, um projecto deve permitir que a sua avaliao seja vivel em todas as dimenses em que ela pode ser considerada. Essas dimenses so: (i) a educativa; (ii) a tcnica; (iii) a sociopoltica; (iv) a administrativa; (v) a institucional; (vi) a financeira. Em rigor, todos estes aspectos so importantes numa avaliao, ainda que a ateno dos educadores se prenda mais na primeira. Simplesmente, um projecto em educao envolve todos os domnios acima referidos, e se o avaliador no colhe dados de todos eles pode perder elementos de valor para a compreenso do processo. Um projecto que esconda alguma dessas dimenses deve ser considerado como invivel pelo avaliador: eticamente, uma deciso justificada de no o avaliar perfeitamente compreensvel.

Oramento da Avaliao Avaliar naturalmente uma actividade que no pode deixar de ter custos. Mesmo que seja decidido levar a efeito uma avaliao interna, evitando assim custos de remunerao do trabalho do(s) avaliador(es) externos(s), o oramento do projecto dever contar com verbas para esse fim. A avaliao implicar sempre algumas despesas directas de carcter administrativo (ditas correntes) e outras indirectas (que so normalmente incorporadas no oramento geral da instituio mas nem por isso deixam de existir). A percentagem do oramento total a ser afectada avaliao depende, como bvio, do que com ela se pretende; no entanto, o gestor do projecto andar avisado se no baixar esse valor dos 10%. No pertence ao planeador decidir mais do que a verba total a afectar: a sua repartio pertence a quem avaliar.

O PAPEL DO AVALIADOR

Consideremos um avaliador (ou uma equipa de avaliao). Como na maior parte dos mais variados aspectos profissionais, a actividade de avaliao pode exercer-se solitariamente ou em equipa. Em princpio, um projecto de pequena dimenso pode ser assumido por um s avaliador; se o projecto tiver maior complexidade, ser mais conveniente contar com uma equipa ou, pelo menos, com o trabalho de colaboradores em momentos importantes do processo.

A Profisso de Avaliador S h relativamente pouco tempo ser avaliador se tornou uma profisso, e em muitos pases (Portugal includo) poucos sero os que se dedicam exclusivamente avaliao educacional. Na maior parte dos casos so os acadmicos, em especial os docentes do ensino superior, que adquirindo os conhecimentos necessrios, comeam a prestar servios na rea. A situao deve mudar, porque a exigncia de introduzir a

13

avaliao como funo rotineira nas diversas actividades pedaggicas, est a revelar falta de peritos, pelo que se abrem portas para profissionais no sector passarem a ter trabalho regular. O facto de existirem j cursos de especializao e de mestrado em que a avaliao ou central ou componente de algum modo forte contribuir para o aparecimento de pessoas preparadas. No campo educativo os professores sero sempre os que mais atrados se sentiro por trabalhos de avaliao, e no h mal se conjugarem a sua funo docente com a funo de avaliador. S tem de lhes ser pedido um alto sentido de responsabilidade, porque a profisso de avaliador requer conhecimentos tcnicos precisos e um perfil pessoal no qual a iseno e a objectividade so exigncias centrais. Quando a gesto de uma escola decide que a avaliao interna dos seus projectos pode ser confiada a um seu docente, no deve perder de vista que a interveno solicitada para um especialista, pelo que deve antes de mais certificarse que o elemento escolhido tem, na verdade, os conhecimentos e a experincia necessria para dar uma resposta credvel ao que lhe pedido. Para alm de ter em conta o curriculum-vitae do escolhido, ser bom que lhe seja pedida uma proposta para a avaliao do projecto em causa.

A Proposta de Avaliao Em princpio, uma proposta de avaliao solicitada quando h um concurso (que pode ser externo ou interno instituio) e que serve como elemento para decidir a escolha; mas mesmo quando haja uma deciso prvia, pedir uma proposta um acto de sensatez para ter uma viso prvia do que vai ser feito. A escola, ao querer uma avaliao, tem direitos que no pode nem deve ignorar; ela actua como um cliente face ao avaliador, que por isso tem o dever de o considerar no projecto que idealizar para responder ao pedido. Uma proposta de avaliao um documento escrito no qual o avaliador estabelece as condies em que se dispe a cumprir o solicitado pela entidade que deseja a avaliao. Para o redigir, o avaliador tem de ter uma boa informao sobre o projecto, compreender o que est em causa, para poder gizar um plano de actuao e identificar uma srie de elementos que condicionam a sua actividade. No havendo um modelo a seguir para uma boa proposta de avaliao, dir-se- que em princpio ela deve conter as seguintes seces: (i) Fundamentao; (ii) Anlise de situao; (iii) Metodologia a seguir; (iv) Custos da avaliao. Na primeira seco deve deixar-se claro que modelo de avaliao se prope usar. Provavelmente este assunto j ter sido discutido com os interessados. Uma vez que a escolha do modelo depende, em parte, da filosofia de avaliao que se partilha, mas tambm do prprio projecto que se vai avaliar, honesto que desde um primeiro momento se clarifiquem as posies. Na segunda seco o texto deve dar a entender que se conhece o terreno em que se vai trabalhar, salientando desde j eventuais pontos crticos que podem surgir no decurso da avaliao. Na terceira seco trata-se

14

de concretizar o que a primeira apenas aflorou. Que instrumentos vai usar? Que resultados espera obter? Como os vai interpretar? Exige-se uma viso antecipadora do trabalho, o que nem sempre fcil, mas sempre til. Esta seco prefigura um design da avaliao, que mais tarde se materializar num plano o plano de gesto da avaliao. Finalmente, na quarta seco, o avaliador deve prever quanto vai custar o processo. evidente que na esmagadora maioria dos casos as escolas vo ter de fixar o montante de que podem dispor para pagar a avaliao, mas importante que o avaliador identifique os custos reais e os indique, at porque haver custos que se diluem (ou podem diluir) no oramento global da instituio, sem com isso perturbar a gesto normal desse oramento. Esto neste caso despesas de correio, telefones e produo de documentos.

A ANLISE CONTEXTUAL DE UMA AVALIAO

Como se disse atrs, no possvel a um avaliador desconhecer os princpios bsicos do projecto que vai avaliar, e para isso ele tem de colher informaes para elaborar uma proposta. Numa primeira fase, os elementos colhidos sero provavelmente esclarecedores mas no suficientemente explcitos. Isto , tero servido para elaborar a proposta mas de modo algum so bastantes para iniciar a avaliao. De facto, a informao colhida proveio, provavelmente, de uma nica fonte, a unidade de gesto da escola, patrocinadora do projecto, muitas vezes envolvida nele por completo. Os dados foram fornecidos por entrevista e, talvez, por documentos vrios. O projecto, seja ele qual for, vai no entanto envolver mais participantes, num clima que pode ou no ser familiar ao avaliador (se for docente da escola ter menos dificuldade nesta matria). Seja como for, importante que se proceda a uma cuidada anlise de situao, ou contextual, em relao ao projecto em avaliao. Qualquer projecto depende de condies internas e externas muitas vezes imprevisveis, mas a atitude do avaliador deve ser estar preparado para elas conhecendo a realidade inicial do projecto. Eis o que significa analisar contextualmente uma avaliao: ter um quadro tanto quanto possvel completo da situao em que o projecto se vai desenvolver, saber quem so os actores principais e secundrios, qual o seu papel, que estilos de aco demonstram. Numa avaliao formativa o avaliador deve comear desde muito cedo a participar em eventuais reunies sobre o projecto, observando o que nelas se passa; deve entrevistar, formal ou informalmente, elementos da equipa de projecto que lhe paream poder dar boas informaes. Assim, a pouco e pouco, ter elementos que lhe permitiro identificar o clima e as contingncias a que estar sujeito.

PERGUNTAS DE AVALIAO

O levantamento das condies do projecto (anlise contextual tratada na seco acima) produz desde logo uma srie de perguntas a que a avaliao deve dar resposta. H no entanto um risco que no deve ser corrido: que perguntas com pouca importncia mas aparentemente interessantes tomem o lugar de perguntas importantes, embora menos interessantes. 15

Lee Cronbach, um professor dos Estados Unidos da Amrica autor de trabalhos fundamentais sobre avaliao de programas sociais, sugeriu na sua obra Designing Evaluations of Educational and Social Programs (1982) um processo interessante para ajudar o avaliador. Para ele, h duas fases na pesquisa de perguntas de avaliao: a fase divergente e a fase convergente. A fase divergente consiste em anotar numa folha de papel, sem qualquer espcie de autocrtica, todas as perguntas que ocorram, sem excluir nenhuma. como se se tratasse de fazer um rol de compras no supermercado, em que pode ficar em primeiro lugar uma embalagem de sacos de lixo e em ltimo a pea de carne que se deseja para o almoo. Na fase convergente trata-se de fazer a seleco dessas perguntas e de as arrumar com uma certa lgica. Tal arrumao comear a evidenciar o que importante e o que no . Por outro lado, a tarefa de seleccionar perguntas de avaliao no exclusiva do avaliador. Nas entrevistas com os responsveis e mesmo mais tarde, no decurso da avaliao, iro certamente surgir perguntas, s quais se deve dar a devida ateno. O avaliador deve ter uma certa flexibilidade para aceitar integr-las nos seus esquemas. Isto no deve no entanto pr em causa o papel decisivo do avaliador na organizao final da lista de perguntas de avaliao. A formulao das perguntas pode ter os mais diversos formatos. Um dos mais adequados inici-las com as seguintes palavras: Em que medida. Deste modo, existe a indicao de que os critrios tero de ser discriminativos, o que no acontece em perguntas cuja resposta seja sim ou no.

DECIDIR O DESIGN DA AVALIAO

Chegado a este momento, o avaliador tem de decidir que tipo de design vai utilizar no processo de avaliao. H muitos modelos de avaliao que tm sido postos em prtica, com maior ou menor proximidade de modelos da investigao educacional. Dependendo da avaliao em causa diferente fazer uma avaliao de mbito nacional, envolvendo centenas ou milhares de pessoas, ou uma avaliao de um pequeno projecto numa escola o avaliador ter de optar. Em princpio, o prprio objecto da avaliao (e o tipo de avaliao que se requer) que condiciona a escolha do modelo e do design. No cabe neste livrinho fazer a histria dos modelos de avaliao, que pode ser conhecida num excelente artigo de Pedro Rodrigues (1992). Ser pois feita uma brevssima referncia apenas em relao queles aspectos que de algum modo interessam a quem vai ensaiar avaliar projectos. A avaliao educacional, nos seus princpios, baseou-se num modelo centrado nos objectivos. Saber se um projecto consegue alcanar os seus objectivos devia ser o fim de uma avaliao. Para isso nada melhor do que usar instrumentos de medida ditos rigorosos (como testes, por exemplo), de acordo com uma metodologia experimental (ou melhor, quase-experimental). Esta abordagem ficou conhecida por psicomtrica porque no fundo se apoiava muito no tipo de investigao levado a efeito pela psicologia laboratorial, com anlises estatsticas muito trabalhadas.

16

Data dos anos 60 o princpio de revolta contra esse modelo, predominantemente quantitativo, que se materializou nos comeos da dcada de 70 com um conflito aberto entre os avaliadores conhecidos como tradicionais e aqueles que propunham uma nova avaliao. A nova avaliao pretendia esquecer a dominncia do modelo por objectivos e da estatstica e fundamentar uma avaliao humanizada, que colocasse no centro o processo educativo, responsvel pelas mudanas complexas dos alunos, uma avaliao que iluminasse, atravs de interpretaes abrangentes da realidade, essa mesma realidade. Estes novos avaliadores no partilham todos as mesmas ideias, mas tm em comum a adopo de um novo paradigma em avaliao, a que poderemos chamar qualitativo por oposio a quantitativo, mas que, ele prprio, tem diversas abordagens. Reclamando-se de tcnicas usadas pela etnografia, valorizam o estudo avaliativo nos ambientes naturais, o avaliador como instrumento de colheita e anlise de dados, a descrio rica, profunda, da realidade que estudam, fruto de tcnicas como a observao e a entrevista, e dando mais relevo ao processo do que ao produto (Schofield & Anderson, 1984). Esta posio provocou, como j foi dito, um grande debate que animou os anos 70. Com o correr do tempo, foram-se esbatendo os antagonismos, e a querela quantitativo-qualitativo parece, se no definitivamente ultrapassada, pelo menos muito diminuda na sua virulncia. Hoje em dia os avaliadores tendem para um certo eclectismo, usando os mtodos que mais se adeqem aos seus propsitos, sem cuidar de radicalismos. A defesa dos mtodos mistos foi feita em tempo e, de um modo geral, teve acolhimento favorvel pela comunidade cientfica mais esclarecida. Como consequncia, assistimos hoje a uma maior liberdade conceptual para utilizar os designs que se mostram mais adequados caso a caso.

A INFORMAO NECESSRIA

Um processo de avaliao, independentemente do modelo que adoptou, implica a recolha, organizao, anlise e interpretao da informao. Uma pergunta de avaliao s pode ser respondida se para a construo da resposta temos informao suficiente. Como se compreende, cada pergunta implica (ou pode implicar) um tipo de informao especfico, pelo que o avaliador tem de estar atento e deve dedicar parte do seu tempo a listar que fontes de informao deve consultar. Genericamente, h trs tipos de fontes: (i) pessoas; (ii) actividades do projecto em curso; (iii) documentos existentes. O avaliador precisa, na prtica, de todas as pessoas que se encontrem envolvidas no projecto: responsveis pela sua concepo e gesto, responsveis pela implementao, eventuais colaboradores na produo de materiais, e por fim beneficirios do projecto. Deve ter-se em conta que este tipo de informao se considera indirecta. Uma excelente fonte de informao directa a observao das actividades do projecto sempre que elas o permitam. Finalmente, os documentos existentes referentes ao projecto so tambm elementos importantes de informao.

17

Como se pode proceder recolha da informao necessria? H uma grande variedade de processos, uns mais complexos e exigentes em termos de construo do que outros.

RECOLHA E TRATAMENTO DA INFORMAO

Quando se quer obter informao de uma pessoa envolvida num projecto h, tipicamente, duas hipteses: ou se entrevista (o que normalmente de regra quando se trata de elementos nicos no processo) ou se indaga, por escrito, o que se pretende saber. Neste caso, existe uma grande variedade de mtodos que podem ser usados, conforme se pretende informao factual ou outro tipo de dados, mais relacionados com atitudes.

A Entrevista A entrevista, contrariamente ao que se pode pensar, no fcil de conduzir, porque requer o conhecimento de tcnicas e um treino intensivo para dela se poderem extrair resultados. Embora a entrevista se possa definir como uma conversa entre duas pessoas, ela no realmente uma conversa como as que podemos ter despreocupadamente com colegas. Toda a entrevista intencional, visa um objectivo (ou um conjunto de objectivos). Por isso o entrevistador deve ter-se munido previamente de um guio, isto , um documento no qual estejam listados os pontos mais importantes sobre os quais se quer ouvir o entrevistado. Entrevistar algum no deve, no entanto, consistir num mero jogo de perguntas e respostas. Esse tipo de interrogatrio pobre e no produz, regra geral, uma informao interessante. Aconselha-se que o entrevistador assuma uma atitude semidirectiva (ou, se se referir entrevista, semi-estruturada), o que equivale na prtica a deixar o entrevistado com liberdade para, mais do que responder a perguntas, discorrer sobre temas em que, naturalmente, ir fornecer a informao desejada. Em princpio, a entrevista deve ser gravada, para poder ser depois transcrita. O entrevistado deve conceder autorizao para fazer a gravao; se ele no a der o entrevistador ter de tomar notas tanto quanto possvel fiis do que foi dito. A anlise do texto obtido, em todos os dados que no sejam puramente factuais, uma tarefa importante porque o que est em causa encontrar uma linha definidora do pensamento do entrevistado em relao aos pontos que referiu. Se, na mesma avaliao, se entrevistaram diversas pessoas com idntico grau de participao e/ou responsabilidade, o tratamento dos dados obtidos deve ser feito em conjunto. Para alm do interesse que possam ter individualmente, sempre interessante ver se possvel detectar aspectos comuns que esclaream linhas convergentes de pensamento ou de aco bem como aspectos contraditrios que mostrem divergncias. Em qualquer dos casos os resultados podem determinar uma investigao mais aprofundada para que possam ser explicados no contexto do projecto.

18

Produes Escritas: Dirios e Questionrios As possibilidades de solicitar dados por escrito so muitas. Paralelamente entrevista, quando se julga de interesse ter elementos de um quotidiano do projecto, uma boa soluo pedir s pessoas envolvidas que faam um dirio, em que evidentemente s interessa o que se relaciona com a evoluo do referido projecto. Se se pretende colher dados de um grupo de pessoas relativamente numeroso, o melhor meio elaborar um questionrio. Os questionrios vulgarizaram-se e a investigao que eles apoiam ressente-se, por vezes, disso. As solicitaes para responder a questionrios so muitas e geram fenmenos de rejeio. Em princpio um questionrio deve responder a uma necessidade clara de informao ou no domnio dos factos ou no domnio das atitudes e crenas de grupos envolvidos em projectos. Como acontece com a maior parte dos instrumentos usados em avaliao, a construo de um questionrio um processo delicado que supe uma aprendizagem prvia e experincia continuada. H princpios bsicos que so elementares, que dizem respeito sequncia das perguntas, ao modo como elas so feitas, e tambm ao modo como o questionrio elaborado: ele no deve ser muito longo, ou seja, no deve ter muitas questes; deve ser annimo, isto , respeitar a confidencialidade de quem responde. Um outro princpio, mais complicado, que o questionrio tem de ser validado. Validar um questionrio assegurar que ele vai fornecer os dados para que foi construdo. Uma das maneiras de assegurar esta exigncia fazer sempre uma verso piloto do questionrio e trat-la a diversos nveis. Essa verso dever ser submetida a um certo nmero de respondentes semelhantes queles a quem o questionrio se dirige e deve ser-lhes perguntado o que pensam sobre o que fizeram, em termos de inteligibilidade e at de facilidade. A mesma verso dever ser analisada por peritos, isto , investigadores com experincia na construo de questionrios que devero assinalar eventuais pontos fracos. Da conjuno das duas actividades o questionrio ser, certamente, melhorado, podendo ento ser aplicado aos indivduos a quem se destina.

Dados de Observao Observar provavelmente a actividade chave do avaliador. Enquanto ele faz perguntas ou envia questionrios a participantes de um projecto, colhe informaes, mas indirectas. Embora seja importante saber o que pensam as pessoas envolvidas no processo, corre-se sempre o risco de haver, deliberada ou mesmo inconscientemente, distores sobre a matria informada. Quando o avaliador observa, percepciona a realidade: uma situao diferente mas de uma maior riqueza imediata. Consideram-se vrios tipos de observao, consoante a situao do observador no processo e os meios que dispe para faz-lo. A mais importante distino da observao numa avaliao ser o ser participante ou no-participante. O avaliador que decide observar participativamente envolve-se na situao que observa, o que

19

pode ser til para obter alguma informao suplementar esclarecedora, mas muito perigoso na medida em que vai certamente ocasionar graves distores na percepo da realidade. O avaliador tem de manter um certo distanciamento do que avalia para evitar enviezamentos, ou seja, tomar posies por arrastamento de opinies de outros. A posio no-participante pode inicialmente ser incmoda, porque introduzir algum estranho numa situao sem assumir o seu papel de elemento dessa mesma situao, alm de poder constranger as pessoas que a vivem, tambm pode levar a alterar padres de comportamento habituais (portanto, os mais importantes para ser observados). Todavia, a experincia mostra que essa fase inicial de desconforto transitria. No devem iludir-se as dificuldades levantadas pela observao. Em primeiro lugar, a observao um acto solitrio, momentneo, e em quase todas as situaes no se capaz de abarcar a totalidade do que se observa. Observar requer portanto seleco, e enquanto a ateno se dirige a um elemento pode perder outros porventura bem mais importantes naquele momento. Por outro lado, durante a observao aconselhado que o observador seja neutro, isto , que no se apresse a interpretar o que percebe, porque ao faz-lo antes de tempo pode errar. H quem pense que utilizando meios de registo mecnicos (vdeo, udio, fotografia) o avaliador ficar liberto para corrigir erros de interpretao, reproduzindo o que observou. Nem sempre, porm, a eficcia desses registos se comprova. A imagem, mesmo animada e sonorizada, est sempre longe de corresponder realidade, e de qualquer modo apenas capta uma parte do que acontece: quem regista escolhe o que regista. O tempo que necessrio para rever o que se observou outro elemento a ter em conta: se se pensa que prtico gravar porque se pode ver e rever para tirar dvidas rapidamente compreender que est a duplicar ou triplicar o tempo de trabalho. Regra geral, a primeira observao numa avaliao de projecto tem apenas uma inteno descritiva, isto , o avaliador deve procurar registar tudo o que se passa, sem outra inteno que no seja ser o mais fiel possvel. Este tipo de actuao pode continuar por mais algum tempo at o avaliador ter adquirido os elementos que necessite para passar a uma outra fase, a elaborao de fichas5 pr-preparadas, nas quais antecipadamente se registaram aqueles eventos que se considera importante observar. Nessas fichas podero utilizar-se escalas de comprovao (isto , o observador apenas assinala se o evento aconteceu) ou escalas de apreciao (neste caso est previsto para cada evento uma classificao, quer de acordo com a sua frequncia, quer de acordo com a qualidade manifestada).

Documentos Toda a documentao relativa a um projecto de avaliao deve ser analisada e objecto de tratamento. Por documentao entende-se o conjunto de produes do projecto, sejam elas escritas ou no escritas. Relatrios, programas, actas de reunies, so exemplo de documentos escritos; vdeo ou audiocassetas de sesses, ou trabalhos executados por participantes de um projecto que vise, por exemplo, recuperar a

Tambm se lhes pode chamar grelas (do francs grille).

20

memria de artefactos regionais caractersticos, caem na categorias de documentos no escritos. Os documentos escritos podem ser objecto de um tratamento especial, a anlise de contedo. Formalmente, este mtodo visa quantificar, atravs de um sistema de categorias, o contedo de documentos. Contando as vezes que uma determinada unidade de cdigo ocorre numa categoria o texto revela as suas linhas de fora. Informalmente, a tcnica passa de quantitativa a qualitativa: o documento pode ser analisado sem levar em conta o nmero mas sim os temas que ele levanta.

O PLANO DE GESTO DA AVALIAO

O plano o instrumento bsico de uma avaliao. Na medida em que ele representa a viso antecipada do que deve acontecer momento a momento, torna-se o brao direito do avaliador. O plano no deve ser encarado como imutvel: desde o incio, o investigador tem de estar preparado para o alterar sempre que isso se tornar indispensvel (e acontece muitas vezes). Nenhum plano, por melhor que seja, implementado tal e qual. Isso no constitui fraqueza: fraqueza seria no ter um plano e vogar ao sabor da corrente. Em suma, o avaliador tem de adoptar flexibilidade em relao ao seu plano. O plano de gesto de actividades tem de ser um instrumento organizado com cuidado, e para isso nada melhor do que o apoio de alguma tcnica que tenha provado ser eficaz. Aquela que porventura mais usada a elaborao de mapas PERT, sigla que deriva do programa de carcter militar em que pela primeira vez foi apresentado, nos Estados Unidos da Amrica: Program Evaluation and Review Technique. Foi depois adaptado para uso na investigao educacional e em avaliao. Na sua verso original um processo complexo, mas pode ser simplificado, sem causar grandes problemas. Num mapa estabelece-se uma rede de actividades e acontecimentos. Cada actividade tem um acontecimento que marca o seu incio e um outro que marca o seu fim, bem como um tempo previsto para o seu desenvolvimento. Os smbolos para os acontecimentos so crculos, os smbolos para as actividades so linhas. Linhas a cheio so actividades em curso; linhas tracejadas indicam que um acontecimento deve ser completado antes que outro comece. As setas indicam a direco (Figura 2).

Figura 2. Um mapa PERT

1 Comeo do Projecto; 2 Incio da construo do questionrio; 3 Fim da construo do questionrio; 4 Reviso do questionrio (teste piloto); 5 Aplicao do teste piloto; 6 Determinao das escolas nas quais vai ser aplicado o questionrio; 7 Deciso sobre as escolas onde vai ser aplicado o questionrio; 8 Envio do questionrio para as escolas

21

Como se v, h duas actividades a correr em simultneo, convergindo num ponto. Ao planear deste modo, o avaliador tem uma percepo do tempo que necessita para levar a efeito certas tarefas e disciplina-se para que no haja hiatos entre ocorrncias diferentes que podem ter lugar ao mesmo tempo, convergindo para uma aco em que ambas tm de estar completadas. Independentemente do uso deste tipo de planificaes, ou substituindo-as por outras menos sofisticadas, o avaliador facilita a sua tarefa, estabelecendo um quadro no qual se encontrem, sequencialmente, os grandes momentos da avaliao. A ttulo informativo, sugere-se um exemplo de um plano de gesto (Figura 3).
Perguntas de Avaliao Tarefas Calendrio Incio / Fim Pessoas envolvidas Outros recursos Custos

Figura 3. Um plano de gesto da avaliao Pergunta(s) de avaliao Registam-se nesta coluna a ou as perguntas de avaliao, que vo condicionar o trabalho. Tarefas Ordenadamente, e numerando-as, devem registar-se as tarefas necessrias para tentar obter a resposta pergunta feita. Calendrio: Incio/Fim Em relao a cada tarefa, deve prever-se a data do seu incio e do fim. Como algumas tarefas exigem subtarefas (isto , trabalhos necessrios mas que no constituem a prpria tarefa) nestes casos aconselhvel uma anlise mais detalhada. O PERT , ento, de muita utilidade. Pessoas envolvidas Em alguns casos o avaliador no pode trabalhar sozinho, e tem de prever quando necessita de ajuda e quem o pode ajudar. Por exemplo, no caso de serem aplicados questionrios, a codificao dos mesmos para anlise um trabalho moroso e que pode ser entregue a colaboradores pouco conhecedores das tcnicas de avaliao. Outros recursos Para alm de pessoas o avaliador pode necessitar para o bom desempenho das tarefas de outros recursos, e tem de o prever em tempo (por exemplo, gravadores para as entrevistas). Custos Todo o trabalho tem custos efectivos, reais ou ocultos. Como se viu, a proposta deve ter j em ateno o oramento, e vale a pena contabilizar tudo, para que haja conscincia do valor real de uma avaliao. Se uma escola utiliza o trabalho de um professor, as horas que ele dedica avaliao devem constar como um custo real. Um conselho avisado que os avaliadores experimentem vrios formatos at encontrarem um com o qual se sintam confortveis: um plano de gesto deve ser como um fato, ficar medida, nem demasiado folgado nem demasiado apertado. Por isso mesmo no devem ser imposto um modelo: o plano deve ser talhado de acordo com o utilizador.

22

O ORAMENTO DA AVALIAO

Embora na generalidade dos casos o problema dos oramentos em projectos de ndole escolar no seja muito complexo, porque as limitaes de ordem financeira so muito grandes, pensa-se que no se deve omitir este aspecto de um processo normal de avaliao. A primeira pergunta sobre este tema ser, naturalmente, Quais so as grandes rubricas a considerar num projecto de oramento para uma avaliao? Em primeiro lugar, os salrios dos prprios avaliadores. Como se disse, os profissionais da avaliao (em educao como noutros sectores), vo comear a aparecer por necessidade dos sistemas, e vo cobrar salrios, que tero um valor varivel em funo da sua preparao e credibilidade. Sero, em qualquer caso, salrios ao nvel dos tcnicos superiores. Em princpio so calculados em termos de homem/dia (embora por vezes tenha de considerar-se o custo em termos de homem/hora). Ainda em relao a salrios, podem considerar-se os de eventuais consultores para projectos especficos. Como j foi dito, muitas vezes, uma boa soluo para projectos de pequena dimenso que disponham de elementos nas suas equipas com alguns conhecimentos de avaliao, contratar consultores, ou seja, peritos que possam orientar esses elementos no design e implementao das avaliaes. Outra rubrica importante (que pode, todavia, no existir) a do pagamento de transportes e de ajudas de custo para quem se desloque por causa do projecto. Sempre que haja uma deslocao imputvel avaliao do projecto ela deve ser paga. Entre as rubricas restantes, h a considerar a das comunicaes (correios, telefones, fax) e a das despesas correntes (consumveis: papel, fotocpias, toner, diskettes, etc.). muito menos frequente que por causa da avaliao de um projecto exista necessidade de aquisio de bens considerados despesas de capital, ou seja, aquelas que respeitam a bens duradouros, como maquinaria. Se no entanto existirem, essas aquisies devem constar numa rubrica separada.

CRITRIOS E INDICADORES

O problema dos critrios sem dvida um dos mais complexos que se pem ao avaliador. Numa primeira abordagem, no se pode considerar difcil o estabelecimento de critrios para uma avaliao: regra geral, os objectivos de um projecto e o senso comum ajudam a defini-los. Por exemplo, se um projecto pretende aumentar o grau de participao dos alunos em actividades de carcter social, o critrio correspondente ser verificao de um aumento (significativo) da participao dos alunos em actividades de carcter social. Neste caso, ressaltam duas questes: (i) como se identifica um aumento (significativo); (ii) o que deve entender-se por actividades de carcter social.O avaliador tem portanto de tomar decises que, se no estiverem ancoradas em estudos slidos publicados, podem ser alvo de crticas. no entanto sempre possvel procurar construir indicadores que ajudem a construir o quadro de referncias pelo qual se far a leitura dos dados obtidos. Apenas se reclama, para tal, que o avaliador tenha 23

prudncia nas suas decises. Reportando-nos ao exemplo dado anteriormente, e na falta de indicadores para definir o aumento significativo, o avaliador pode considerar que num contexto social com uma histria de isolamento e falta de cooperao, conseguir que 10% dos alunos se envolvam em actividades sociais um bom resultado; o mesmo resultado, numa sociedade aberta, com tradies de colaborao e realizaes sociais importantes, pode ser considerado negligencivel. Num caso o projecto teria tido bons resultados, no outro os resultados teriam sido francamente maus.

COMUNICAO DOS RESULTADOS

Numa avaliao formativa a comunicao dos resultados deve ser feita de uma maneiras expedita, praticamente em dilogo com a equipa de projecto: s assim ela cumprir o seu objectivo. Evidentemente no bastar dialogar mas fundamentar, pela interpretao dos dados colhidos, os conselhos que se esto a dar. Numa avaliao sumativa, a maneira mais comum de comunicar resultados atravs de relatrios, nos quais, para alm de um texto explicativo, se usa colocar um certo nmero de quadros e grficos que ajudem a leitura. Embora a mais comum, deve dizer-se que no a mais eficaz. Numa situao de projectos desenvolvidos por uma escola o mtodo mais aconselhvel ser a apresentao oral (e visual) dos resultados, com esclarecimento e mesmo debate no final. Sem querer estabelecer uma regra geral, uma avaliao sumativa, mesmo favorvel, no acolhida sem uma certa reserva, e se no forem claramente definidas as razes do que afirma, o clima da escola pode ser afectado. Ora no para ter tal resultado que se fazem avaliaes! O simples facto de o avaliador se dispor a trocar impresses sobre o seu trabalho no s muito positivo para os avaliados como para o prprio avaliador, que pode de algum modo testar a sua capacidade profissional no dilogo com os interessados pelo seu trabalho.

CONCLUSO

Considerar a avaliao uma funo de rotina, desejada mais do que temida, o caminho certo para o desenvolvimento de uma actividade que j deixou de ser espordica para se tornar regular. Uma das pretenses deste trabalho foi chamar a ateno para o facto de a avaliao no ser linearmente fcil nem acessvel sem algum estudo e investimento preliminar. Por isso, se este livro pode ser aproveitado por gestores e avaliadores, actuais e potenciais, como iniciao e sistematizao de procedimentos considerados indispensveis para iniciar e desenvolver uma avaliao, no obviamente suficiente para quem queira no terreno concretizar avaliaes.

24

REFERNCIAS
Castro, L. B. e Ricardo, M. M. C. (1992). Gerir o trabalho de projecto: Um manual para professores e formadores. Lisboa: Texto Editora. Corteso, L., Malpique, M., Torres, M. A. e Lima, M. J. (1977). Projecto projctil. Raz e Utopia, 9/10, 196-199. Cronbach, L. J. (1982). Designing Evaluations of Educational and Social Programs. San Francisco, CA: Jossey-Bass. Estrela, A. e Nvoa, A. (Orgs.) (1992). Avaliaes em educao: Novas perspectivas. Lisboa: Educa. Patton, M. Q. (1990). Qualitative evaluation and research methods (2? ed.). Newbury Park, CA: Sage. Rodrigues, P. (1992). A avaliao curricular. In A. Estrela & A. Nvoa (Orgs.), Avaliaes em educao: Novas perspectivas (pp. 15-72). Lisboa: Educa. Schofield. J. W. e Anderson, K. M. (1984). Combining quantitative and qualitative methods in research on ethnic identity and intergroup relations. Comunicao apresentada na Society for Research on Child Development Study Group on Ethnic Socialization. Los Angeles. Scriven, M. (1967). The methodology of evaluation. In R. Tyler, R. Gagn & M. Scriven (Eds.), Perspectives on curriculum evaluation (pp. 39-83). American Educational Research Association Monograph Series on Evaluation, n.o 1. Chicago, IL: Rand McNally. Scriven, M. (1991). Evaluation Thesaurus (4th ed.). Newbury Park, CA: Sage. Stake, R. E. (1967). The countenance of educational evaluation. Teachers College Record, 68, 523-540. Tyler, R., Gagn, R. e Scriven, M. (Eds.) (1967). Perspectives on curriculum evaluation. American Educational Research Association Monograph Series on Evaluation, n.o 1. Chicago, IL: Rand McNally. Worthen B. R. e Sanders, J. R. (1987). Educational evaluation. Alternative approaches and practical guidelines. New York: Longman. Worthen B. R. e Sanders, J. R. (1991). The changing face of educational evaluation. Theory into Practice, 30 (1), 3-12.

25

SUGESTO DE LEITURAS
Como deve ter ficado claro pela leitura do texto base, no abundante a literatura em lngua portuguesa propcia a uma introduo avaliao de projectos. Contudo, tm sido publicados trabalhos, traduzidos e originais, que podem ser teis a quem queira ter uma viso global dos problemas que a avaliao levanta. Esto neste caso os seguintes: [Estrela, A., & Nvoa, A. (Orgs.) (1992). Avaliaes em educao: Novas perspectivas. Lisboa: Educa] Trata-se de uma colectnea de sete artigos dos quais so relevantes: o j referido no corpo do texto de Pedro Rodrigues (A avaliao curricular, pp. 15-72), que no tendo como objectivo a avaliao de projectos no sentido em que o tema foi aqui desenvolvido sintetiza de maneira muito clara os pontos chave da teoria e prtica da avaliao nos nossos dias; e o artigo de Carlos Castro-Almeida, Guy Le Boterf e Antnio Nvoa, A avaliao participativa no decurso dos projectos: Reflexes a partir de uma experincia de terreno (Projecto JADE) (pp. 105-123), que relatam brevemente uma experincia de avaliao formativa (a que os Autores chamaram um sistema participativo de avaliao-regulao). [Estrela. A., & Rodrigues, P. (Coord.) (1995). Para uma fundamentao da avaliao em educao. Lisboa: Edies Colibri (Coleco Pedagogia e Educao)] O livro tambm uma colectnea de sete artigos, dos quais saliento os dois ltimos. Fernando Sabirn Sierra escreveu sobre Referentes epistemolgicos na avaliao etnogrfica de centros docentes (pp. 75-92), desenvolvendo algumas ideias que importa conhecer sobre o que se tem chamado avaliao etnogrfica; Pedro Rodrigues continuou, no artigo As trs lgicas da avaliao de dispositivos educativos (pp. 93-120) a fundamentar aspectos tericos e de prticas avaliativas, apresentando uma srie de quadros-resumo que merecem ser tidos em considerao.

A propsito dos projectos educativos de escola que so legtimos projectos a ser avaliados existem algumas referncias interessantes; alguns destes livros tm referncias avaliao como componente do projecto. Referem-se os seguintes: Alves, C. P. V. e Jaime, M. do C. (1995). Como avaliar o trabalho de projecto: Uma proposta de projecto em histria, 11? ano. Lisboa: Associao de Professores de Histria. Alves, J. M. (1995). Organizao, gesto e projecto educativo das escolas. Porto: Edies ASA (Cadernos Correio Pedaggico, n? 5, 3? edio) Canrio, R. (1992). Inovao e projecto educativo de escola. Lisboa: Educa. Carvalho, A. e Diogo, F. (1994). Projecto educativo. Porto: Afrontamento. Curado, A. P. (1995). A construo do projecto educativo de escola: Estudo de caso numa escola secundria Lisboa: Instituto de Inovao Educacional.

26

Macedo, B. S. F. F. (1995). A construo do projecto educativo de escola: Processos de definio da lgica de funcionamento da escola. Lisboa: Instituto de Inovao Educacional.

tambm de leitura aconselhvel o livro de Carla Cibele Figueiredo e Eunice Gis A avaliao da escola como estratgia de desenvolvimento da organizao escolar (1995). Lisboa: Instituto de Inovao Educacional. Embora o seu objectivo seja outro h informaes nele contidas que so transponveis para a avaliao de projectos. Em 1990 a revista Inovao dedicou o nmero III(4) a problemas de avaliao. Artigos com interesse: Fernandes, D. e Branco, I. Conceitos bsicos em avaliao de programas educativos (pp. 9-13)]. Em poucas pginas, um resumo claro sobre os principais conceitos e tipos de avaliao. Almeida, L. Avaliao de projectos e programas educacionais: Breve descrio de consideraes e aspectos metodolgicos (pp. 14-31). Ainda que de forma sucinta, o artigo aborda questes importantes, nomeadamente a propsito dos instrumentos a ser usados numa avaliao e sobre a anlise estatstica apropriada aos resultados obtidos. Santos, M. E. B. Rua Ssamo!: um programa educativo. Avaliao sumativa (pp. 47-64) Um bom exemplo de uma avaliao que, escala portuguesa, replica uma das mais controversas avaliaes que se realizaram nos Estados Unidos no final dos anos 60: a do programa de televiso Sesame Street. O leitor deve no entanto entender que as dimenses da investigao foram as possveis no contexto, no as ideais para uma avaliao como a importncia do programa imporia. Leal, L. C. e Abrantes, P. Avaliao da aprendizagem/avaliao na aprendizagem (pp. 65-75). De uma maneira simples os autores referem como planearam e executaram, no mbito de um projecto, a avaliao dos alunos em Matemtica e, ao mesmo tempo, como avaliaram o prprio projecto. Clmaco, M. do C. A avaliao e a renovao das escolas: Indicadores de desempenho (pp. 109-116). um artigo curto mas importante pelo assunto que foca, crucial na avaliao: o problema dos indicadores.

Um outro artigo sob o mesmo tema com interesse tambm de Maria do Carmo Clmaco, publicado em 1991 na revista Inovao, IV (2-3) (pp. 87-123): Os indicadores de desempenho na gesto e avaliao da qualidade educativa. Finalmente, referirei um relatrio de avaliao de um projecto que est publicado e pode constituir uma pista para a organizao de avaliaes locais6.

As primeiras avaliaes de projectos, de grande e pequena envergadura, comearam em Portugal nos anos 70, e foram realizadas no mbito dos servios do Ministrio da Educao. Assim aconteceu com

27

Santos, M. E. B. (1994). Avaliao da Escola Superior de Educao pela Arte. Lisboa: Instituto de Inovao Educacional]. Relatrio de uma avaliao feita nos anos 80 mas s agora publicada. Leitura fcil, metodologia clara: o leitor poder ganhar uma viso muito til de como conduzir uma avaliao e produzir um relatrio para toda a gente.

os 3 e 4 anos experimentais (ainda no tempo do Ministrio Veiga Simo), com o ensino secundrio unificado, entre 1976 e 1978 (estudo feito no ento Gabiente de Estudos e Planeamento com o apoio da Swedish International Development Authority-SIDA), com a Telescola (num projecto conduzido pela OCDE e mais tarde continuado pelo ento Instituto de Tecnologia Educativa, no comeo dos anos 80). Nos anos 80 houve um outro projecto de avaliao de grande interesse, conduzido ainda no mbito do GEP, sobre a profissionalizao em exerccio. Os relatrios produzidos foram no entanto redigidos numa linguagem demasiadamente tcnica e por vezes so difceis de encontrar, pelo que se decidiu indicar apenas aquele que, por ser de edio recente e acessvel na sua leitura, cumprir melhor a funo orientadora que se requer.

28

SUGESTES PARA PROGREDIR COMO AVALIADOR

A no ser que o leitor se sinta perfeitamente seguro quanto ao domnio das tcnicas, a primeira abordagem para um estudo de avaliao deve fazer-se partindo de um projecto de pequena dimenso. No trabalhe isolado: forme uma pequena equipa, com colegas que queiram aprender. Se possvel, encontre apoios slidos no exterior: em instituies de ensino superior do pas existem investigadores que podem aconselhar, como consultores, os que se iniciam na avaliao. Seja modesto, inicialmente: costuma dizer-se que o ptimo inimigo do bom, o que significa que vale mais tentar fazer bem feito, e consegui-lo, do que tentar fazer excelente e falhar. No esquea os pontos principais para que possa avaliar um projecto: faa uma anlise de situao precisa; adquira a certeza de quais os objectivos do projecto; saiba onde pode ir colher os dados que necessita; decida-se por um modelo de avaliao, que no necessariamente a cpia de um modelo mas aquele que, para a situao do projecto em causa, mais apropriado; esboce o design da sua avaliao; escolha e construa os instrumentos necessrios; avance para o trabalho de campo; interprete os resultados obtidos; divulgue os resultados da forma que est prevista.

Ao trabalho, pois: com a conscincia das dificuldades mas, tambm, com a conscincia de que s se pode progredir em qualquer campo atravs da prtica.

29