Planeamento e Avaliao de Projectos

Guio prtico

Ficha Tcnica

Ttulo
Planeamento e Avaliao de Projectos - Guio prtico

Editor
Direco-Geral de Inovao e de Desenvolvimento Curricular Director-Geral Lus Capucha

Autor
Lus Manuel Antunes Capucha Colaborao de Jorge Pinto Teresa Evaristo

Design
Manuela Loureno

ISBN
978-972-742-285-2

Depsito Legal
273870/08

N Exempl.
1 Edio 5000

Impresso
Selenova, Lda.

Data
Abril de 2008

INDCE

Introduo

7 13 17 17 22 22 26 28 31 42 45 51 53 55 59

1 Algumas noes sobre planeamento e avaliao 2 Etapas do planeamento e respectivos critrios de avaliao 2.1 Diagnstico de partida 2.2 O desenho do projecto
2.2.1 Orientaes Gerais/Finalidades

2.2.2 Recursos 2.2.3 Oramento 2.2.4 Planos de Aco e sua organizao 2.3 Animao e Execuo do projecto
3 Avaliao

4 Notas Finais 5 Uma breve listagem de aferio de procedimentos

6 Pequeno Glossrio Referncias

NOTA de ABERTURA

Em Portugal, existe uma velha tradio de individualismo no exerccio de muitas profisses que se prende com as circunstncias em que essas profisses tm vindo a ser desempenhadas ao longo do tempo. Essa cultura do individualismo revela-se sempre que cada profissional exerce as suas funes na confidencialidade de um determinado espao fsico, a que o outro no tem acesso e onde se criam e geram medidas para um determinado nmero de indivduos abstractos.

Nas sociedades modernas, democrticas, a existncia de um propsito comum, o sentido de comunidade e a participao colaborativa dos profissionais so alguns dos indicadores de qualidade das organizaes, onde todos, em conjunto, podem aprender e cooperar. Nesta ptica, tem-se generalizado e acentuado a tendncia para organizar e desenvolver o trabalho em equipas multidisciplinares que tentam rentabilizar as diversas valncias, as diversas perspectivas e os diversos recursos na resoluo dos problemas existentes e na obteno dos melhores resultados.

A escola, ao assumir-se como organizao participada, funciona cada vez mais numa lgica de projecto. As diferentes actividades que so hoje pedidas maioria dos profissionais, de forma a responderem s necessidades reais da comunidade educativa, exigem um conjunto de competncias directamente relacionadas com o desenvolvimento de projectos em diversas reas. Para o efeito, a escola deve mobilizar os conhecimentos dos seus profissionais, aproveitando a diversificao da formao inicial dos professores, de modo a proporcionar a partilha de saberes e competncias para poder, a partir da, proceder elaborao de um planeamento mais consentneo com aquilo de que a organizao-escola precisa.

As mudanas implicam, muitas vezes, a necessidade de um processo de aprendizagem. As mudanas em curso na educao implicam uma aprendizagem sobre as novas formas de perceber a escola, sobre os contributos dos diferentes

parceiros e o desencadear de mecanismos de aco necessrios a um ensino com qualidade.

Este guio prtico Planeamento e Avaliao de Projectos, de Lus Antunes Capucha, editado pelo Ministrio da Educao - Direco-Geral de Inovao e de Desenvolvimento Curricular, pretende apoiar os profissionais de ensino nos procedimentos relativos ao planeamento e avaliao dos projectos nas escolas.

A implementao de um novo Regime Jurdico de Autonomia, Administrao e Gesto dos Estabelecimentos de Ensino, atribuindo uma maior autonomia e responsabilizao s escolas que se vem, assim, confrontadas com a necessidade de proceder a negociaes entre diferentes parceiros e a ter de recorrer a metodologias de avaliao como instrumento de apoio s decises, acrescenta, a este guio, relevncia, pertinncia e utilidade.

A obra em apreo, ao abordar a temtica do planeamento e da avaliao de projectos, permite a monitorizao do desenvolvimento do projecto e dos resultados obtidos, constituindo-se como um possvel itinerrio permitindo que o que se planeia, se desenvolva e concretize.

Por ltimo, gostaria de referir que se no houver avaliao, no pode haver projectos. S avaliando possvel conhecer os pontos crticos e de progresso; s avaliando se pode encontrar forma de intervir com vista a desencadear uma mudana sustentada, a obter melhores resultados e o sucesso das escolas.

O Secretrio de Estado da Educao Valter Lemos

INTRODUO

Cada vez mais as organizaes privilegiam na sua aco, por deciso prpria ou presso externa, o funcionamento a partir de uma lgica de projecto, em detrimento das rotinas e dos procedimentos auto-justificados de carcter mais ou menos ritual e burocrtico. A ordem do procedimento burocrtico no requer seno a memria/conhecimento dos circuitos e dos gestos normalizados para cada situao. Pelo contrrio, o desenvolvimento de projectos exige o planeamento e a avaliao, instrumentos indispensveis para qualificar as actividades, para facilitar a prossecuo dos objectivos visados, para dar a conhecer o nvel de consecuo de tais objectivos e para ajuizar sobre os factores intervenientes nesses projectos e nos seus resultados. Para alm de introduzirem eficcia e sentido na aco, as metodologias de trabalho em projecto, e em particular o estabelecimento de planos, o processo de planeamento e a avaliao, favorecem a democratizao dos processos, a circulao da informao e do conhecimento sobre os mecanismos da mudana e a transparncia acerca dos interesses envolvidos. Por isso podem interferir positivamente na mobilizao de recursos, na gerao de vontades e no envolvimento dos actores. Actuar de forma planeada e avaliar essa actuao constituem, pois, ferramentas de modernizao das organizaes que vo sendo adoptadas aos diversos nveis institucionais, do mais global ao mais local. Actuar na lgica de projecto consiste, resumidamente, em operar com base na mobilizao de conhecimento para identificar as aces necessrias projeco estruturada e organizada de uma mudana face a uma situao diagnosticada que se pretende alterar dentro de um prazo definido e mobilizando um conjunto determinado de recursos. A passagem da primeira imagem da situao para uma segunda mais desejvel implica conceber como ocorrer essa mudana. Planear pensar sobre o modo como se opera a mudana. O planeamento o processo ou, dito de outro modo, o conjunto articulado de procedimentos que conduzem ao estabelecimento do plano de aco. Quase sempre esse conjunto de procedimentos, e em particular o envolvimento dos agentes pertinentes, to importante como o prprio plano que o seu resultado. O plano, para alm de definir os contornos do que se pretende que seja essa nova situao, antecipando-a conceptualmente, estabelece como deve ocorrer a transio desde o ponto de

onde se parte at quele onde se quer chegar. Assinala os passos crticos dessa transio, identifica os meios e recursos de diversa natureza necessrios para que a transformao se produza, incluindo os agentes responsveis pela consecuo das aces que a concretizam. Estabelece prioridades e define as aces a desenvolver e o seu encadeamento no tempo. Assim, o trabalho dito de planeamento no se faz de uma s vez, desenrola-se normalmente em vrias etapas. Contudo, estas etapas tm de ser coerentes entre si e exequveis. Sabemos que a dinmica da aco gera muitas vezes desvios inesperados e insuspeitos. assim necessrio pensarmos tambm num dispositivo de avaliao que nos ajude a identificar, compreender e intervir bem sobre esses desvios e perceber (quem age e os outros) se conseguimos ou no a mudana desejada. A avaliao consiste, resumidamente, no processo sistemtico de pesquisa, questionamento e reflexo atravs do qual as pessoas e as instituies envolvidas ou interessadas no projecto pensam criticamente sobre os objectivos planeados (incluindo sobre as teorias implcitas e explcitas que lhes subjazem), aprendem com o que esto a fazer e apreciam quer a qualidade da interveno, quer os resultados produzidos. Atravs do quadro que se segue procuramos clarificar as diferenas entre projecto, plano ou planeamento e avaliao que so os conceitos centrais deste texto. Apesar do reconhecimento das vantagens da metodologia de trabalho em projecto existe um hiato entre tal reconhecimento e o domnio dessas metodologias por parte dos profissionais envolvidos no respectivo desenvolvimento. As consideraes que se seguem visam, por isso, fornecer um guio prtico para o planeamento e a avaliao de projectos nas escolas1. A escola, cada escola, uma instituio com cultura prpria, onde se movimentam pessoas com conhecimentos e competncias que importa mobilizar para poder responder ao ambiente complexo no qual se situa e que lhe impe respostas diferenciadas, funcionamento em rede e flexibilidade. Para isso necessita de boa gesto, nomeadamente de gesto orientada para a metodologia de projecto.

Com as necessrias adaptaes, as consideraes aqui sistematizadas e os procedimentos metodolgicos propostos podem ser utilizados em diversos outros campos, como o desenvolvimento comunitrio, a economia social, a reabilitao urbana, a preveno de consumos de substncias psico-activas, entre muitos outros.

Projecto
Imagem que somos capazes de formar de uma situao e de uma mudana que poderemos vir a atingir
Imagem estruturada

Intencionalidade

Avaliao

Construo de um plano Imagem transformada

Identificar os fins a atingir/definir os objectivos Definir os meios e os recursos Identificar o sistema de actores implicados

Quer por iniciativa prpria, quer no quadro da resposta especfica a programas e polticas lanadas ou assumidas pelo Ministrio da Educao, as escolas vem-se cada vez mais confrontadas com a necessidade de desenvolver projectos em reas to diversas como, para citar apenas alguns exemplos, a diversificao de ofertas que compem o projecto educativo, as estratgias pedaggicas utilizadas no ensino das diversas disciplinas (por exemplo, o Plano de Aco para a Matemtica) e das reas no disciplinares, a reorganizao das estruturas internas e dos modos de articulao com o meio, os Territrios Educativos de Interveno Prioritria, as Actividades de Enriquecimento Curricular, a formao de docentes e outros profissionais, a utilizao das Tecnologias de Informao e Comunicao nos processos de ensino/aprendizagem, a promoo da leitura, a educao para o empreendorismo, a educao especial, o desporto escolar, a educao para a sade ou o combate ao insucesso e abandono escolares.

Quais os procedimentos a seguir no planeamento e avaliao destes e outros projectos? No h receitas nicas e acabadas, mas h referenciais cujo domnio pode ser til na prtica. O presente guio visa, precisamente, apresentar sugestes que possam servir como auxiliares na negociao, desenho, execuo e avaliao de projectos nas escolas. No primeiro captulo, designado Noes sobre o Planeamento e a Avaliao, discute-se o sentido do Planeamento e suas dinmicas de aco, apresentam-se os principais aspectos constituintes desse processo destacando os que respeitam negociao entre os diferentes agentes envolvidos e apresentam-se as metodologias de avaliao, um instrumento que apoia as decises de planeamento. No segundo captulo, Etapas do Planeamento e Respectivos Critrios de Avaliao, discute-se mais concretamente as relaes entre as dinmicas da construo de um projecto e a sua execuo. So abordados os seguintes aspectos:

a importncia do diagnstico e os requisitos a ter em conta na respectiva elaborao; critrios a usar para perceber a validade e o rigor de um diagnstico; o procedimentos para a construo de um projecto; os modos de identificao das orientaes e/ou das finalidades de um projecto e respectivos requisitos, incluindo a explicitao da importncia da sua coerncia (interna e externa) a sinalizao e mobilizao de recursos, obedecendo a uma viso alargada sobre as disponibilidades bem como sobre os aspectos que permitem avaliar a adequao desses recursos s necessidades do projecto; o modo de desenhar e construir projectos e a sua organizao. Destaca-se aqui uma chamada de ateno para alguns aspectos centrais nesta etapa do planeamento, a saber, a constituio das equipas e a sua organizao, a distribuio de funes e a atribuio de responsabilidades, as formas de divulgao do projecto, a montagem das condies para a sua exequibilidade, a necessidade de se definir de forma clara e esclarecida os objectivos, as aces a desenvolver e os pblicos alvo, a importncia de se conhecer de forma clara a coerncia entre os objectivos, a aces (e a metodologias de trabalho, bem como as relaes que uma iniciativa pode estabelecer com outras que ocorrem em simultneo no mesmo contexto.

10

o vocabulrio do planeamento e da avaliao e as diferentes terminologias existentes; a importncia e a necessidade de haver uma calendarizao (cronograma) do projecto; as formas de promoo da animao e execuo do projecto. Neste ponto chama-se a ateno para a importncia dos actores na implementao de um projecto ao nvel da potencializao de sinergias e da compreenso e envolvimento dos diversos intervenientes do projecto. Chama-se ainda a ateno para os critrios de anlise da execuo das aces.

No terceiro captulo, dedicado Avaliao, abordam-se algumas perspectivas sobre as respectivas metodologias, nomeadamente no que diz respeito s suas modalidades, chamando a ateno para a importncia da avaliao na concepo do projecto, a importncia da avaliao como um instrumento ao servio do planeamento, a importncia da avaliao como um recurso indispensvel a uma boa concretizao do projecto e, ainda, a importncia da definio de indicadores vlidos e (con)fiveis que permitam perceber o desenrolar do projecto e os resultados obtidos durante e aps a sua realizao. No captulo 4, Notas Finais, apresenta-se um conjunto de consideraes sobre a importncia do trabalho do projecto e um breve guia de apoio construo e elaborao de um projecto. O livro inclui ainda um pequeno glossrio. Espera-se que este pequeno livro possa constituir uma ferramenta til para o trabalho nas escolas, para a qualidade do ensino e principalmente para o sucesso escolar, isto , o sucesso das escolas, dos profissionais que nelas trabalham e dos alunos que nelas estudam e aprendem.

11

12

ALGUMAS NOES SOBRE PLANEAMENTO E AVALIAO

De modo genrico, podemos dizer que o planeamento, enquanto elemento do processo de tomada de deciso no quadro do desenvolvimento de um projecto, se contrape tanto lgica da rotina e da repetio ritualista de procedimentos, como lgica casustica das decises avulso ao sabor dos impulsos e dos acontecimentos. Planear consiste em projectar uma mudana, antecipar conceptualmente uma realidade desejvel, prever as etapas necessrias de transformao dessa realidade e os caminhos a percorrer pelos agentes, identificar os factores que afectam o processo e os modos como se pode intervir sobre eles, escolher as aces correspondentes e mobilizar os meios necessrios para que a mudana desejada ocorra de facto no sentido projectado. Deste modo, o planeamento trabalha sobre as mesmas matrias que a aco rotineira e casustica. Distingue-se desta porque introduz sentido e rigor na organizao do pensamento e no processo de tomada de deciso sobre as iniciativas a desenvolver e a prossecuo da aco. Planear , antes de mais, pensar a mudana de uma determinada maneira. Trata-se desde logo de a pensar antes de ela acontecer, no apenas no sentido cognitivo da anlise prospectiva, mas tambm no sentido prtico da interveno. Isto , diz respeito no apenas mobilizao de conhecimento (tcnico e cientfico) para prever o que vai mudar, mas tambm definio de como deve mudar. Trata-se, depois, de introduzir um vector direccional no fio condutor do pensamento. Esse vector leva a que as decises de mudana e as ideias que lhes do corpo se organizem a partir do geral para o particular, ou seja, das orientaes e objectivos gerais para as aces especficas, e do abstracto para o concreto, isto , das ideias para a realidade concreta, em nveis sucessivos de concretizao prtica dessas ideias. A figura seguinte representa esse vector.
Figura 1. Etapas do processo de planeamento e sua organizao vectorial
Diagnstico Finalidades e Orientaes Objectivos e Metas

Recursos

Planos de Aco

Realizao das Actividades

Promoo/Controlo da Execuo

Gesto

13

Assinale-se que o esquema apenas uma representao grfica de um processo (e no tanto um produto) flexvel, desejavelmente aberto, participado e debatido entre todos os agentes envolvidos ou a envolver. Fica claro, portanto, que sendo uma maneira de pensar, tudo o que se diga a respeito dos procedimentos de planeamento, ou dos elementos que devem compor um plano, no pode ser mais do que um guio indicativo que se pode sugerir, mas nunca um receiturio rgido, que apenas pode produzir clichs e novas burocracias, impedindo a necessria adaptao a cada realidade concreta. Alm disso, importante considerar que o plano se corporiza: num documento contendo o desenho do projecto de mudana negociado e acordado entre os agentes pertinentes; no processo de negociao e de reflexo sobre a mudana, atravs do qual se promove o conhecimento e a aprendizagem colectiva sobre (i) as realidades com que se trabalha, (ii) os diversos pontos de vista dos agentes colocados em diferentes posies (e com diferentes responsabilidades) relativamente interveno; (iii) o modo como se introduz a flexibilidade necessria para que a interveno possa ir acompanhando as mudanas produzidas e corrigindo os percursos inicialmente previstos que provaram ser menos eficazes ou eficientes na promoo da mudana desejada. Este aspecto fundamental, dado que a racionalidade que o planeamento introduz reclama uma atitude crtica e reflexiva que ajude a encontrar em cada momento a deciso mais acertada e concertada. Os modos e as tcnicas cientificamente testados e hoje em dia disponveis para promover a participao nos processos de planeamento so vrios. Todos tm em comum o facto de se oporem a modelos tecnocrticos e autoritrios de organizao de actividades, os quais, para alm de pouco sustentveis, so totalmente desadequados construo de boas solues. Essas tcnicas, tambm utilizadas na avaliao, podem ser mais estruturadas com a organizao de painis de actores, focus-group ou comisses de acompanhamento; realizao de sondagens e inquritos ou menos estruturadas, como o so as consultas/entrevistas ou conversas informais com diversos actores, registos de observaes, notas de terreno, entre outras. Processos de planeamento participados incorporam, como vimos, o olhar crtico, ou, se preferirmos, reflexivo, da pluralidade dos actores. Porm, esse sentido crtico e reflexivo assume todo o seu potencial no processo de avaliao. Quando falamos em avaliao no nos referimos, naturalmente, actividade recorrente praticada de modo intuitivo por todos os

14

agentes sociais na sua vida quotidiana, no sentido de se conduzirem em funo de clculos e apreciaes que permanentemente fazem. Falamos, isso sim, de formas deliberadas e racionalizadas de colocao de questes e problemas relativos aos processos de deciso e execuo de programas, polticas, projectos e investimentos, com recurso a sistemas organizados de reflexo crtica a partir de informaes recolhidas no decurso do acompanhamento desses programas, polticas, projectos e investimentos. O objectivo ltimo consiste em permitir que as pessoas e as instituies envolvidas na concepo, planeamento, gesto e execuo julguem o seu trabalho e os resultados obtidos e aprendam com eles. Trata-se de trazer verdade resoluo de problemas (Cf. Capucha, Lus e Pedroso, Paulo (orgs.), 1996, Dizer que a avaliao aborda a concepo, o planeamento, a gesto e a execuo dos projectos significa que ela percorre todas as etapas do planeamento, mas num sentido inverso. Se o vector racional do planeamento parte dos problemas para as finalidades, depois para os objectivos gerais e destes para os operacionais e enfim para as actividades e os seus efeitos, a avaliao comea por determinar esses efeitos (dimenso da avaliao de impactes), interrogando todas as operaes que lhes deram origem. Assim, comea por verificar em que medida os efeitos produzidos, ou no produzidos, foram resultado das actividades (dimenso da avaliao da realizao). Depois, procura saber se os modelos de gesto do projecto e desenvolvimento da execuo eram os mais adequados aos resultados pretendidos (dimenso da avaliao do processo e da operacionalizao). Acaba por questionar ainda a pertinncia dos objectivos e das finalidades, bem como a sua coerncia, e a autenticidade e prioridade dos problemas detectados em sede de diagnstico (dimenso da avaliao da concepo)2. Este esquema mais completo pressupe que a avaliao mobilizada numa fase final da interveno, i.e., que se trata de uma avaliao ex-post. Contudo, o momento do ciclo de vida de um projecto em que se recorre a procedimentos de avaliao pode ser diverso. Quer isto dizer que a avaliao pode ser ex-ante se for implementada antes da execuo do projecto, o que significa que incide sobre o processo de planeamento; pode ser on going se ocorrer ao longo da execuo do projecto incidindo sobre todas as outras dimenses, desde o planeamento gesto e implementao at aos resultados, e ex-post se incidir sobretudo sobre resultados e impactes e nos aspectos que os facilitaram ou dificultaram.

Ver a Figura Anexa 1.

15

Figura 2. As dimenses da avaliao

Diagnstico

Finalidades e Orientaes

Objectivos e Metas

Recursos

Planos de Aco

Realizao das Actividades

Promoo/ Controlo da Execuo

Gesto

Concepo Operacionalizao

Impactos Realizao

Nas suas modalidades mais desenvolvidas, a avaliao um elemento central de qualquer programa, poltica ou plano de interveno, permitindo-lhe no apenas determinar os nveis de realizao dos objectivos, mas tambm aquilatar do conjunto de impactos que produz e os processos que conduziram a tais impactos. Particularmente quando realizada no decurso da prpria interveno obedecendo aos protocolos da investigao-aco -, a avaliao constitui um poderoso instrumento de apoio ao processo de deciso, tornando-o mais participado, transparente, racional e rigoroso. Numa palavra, a avaliao constitui o principal instrumento do sentido crtico necessrio implementao de projectos. Os que visam a interveno em meio escolar no so excepo.

16

ETAPAS do PLANEAMENTO e RESPECTIVOS CRITRIOS de AVALIAO

De modo geral, como esquematicamente se ilustra na figura 1, um projecto parte de um diagnstico da situao. Desse diagnstico devem resultar os dois elementos seguintes: a definio das finalidades e orientaes para a mudana e uma primeira identificao dos recursos, de modo a aquilatar da exequibilidade de tais orientaes e finalidades. Numa terceira etapa definem-se dois outros elementos, mais especficos e operacionais que os anteriores, que so os objectivos da interveno e os mecanismos de gesto do processo. Dos objectivos decorrem as aces e o seu encadeamento no tempo. Definido assim o plano propriamente dito, passa-se ao nvel mais concreto e operativo da promoo e controlo da execuo das aces e do apuramento dos resultados, quer dizer, da verificao dos efeitos de mudana efectivamente produzidos. Passaremos de seguida a abordar com um pouco mais de pormenor cada um destes elementos dos processos de planeamento.

2.1 Diagnstico de partida

Um diagnstico de qualidade a primeira condio de um bom projecto, ao permitir determinar com preciso os problemas a resolver, os recursos disponveis e os factores que sero determinantes no contexto. tambm decisivo para um bom sistema de avaliao, ao estabelecer as bases segundo as quais as realizaes e impactes podem ser avaliados3. Mas mais do que isso: um instrumento decisivo do ponto de vista da criao de condies sociais e institucionais de sucesso da interveno. O resultado do trabalho de produo de um diagnstico pode variar muito em funo do conhecimento de que previamente se dispe sobre as situaes, da complexidade dessas situaes, das dimenses seleccionadas para anlise e das tcnicas de pesquisa. Tambm as metodologias podem variar quanto abordagem (por exemplo, podem ser mais quantitativa ou mais qualitativa), aos objectos (as populaes, os actores locais, as instituies, as polticas, o passado dos processos, etc.) e aos mtodos e tcnicas utilizadas, que podem ser todas as que se usam em pesquisa social, desde os inquritos por questionrio at anlise de contedo, passando pela observao participante, pelas entrevistas, etc., ou os mais tpicos da investigao-aco (como os painis de actores e os focus-groups) escolhidas em funo de critrios cientficos e tambm do tipo de problemas e de contextos em que se trabalha, mas s

preciso conhecer com rigor a situao de partida para ser possvel avaliar os impactes do projecto, isto , as mudanas efectivamente produzidas de forma durvel.

17

vezes tambm das oportunidades e das disponibilidades existentes4. Quanto aos contedos, o diagnstico deve abranger, de uma forma to exaustiva quanto possvel: a caracterizao dos contextos (a escola e o meio envolvente); os contornos dos diversos problemas e a relao entre eles. Por exemplo, conforme os objectivos do projecto e o seu domnio de interveno, importa conhecer uma ou um conjunto (de dimenso varivel) de realidades como os hbitos de alimentao, a actividade fsica, os saberes e atitudes face sade reprodutiva, o consumo ou risco de consumo de substncias psico-activas, a presena de esprito de iniciativa e a capacidade de calcular o risco em prticas inovadoras, a colaborao entre profissionais e outros actores dentro da escola e da escola com agentes exteriores, as prticas de violncia e indisciplina, a relao do aluno com a escola e a aprendizagem, os resultados escolares dos alunos e as medidas de apoio, os fenmenos de reteno, insucesso e abandono escolares, os resultados escolares insuficientes, a capacidade de articular saberes e competncias, os percursos de transio da escola para a vida activa ou para o ensino superior, para citar apenas algumas das problemticas que mais tipicamente do origem a projectos na escola; a dimenso e a intensidade desses problemas e o nvel a que se manifestam (geral, regional, local, institucional/escolar); o processo evolutivo dos problemas, sua origem e modificaes verificadas; os agentes, incluindo as famlias, as autarquias, as empresas, as instituies pblicas e privadas, identificando a sua perspectiva dos problemas, bem como os recursos logsticos, financeiros, humanos, infraestruturais, polticos e relacionais que podem aportar ao projecto; as representaes, motivaes, projectos e interesses dos diversos agentes e o modo como encaram os problemas e/ou os projectos.

Aqui apresenta-se um modelo ideal, que muitas vezes no possvel aplicar na prtica por falta de recursos ou condies. Nesse caso, como normal, o modelo serve de referncia para as prticas que devero aproximar-se dele tanto quanto possvel.

18

Elementos de diagnstico e respectivos critrios de avaliao

Diagnstico (Problemas e Recursos)

Critrio de Avaliao

Sub-critrios

Tipo de Problema Dimenso e Intensidade Nvel (geral, regional, local, institucional) Processo (origem e evoluo) Contexto e seus recursos Actores (institucionais, associativos, comunidades, famlias, profissionais) Disposies e motivaes Qualidade Cientfica Pertinncia Participao

A produo do diagnstico obedece, por um lado, a tcnicas comuns de recolha e tratamento de informao caractersticas das cincias sociais, como o inqurito por questionrio, a entrevista, a anlise de dados estatsticos, a anlise de contedo, ou a observao. Por outro lado, as metodologias de investigao-aco desenvolveram tcnicas de participao dos agentes na produo de diagnsticos que nos fornecem elementos de grande importncia para uma percepo mais fina das realidades com em que se actua. Entre essas tcnicas conta-se a constituio de painis de actores, grupos de discusso focalizada (que temos vindo a designar como focus-groups) ou comisses de acompanhamento. Existindo nuances na definio de cada uma destas tcnicas, todos elas partem da reunio de representantes dos diversos grupos ou instituies com relevncia para o projecto, aos quais se podem juntar peritos externos, em nmero que assegurando a representatividade no exceda a dimenso crtica para um funcionamento eficaz. Esses grupos so confrontados ou com tarefas abrangentes de identificao de problemas e recursos, ou com temas especficos (no caso dos focus-groups), com vista a que do trabalho conjunto resulte uma determinada viso da situao de partida do projecto.

19

Uma das tcnicas mais comuns para organizar o debate e as respectivas concluses o de propor aos grupos que construam tabelas SWOT5, primeiro de forma individual e depois de forma colectiva, procurando chegar a consensos to alargados quanto possvel. Estas agrupam em quatro quadrantes diferentes as opinies que o grupo possui sobre as foras internas (primeiro quadrante), as fraquezas internas (segundo quadrante), as oportunidades oferecidas pelo contexto exterior (terceiro quadrante) e as ameaas que o exterior apresenta (quarto quadrante). A representao formal de uma tabela de anlise SWOT , geralmente, a seguinte: Dinmicas Internas
Foras (aspectos positivos no contexto, objectivos e resultados alcanados) Fraquezas (aspectos negativos, objectivos no atingidos, bloqueios e dinmicas de resistncia mudana) Oportunidades (aspectos da envolvente que podem ser aproveitados e potenciados) Ameaas (aspectos da envolvente que podem vir a dificultar a prossecuo dos objectivos)

Dinmicas Externas

Outras tcnicas utilizadas com frequncia para a caracterizao da situao de partida consistem na construo de (i) nuvens dos problemas e ameaas e nuvens das oportunidades e recursos, de (ii) rvores de problemas e ameaas e rvores de oportunidades e recursos e ainda de (iii) espinhas de problemas e ameaas e espinhas de oportunidades e recursos. No primeiro caso comea por se pedir a cada participante no painel, grupo ou comisso que identifique aqueles que para si so os principais problemas, ameaas, oportunidades e recursos (convm que se limite partida o nmero de elementos que cada um deve identificar por exemplo, 3 para cada categoria). Seguidamente, as diversas propostas so expostas e sujeitas a discusso do grupo, que deve procurar agrup-las segundo a respectiva familiaridade ou proximidade. Se for possvel ir mais longe, pode propor-se ao grupo que identifique um vector principal (ou espinha) no qual se inserem os outros elementos. Pode ainda, em certos casos, identificar-se um tronco principal estruturante dos diversos elementos presentes no contexto, com o qual se articulam as ramificaes principais (ou de primeiro nvel) e depois outras linhas mais especficas de localizao de problemas, ameaas, oportunidades e recursos (ramificaes de segundo ou terceiro nvel).

Do ingls strenghts, weaknesses, opportunities and threats.

20

A construo de espinhas ou de rvores de elementos de diagnstico implicam sempre uma hierarquizao desses elementos, tem implcita a construo de relaes causais entre os diferentes elementos identificados e tambm a atribuio de uma prioridade a cada um deles. Esta prioridade pode, porm, ser estabelecida sem recurso a essas tcnicas. Para tanto h que pedir aos participantes nos painis ou nos grupos e comisses que atribuam uma nota (numa escala pr-definida) a cada problema, recurso, ameaa ou oportunidade, estabelecendo-se a prioridade atribuda a cada um pela mdia das notas atribudas pelo conjunto dos participantes no exerccio. Estas tcnicas de diagnstico (as quais, como veremos, tambm servem para a definio de objectivos e prioridades e para a avaliao) apresentam as grandes vantagens de envolver desde o incio os agentes pertinentes e de permitir a obteno de quadrosdiagnstico muito finos e minuciosos. Mas, por outro lado, apesar da objectividade gerada pelo cruzamento de pontos de vista de pessoas colocadas em diferentes posies no contexto, no podem fugir s teorias implcitas que transportam consigo. Por outro lado, as tcnicas comuns de investigao social, tendem a ser mais rigorosas e imunes s teorias implcitas dos actores, mas so menos aptas para gerar vises partilhadas indispensveis para o desenvolvimento do projecto, para alm de que muitas vezes se tornam difceis de apreender por todas as pessoas. Uma metodologia capaz de combinar as vantagens das duas abordagens consiste em identificar, a partir dos mtodos de pesquisa mais comuns, os factores e elementos mais relevantes de caracterizao do contexto e, posteriormente, solicitar aos agentes constituintes dos painis, dos focus-groups ou das comisses de acompanhamento que os validem, agrupem, hierarquizem e, se for o caso, estabeleam nexos de causalidade linear ou mltipla entre esses factores e elementos.

Um bom diagnstico , como se disse, um elemento essencial de um bom projecto. Como podemos, ento, avaliar a qualidade de um diagnstico? Existem formas de olhar, questes tpicas ou parmetros de interrogao dos projectos, a que chamamos critrios de avaliao, mais ou menos padronizados, e que devem ser accionados logo a partir da avaliao do diagnstico. O primeiro critrio o da pertinncia. Esta refere-se s razes que justificam o projecto, quer dizer, que o tornam prioritrio em relao a qualquer outro. Essas razes devero ser evidenciadas pelo

21

que dito, o diagnstico tem qualidade. Na verdade, ao auscultar os destinatrios da interveno e ao transportar os seus anseios e interesses para o centro do debate, dando-lhes visibilidade, o diagnstico desde logo uma forma de promover a participao. Por outro lado, a elaborao de um diagnstico constitui uma oportunidade nica para promover o debate entre os parceiros de um projecto, facilitando assim a formao de consensos sobre os problemas, as prioridades, as responsabilidades e os objectivos de interveno. Um bom diagnstico , por isso, no um mero documento produzido por um autor que lhe pe o logtipo e o nome na capa, mas sim um conjunto articulado de vises partilhadas entre agentes que fazem delas elementos essenciais da sua prpria interveno individual e colectiva. O rigor cientfico do diagnstico potencia a demonstrao da pertinncia de um projecto. Porm, rigor cientfico no deve ser confundido com a mera utilizao de jargo pseudo-cientfico, mas resultar, pelo contrrio, do modo como se aprofundam as matrias e se usam os instrumentos tericos e metodolgicos para a caracterizao das comunidades envolvidas e da situao de partida. Pelo contrrio, a clareza e a transparncia do diagnstico so condies de cumprimento daquele que pode ser um dos seus principais contributos para o desenvolvimento social: impulsionar a participao e melhorar os mecanismos de negociao entre os parceiros.

2.2 O Desenho do Projecto 2.2.1 Orientaes Gerais/Finalidades

Do diagnstico decorre a segunda etapa do planeamento: a definio das orientaes ou finalidades do projecto6. Trata-se de estabelecer o sentido geral da interveno por exemplo, o combate ao insucesso e abandono escolares, a melhoria do desempenho dos alunos numa ou num conjunto de disciplinas, o combate violncia, a organizao da escola ou a educao para a sade, para citar apenas alguns dos domnios de interveno elencveis. Desta escolha decorre a eleio dos destinatrios e, se for o caso, dos territrios de interveno (ver Figura Anexa 2).

s vezes tambm se usa a expresso objectivos gerais ou outra equivalente. Fica desde j feita a chamada de ateno para a necessidade de no nos atermos a clichs nem nos fecharmos sobre dogmas lingusticos, ficando antes com a ideia de que a primeira etapa de planeamento corresponde definio das orientaes mais genricas e abstractas do projecto.

22

Figura 4. Finalidades e Orientaes

Finalidades e Orientaes

Critrio de Avaliao

Sub-critrio

Sentido de Interveno Territrio de Interveno Destinatrios Coerncia Interna Pertinncia

Uma vez definidas as orientaes gerais ou as finalidades de um projecto, pode pensar-se num nome para lhe dar, que o identifique perante toda a comunidade. Espera-se que a formulao genrica do projecto, que lhe confere carcter e determina o perfil, obedea ao critrio da pertinncia, como definido acima. Essa uma interrogao que o processo de avaliao no pode descurar: necessrio tornar claro at que ponto os objectivos respondem efectivamente aos problemas identificados. Isto , espera-se que haja coerncia entre os problemas identificados na sede de diagnstico e as orientaes e finalidades do projecto. Este ponto requer ateno, pois mais frequente do que se julga fazerem-se escolhas que no representam uma verdadeira avaliao do contexto, mas sim as ideologias de quem escolhe, as modas do momento ou as prioridades de programas financiadores e instituies de enquadramento, sem a devida adaptao s condies locais. A verificao da coerncia passa tambm por analisar a relao entre os diversos aspectos das orientaes e finalidades, fazendo-se corresponder, a ttulo de mero exemplo, as reas de interveno com os destinatrios ou estes com os territrios. Chama-se a esta abordagem avaliao da coerncia interna entre os diferentes objectivos, finalidades e focos de interveno do projecto.

Tambm a este nvel o processo de construo de um plano pode ser um instrumento de negociao de consensos e de formao de acordos entre os diversos actores locais, a respeito do que preciso fazer. Caminha-se nesse sentido quando se pede a esses actores que afiram a coerncia interna

23

entre as finalidades do projecto e o diagnstico, ou entre as diferentes finalidades, atravs da construo de matrizes de sinergias (tarefa que tambm pode ser desenvolvida de uma forma mais tecnocrtica pelos responsveis da avaliao). Trata-se de colocar em linha os diferentes problemas e ameaas e em coluna as diferentes finalidades do projecto. De seguida, pede-se a cada interveniente no exerccio que assinale as clulas em que cada finalidade responde a algum dos problemas e ameaas. Dever resultar uma matriz com uma configurao semelhante seguinte:
Problema 1 Problema 2 Problema p

Finalidade 1 Finalidade 2 Finalidade f

X X X X X

Um projecto ser coerente, em princpio, se todos os problemas e ameaas encontrarem finalidades que lhes correspondam e se, por seu turno, todas essas finalidades puderem ser indexadas a um problema. Colunas ou linhas em branco indicam falta de coerncia no desenho do projecto. Por exemplo, se em sede do diagnstico se identifica a proximidade de uma comunidade socialmente desfavorecida como factor de insucesso escolar, um projecto que no coloque a tnica na adaptao do projecto de escola e dos processos de ensino/aprendizagem a essa populao e na relao da escola com o meio no coerente e, portanto, no pertinente. Vejamos outro exemplo. Se numa comunidade escolar se verificam comportamentos de risco no domnio da sade ou da sexualidade, um projecto que envolva a comunidade dos professores e outro pessoal, alunos e pais em aces de educao para a sade tem probabilidades elevadas de ser um projecto pertinente e internamente coerente. No caso de haver mais do que uma finalidade, estas tambm se podem hierarquizar. Uma primeira via, mais simples, corresponde a pedir aos membros de um painel ou de uma comisso de acompanhamento que hierarquizem, segundo a sua opinio, as diferentes finalidades, atribuindo-lhes uma nota. Uma via mais sofisticada, consiste em atribuir diferentes intensidades s interaces entre as finalidades e os problemas. Essas intensidades podem assumir a forma de escalas numricas, por exemplo, entre -2 (interaco forte mas de sentido negativo) e +2 (interaco forte e

24

aspecto da matriz poderia ser, ento, o seguinte:

Problema 1 Problema 2 Problema p Total

Finalidade 1 Finalidade 2 Finalidade f Total

-2 1 1 1/3

0 1 2 3/2

1 0 0 1/1

-1/2 2/2 4/2

Ficamos assim, por exemplo, a saber que a prioridade 1 pode interferir de forma negativa (logo, a controlar) com o problema 1, e interage de forma moderada com o problema p. Por exemplo, suponhamos que o problema 1 a falta de preparao dos docentes para abordarem com alunos adolescentes temticas ligadas sade reprodutiva. Este interage negativamente com uma finalidade 1, se esta for integrar a educao sexual dos alunos adolescentes nas diversas disciplinas do currculo, mas interage muito positivamente com a finalidade f se esta for a formao de docentes para a abordagem do tema da sexualidade junto de alunos de diferentes grupos etrios. Na matriz apresentada, o problema 1 o que estabelece relaes com mais prioridades, embora de sentido contrrio. A anlise deve prosseguir de modo semelhante para todos os alvolos da tabela. Esta abordagem pode ajudar a detectar as finalidades mais estratgicas, com maior potencial de sustentao, projeco e multiplicao de efeitos (em certos documentos este potencial aparece designado como alavancagem). Um exerccio do mesmo tipo pode ser feito com vista a equacionar a interaco e as sinergias estabelecidas entre os diferentes problemas e entre as diferentes prioridades, quer assinalando de forma simples as zonas de interseco, quer avaliando o seu peso. As matrizes so, neste caso, teis para determinar possveis efeitos de arrastamento de uns problemas e prioridades em relao a outros e outras. Suponha-se que um problema identificado a ausncia de apoio ao estudo em casa devido ao baixo capital cultural das famlias, o problema 2 o insucesso escolar, e o problema p a falta cooperao dos docentes nas actividades lectivas. Suponhamos depois que se definem os objectivos gerais de promover mecanimos regulares na escola de apoio ao estudo, diversificar a oferta educativa e promover a criao de um Centro Novas Oportunidades para a populao vizinha da escola. As matrizes, nesse caso, tero um aspecto semelhante ao seguinte:

25

Problema 1

Problema 2

Problema p

Problema 1 Problema 2 Problema p

X X X
Finalidade 1 Finalidade 2 Finalidade f

Finalidade 1 Finalidade 2 Finalidade f

2 2 0
Finalidade 1

0 1

1
Finalidade 2 Finalidade f

Problema 1 Problema 2 Problema p

0 2 1

0 2 2

2 0 0

2.2.2 Recursos
A coerncia com o diagnstico no se limita relao entre problemas e orientaes gerais/finalidades. Estende-se tambm inventariao genrica dos recursos. S vale a pena planear as mudanas que forem possveis, mesmo que difceis. Vale a pena repetir uma vez mais aqui, mesmo correndo o risco de saturao, que planear promover acordos entre diferentes agentes com vista definio das contribuies de cada um e das prioridades na utilizao dos recursos, que so sempre escassos e exigem escolhas acertadas. Esses consensos so decisivos, dado que nenhum recurso deve ficar por explorar. Dizer que nenhum recurso deve ficar por explorar dizer que o guio que conduz a procura de meios, deve incluir no apenas as mais bvias fontes de financiamento, como os programas e as polticas que enquadram ou deram origem a uma interveno, mas tambm os contributos

26

(repete-se: logsticos, relacionais, polticos, humanos, para alm dos financeiros) que podem existir na comunidade, na escola, nas instituies intervenientes e entre as prprias pessoas e famlias que so alvo do projecto.

Figura 5. Recursos a Mobilizar e Critrios de Avaliao

Recursos

Critrio de Avaliao

Condicionantes

Da Comunidade Da Escola Das Instituies Dos Programas e Polticas de Enquadramento Dos Destinatrios Eficincia

Cabimento Integrao Complementaridade Sinergia

O critrio bsico de avaliao dos recursos que se planeia utilizar num projecto o da eficincia, atravs da qual se afere a relao entre os meios (recursos, custos) e os fins/resultados do projecto. A eficincia fortemente afectada pela pertinncia das prioridades definidas. Normalmente, para resolver problemas graves e atingir grandes objectivos so necessrios mais recursos. Muitas vezes porm, existem diversas maneiras de alcanar os mesmos objectivos, sendo necessrio escolher as solues menos dispendiosas. Existem aspectos da inventariao de recursos que igualmente afectam a eficincia geral de um projecto. Desde logo, podemos referir a correspondncia entre a misso, objecto e prioridades das entidades financiadoras e as intervenes a conduzir. Depois, sempre que o projecto envolva um certo nmero de parceiros, exige-se uma ateno particular ao risco de sobreposio de meios para as mesmas aces, integrao de contribuies de modo a promover as complementaridade se os efeitos sinergticos resultantes da parceria. A cooperao entre entidades contribuintes para um projecto permite uma interveno de natureza multidimensional, aumentando o espectro das capacidades de produzir mudanas, aumentando a escala dos efeitos esperados de intervenes cujos meios so alargados pelo facto de resultarem do contributo de diversos parceiros.

27

As matrizes de sinergias a que nos referimos atrs, bem como as que sero referidas a propsito dos objectivos do projecto, so instrumentos de grande utilidade na avaliao da adequao dos recursos a afectar s diferentes componentes do projecto. Por exemplo, uma sub-dotao de meios para prioridades com impacte potencial em muitos problemas ou em problemas de maior importncia estratgica, um erro de concepo que tem consequncias mais relevantes do que um erro do mesmo tipo cometido a propsito de uma prioridade com menor importncia e peso relativo.

2.2.3 Oramento
O desenvolvimento de um projecto no carece apenas de um plano coerente e eficaz e de um sistema de acompanhamento e avaliao adequado. necessrio, para que a eficincia possa ser aferida, que ao plano de actividades se associe um oramento. O oramento no pode estar dissociado da reflexo anteriormente mencionada sobre recursos existentes na organizao escola, na comunidade e nas parcerias que possam ser mobilizados para o projecto. A gesto da sinergia faz-se no s no que se refere aos objectivos e actividades, mas tambm no que se refere aos recursos utilizados. Estes englobam recursos humanos, logsticos, materiais e financeiros vrios. O oramento dos projectos deve permitir identificar os recursos financeiros a mobilizar, as respectivas fontes de financiamento, mas tambm deve permitir quantificar os custos dos meios j existentes e que vo ser utiilizados para a interveno. No caso dos projectos em escolas o mais comum no calcular os recursos afectos a honorrios de pessoal docente e no docente j existente. Contudo, um bom clculo da eficincia exige que tambm estes custos tenham sido devidamente contabilizados. Por vezes, no caso de projectos mais complexos, convm que se contratem os servios de um especialista para proceder a este trabalho de oramentao. Porm, na esmagadora maioria dos casos, os responsveis pela elaborao do plano esto tambm em condies de elaborar o respectivo oramento, socorrendo-se, se necessrio, de apoios pontuais de colegas com mais experincia nessa matria. Sugere-se, como soluo prtica, que para a elaborao de um oramento se utilize uma tabela numa folha Excel, com trs colunas:

28

descrio da rubrica; previso de despesas; previso de receitas. Cada rubrica deve corresponder a um dos diferentes tipos de recursos a utilizar no projecto. So, geralmente, definidas pelo menos rubricas relativas a: recursos humanos Pessoal dirigente Pessoal tcnico e docentes Pessoal auxiliar Apoio de especialistas externos; equipamentos (instalaes, mquinas e ferramentas, etc.); consumveis (material de consumo rpido, que se extingue no decurso do projecto); despesas gerais (comunicaes, transportes, alimentao, etc.).

Descrio

Previso de despesas

Previso de receitas

Recursos humanos
Pessoal dirigente Pessoal tcnico e docentes Pessoal auxiliar Especialistas externos

____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___

____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___ ____,___

Equipamentos
Instalaes Mquinas e ferramentas

Consumveis Despesas gerais Outras rubricas TOTAL

29

Como contabilizar, ento, um projecto de interveno em meio escolar? Desde logo, ao definir as aces a desenvolver, deve prever-se todos os meios humanos que devero ser necessrios, bem como o tempo que cada pessoa afectar ao projecto. Deve incluir-se o tempo de afectao de tcnicos/professores e outro pessoal do agrupamento de escolas ou escola no integrada em agrupamento. O tempo dedicado coordenao deve ser tambm contabilizado. Deve igualmente contar-se com o tempo de pessoal disponibilizado por parceiros externos escola. Por fim, pode ser necessrio recorrer utilizao de pessoal exterior s escolas e aos parceiros educativos. O modo mais adequado de calcular os custos com pessoal proceder ao somatrio dos resultados da multiplicao do nmero de horas a despender no projecto pelo custo por hora de trabalho de cada uma das pessoas a envolver. No que respeita ao custo de instalaes e equipamentos deve ser seguido o mesmo princpio de no contar apenas aqueles que impliquem um pagamento pecunirio especfico. Importa igualmente contabilizar o valor dos recursos postos disposio do projecto pela escola/agrupamento ou pelos parceiros. O mesmo procedimento vlido para as despesas com materiais consumveis e com as despesas gerais. particularmente importante, de facto, oramentar todas as despesas do projecto, quer estas sejam elegveis pelos programas financiadores, quer o no sejam. O facto de uma actividade no ser elegvel para financiamento por um determinado programa (por exemplo, o POPH ou uma medida lanada por via de um Edital ou de um concurso), no quer dizer que no tenha um valor e que no represente um custo ou investimento. Nos formulrios dos programas, muitas vezes, pede-se apenas a inscrio das despesas elegveis. Mas convm que as restantes despesas ou custos que no impliquem despesa directa sejam calculados. Em primeiro lugar, porque esse procedimento torna evidente a necessidade do pedido de apoio financeiro, ao sublinhar o esforo feito na utilizao de recursos prprios dos parceiros e promotores. frequente, alis, que a avaliao de um programa financiador tome como critrio de qualidade dos apoios concedidos a adicionalidade, isto , a medida em que esses apoios do origem a processos de mobilizao de outros recursos que, sem o seu impulso, no seriam procurados ou mobilizados. Por outro lado, a complementaridade e a coerncia externa de um projecto aconselham a que tambm se contabilizem entre os recursos aqueles que so aportados pelo promotor ou pelos seus parceiros. Assim, se na coluna das despesas da folha Excel se devem inscrever todos os custos previstos, na

30

coluna das receitas podero distinguir-se aqueles que so cobertos com o contributo dos promotores e dos parceiros daqueles que carecem de apoio financeiro ou de outro tipo para que todas as actividades possam ser concretizadas.

2.2.4 Planos de Aco e sua organizao

Uma vez definidas as orientaes gerais e identificados os recursos existentes, passemos a avaliar uma terceira etapa do planeamento, que consiste na operacionalizao. Esta etapa desdobrase na montagem do sistema de gesto e no desenho dos objectivos operacionais e das correspondentes aces. Quanto ao sistema de gesto, o plano deve estabelecer um conjunto de requisitos funcionais, de que se destacam: As formas de organizao e funcionamento das parcerias, implicando a definio do contributo de cada parceiro e o estabelecimento de um compromisso formal relativo a esse contributo e ao envolvimento nas actividades e estruturas do projecto; A constituio (caso se justifiquem) das equipas tcnicas especficas para o projecto, tanto quanto possvel recrutadas no interior das prprias escolas e dos parceiros; A oramentao das aces e a atribuio/distribuio dos recursos inventariados pelos diferentes objectivos e reas de actividade; A distribuio de funes de uma forma to clara quanto possvel, incluindo a definio de responsabilidades; A definio dos instrumentos de divulgao do plano e das suas diversas aces e, de modo mais alargado, dos modos de garantir visibilidade aos projectos; A promoo da acessibilidade aos documentos e informao de referncia por parte de todos os interessados, assegurando por essa via transparncia e rigor; A montagem de uma organizao administrativa e financeira e de um sistema de informao prprios do projecto. Este ltimo um elemento essencial para uma boa gesto e o instrumento principal do sistema de acompanhamento e avaliao do projecto.

31

Figura 6. Sistema de Gesto do Projecto

Gesto e Animao

Critrio de Avaliao

Organizao (equipa Tcnica e Parcerias) Afectao de Recursos Financeiros, logsticos, institucionais) Divulgao Acessibilidade Montagem de um Sistema de Contabilidade e Organizao Administrativa Eficincia

O principal critrio de avaliao desta dimenso do projecto a eficincia. O sistema de gesto deve ser to econmico quanto possvel face aos objectivos visados. As estruturas organizativas devem ser as adequadas a cada situao, os mecanismos de circulao de informao devem ser geis e os planos de comunicao ajustados aos destinatrios a atingir. O sistema de recolha e tratamento de informao deve ser sistemtico e desenhado de modo a poder ser utilizado na avaliao. Por fim, a distribuio de recursos deve ser adequada aos objectivos que se pretende atingir. O desenho dos objectivos operacionais e das actividades a desenvolver concretamente uma arte que ser tanto mais fcil de praticar quanto melhor tenham sido cumpridas as etapas anteriores. Trata-se de ir especificando para nveis sucessivos de concretizao as orientaes e finalidades definidas. De uma forma geral, o desenho do projecto resultante de um processo de planeamento que, como dissemos, to ou mais importante do que o resultado, assume uma forma que pode ser esquematizada do modo seguinte:

32

Figura 7. Objectivos e Planos de Aco

Gesto e Animao

Critrio de Avaliao

Sub-critrios

Problema 1

Problema 2

Problema n

Objectivo-Geral 1

Objectivo-Geral x

Exequibilidade
Objectivo Especfico/ Meta a Objectivo Especfico/ Meta b Objectivo Especfico/ Meta n

Coerncia (interna e externa)

Acessibilidade Responsabilidade

Aco 1

Aco 2

Aco 3

Aco Y

Grupo-Alvo 1

Grupo-Alvo z

Num plano bem desenhado, os objectivos gerais devem decorrer das orientaes, os objectivos especficos dos objectivos gerais e as aces devem decorrer dos objectivos especficos (de preferncia, estes objectivos especficos devem assumir a forma de metas a atingir). Uma vez desenhado um plano, deve ser fcil estabelecer o vnculo lgico entre cada aco, o seu grupo de destinatrios a jusante e a montante, os objectivos especficos que concretiza, os objectivos gerais a que corresponde e os problemas que esto na base desses objectivos gerais7. Assim, no devem haver aces sem relao directa com objectivos especficos, nem objectivos especficos ou metas que no decorram explicitamente de objectivos gerais, nem objectivos gerais sem relao com as orientaes ou finalidade e, como vimos, destas com os problemas. Como corolrio do que ficou dito, tambm no se devem anunciar finalidades sem pensar nos objectivos gerais que efectivamente permitam concretiz-las, nem objectivos gerais que no se desdobrem em objectivos especficos e metas. Estes tero de dar origem a aces concretas. Sem que se estabeleam estas relaes lgicas o plano transforma-se num conjunto de enunciados abstractos sem compromissos prticos. Cada uma das orientaes pode desdobrar-se em apenas um ou em vrios objectivos gerais, que por sua vez se operacionalizam, cada um, num certo nmero de objectivos especficos (outra vez um, ou mais do que um, por cada objectivo geral) e estes, por sua vez, desmultiplicamse nas diversas aces.
7

Um bom critrio de avaliao da qualidade do desenho de um plano o de o esquematizar, nas linhas essenciais e de modo a preservar a inteligibilidade de conjunto, numa simples folha A4.

33

Em sentido inverso, uma aco singular pode fornecer contributos para mais do que um objectivo especfico, que por sua vez pode resultar da operacionalizao de mais do que um objectivo geral e cada um destes, ento, pode responder a mais do que uma finalidade. O sistema de relaes mltiplas e hierarquizadas a que nos temos vindo a referir s passvel de esquematizao lgica se o plano obedecer ao primeiro critrio a ter em conta na avaliao, que o da coerncia interna. Por outras palavras, pode dizer-se que um plano internamente coerente se as conexes lgicas entre os diversos nveis puderem ser postas em evidncia, revelando o modo como se organiza e desenvolve o plano para responder aos problemas identificados e aos objectivos definidos. Por outro lado, a avaliao deve igualmente equacionar a coerncia externa do projecto, isto , o modo como o projecto se articula, relaciona e interage com outros projectos. Este critrio decorre do facto de nenhum projecto se concretizar no vazio. Nos mesmos contextos decorrem outras actividades, eventualmente at outros projectos. preciso determinar, na avaliao, como que as diversas intervenes interagem entre si. Podem estabelecer-se relaes sinergticas, mas tambm entropias se os seus objectivos e actividades forem contraditrios ou at meramente redundantes, sobrepondo-se. De modo a evitar sobreposies e contradies, potenciar sinergias e elevar os patamares de integrao, os agentes de planeamento tm tudo a ganhar com o exerccio de identificao desses processos e de reflexo sobre os modos como podem ser por eles afectados e por sua vez afect-los. Este domnio da coerncia externa crucial no contexto escolar, na medida em que uma escola, enquanto organizao, um espao de mltiplos projectos e planos de interveno. Na actualidade as escolas tm projectos educativos que se desmultiplicam na oferta escolar, em projectos curriculares de turma, em Planos TIC (que definem a estratgia da escola para a integrao curricular das TIC), em projectos do Plano de Aco da Matemtica (que visam a alterao das estratgias e condies pedaggicas para o aumento do sucesso escolar nesta rea curricular), em educao especial e programas de recuperao de alunos em risco de insucesso ou abandono. Tm em funcionamento clubes e iniciativas na rea das expresses e da educao para a cidadania; tm projectos de Desporto Escolar que se espera que contribuam por via da prtica desportiva e da integrao na comunidade escolar que ela proporciona para um decrscimo do abandono e do insucesso escolar; tm projectos no mbito do Plano Nacional de Leitura e, em alguns casos, tm projectos TEIP As escolas participam ainda em diversos . projectos de dimenso internacional, de que o E-Twinning (projecto europeu no campo das tecnologias de informao nas escolas) ou o combate discriminao so exemplos, mas tambm participam em redes que visam a criao de sinergias que facilitem a obteno de resultados comuns. Qualquer plano ou projecto que se desenvolva em meio escolar tem pois de ser coerente com todo este conjunto de intervenes. Pode s-lo porque se assume como elo integrador de todas as dinmicas da escola, ou porque no seu desenho teve em conta o

34

potencial de relao sinrgica entre todas as intervenes em curso. Como se procede ento avaliao das coerncia interna e externa de um projecto?

Pode-se optar pela activao de grupos de discusso focalizada ou painis de actores, como alternativa ao trabalho pericial dos avaliadores, ou dos intervenientes directos, quando se trate de sistemas de auto-avaliao no quadro de projectos de investigao-aco nos quais o papel do avaliador o de animador e orientador das operaes de avaliao. Tambm nestes domnios a tcnica da construo de matrizes de sinergias uma operao muito til. Dado o nvel a que nos encontramos, as matrizes utilizveis para a avaliao interna so em maior nmero, j que se pode cruzar: os objectivos com os problemas; os objectivos com as finalidades; os objectivos entre si; os objectivos com as acesa; as aces com os destinatrios. A utilidade destes cruzamentos, como nos casos anteriores, a de verificar a existncia de articulaes lgicas de carcter sinergtico entre os diversos elementos de um projecto. No caso das matrizes de sinergias que utilizem escalas de intensidade da interaco entre linhas e colunas, pode-se determinar os objectivos, as metas ou as aces com maior potencial de impacte e com maior nmero de interferncias no sistema, com maior poder de sustentao e multiplicao de efeitos. Em certos casos pode chegar-se a definir os chamados objectivos-bandeira, cujo poder de mobilizao e relevo emblemtico marcam o ritmo de todo o projecto e as representaes que as pessoas constroem sobre o respectivo sucesso. Em alternativa s matrizes de sinergias, a avaliao da coerncia interna pode igualmente socorrer-se das tcnicas das nuvens, rvores ou espinhas dos objectivos, metas ou aces. Neste caso, como se procedeu para a construo do diagnstico e para a definio das orientaes gerais e finalidades, o que se pede aos membros de um painel, grupo de discusso focalizada ou comisso de acompanhamento, que cada membro defina um

35

certo nmero de objectivos/metas ou aces e depois se discuta colectivamente os resultados. Pode de seguida pedir-se que se atribua um peso especfico, positivo ou negativo, a cada objectivo/meta/aco, de forma a hierarquiz-los e, aps debate, encontrar, se possvel, relaes causais e correlaes entre eles, at chegar a identificar aquele ou aqueles que possuam maior efeito estruturante ou que possam transformar-se em emblema ou bandeira do projecto. Com a avaliao da coerncia externa o que se pretende determinar a medida em que um projecto se relaciona com outros projectos, planos ou programas que ocorram no mesmo contexto e, por vezes, partilhando o pblico-alvo. O que se pretende verificar se as diversas intervenes: Estabelecem entre si relaes sinergticas, ou Se so redundantes, disputando recursos e pblicos para os mesmos fins, na totalidade ou parciais, ou mesmo Se so contraditrias e se anulam mutuamente. Pense-se, por exemplo, num projecto escolar de educao para a sade e de um projecto de uma servio de sade integrado num plano nacional dessa rea, ou ento num projecto escolar de preveno da violncia e de combate ao insucesso e ao abandono escolar, por um lado, e de um projecto de interveno cultural e animao de jovens da rea de residncia em que a escola se localiza. Para apreciar o modo como, em teoria, uns e outros planos da escola e planos de outras entidades ou os vrios planos existentes simultaneamente na mesma escola so passveis de estabelecer lgicas de trabalho cooperativo ou, pelo contrrio, se recobrem ou opem, a tcnica das matrizes de sinergias uma vez mais de grande utilidade. Convm que neste caso as matrizes utilizem escalas numricas com valores positivos e negativos de notao das interaces. As matrizes podem cruzar objectivos, por um lado, e aces por outro. As matrizes seguintes ilustram, em abstracto, o resultado do exerccio. Suponhamos que para responder a um problema ligado educao sexual um projecto numa escola define o objectivo E1 de formar docentes para a abordagem qualificada do tema, como objectivo E2 promover a informao junto de adolescentes e jovens e como objectivo Eo estabelecer parcerias com entidades do sistema de sade. As aces previstas so, suponhamos, A1: promover a inscrio de docentes em aces de formao oferecidas pelo POPH; A2: organizar oito sesses anuais na rea da educao sexual para adolescentes e jovens e A3: Estabelecimento de um acordo com o Centro de Sade da regio.

36

Suponhamos agora que num dos bairros em que a escola se insere decorre um projecto de desenvolvimento comunitrio que tem por objectivos, entre outros, os seguintes: P1: prevenir comportamentos de risco entre os jovens; P2: criar espaos de aprendizagem informal entre os jovens; Pp: Educar os pais. Trs das aces desse projecto so: Aco P1, organizar uma exposio sobre efeitos de comportamentos sexuais de risco; aco P2, criao de grupos de debate jovem a jovem e aco Pa, criao de uma escola de pais. As matrizes poderiam ter um aspecto como o que a seguir se apresenta:
Projecto de desenvolvimento comunitrio

Projecto de Escola Objectivo E1 Objectivo E2 Objectivo Eo

Objectivo P1

Objectivo P2

Objectivo Pp

1 2 1

0 2 0

1 1 0

Projecto de desenvolvimento comunitrio

Projecto de Escola Aco E1 Aco E2 Aco Ea

Aco P1

Aco P2

Aco Pa

0 2 1

0 2 0

0 0 0

Os critrios de coerncia interna e externa so centrais na avaliao da qualidade da concepo de um plano de interveno ou de um projecto. Eles contm alguns sub-critrios a considerar. Nomeadamente: A exequibilidade, noo segundo a qual a avaliao deve julgar as possibilidades de que o plano se torne efectivo, nomeadamente a partir de dois requisitos. So eles a adequao de meios (no basta ter boas ideias, preciso reunir os recursos necessrios para as executar) e a possibilidade de concretizar em aces prticas os objectivos definidos de forma abstracta; A acessibilidade, sub-critrio segundo o qual o plano ou projecto deve poder ser publicitado e deve poder ser entendido quanto aos objectivos, s metas a atingir e s aces a desenvolver, por todos aqueles que so os seus destinatrios e actores;

37

A responsabilidade, tpico que remete para a anlise do modo como cada aco est vinculada responsabilidade de quem a deve executar. No se aconselha a definio de aces deixando por definir quem responsvel pela respectiva execuo, do mesmo modo que no interessa envolver no projecto parceiros ou pessoas que no tenham nenhuma responsabilidade ou tarefa atribuda. Os critrios de coerncia interna que temos vindo a referir no devem, bom lembr-lo, ser adoptados de uma forma estereotipada. Eles representam mais uma maneira de pensar e de proceder, como dissemos atrs, do que uma tabela de regras obrigatrias e rgidas. Na verdade, o que mais interessa que se permita conduzir as aces no ao sabor dos acontecimentos, mas de acordo com uma antecipao do futuro desejado que introduza racionalidade e democraticidade no processo de deciso. A reflexo sobre a operacionalidade e a exequibilidade so exemplos do que queremos dizer com racionalidade, ao passo que a acessibilidade, a transparncia e a responsabilidade so critrios que permitem aumentar a democraticidade. Tendo este princpio presente, compreende-se ento que a metodologia de planeamento pode ser muito malevel. Desde logo, quanto ao vocabulrio. Neste texto utilizamos expresses como finalidade (sentido geral do projecto) e orientaes (alteraes a produzir de forma durvel ou impactos finais do projecto), objectivos gerais, objectivos especficos, metas, aces, destinatrios. Outros autores, noutros textos, usam expresses diversas. Por exemplo, comum chamar meta a objectivos especficos quantificados, ou chamar iniciativa quilo a que ns chammos aces, ou pblico-alvo onde ns dizemos destinatrios.
Figura 8. Diferentes expresses com conotao homloga

Pressupostos

Orientaes

Finalidades

Medidas

reas de Interveno

Objectivos Gerais

Estratgias

Metas reas de Aco Aces

38

Por vezes trata-se apenas de palavras homlogas Mas outras vezes a utilizao desta ou daquela nomenclatura resulta da prpria complexidade dos planos. Implicitamente ns temos falado de planos com quatro nveis: (1) finalidades e orientaes, (2) objectivos gerais, (3) objectivos especficos/metas e (4) aces. Mas estes nveis no so obrigatrios. Muitas vezes, dependendo de coisas to diversas como a diversidade e dimenso dos problemas, os recursos disponveis, a vontade dos agentes ou at o seu domnio das tcnicas do planeamento, os planos podem conter mais nveis por exemplo, desdobrar os objectivos especficos de modo a destacar as metas quantificadas, ou distinguir as reas de actividade das aces concretas , ou reduzir os nveis, em projectos ou de tal forma amplos que no devem fazer mais do que fornecer orientaes genricas, ou to simples que se confundem com a prpria aco, de tal forma que muitas vezes dos objectivos gerais se destacam imediatamente as actividades concretas8. este o caso em grande parte dos projectos executados nas escolas, principalmente se no so projectos globais de escola, mas sim intervenes em domnios especficos de educao.
Figura 9. Diferentes nveis de complexidade dos programas, polticas ou projectos
Finalidades Estratgia Objectivos Gerais Objectivos Especficos Aces Objectivo Geral Objectivo Estratgia/ Objectivos Especficos Actividades Aco

Um outro factor a ter em conta sobre a complexidade dos planos que, muitas vezes, ela decorre da natureza inclusiva das polticas mais gerais em relao aos projectos mais especficos. Imagine-se uma poltica nacional de reajustamento dos currculos. Ela ter as suas orientaes e finalidades, os seus objectivos gerais, os seus objectivos especficos e um conjunto de aces respectivas. Uma dessas aces pode ser a definio de referenciais, digamos, para as reas Curriculares No Disciplinares. Esses referenciais definiro tambm os seus objectivos, as metas a atingir e as aces a desenvolver. As actividades concretas dessa medida, isto , as suas aces so, basicamente, os projectos desenvolvidos nas escolas, por exemplo, na rea da educao para a sade, ou na rea do empreendorismo, para citar apenas dois de uma grande multiplicidade de casos possveis.
8

Deve-se notar que, num caso e no outro, o estabelecimento de um plano de aco no dispensa nunca um planeamento de execuo que passa por escolher a perodos regulares todos os meses, todas as semanas e todos os dias os aspectos prticos do plano a concretizar realmente no perodo. Trata-se, nesse caso, de procedimentos relativos animao e execuo do plano.

39

Figura 10. Projectos que se inserem em Programas decorrentes de Polticas Gerais

Programa
Objectivo Geral Objectivos Especficos Medidas Aces/Projectos

Projecto
Objectivo Geral Objectivos Especficos Actividades

Actividade
Meta Aco

Aquilo que para um programa nacional uma simples aco, no plano local um projecto com as suas orientaes e finalidades, os seus objectivos gerais, os seus objectivos especficos e as aces respectivas. No mbito desse projecto, a equipa responsvel poder ter de, por sua vez, pensar na finalidade ou razo de ser da actividade que lhe compete, nos seus objectivos operacionais e nas actividades concretas a desenvolver dia a dia. Tendencialmente, portanto, a complexidade deste nvel de planeamento menor do que a dos nveis que a incluem. Um ltimo elemento que importa aqui referir a propsito da coerncia interna dos planos respeita ao cronograma. Um plano no se fica pelo enunciado das aces que se prope levar prtica. Geralmente prev igualmente o encadeamento entre elas. Naturalmente, a avaliao do processo e os prprios resultados da actividade desenvolvida podem fazer com que se anulem aces que se revelem desnecessrias ou contraproducentes, bem como com que se lancem outras no previstas inicialmente. Porm, o planeamento procura ir to longe quanto possvel em termos de previso do momento em que cada actividade deve ser realizada, ainda que essa previso s muito raramente tenha que ser rgida9. Isso deve-se no apenas a razes pragmticas de optimizao da utilizao dos recursos e de oportunidades, mas tambm a razes lgicas de encadeamento de resultados parcelares. Na verdade, a maior parte das vezes, um problema determinado d origem a um ou mais objectivos e a uma ou mais actividades. Supe-se que estas produzam resultados nos problemas iniciais, resolvendo-os ou modificando-os. Sucede que a resoluo de um problema nunca corresponde ao fim de todos os problemas, mas sim ao surgimento de novos, suposta e desejavelmente menos graves mas por vezes mais complexos. Assim, uma interveno prvia pode ser a condio de uma interveno posterior, sem a qual esta no poderia ter lugar. Sucedem-se, pois, muitas vezes, linhas de problemas/objectivos/aces/resultados encadeadas umas nas outras de forma que deve ser coerente10.

40

Figura 11. A projeco do encadeamento das aces no tempo

T1

Problema 1

Objectivo 1

Aco1

Resultado 1

T2

Problema 2

Objectivo 2

Aco 2

Resultado 2

T3

Problema 3

Objectivo 3

Aco 3

Resultado 3

Cronograma
T1 T2 T3

9 10

A no ser, na maior parte dos casos, quanto ao prazo para o fim do projecto. Alguns desses novos problemas so consequncias no pretendidas da aco, que exigem o lanamento de novos projectos especficos.

41

2.3 Animao e Execuo do Projecto

No caberia num texto como este a abordagem sistemtica da questo que acaba por decidir o destino de todos os projectos, por muita qualidade que apresentem no desenho e no envolvimento dos agentes no processo de planeamento. Trata-se da implementao e execuo das aces. Cabe, no entanto, referir um conjunto de aspectos relevantes a esse propsito. O primeiro, por bvio que parea, no dispensa a recordatria: um projecto no se executa por si mesmo. preciso que todos os intervenientes, e principalmente os mais responsveis, adoptem mecanismos prprios de controlo e acompanhamento da execuo das actividades previstas. Por muito empenhadas e responsveis que sejam as pessoas que tm a cargo a execuo de um conjunto de aces, o controlo por parte dos responsveis ou coordenadores de projectos particularmente importante. Na realidade, o envolvimento das pessoas e a presso quotidiana que esse envolvimento gera, levam, muitas vezes, a focalizaes nas tarefas imediatas e retiram visibilidade sobre as prioridades de conjunto. Cabe ao responsvel11 fazer com que as equipas mantenham em vista o conjunto do projecto tal como est desenhado ou como vai sendo ajustado em funo da avaliao. Cabe tambm funo de controlo e promoo da execuo de projectos a tarefa de preservar as sinergias e as articulaes entre as diferentes actividades que podem compor um mesmo projecto e entre as instituies ou sectores que so responsveis por diferentes domnios de aco. Numa lgica de articulao externa, dessa funo que se espera igualmente a gesto das relaes de interface com outros projectos ou programas a decorrer no mesmo contexto. Depois, retomando um tpico j repetidamente mencionado a outros propsitos, refira-se que quanto melhor o projecto tiver sido negociado e apropriado pelos intervenientes desde o princpio, e quanto mais eles possam participar de forma aberta e transparente no processo, melhores tendero a ser os resultados. Para se conseguir esse envolvimento necessrio criar certas condies, de que destacamos: (i) a atribuio de tarefas e responsabilidades a cada parceiro ou a cada pessoa que, no fazendo parte do ncleo central da equipa do projecto, estejam envolvidos; (ii) a criao de mecanismos organizativos que dem expresso orgnica participao.
11

No abordaremos aqui as variveis relativas s qualidades necessrias a uma boa liderana, matria sobre a qual o leitor pode encontrar, hoje em dia, ampla e diversificada informao bibliogrfica.

42

 gesto de um projecto no basta garantir que as actividades so desenvolvidas da forma prevista, compete-lhe tambm assegurar que os resultados (esperados e no esperados, benficos e perversos, directos e indirectos, imediatos e mediatos) so apurados medida que vo sendo produzidos e que so objecto de reflexo. A avaliao desempenha aqui um papel insubstituvel, pois nela que se inscrevem os instrumentos de acompanhamento do projecto. ainda da avaliao que se espera: (i) a sistematizao das informaes resultantes da execuo do projecto, realizada a partir da respectiva descrio dos factos concretos e das representaes para (ii); os interpretar analiticamente e produzir, eventualmente, generalizaes e modelos que possam ser difundidos e disseminados de forma alargada e acessvel a contextos mais vastos do que o da interveno concreta.

Figura 11. Construo da execuo das aces de um projecto

Critrios de Avaliao
Controlo de realizao e desempenho Participao Negociao Processual Integrao sectorial Apuramento de resultados Devoluo e replicao de resultados Transferncia de resultados Eficcia Eficincia

neste domnio que a avaliao adquire a sua relevncia maior. Est em causa neste ponto a verificao da efectividade do projecto e dos resultados e impactos. Utilizam-se aqui dois critrios principais e dois acessrios. Um dos critrios acessrios o do profissionalismo isto , competncia tcnica, empenho profissional e correco tica com que todos os actores, incluindo eventuais voluntrios, se envolvem no trabalho e cumprem a misso colectiva e individual (sendo que neste aspecto a unidade pode no ser uma pessoa, mas uma equipa) que lhes est cometida. O segundo dos critrios acessrios o da aderncia dos destinatrios s actividades do projecto. Para ter qualidade, um projecto deve ser capaz de suscitar a participao efectiva daqueles com

43

com quem visa trabalhar. Se as taxas de execuo financeira dos projectos nos costumam dar uma indicao aproximada da efectiva realizao das actividades propostas, as taxas de execuo fsica so uma medida da aderncia dos destinatrios aos projectos e s aces que desenvolvem. A aderncia, no sentido proposto, um indicador da eficcia geral do projecto, a qual constitui um critrio principal de avaliao. No basta que as pessoas adiram. preciso que as mudanas projectadas se produzam efectivamente. A eficcia a noo que designa a relao entre os objectivos definidos e os resultados alcanados. Em projectos educativos nem sempre fcil isolar os efeitos especficos, dado que mltiplos factores, que o projecto no controla, interferem nos grupos e nos contextos que so objecto da interveno. A utilizao de questionrios para aferir a opinio dos intervenientes e dos destinatrios acerca dos efeitos e contributo dos projectos para a resoluo dos problemas identificados um contributo para uma aproximao eficcia. Existem tambm outras metodologias mais sofisticadas, como sejam a das projeces economtricas e a da utilizao de grupos de controlo. As primeiras so construes matemticas nas quais a equao composta pelo comportamento de um conjunto de variveis consideradas relevantes na ausncia do factor projecto, em comparao com o comportamento dessas mesmas variveis afectadas pelo dito factor. No caso dos grupos de controlo trata-se de constituir dois grupos populacionais homogneos, um dos quais submetido interveno do projecto e o outro no. A comparao entre as caractersticas pertinentes dos dois grupos antes e depois do projecto d conta (supese) dos respectivos efeitos especficos. O segundo critrio principal o da eficincia. Esta refere-se relao entre a eficcia e os meios utilizados. Muitas vezes confunde-se a eficincia com a economia do projecto. Na verdade, no se trata apenas de saber se o projecto se conteve dentro das balizas de recursos pr-definidos (o que tambm importa aferir), no basta saber se os objectivos esto a ser atingidos, preciso tambm determinar se os mesmos resultados no poderiam ser alcanados, preservando a qualidade do processo, de uma forma mais econmica ou, o que vem a dar no mesmo, se com os mesmo recursos no se poderiam atingir objectivos mais amplos.

44

AVALIAO

Ao longo da abordagem de cada uma das etapas do planeamento fomos referindo os critrios de avaliao, isto , fomos enunciando as questes centrais que em cada etapa, a avaliao deve colocar ao processo de planeamento e execuo dos projectos. Procurou-se sempre evidenciar a importncia da avaliao, a outra face da moeda de um projecto, pela qual se pode determinar a qualidade do mesmo em contexto educativo12. Importncia, desde logo, por evidenciar os resultados da interveno: a avaliao no apenas permite verificar os resultados obtidos, constituindo-se em auxiliar precioso de prestao de contas que torna mais transparentes e comparveis as intervenes e os respectivos mritos, como ainda potencia a capacidade negocial e de participao dos intervenientes e das populaes, fornecendo informao de forma partilhada e promotora da igualdade de capacidades e conhecimentos. Para alm disso, a avaliao o principal instrumento de apoio replicao e reproduo alargada das boas prticas, porque permite compreender tanto os sucessos como os insucessos das aces desenvolvidas. Para que esta misso possa ser convenientemente cumprida, necessrio planear, desde o incio, a avaliao. Em primeiro lugar, h que saber exactamente para que se pretende avaliar o projecto, quais so os objectivos da avaliao. Normalmente possvel distinguir dois grandes objectivos: (i) a prestao de contas s entidades que financiam as intervenes e/ou que tutelam as entidades promotoras; (ii) a construo de mecanismos de auto-correco do projecto a partir daquilo que os agentes envolvidos aprendem sobre o que est a acontecer. Estes dois objectivos no so mutuamente exclusivos, sendo o mais comum que o processo de reflexo/aprendizagem aproveite os elementos recolhidos e tratados para efeitos de prestao de contas.

12

Repetimos que, na verdade, com pequenos ajustamentos e afinamentos do tom, o que aqui se disse para projectos na rea da educao igualmente vlido em muitos outros domnios.

45

Figura 12. A projeco do encadeamento das aces no tempo

DEFINIR no INCIO do PROJECTO Objectivos Dimenses de Incidncia Intervenientes e Organizao Indicadores Metodologias de recolha e anlise de dados Produtos Relao com o planeamento e a gesto

Quanto s dimenses do projecto que so objecto da avaliao, usual considerarem-se quatro, podendo a avaliao incidir sobre todas ou apenas uma parte delas. Falamos dos impactos, da realizao, da operacionalizao e da concepo da interveno. Como j foi referido, se os objectivos da avaliao so essencialmente os da prestao de contas, as dimenses dos impactes e da realizao sero os mais relevantes. Se, pelo contrrio, a avaliao tem carcter mais formativo, todas as dimenses importam. Diz-se, no primeiro caso, que estamos perante uma avaliao sumativa (termo emprestado avaliao de conhecimentos corrente na educao), e no segundo caso que se trata de uma avaliao formativa e processual. Especificamente, em cada uma das dimenses tende a colocar-se em relevo os seguintes aspectos: Na avaliao de impactes focam-se as mudanas durveis produzidas no contexto de partida. A comparao entre a situao inicial, tal como o diagnstico a caracterizou, e a situao de chegada, d uma noo do que se alterou na realidade objecto da interveno. Mas para avaliar os impactes preciso ir mais longe e determinar quais das mudanas produzidas iro perdurar. Por outro lado, preciso ter em conta que algumas mudanas no se produzem no imediato o que particularmente verdade no caso da educao, cujos impactes principais s se medem totalmente na qualidade de vida dos alunos e na qualidade da sociedade no futuro pelo que se torna necessrio construir modelos tericos que permitam aquilatar do potencial de produo de impactes diferidos no tempo;

46

A avaliao da realizao, refere-se essencialmente aos nveis de execuo das actividades previstas e aos resultados de tipo mais imediato que ela produziu; A terceira dimenso a da operacionalizao e gesto. Trata-se neste caso de verificar se os processos de gesto, divulgao e organizao do projecto facilitaram a prossecuo das actividades e, da, a concretizao dos objectivos; Por fim, a quarta dimenso a da avaliao da concepo do projecto, isto , do seu processo de planeamento, da adequao e rigor das suas ideias fundadoras e das suas teorias implcitas e explcitas. Se o diagnstico correcto, se as orientaes gerais so coerentes e respondem a esse diagnstico adequadamente, se os recursos so os necessrios e se os objectivos se ajustam s mudanas necessrias, ento os resultados esperados sero alcanados. nesse sentido que se diz que a avaliao percorre todas as etapas do planeamento em sentido contrrio: apuram-se os impactes e os resultados e verifica-se em que medida eles corresponderam ou se desviaram do inicialmente previsto. Se existiram desvios, procura-se saber se estes decorrem de erros na execuo do projecto, ou de deficincias na gesto. Por fim, se tudo o resto tiver corrido conforme o programado, questiona-se o rigor e preciso das teorias que estruturam as grandes opes tomadas e o diagnstico que inspirou essas teorias. Sendo certo que tambm se podem observar impactes e resultados a meio percurso do projecto, a avaliao sumativa tem o seu tempo privilegiado aps o respectivo termo. s avaliaes realizadas nesse tempo chama-se avaliaes ex-post ou finais. No plo oposto, muitas vezes com o intuito de aquilatar da qualidade do desenho do projecto, avaliam-se as dimenses da concepo e operacionalizao antes de iniciar a actividade, procurando sondar as respectivas potencialidades e obstculos. A esse tipo de avaliao costuma chamar-se ex-ante ou prvia. No caso da anlise prospectiva a avaliao prvia incide tambm sobre os impactes, neste caso virtuais. As avaliaes on-going ou de acompanhamento abrangem as quatro dimenses ou reas de incidncia, embora a avaliao dos impactes apenas se possa completar na fase final do acompanhamento ou mesmo depois de findo o projecto. Na maioria dos casos, quando os projectos desenvolvidos nas escolas so resultado da vontade da prpria escola em tomar uma iniciativa prpria ou em responder a uma medida que lhe proposta, a avaliao de acompanhamento a mais recomendada, numa lgica de investigao-aco.

47

Abordado o problema dos objectivos e das dimenses de incidncia, passemos ao planeamento da avaliao dos intervenientes e da organizao, aspecto que tambm merece uma particular ateno. preciso decidir desde o incio: se a avaliao externa, quais os procedimentos para a escolha dos avaliadores e quais as matrias submetidas avaliao, se a avaliao interna, as pessoas e entidades envolvidas conduzem todo o processo, ou contratam um especialista (ou uma equipa de especialistas) para as auxiliar na organizao das tarefas avaliativas. Esse auxlio ser particularmente importante para assegurar que a avaliao no se transforma num processo de auto-justificao das opes tomadas, preservando o sentido crtico que deve possuir, existem ainda avaliaes mistas. Normalmente, neste caso, os avaliadores externos trabalham sobre os produtos da auto-avaliao, existindo porm casos em que um mesmo projecto avaliado segundo os dois modelos de forma separada, embora geralmente complementar. Em qualquer das modalidades, h que tomar decises sobre tpicos tais como os procedimentos de realizao da avaliao, a periodicidade das reunies a ela destinadas, os documentos a elaborar e qual o mbito da sua difuso, de quem so as responsabilidades de produzir e tratar a informao sobre a qual o processo avaliativo incide. Um dos aspectos mais crticos de todo o planeamento da avaliao respeita precisamente produo e anlise da informao. Uma boa parte desse problema respeita escolha dos indicadores.

A avaliao trabalha, normalmente, com base em indicadores. Os critrios de avaliao s ganham corpo desde que se traduzam em indicadores que permitam aferi-los. um indicador um instrumento de medida, e deste simples facto decorrem algumas consequncias imediatas que por to bvias so por vezes ignoradas: a necessidade de identificar o objecto a medir e de descrever o processo de mensurao e a exigncia de que o objecto a ser medido possa efectivamente ser alvo de mensurao, de modo directo ou indirecto. A medio directa acontece quando a varivel ou objecto pode ser alvo de uma mensurao quantificada imediata (por simples contagem ou adio). Por exemplo, o nmero de faltas de um aluno permite medir o seu absentismo. Mas em muitos casos essa

48

medio no possvel e torna-se necessrio recorrer a outras variveis, passveis de quantificao, que permitam uma mensurao to aproximada quanto possvel do objecto em questo (atravs de algoritmos mais ou menos complexos de clculo). Num caso tm-se indicadores simples (ou elementares), no outro indicadores derivados e compsitos (que podem ser elaborados a partir de indicadores simples.13 Por exemplo, o nmero de alunos que participam numa sesso de debate sobre Infeces Sexualmente Transmitidas (IST) um indicador simples de realizao da sesso; se quisermos conhecer o resultado da sesso, provavelmente, teremos de inquirir os alunos sobre o que aprenderam, utilizando para isso diversas questes relativas ao conhecimento sobre IST, dos quais se pode chegar a uma nota (indicador compsito) resultante da mdia de respostas acertadas; o nmero de jovens que adoptam comportamentos seguros no domnio da sexualidade um indicador elementar de impacte da sesso, ao passo que a mudana de atitudes e comportamentos face sexualidade ter de ser medida atravs de um indicador compsito. () Um indicador deve possuir quatro atributos para ser considerado como tal: uma designao, uma definio do seu significado, uma metodologia de clculo e a identificao das fontes onde se podem recolher os dados necessrios ao seu clculo. Sendo Designao - nome do indicador Significado - definio do indicador Mtodo de clculo - algoritmo a usar para o seu clculo Identificao das fontes - em que fontes de informao se localizam os dados necessrios ao clculo ou, no caso de indicadores compsitos, quais as variveis ou indicadores simples a utilizar Norma de Referncia - valor mdio, meta anual, meta final, etc. () os indicadores exigem a existncia de normas de referncia quantificadas (que podem ser valores-padro ou mdias, metas anuais ou metas finais do programa, por exemplo) que lhes dem sentido. A distribuio dos indicadores por cada uma das medidas do projecto deve ser equilibrada e selectiva. Um sistema considera-se equilibrado quando comporta indicadores de realizao, de resultados e de impactes, e estes so referidos de forma ponderada, e a mesma ponderao observada nos indicadores de pertinncia e de eficcia. Por outra parte, um sistema considera-se selectivo quando o nmero de indicadores no excessivo e permite a recolha de informao relevante. () habitual segmentar o conjunto de indicadores em trs categorias fundamentais: de realizao (fsica e financeira), de resultados e de impactes, conforme acompanham a utilizao programada de recursos

49

(objectivos operacionais), o efeito das actividades de todos os agentes envolvidos no que respeita s consequncias imediatas (objectivos especficos imediatos), e os efeitos de longo prazo para os destinatrios da interveno (objectivos especficos de longo prazo).

As metodologias de recolha de dados devem ser projectadas de acordo com o tipo de objecto ou temtica. Desde logo, distinguem-se os dados descritivos, que relatam o que aconteceu e como aconteceu, dos dados avaliativos, que questionam o como e porque aconteceu de determinada forma. Por exemplo, pode-se descrever, atravs de uma escala, as atitudes ou as motivaes de um aluno. Mas para avaliar os factores que esto por detrs dessas atitudes e motivaes requerido um conjunto de indicadores sobre as razes porque o aluno tem determinada atitude ou desenvolve determinados comportamentos. Uma outra distino pode ser estabelecida entre dados qualitativos e dados quantitativos. A escolha depende tambm da matria em anlise e dos objectivos da avaliao. Tcnicas como o questionrio ou a anlise de dados estatsticos so adequados recolha e tratamento de dados quantitativos. A entrevista, a anlise de contedo, a observao, as escalas de atitudes, as actas de reunies, os registos de ocorrncias, os focus-group e os painis de actores permitem recolher dados de tipo qualitativo. Qual a combinao de uns com outros que pode ser mais til matria relevante no planeamento da avaliao. Naturalmente, num mesmo processo podem combinar-se, e geralmente combinam-se, diferentes metodologias de modo a captar a realidade do projecto a partir de diferentes ngulos e perspectivas. Ao planear a avaliao preciso ainda decidir, desde o incio, quais os produtos da avaliao. Estes podem ser relatrios (com regularidade e temas pr-definidos), textos publicados, bases de dados, listas de tpicos para discusso em reunies de avaliao (cuja regularidade e temticas se podem determinar desde o incio) ou modelos de boas prticas e produtos inovadores passveis de disseminao. Para concluir, importante referir que o modo como o sistema de avaliao de um projecto consegue abranger todos estes domnios com a qualidade necessria depende de um conjunto vasto de factores, dos quais se salienta o lugar ocupado pela avaliao no quadro organizativo do projecto. , na verdade, determinante deixar claro desde o incio qual o papel e o grau de liberdade deixado para as actividades de avaliao, bem como o modo como as respectivas concluses interferem na conduo estratgica do processo de planeamento.

13

Este texto, bem como o restante texto em itlico contido neste quadro, da autoria de Jos Santandr e pode ser consultado em Lus Imaginrio (2005).

50

NOTAS FINAIS

Este guio assume-se apenas como um contributo para que as escolas e a comunidade educativa, nomeadamente rgos de gesto e docentes, melhor enquadrem e concebam a diversidade de intervenes que lhes so hoje solicitadas. No tem, por isso, presuno terica (apresentam-se simplesmente as definies consideradas bsicas e as formulaes mais genricas de problemticas tericas que o leitor pode aprofundar), mas apenas o objectivo de orientar na prtica, isto , do ponto de vista das metodologias e dos objectivos das aces, as escolas enquanto organizaes. A partir da nossa experincia recente no terreno, junto das escolas, apercebemo-nos da diversidade de solicitaes desta natureza a que esto sujeitas e das dificuldades que encontram em planear de forma sustentada os seus projectos, aproveitar sinergias entre eles, abrir-se ao exterior. Pareceu-nos, pois, necessrio escrever e divulgar este texto. A Direco Geral de Inovao e Desenvolvimento Curricular tem particulares responsabilidades porque da sua interveno resultam precisamente muitos desses desafios a que nos referimos. Temos procurado apoiar as escolas a construir bons projectos, mas a nossa aco pedaggica tem sido localizada e restringida a alguns projectos que coordenamos directamente. Optmos agora por levar a todos quantos sintam interesse e necessidade em planear melhor os seus projectos aquilo que julgamos saber sobre diagnstico, definio de objectivos, planeamento de actividades, mobilizao de recursos, formao de parcerias e avaliao. Deste pequeno guio gostaramos de salientar o conjunto de aspectos que nos parecem mais importantes: (i) as organizaes e as equipas tm de se orientar para os resultados; (ii) para que tal seja possvel, a sua actividade tem de se fundamentar na definio clara e pertinente de objectivos; (iii) a pertinncia e clareza dependem de um bom processo de planeamento e este ancora num correcto diagnstico; (iv) a percepo de que os resultados foram atingidos exige avaliao encarada como actividade formativa, pedaggica e correctiva sobre as nossas prticas e actividades; (v) a prtica do planeamento e da avaliao, embora exigindo algumas competncias especficas, deve estar presente no interior das equipas e pode ser adquirida por experincias sucessivas de utilizao das tcnicas e mtodos de planeamento e avaliao.

51

52

UMA BREVE LISTAGEM de AFERIO de PROCEDIMENTOS

No se esquea, ao organizar um projecto, de verificar se considerou os seguintes aspectos:

1 Apresentao do projecto nas suas linhas gerais

(como que o projecto se enquadra nas orientaes polticas e que problemticas pretende abordar/resolver) Com base no diagnstico

2 Objectivos/Metas e Destinatrios
(Quais so as metas, quais as razes, quais os destinatrios principais e porqu) Com base no diagnstico e na hierarquizao das prioridades.

3 Identificao operacional dos objectivos e sub-objectivos

(Identificao clara dos objectivos pretendidos com o projecto. Estes podem ser apresentados em sub- objectivos) Justificao das prioridades e transformaes previstas (Os objectivos devem ser explicitados em funo das transformaes previstas)

4 O projecto: natureza e organizao:

(Justificao de como se pretende fazer; atravs de que aces) Como se organizam e desenvolvem as actividades previstas

53

5 Recursos necessrios
(De que recursos se dispe e quais os necessrios; como providenci-los)

Anlise dos recursos humanos e materiais disponveis e dos necessrios. necessrio ter presente a exequibilidade do projecto.

6 Cronograma de execuo
(qual o mapa de execuo das actividades previstas) Calendrio de execuo das actividades previstas

7 Dispositivo de avaliao do projecto

(que modalidades, tempo e instrumentos de avaliao do projecto so previstos )

Definio de critrios e indicadores referenciados aos objectivos previstos nas metas Momentos previstos

54

PEQUENO GLOSSRIO

Acompanhamento - Superviso contnua do projecto e das actividades com vista a garantir a concretizao dos resultados e a corrigir eventuais desvios. Implica a existncia de um sistema de informao mesmo que rudimentar que congregue os dados de realizao fsica e financeira. Avaliao - Domnio de investigao e estudo que tem por objectivo evidenciar e analisar a utilidade e os efeitos de uma interveno sobre um determinado contexto social ou organizacional, utilizando tcnicas aplicadas em diversas reas das cincias sociais. Implica um julgamento de valor tendo por base a referncia a standards e critrios, tais como a relevncia, a eficcia, a eficincia, entre outros. Avaliao on going - Realiza-se de forma contnua, isto , durante o desenvolvimento de um projecto ou interveno e tem em vista proceder a correces e desvios, tendo por isso uma dimenso essencialmente pedaggica. Avaliao ex-ante - Realiza-se antes da implementao de uma interveno ou projecto e tem em vista avaliar a pertinncia e qualidade do diagnstico e do processo de planeamento efectuado, faz por isso parte do processo de planeamento. Avaliao ex-post - Realiza-se aps a execuo de uma interveno ou projecto e tem em vista avaliar os seus resultados, efeitos e impactes. Coerncia Externa - Anlise da compatibilidade entre os objectivos e a estratgia definida no quadro de uma interveno ou projecto com outras intervenes ou projectos existentes no mesmo contexto social ou organizacional que possam concorrer para a resoluo dos mesmos problemas. Uma forte coerncia externa implica no apenas compatibilidade, mas tambm efeitos de sinergia entre as vrias intervenes ou projectos.

55

Coerncia Interna - Anlise da compatibilidade e articulao entre objectivos, aces ou actividades e meios para a sua concretizao dentro de uma mesma estratgia de interveno ou projecto. Eficcia - Grau em que se atingem os objectivos de uma interveno ou projecto, estes so tanto mais eficazes quanto os resultados se aproximarem dos resultados esperados ou os ultrapassarem e tanto quanto estes sejam compatveis com os objectivos traados. Eficincia - Grau de aproveitamento dos recursos utilizados tendo em vista os resultados atingidos, compara resultados atingidos e recursos utilizados nas intervenes ou projectos, estes sero tanto mais eficientes quanto atingirem melhores resultados com menos recursos. Esta anlise exige a comparao face a um qualquer standard que pode, em ltimo caso, ser os recursos previstos e os resultados esperados. Impacte - Anlise dos efeitos sustentveis das intervenes e projectos, isto , das consequncias dos mesmos junto dos seus pblicos-alvo e dos sistemas sociais e organizacionais em que foram implementados. Pode ser negativo ou positivo, esperado ou no esperado. Hierarquia de objectivos - Classificao dos objectivos tendo em conta o sua relevncia face ao diagnstico efectuado, os objectivos podem ser finais do projecto (expressam a razo ou as razes que levam existncia de um projecto) ou especficos relativos a componentes particulares do projecto, podem corresponder a resultados finais ou realizao especfica. Indicador - Expresso quantitativa ou qualitativa da realidade observada. H vrios tipos de indicadores, podem servir para medir e verificar impactes, resultados, realizaes, eficcia, eficincia, etc

56

Interdependncia entre objectivos - Relaciona-se com a coerncia interna, significa que h uma relao tal entre os objectivos que a concretizao de uns depende da concretizao dos outros. Interveno - Qualquer projecto ou plano concebido para produzir mudanas no contexto em que se realiza e na sua populao-alvo. Medida - Faz parte do processo de planeamento, ao nvel da medida que se definem estratgias concretas de interveno que se concretizam em aces e actividades. Meta - O que se define como resultado esperado da interveno ou projecto. Deve ser tanto quanto possvel quantificada para que a sua concretizao possa ser medida por indicadores. Pertinncia - Grau de adequao dos objectivos de uma interveno ou projecto s necessidades identificadas em sede de diagnstico, verifica a adequao entre o projecto e as suas medidas, aces e actividades e os problemas a que este procura responder. Planeamento - Processo estruturado que conduz identificao de necessidades e problemas, definio de metas e transposio das mesmas para objectivos tendo em vista a interveno num contexto social e organizacional especfico e junto de uma populao-alvo determinada. Populao-alvo - Grupo especfico para o qual dirigido uma interveno ou um projeco. Projecto - Nvel concreto de planeamento que define uma interveno direccionada para a concretizao de um conjunto de objectivos e para a qual foram afectados meios.

57

Racionalidade - Anlise das relaes entre necessidades e problemas diagnosticados e os objectivos definidos com vista resoluo dos mesmos. Relevncia - Anlise e avaliao do diagnstico luz da relevncia dos problemas e necessidades identificadas face ao contexto global. Resultados - Efeitos directos e imediatos produzidos pela interveno ou projecto. Sinergia - Efeito produzido pela conjugao de todas as aces e actividades de uma interveno ou projecto. Sinergia positiva significa que o impacte do conjunto das actividades porque realizadas de forma conjugada maior que a soma dos impactes das diversas aces e actividades se estas fossem realizadas de forma isolada.

58

REFERNCIAS
BARBIER, Jean-Marie, 1990, A Avaliao em Formao, Porto, Edies Afrontamento. BOEUF, Jean-Luc, 2001, L'valuation des Politiques Publiques, Problmes Politiques et Sociaux, n 853, La Documentation Franaise. CAPUCHA, Lus e PEDROSO, Paulo (orgs.), 1996, Sociologia Problemas e Prticas, n 22 (Nmero especial sobre metodologias de avaliao), Oeiras. Celta. COMMISSION EUROPENE, 1999, valuer les Programmes Socio-Economiques, Vol. 4, Luxemburgo, Coleco Means. LE BOTERF, Guy, 1993, L'Ingenierie et l'Evaluation de la Formation, Paris, Les ditions d'Organization. FITZ-GIBBON, Carol Taylor e MORRIS, Lynn Lyons, 1987, How to Design a Program Evaluation, Londres, Sage Publications. GODET, Michel (1993), Manual de Prospectiva Estratgica. Da antecipao aco, Lisboa, D. Quixote. IMAGINRIO, Lus (coord.) (2005), Avaliao Intercalar do PRODEPIII, Policopiado. NEVES, Oliveira das, PEDROSO, Paulo e MATIAS, Nelson, 1993, O Sistema de Emprego em Portugal, Experincia de Avaliao Crtica, Lisboa, Instituto do Emprego e da Formao Profissional. ROSSI, Peter H. e FREEMAN, Howard E., 1993, Evaluation: a Systematic Approach, Londres, Sage Publications. SHADISH Jr, William R., COOK, Thomas D., LEVITON, Laura C., 1991, Foundations of Program Evaluation Theories of Practice, Londres, Sage Publications.

59

60