Influential Evaluations Portuguese

AVALIAES INFLUENTES:
Avaliaes que Melhoraram o Desempenho e os Impactos de Programas de Desenvolvimento
Banco Mundial Washington, D.C. www.worldbank.org/oed/ecd/
AGRADECIMENTOS
Este estudo, Avaliaes Influentes, foi preparado como um trabalho de grupo, com contribuies substantivas de um conjunto de indivduos. Michael Bamberger foi o seu principal investigador, com o apoio de Elaine Ooi (consultora), a qual preparou, tambm, um pormenorizado estudo de casos acerca da avaliao da floresta da China. Outros autores de estudos de casos individuais, os quais so apresentados no volume que acompanha este estudo Avaliaes Influentes: Estudos de Casos Pormenorizados, so abaixo elencados.

S.P. Pal e Amar Singh, Improving the Efficiency of the Indian Employment Assurance Scheme Richard Hopkins e Nilanjana Mukherjee, Assessing the Effectiveness of Water and Sanitation Interventions in Flores, Indonesia Mita Marra, Broadening the Policy Framework Criteria for Assessing the Viability of Large Dams James Garrett e Yassir Islam, The Abolition of Wheat-Flour Ration Shops in Pakistan Todor Dimitrov, Enhancing the Performance of a major Environmental Project in Bulgaria
A OED gostaria de agradecer a todos os autores dos estudos de casos de avaliao. Os sumrios apresentados neste relatrio so da responsabilidade da equipa da OED, no devendo ser atribudos aos autores estudos dos casos. O Chefe do Projecto para o estudo Avaliaes Influentes foi Keith Mackay (OEDKE). Uma contribuio substantiva foi a do Dr. A. Ravindra, que levou a cabo uma anlise detalhada acerca do impacto do carto com as "notas" dos cidados de Bangalore (citizens report card); este mesmo apresentado num documento de trabalho da OED. Informao e historial relevantes acerca dos estudos de casos foram fornecidos por Ananya Basu, Stephen Howes, Jikun Huang, Xu Jintao, Uma Lele, Radhika Nayak, Dr. Samuel Paul, Ulrich Schmitt e Susan Shen. Os revisores pares para este documento foram Zhengfang Shi e Susan Stout. Patrick G. Grasso Gestor Interino Knowledge Programs & Evaluation Capacity Development
Copyright 2004 O Banco Internacional para a Reconstruo e Desenvolvimento/ O Banco Mundial 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Todos os direitos reservados. Realizado nos Estados Unidos da Amrica. A opinio expressa neste relatrio no representa necessariamente as posies do Banco Mundial ou a dos governos membros. O Banco Mundial no assegura o rigor dos dados includos nesta publicao e no aceita quaisquer responsabilidades nas consequncias da sua utilizao.
D E P A R T A M E N T O
D E
A V A L I A O D A S O P E R A E S D O B A N C O M U N D I A L D E P A R T A M E N T O D E C A P A C I D A D E D E A V A L I A O
ndice
Viso Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Estudos de Casos
Melhorar a eficincia do Esquema de Garantia de Emprego da ndia . . . . . . . . . . . . . . . . . .. . . . . . . . . . 6 Utilizar as Notas dadas pelos cidados para tornar o Estado responsvel em Bangalore, ndia . . . . . . . . . . 8 Avaliar a eficcia das intervenes na gua e saneamento nas Flores, Indonsia . . . . . . . . . . . . . . . . . . . . . . . . 11 Alargar o enquadramento de polticas para avaliar a viabilidade de grandes barragens . . . . . . . . . . . . . . . . 14 A abolio das Lojas de Racionamento de farinha de trigo no Paquisto . . . . . . . . . . . . . . . . . . . . . . . . 16 Melhorar a prestao dos servios de educao primria no Uganda . . . . . . . . . . . . .. . . . . . . . . . . . . 18 Aumentar o desempenho de um grande projecto ambiental na Bulgria . . . . . . . . . . . . . . . . . . . . . . . . 21 Ajudar a Reavaliao da Poltica florestal nacional da China .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 23
Concepo de Avaliaes teis: lies aprendidas . . . . . . . . 26 Fontes adicionais sobre Monitorizao e Avaliao . . . . . . . 29
D E
5
VISO GERAL SOBRE AS AVALIAES INFLUENTES
AVALIAES QUE MELHORARAM O DESEMPENHO E OS IMPACTOS DE PROGRAMAS DE DESENVOLVIMENTO: ESTUDOS DE CASOS E AVALIAES APRENDIDAS
Quando levadas a cabo na altura certa, e quando centradas em temas decisivos para decisores e gestores, e quando os resultados so apresentados num formato acessvel, as avaliaes podem facultar um forte e econmico modo de aumentar o desempenho e impacto de projectos, programas e polticas de desenvolvimento. Mas as avaliaes que falham estes critrios no produzem efeitos teis, mesmo quando se apresentam metodologicamente robustas.
OBJECTIVO
Este relatrio apresenta 8 avaliaes que tiveram um impacto significativo. Em muitos casos foi possvel comparar os custos de realizao da avaliao com os benefcios econmicos por ela produzidos e mostrar que a avaliao foi um instrumento de gesto muito eficaz em funo do custo. Os casos descrevem as seguintes avaliaes: Melhorar a eficincia do esquema de garantia de emprego da ndia Utilizar as notas dadas pelos cidados para tornar o Estado responsvel em Bangalore, ndia Avaliar a eficcia das intervenes na gua e saneamento nas Flores, Indonsia Alargar o enquadramento de polticas para avaliar a viabilidade de grandes barragens A abolio das Lojas de racionamento de farinha de trigo no Paquisto Melhorar a prestao dos servios de educao primria no Uganda Melhorar o desempenho de um grande projecto ambiental na Bulgria Ajudar a Reavaliao da Poltica florestal nacional da China O relatrio conclui com um sumrio das lies aprendidas respeitantes concepo de avaliaes teis, ao saber at que ponto a utilizao da avaliao pode ser apreciada, e at que ponto a sua eficcia de custos pode ser calculada. Um volume que acompanha este estudo apresenta os casos com maior detalhe Avaliaes Influentes: Estudos de Casos pormenorizados. Ele descreve tambm as metodologias utilizadas para a identificao dos impactos das avaliaes. Uma publicao separada M&A: Alguns Instrumentos, Mtodos e Abordagens faculta um breve e conciso quadro de vrios tipos de monitorizao e avaliao, incluindo vrios tipos usados nos estudos de casos que integram este estudo, Avaliaes Influentes. A publicao Instrumentos M&A: descreve: o seu objectivo e utilizao; vantagens e limitaes; custos, competncias e tempo requeridos e referncias chave. Estas publicaes esto disponveis no website Evaluation Capacity Development da OED: http://www.worldbank.org/oed/ecd/
Melhorar a eficincia do Esquema de Garantia de Emprego da ndia
O Esquema de Garantia de Emprego da ndia (EAS) foi lanado pelo Governo Federal em Outubro de 1993, nos Distritos (Blocos) pobres da ndia com tendncia para a seca, de molde a garantir o nvel de emprego nos anos agrcolas fracos, e a criar infra-estruturas econmicas e comunitrias para a promoo de desenvolvimento e emprego sustentados. O esquema tinha um oramento de US$518 milhes em 1997-98, tendo sido implementado pela administrao dos governos dos estados, sob a superviso do Ministrio Central do Emprego e reas Rurais (MRAE).
O objectivo da avaliao
A Comisso Governamental para o Planeamento solicitou Organizao do Programa de Avaliao (PEO) que avaliasse o desempenho do EAS e sugerisse medidas para o seu melhoramento. Face ao reportado desempenho insatisfatrio do EAS, e de outros esquemas de reduo da pobreza, algumas reformas destes esquemas estavam j na agenda do governo. Contudo, era necessria uma avaliao independente, para, por um lado, se julgar o desempenho com base nos dados genunos fornecidos pelo cidado comum e, por outro, para se determinar o modo exacto da sua reestruturao.
Metodologia da avaliao

Anlise dos registos do programa e outras fontes secundrias. Amostra estratificada e com fases mltiplas, cobrindo 1120 beneficirios em 112 aldeias espalhadas por 14 estados. Entrevistas estruturadas feitas com beneficirios, lderes comunitrios e autoridades locais e estaduais. Informao qualitativa obtida atravs de informadores chave e mediante observao directa. Os registos do programa foram sujeitos a uma anlise para comparar o progresso actual com os gastos reportados, projectos executados e nmero de beneficirios.
Concluses da avaliao
Implementao do programa Houve pouco planeamento antecipado na gesto do EAS, e a principal preocupao das agncias locais foi a de gastar nesse mesmo ano, o mximo possvel dos fundos que lhe tinham sido afectados. Os comits locais de monitorizao foram ineficazes e houve um considervel erro na alocao dos fundos, bem como um exagero no nmero de projectos implementados. Muitos habitantes das vilas desconheciam os pormenores do esquema. Utilizao dos fundos Os atrasos administrativos foram a principal causa da sua subutilizao. Os actuais valores de utilizao do fundo eram muito inferiores aos reportados.
O impacto do programa Um quarto dos beneficirios no pertencia ao grupo alvo.
D E
Apenas cerca de 5% do grupo alvo recebeu efectivamente emprego, e os beneficirios eram contratados por um perodo inferior ao reportado.
Custo e durao da avaliao

A avaliao custou aproximadamente $146 000 e foi executada em 15 meses.
Recomendaes da avaliao

Todos os esquemas de emprego rural deveriam ser consolidados e integrados com esquemas de segurana alimentar. Participao mais activa dos habitantes das vilas na seleco, implementao e manuteno dos activos. Maior papel do governo de nvel intermdio na avaliao da viabilidade dos esquemas propostos. So requeridos procedimentos de contabilidade mais rigorosos. Os fundos deveriam ser afectados s reas mais necessitadas e mais pobres (tal como identificadas no ndice privao/desenvolvimento).
Estimar os impactos para os quais a avaliao contribuiu

A consolidao da segurana alimentar e os programas rurais de emprego aumentaram os fundos para a criao de emprego num valor de $1 200 milhes. A reduo dos stocks pblicos de cereais excedentrios poupar $72 milhes (3,6% do oramento do EAS). Posterior reestruturao do pessoal cortar cerca de 20% da folha salarial ($100 000). Ao abrigo do actual oramento, a adeso ao alvo do rcio salrios/materiais poderia aumentar o emprego em cerca de 85%.
A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Os seguintes mtodos foram utilizados para avaliar em que medida os impactos observados podem ser atribudos avaliao em vez de o serem a outros factores no relacionados. O estudo de caso identificou as referncias especficas para a avaliao nos documentos de planeamento destinados ao Projecto de Reestruturao do Pleno Emprego Rural. O estudo do caso identificou as referncias especficas para a avaliao nos captulos correspondentes da Avaliao de Meio do Perodo do 9 Plano Nacional de Desenvolvimento. A verso preliminar do estudo do caso foi revista por especialistas em emprego e proteco social do Escritrio do Banco Mundial em Nova Deli e foram feitas clarificaes e modificaes.
Ter sido a avaliao eficaz em funo dos custos?

Se bem que, seguramente, a avaliao no tenha sido a nica fonte de informao utilizada para a reforma do programa, as suas recomendaes contriburam de forma significativa para os impactos acima descritos. Mesmo se assumirmos que a avaliao foi responsvel por apenas 10% dos impactos, teria assim mesmo produzido mais de $127 milhes em benefcios para uma avaliao cujo custo estimado em $146 000.
P A R A
M A I S
I N F O R M A E S
S.P Pal e Amar Singh Evaluation of the Indian Employment Assurance Scheme, em OED. Avaliaes Influentes: Estudos de Casos Pormenorizados.
Utilizar as Notas dadas pelos cidados

para tornar o Estado responsvel em Bangalore, ndia
No incio dos anos 90, semelhana de muitas outras cidades na ndia, Bangalore sofria de uma prestao de servios pblicos como a gua, electricidade, transportes, hospitais e regulao da propriedade pblica, de fraca qualidade. A maior parte da populao aceitava que os servios teriam de ser deficientes, que o governo no teria capacidade de resposta e que o suborno era a nica maneira de obter os servios.
O objectivo da avaliao das "Notas" dos Cidados (CRC)

Uma ONG independente, o Centro de Negcios Pblicos (PAC), decidiu realizar uma avaliao mediante as "notas" dadas pelos cidados. O seu objectivo era o seguinte: Solicitar e documentar os pontos de vista dos utilizadores dos servios pblicos. Divulgar amplamente os resultados. Utilizar os resultados para pressionar os prestadores de servios pblicos no sentido de melhorar a sua qualidade.

Foi feito um levantamento a uma amostra estratificada ao acaso de 1130 aglomerados familiares de Bangalore em 1993-4. Uma amostra separada de habitantes de bairros da lata foi tambm considerada. Os inquiridos forneceram informao sobre os servios que utilizaram nos ltimos seis meses e sobre todas as agncias com as quais ento tiveram contacto. O levantamento abrangeu telefones, electricidade, gua e saneamento, hospitais pblicos, transportes, bancos pblicos e regulao da propriedade pblica. Os resultados foram amplamente disseminados nos meios de comunicao social, encontros pblicos, e apresentaes aos organismos prestadores de servios pblicos. Os levantamentos foram repetidos em 1999 para se avaliarem as mudanas operadas desde o anterior levantamento no que respeita a: qualidade geral dos servios, comportamento do pessoal e facilidade de interaco entre o cidado comum e o pessoal da agncia de servio pblico.
O primeiro levantamento de 1993-4 encontrou o seguinte: Apenas 10,5% dos aglomerados familiares estava satisfeito (satisfeito + e muito satisfeito) com os servios. Hospitais, transportes e bancos pblicos foram os nicos servios onde a satisfao chegou aos dois dgitos. 37,5% dos aglomerados familiares estava "insatisfeito" (insatisfeito+ e muito insatisfeito) com os servios.
D E
O subsequente levantamento de 1999 encontrou o seguinte: A percentagem geral de "satisfao" aumentou de 10,5 para 40,1. A percentagem geral de "insatisfao" baixou de 37,5 para 17,9. As melhorias foram muito similares nos casos dos habitantes dos bairros da lata e no de todos os agregados familiares. Os hospitais pblicos e a electricidade mostraram as melhorias mais significativas. Para todos os servios, a proporo da satisfao dos agregados familiares melhorou pelo menos metade. No houve reduo na proporo do pagamento de subornos por parte dos aglomerados familiares.

Cada levantamento demorou cerca de 7 meses a executar e custou entre $10 000 e 12 000. Acresce que o PAC dedicou um tempo considervel disseminao dos resultados do levantamento, persuaso dos departamentos governamentais sobre a necessidade de mudana, e ao apoio directo aos vrios departamentos que pediram assistncia.
Os relatrios incluram recomendaes especficas para cada agncia, as quais foram comunicadas em encontros separados entre o PAC e cada agncia.
As recomendaes gerais incluram: As agncias deveriam discutir os resultados com o seu pessoal e acordar planos de aco. Deveriam ser tomadas medidas para a promoo de uma informao retroactiva sistemtica da parte do pblico. Deveriam ser feitos esforos para aumentar a transparncia e a eficincia, no sentido de reduzir a necessidade e a oportunidade de suborno.

O CRC aumentou a conscincia pblica da fraca qualidade dos servios e encorajou a organizao de grupos de cidados para pressionarem a introduo de melhorias. O CRC catalizou tambm as agncias de servios pblicos com vista a reforar a orientao do seu cliente e melhorar a qualidade dos servios prestados. Os aglomerados familiares no reportaram qualquer reduo no nvel de corrupo com que se debatiam. Idnticos CRC foram iniciados noutras cidades da ndia e noutros pases, como consequncia directa do estudo pioneiro de Bangalore.
10
A discusso alargada das concluses do relatrio nos meios de comunicao social, bem como o relato pblico de aces empreendidas na sua sequncia, so sinal da grande visibilidade das concluses do CRC. Um levantamento junto dos interessados, abrangendo 19 autoridades municipais seniores, 5 autoridades estatais superiores, representantes de 7 ONGs e 4 jornalistas, confirmou que o CRC teve um efeito cataltico nas agncias de servio pblico e na sociedade civil. Registaram-se alteraes significativas no empenhamento das diferentes agncias no que respeita s aces propostas, bem como nas mudanas produzidas a longo prazo.

As provas disponveis sugerem que, a par de outros factores em aco, o CRC contribuiu de forma decisiva para o melhoramento da prestao dos servios pblicos. O investimento, nos dois levantamentos, de cerca de $22 000, mais a subsequente disseminao e colaborao com departamentos governamentais, contribuiu em cerca de 50% para um aumento da satisfao em relao a todos os principais servios. Portanto, as "notas" dos cidados tm sido altamente eficazes em funo dos custos.
P A R A

M A I S
I N F O R M A O :
Using Citizen Report Cards to Hold the State to Account in Bangalore, India in OED, Avaliaes Influentes: Estudos de Casos Pormenorizados. Samuel Paul. 2002. Holding the State to Account: Citizen Monitoring in Action. Books for Change. ACTIONAID, Karnataka, India. A. Ravindra 2004, An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of Public Agencies, OED ECD Working Paper No. 12. http://www.worldbank.org/oed/ecd/
D E
11
Avaliar a eficcia das intervenes na gua e saneamento nas Flores, Indonsia
Em Dezembro de 1992 a Ilha das Flores, na Indonsia Oriental, sofreu um forte tremor de terra e maremoto que dizimou muitos milhares de vidas e destruiu a maior parte das dbeis infra-estruturas. Um dos esforos de recuperao de emergncia foi levado a cabo pela Agncia Australiana de Ajuda (AusAID) que foi posteriormente convertido no Projecto Quinquenal do Governo/AusAID de Desenvolvimento e de Reconstruo de gua e Saneamento nas Flores (FLOWS). O objectivo do FLOWS era a promoo do desenvolvimento econmico e social atravs do aumento do abastecimento, acesso, utilizao efectiva e sustentabilidade do abastecimento de gua e instalaes de saneamento, com nfase no robustecimento da gesto do projecto.
O objecto da avaliao foi contribuir para a nova poltica nacional do sector de gua e saneamento, mediante a avaliao do FLOWS, passados cinco anos da sua execuo.

Uma amostra estratificada e geograficamente representativa de 63 locais foi tirada, ao acaso, dos 260 locais que foram abrangidos pelo projecto. A Metodologia para uma Avaliao Participativa (MPA) foi usada, em perfeita sintonia com a linguagem e cultura locais. Isto combina os instrumentos de investigao participativos com a anlise quantitativa, no sentido de avaliar a sustentabilidade e a utilizao do abastecimento de gua e servios de saneamento, ao mesmo tempo permitindo a avaliao da equidade, social e de gnero, conseguida quer nos processos, quer nos resultados do projecto. A MPA especifica amostras de grupos marginalizados, tais como mulheres e pobres, que de outra forma no teriam sido consultados. Equipas de investigadores indonsios, equilibradas em gnero, e com um misto de competncias tcnicas e sociais, facilitaram avaliaes participadas. O estudo debruou-se sobre as mudanas do abastecimento de gua, saneamento e condies de higiene, atravs dos olhos da comunidade de utentes e dos investigadores externos, e do uso, pelas comunidades, das instalaes melhoradas. Foram estudados os resultados do projecto nas reas institucional, pobreza e de gnero, e foram tambm investigadas as suas relaes com a sustentabilidade dos servios.
Esquemas de gua foram executados em 87% das vilas e a maior parte estava ainda em curso 3 a 8 anos aps a sua construo. Quase todas as latrinas estavam ainda em funcionamento.
12
13% dos esquemas de gua nunca foi executado, em grande parte devido a conflitos sociais por resolver entre as vilas. Grave queda do nvel dos servios em metade dos locais. Durante um quarto do ano, 22% das instalaes fornecem pouca ou nenhuma gua.
Tero os pobres ganho acesso a melhor gua e higiene? O projecto tinha apenas previsto instalaes comunais de gua, mas muitas famlias abastadas instalaram tambm ligaes nas casas. Os pobres tiveram um acesso mais limitado a latrinas e muitos continuaram a utilizar o ar livre. Regras promovidas pelo projecto, proibindo o banho e a lavagem de bebs nas instalaes comunais, desencorajaram os pobres em relao a melhores prticas de higiene. Os grupos mais abastados monopolizaram o tomar das decises. A sustentabilidade financeira foi ameaada e os pobres foram injustamente onerados As taxas de utilizao no cobriram os custos ordinrios, nem mesmo os custos de funcionamento. Face ao sistema de taxa nica, os pobres pagaram o mesmo valor por gua em menor quantidade e de pior qualidade que os abastados.

O custo total da avaliao foi de aproximadamente $150 000 ($45 000 para consultores internacionais, e o equivalente a $105 000 para os factores de produo nacionais), e a verso preliminar do relatrio em ingls foi executada em 12 meses.

A ateno na equidade social e de gnero contribui para uma melhor gesto e para uma maior sustentabilidade dos servios. Dar mais ateno aos mecanismos do projecto que podem por em prtica a poltica sectorial - deficincias na implementao da poltica diminuem o desempenho do projecto. Durante a fase de planificao, deveria ser dada mais ateno ao modo de lidar com os potenciais conflitos sociais da comunidade. Oferecer e discutir os servios e seus custos opcionais com todos os subgrupos das comunidades, pode minimizar ulteriores conflitos sociais.

O estudo reforou a nova poltica nacional, mostrando que o centrar-se nas questes de gnero e pobreza melhora a sustentabilidade e a efectiva utilizao dos servios. Os resultados tornaram os decisores conscientes dos desafios de, ao nvel comunitrio, traduzirem as polticas na prtica.
D E

13
Resultados chave da avaliao foram incorporados no novo documento poltico do governo. Na anlise conduzida pelos interessados, tanto a agncia de planificao nacional quanto o doador, confirmaram o contributo do estudo, nomeadamente na identificao dos desnveis entre as anteriores declaraes polticas e a implementao no terreno.

Dado que os gastos do governo no sector da gua e saneamento, para os prximos 5 a 10 anos, poderiam ascender a um valor entre $150 milhes e 250 milhes por ano, os $150 000 gastos na avaliao tero sido eficazes no que respeita a custos se a implementao dos resultados da avaliao puder melhorar a sustentabilidade e eficincia do programa, mesmo que por apenas alguns pontos percentuais. Os impactos equitativos podem ser ainda maiores se as recomendaes puderem corrigir as fraquezas reveladas quanto pobreza e gnero no que respeita ao abastecimento de gua e saneamento.
P A R A
M A I S
I N F O R M A O
Richard Hopkins and Nilanjana Mukherjee Assessing the effectiveness of water and sanitation interventions in villages in Flores, Indonesia, in OED, Avaliaes Influentes: Estudos de Casos Pormenorizados. Para mais detalhe ver "Flores Revisited", escrito por Christine van Wijk, Kumala Sari e a equipa Pradipta Paramitha, Nina Shatifan, Ruth Walujan, Ishani Mukherjee e Richard Hopkins, minuta datada de Dezembro 2002, WSP-EAP.
14
Alargar o enquadramento de polticas para avaliar a viabiliadade de grandes barragens
O debate acerca de grandes barragens em desenvolvimento

Em 1993 o Banco Mundial introduziu novas e mais amplas salvaguardas para a avaliao dos investimentos em grandes barragens, prestando maior ateno aos impactos sociais e ambientais. As controvrsias em torno das grandes barragens tornaram os potenciais muturios relutantes em se aproximarem do Banco Mundial e de outras agncias de desenvolvimento no sentido de pedirem a sua assistncia, mesmo para projectos justificados. Contudo, muitos pases em vias de desenvolvimento so incapazes de, por si prprios, financiarem a envergadura dos investimentos requeridos para atingir plenamente o potencial de desenvolvimento social e econmico das suas bacias hidrogrficas e de enfrentar as cada vez mais prementes exigncias de gua adicional, energia e controle alimentar. Apesar do seu constante declnio como medida de emprstimo do Banco Mundial, no ano fiscal de 2000 o Banco emprestou $1 064 milhes para a construo de grandes barragens.
Em 1997 o Departamento de Avaliao das Operaes do Banco Mundial (OED) realizou uma avaliao de emprstimos do Banco para grandes barragens para: Avaliar se os projectos de barragens financiados pelo Banco tinham satisfeito as salvaguardas ambientais e sociais, em vigor aquando da aprovao do projecto e tambm as novas salvaguardas, entretanto introduzidas. Identificar tpicos que exigissem investigao adicional, no sentido de ajudar a uma maior clarificao do papel do Banco Mundial.

Avaliao baseada num relatrio crtico e em dados recolhidos num levantamento feito a pases muturios e a agncias de gesto de barragens no terreno. Anlise custo-benefcio realizada ex-post a 50 projectos de grandes barragens financiados pelo Banco Mundial, construdas entre 1956 e 1987. Todas as barragens foram iniciadas antes da entrada em vigor das actuais linhas de orientao do Banco sobre deslocao involuntria, segurana das barragens, populao indgena e proteco ambiental. Os impactos foram avaliados em termos de criao de energia, abastecimento de gua para irrigao, controlo das cheias e navegao, distribuio de benefcios e apoio reduo da pobreza.

90% das barragens preencheram os padres aplicveis ao tempo da aprovao. Apenas um quarto estava em conformidade com as actuais, e mais exigentes, polticas de salvaguarda do Banco. A mitigao dos impactos ambientais e sociais adversos das barragens teria sido simultaneamente exequvel e economicamente justificvel em 74% dos casos. O relatrio no foi conclusivo quanto a saber se as barragens poderiam atingir padres aceitveis apenas com alguns ajustamentos menores ou se teria sido necessria uma reengenharia substancial para satisfazer as salvaguardas ambientais, de segurana e sociais.
D E
15 Custo e durao da avaliao

A avaliao demorou dois anos a ser executada e custou aproximadamente $200 000.

Fortalecer as salvaguardas de segurana das barragens e do ambiente. Os esquemas de compensao nos casos de deslocao involuntria deveriam ser melhor planeados e dirigidos.

A avaliao centrou a ateno dos parceiros internacionais num conjunto mais amplo de tpicos e criou espao para um debate entre todos os interessados. A avaliao foi tambm a catalizadora para a constituio da Comisso Mundial para as Barragens, a qual criou um mecanismo para a integrao de factores econmicos e sociais na avaliao de grandes barragens. A avaliao encorajou, no seio do Banco Mundial, a uma maior ateno em relao a planos de deslocao, avaliaes ambientais e questes de segurana. A avaliao aumentou a ateno para a minimizao dos efeitos ambientais e tcnicos do estado obsoleto e da degradao das actuais barragens. A avaliao aumentou o clima para a apreciao e responsabilizao no seio do Banco Mundial, desencorajando o emprstimo para novas barragens. Um clima de averso ao risco, resultante de uma mais intensa avaliao dos emprstimos propostos, foi mencionado como um factor para o declnio dos emprstimos para grandes barragens. O Banco Mundial est agora, e antes de mais, centrado na reabilitao e segurana de barragens.
Os impactos da avaliao foram apreciados num estudo de acompanhamento realizado que incluiu 18 entrevistas semi-estruturadas, com decisores, gestores, especialistas de barragens e os autores da Avaliao de Grandes Barragens da OED, do Banco Mundial. Recorreu-se observao dos participantes que estiveram presentes nas reunies do Banco Mundial. Foram tambm analisados os relatrios do Banco e as publicaes dos vrios interessados. Todas as fontes forneceram uma viso consistente acerca dos impactos da avaliao.
A maior parte dos gestores de programa compreenderam a anlise clara e os argumentos pr e contra as grandes barragens, o que permitiu clarificar as questes e fornecer um enquadramento analtico para as tomadas de deciso. A avaliao foi tambm o factor contribuinte mais decisivo para a criao da Comisso Mundial para as Barragens. Dado que o Banco Mundial no ano financeiro de 2000, e s por si, emprestou $1 064 milhes para novas barragens, e assumindo que a avaliao contribuiu para, pelo menos, alguns dos impactos acima discutidos, o investimento de $200 000 na avaliao apresenta-se como altamente eficaz em termos de custos.
P A R A M A I S I N F O R M A O
Ver Mita Marra The Large Dams Evaluation in OED. Avaliaes Influentes: Estudos de Casos Pormenorizados.
16
A abolio das Lojas de Racionamento de farinha de trigo no Paquisto
Desde o perodo anterior Independncia, que o governo do Paquisto tinha vindo a operar um sistema de lojas de racionamento de farinha de trigo, com a inteno de fornecer farinha de trigo subsidiada aos grupos de baixo rendimento. A meio da dcada de 1980 o sistema foi sujeito a um crescente ataque devido sua ineficincia, e grande parte da farinha barata no estava de facto a chegar aos grupos alvo pretendidos.
Em 1985 o Instituto Internacional de Investigao de Poltica Alimentar (IFPRI) foi contratado para conduzir uma avaliao independente das lojas de racionamento de farinha de trigo. O objectivo era avaliar os seus custos e benefcios e recomendar se o sistema deveria ser desactivado. O governo estava a ficar preocupado com a corrupo generalizada das lojas de racionamento e estava determinado a reduzir os subsdios governamentais numa atmosfera de desregulamentao. Contudo, os decisores estavam relutantes em enfrentar o que era percebido como sendo uma questo muito sensvel e esperavam que uma instituio externa de pesquisa, credvel e independente, pudesse fornecer algum apoio aco do governo.
Trabalhando com investigadores locais do Instituto do Desenvolvimento Econmico do Paquisto (PIDE), foram utilizados inquritos opinio pblica inovadores e levantamentos dos agregados familiares no sentido de se obterem dados acerca da disponibilidade e utilizao das lojas de racionamento. Estes resultados foram utilizados para o encetar de um dilogo entre investigadores e decisores polticos do Paquisto, acerca das mudanas a serem operadas ao sistema.

Mais de 70% dos subsdios da farinha de trigo nunca encontraram o seu caminho para os utentes das lojas de racionamento ou padarias subsidiadas. Muito poucos utentes pobres beneficiaram dos subsdios. Medidas alternativas podiam ter sido tomadas para reduzir os impactos negativos da eliminao do programa nos consumidores de baixo rendimento, donos das lojas de farinha de trigo e distribuidores.

O estudo custou aproximadamente $500 000 e os primeiros resultados foram comunicados aos principais responsveis pela formulao de polticas no prazo de um ano.

A abolio das lojas de racionamento foi a recomendao principal do relatrio. Medidas compensatrias para reparar os consumidores de baixo rendimento pela perda do subsdio, e os proprietrios das lojas de racionamento e distribuidores pela perda de rendimento. Foi estimado que o custo destas medidas compensatrias seria muito inferir ao custo do subsdio.
D E
17 Estimar os impactos para os quais a avaliao contribuiu
A avaliao do IFPRI forneceu evidncia segura que permitiu apoiar a deciso do governo de abolir as lojas de racionamento. A sua abolio produziu uma poupana anual lquida ao governo de, pelo menos, $40 milhes. A comunicao rpida e informal dos resultados, anterior publicao formal dos relatrios e no perodo em que a questo estava a ser debatida nos mais altos nveis polticos, forneceu a slida evidncia que permitiu a abolio do programa.
Em 1997, o IFPRI realizou um subsequente estudo de caso para avaliar os impactos da sua investigao. Foram identificados os interessados chave aos quais se perguntou quais os factores que informaram as suas decises de abolir as lojas de racionamento, e qual o espao de polticas em que actuaram. Cada um deles foi entrevistado sobre as suas fontes de informao e sobre o papel da investigao IFPRI-PIDE. Decisivos documentos polticos foram tambm revistos no sentido de detectar os impactos da investigao. As entrevistas mostraram que os decisores reconheceram a importante contribuio da investigao, e ainda que, para alm de ter fornecido forte evidncia, o estudo levado a cabo por uma imparcial e credvel agncia internacional, deu um apoio poltico, tornando assim mais fcil, para os responsveis pela formulao de polticas, a aprovao da abolio das lojas de racionamento, uma difcil e delicada deciso poltica. Se bem que os responsveis pela formulao de polticas se tenham baseado em muitas fontes de informao, os investigadores paquistaneses reconheceram que os nmeros incontornveis da investigao do IFPRI-PIDE deram o golpe de misericrdia s lojas de racionamento.

Foi calculado que, depois de ter em conta as medidas compensatrias, tais como a de aumentar os salrios dos funcionrios pblicos de baixo rendimento, a abolio das lojas de racionamento produziu uma poupana lquida anual ao governo da ordem dos $40 milhes. Se bem que muito provavelmente sem os estudos do IFPRI a deciso de abolir as lojas de racionamento acabaria por vir a ser tomada, parece claro que a investigao do IFPRI contribuiu significativamente para o seu avano. Utilizando um clculo conservador que estima que a investigao do IFPRI ter provavelmente avanado em um ano aquela deciso, ento ter contribudo para uma poupana de $40 milhes. Uma vez que a investigao custou apenas $500 000, o estudo pode ser considerado eficaz no que respeita a custos.
P A R A
M A I S
I N F O R M A O
James Garrett e Yassir Islam The Abolition Of Wheat-Flour Ration Shops in Pakistan, in OED. Avaliaes Influentes: Estudos de Casos Pormenorizados.
18
Melhorar a prestao dos servios de educao primria no Uganda
No comeo dos anos 90, o Uganda, tal como muitos outros pases em vias de desenvolvimento, estava preocupado com o fraco desempenho dos servios pblicos, nomeadamente com a educao e com a sade. Acreditava-se que a sua maior causa era a fuga de fundos alocados, os quais no chegavam s agncias da linha da frente, mas no havia instrumentos de investigao disponveis para avaliar a dimenso dessas fugas. Em 1996 o Banco Mundial lanou um inovador programa de investigao no Uganda, para detectar os gastos pblicos e para avaliar a proporo dos fundos que efectivamente chegavam s escolas e servios de sade. O presente estudo descreve esse levantamento acerca da deteco dos gastos pblicos (PETS), realizado no Uganda no sector da educao primria.
O objectivo do PETS da educao foi o de fornecer estimativas fiveis da proporo de fundos atribudos pelo governo central que efectivamente chegaram s escolas primrias, e recomendar formas de aumentar a utilizao dos fundos aprovados.
O PETS sobre a educao analisou o curso dos fluxos oramentais atravs dos vrios nveis governamentais e comparou as afectaes oramentais aos gastos reais com as escolas primrias. No havia contas pblicas adequadas para reportar os gastos reais e, e por isso mesmo, foi realizado um inqurito em 250 escolas pblicas primrias, em 19 distritos. Foi criado um conjunto de dados sobre despesas e resultados no perodo de 1991-95. O PETS foi complementado com um levantamento mais abrangente, sobre a prestao de servios baseada nas instalaes, mas este no aqui tido em conta.
Fuga de fundos Apenas 13% dos fundos reservados chegou efectivamente s escolas em 1991-95. Os restantes 87% desapareceram ou foram utilizados pelas entidades distritais para outros fins. Cerca de 20% dos fundos afectados para os salrios dos professores foi para trabalhadores fantasma, que no existiam ou no trabalhavam como professores. O papel crtico dos pais no financiamento da educao Contrariamente s estatsticas oficias, que indicavam uma estagnao, o levantamento das escolas deu conta de um aumento de 60% das matrculas no ensino primrio no perodo de 1991-95. Registou-se que a educao primria era financiada principalmente pelos pais que contriburam com 73% do total dos gastos nas escolas em 1991. pois impressionante notar que, apesar de gastos pblicos mais elevados, as contribuies dos pais tenham continuado a aumentar em termos reais.
D E
19
Os impactos de um desigual acesso informao sobre despesa pblica Na ausncia de uma superviso governamental, os governos locais e as escolas discutiram as afectaes no salariais para a educao, desembolsadas pelo governo central em favor dos governos locais. Descobriu-se, entretanto, que as escolas de maior dimenso receberam uma quota maior dos fundos previstos (por estudante), e em escolas com crianas de pais mais ricos verificou-se um grau de fuga inferior. Os resultados sugerem que o fortalecimento da consciencializao dos cidados, bem como a sua habilidade em monitorizar e questionar os abusos do sistema, so formas importantes de controlo da corrupo.

O custo do primeiro estudo sobre a educao foi de aproximadamente $60 000. Os levantamentos no terreno demoraram 1-2 meses e o estudo global foi executado em 5-6 meses.

Os resultados do estudo deveriam ser amplamente disseminados ao grande pblico. A informao sobre os fundos aprovados e recebidos por cada escola deveria ser amplamente divulgada atravs dos meios de comunicao social locais afixados publicamente nas prprias escolas. Os estudos PETS deveriam ser repetidos de forma peridica para monitorizar o progresso.
O governo comeou a publicar as transferncias intergovernamentais mensais de fundos pblicos atravs de jornais e rdio, e requereu s escolas que afixassem a informao sobre as entradas dos fundos para que todos vissem. Isto foi tambm um sinal, para os governos locais, de que o governo central estava a retomar a sua funo supervisora. Dois subsequentes PETS, implementados localmente, mostraram que a vaga de fundos no salariais, que chegara s escolas, aumentara de 13% em 1991-95 para 80 a 90 % em 1999 e 2000. Antes do estudo, a maior parte das escolas no recebeu nenhum destes apoios, ao passo que em 1999 menos de 10% das escolas no estava a receber nenhum deles, e 90 % estava a receber a totalidade do valor a que tinha direito. O estudo mostrou tambm o impacto de dados quantitativos acerca dos servios pblicos como um instrumento para mobilizar voz. Se as queixas individuais podem ser sem dificuldade, varridas, j a opinio pblica, apoiada por dados comparativos sistemticos, no pode ser facilmente ignorada, podendo at servir de impulso para as medidas pblicas. Tm sido agora realizados PETS em muitos outros pases.
20

Existe uma grande quantidade de declaraes e publicaes do governo reconhecendo a importncia das concluses do PETS. Logo que recebidos pelo Governo, os resultados do estudo foram amplamente divulgados. O governo do Uganda decidiu recentemente realizar um levantamento anual PETS em cada sector dos servios bsicos.

A melhor estimativa para a despesa no salarial anual do governo em educao (doaes per capita), para o ensino primrio, em 1999, aproximadamente $27,7 milhes. O estudo calcula que a percentagem da despesa que chegou s escolas aumentou de 13% para, pelo menos, 80% - um aumento superior a $18,5 milhes. O estudo do PETS, que custou $60 000, provou assim ser altamente eficaz em funo do custo.
P A R A
M A I S
I N F O R M A O
Uganda: Improving The Delivery Of Primary Education Services Through Public Expenditure Tracking Surveys in OED. Avaliaes Influentes: Estudos de Casos Pormenorizados Riva Reinikka e Jacob Svensson.2002. Assessing Frontline Services Delivery. Development Research Group. World Bank. www.worldbank.org/wbi/publicfinance/documents/Seco/reinikka_assessing%20frontline
D E
21
Aumentar o desempenho de um grande projecto ambiental na Bulgria
No perodo anterior sua privatizao, a companhia metalrgica da Bulgria, a KCM, foi responsvel por operaes que provocaram uma generalizada e perigosa contaminao de amplas reas agrcolas e residenciais. Em 2001, o Banco do Desenvolvimento e do Comrcio do Mar Negro (BSTDB) aprovou um emprstimo ao KCM, a seis anos, no valor de $9,2 milhes. O objectivo era financiar um projecto de larga escala, para o melhoramento ambiental, promovendo a introduo de tecnologia ambiental avanada e de mtodos operativos. O projecto pretendia tambm evitar a situao em que fosse necessrio restringir, ou at cancelar, as operaes, colocando assim em risco 1 540 postos de trabalho, numa regio economicamente deprimida. Igualmente em risco estariam cerca de 1,3% das exportaes anuais da Bulgria.
A avaliao, que foi realizada como uma reviso de meio de perodo do projecto, pretendeu avaliar a sua conformidade com o plano de aco ambiental (EAP), de modo a evitar a potencial perda de postos de trabalho e de multas, e para identificar formas de aumentar a eficincia e a viabilidade financeira do projecto.
A avaliao combinou um relatrio terico, e uma visita de estudo de 2 dias ao local do Muturio e a uma comunidade vizinha. As visitas de estudo incluram: 2 grupos especializados com a gesto do Muturio e com representantes da comunidade local; 3 entrevistas semi-estruturadas com os gestores/ funcionrios do Muturio, com o pessoal e com o principal empreiteiro do projecto; 3 verificaes in loco de observao de componentes do projecto, seleccionadas ao acaso. Foram tambm realizadas algumas observaes discretas sobre medidas de segurana, nomeadamente sobre restries a fumar, uso de capacetes e exposio a gases txicos, e sua monitorizao. Para assegurar a independncia e evitar a preocupao de que a avaliao tivesse sido feita para justificar uma aco j decidida, tal como a continuao de um projecto delicado, foram utilizados os seguintes procedimentos: Clara articulao dos riscos do projecto, empenhamento dos interessados e lies externas aprendidas. Triangulao, isto , obter e comparar dados sensveis de, pelo menos, trs fontes independentes, por exemplo, Banco, Muturio, comunicao social, ONG/comunidade, auditores externos, observao e verificao in loco. Utilizao de Normas de Boa Prtica, do Grupo de Cooperao para a Avaliao, dos bancos multilaterais de desenvolvimento.
Devido preocupao do Muturio com a mitigao dos efeitos da queda dos preos dos bens primrios, no foi dada implementao do EAP a prioridade suficiente, e o progresso foi vagamente relatado. No esforo para mitigar o efeito nos preos dos bens bsicos, o Muturio violou uma clusula de salvaguarda que aumentou a vulnerabilidade da KCM volatilidade dos preos dos metais e qumicos.
22
A aplicao ligeira de novos procedimentos de segurana exps a KCM a potenciais multas avultadas devido ao no cumprimento de normas da Unio Europeia.

A avaliao custou aproximadamente $4 500 e foi executada em 2 meses.

Os sistemas de monitorizao e de elaborao de relatrios da EAP deveriam ser reforados. A KCM deveria ajustar a sua poltica de salvaguarda s normas seguidas pela indstria. A KCM deveria aumentar os incentivos financeiros e acelerar outras medidas para garantir a aplicao de procedimentos de segurana e de proteco ambiental.

$400 000-$800 000 de lucros adicionais, por ter antecipado em cerca de 3 meses o comeo da produo de zinco. $110 000-$220 000 de lucros adicionais, por ter antecipado em cerca de 10 meses o comeo da produo de H2S04. $14 500- $29 000 em poupanas resultantes da reduo de multas por no cumprimento de regulamentaes ambientais. $16 500-$33 000 em poupanas resultantes da reduo de acidentes, devida aplicao de regulamentaes de segurana.

Foram utilizados os seguintes mtodos para se avaliar at que ponto os impactos observados podem ser atribudos avaliao, e no a outros factores no relacionados. A simulao das tendncias causa-efeito foi conduzida na base de cenrios com-e-sem a avaliao. O cenrio "sem" avaliou, por um lado, quanto tempo teria sido necessrio para fazer chegar a informao administrao e para a gesto tomar as decises, e, por outro, a probabilidade de que as decises viessem a ser tomadas. Recorreu-se a extrapolao para comparar as estimativas do Muturio, os arquivos do projecto, o departamento financeiro do Muturio e outras estimativas relativas ao calendrio do projecto EAP e ao impacto em cada componente, que foi independentemente verificada pelo departamento de ambiente do BSTDB. Um levantamento subsequente dos interessados, efectuado pela gesto da KCM e do BSTDB, confirmou que ambas as organizaes reconheceram a utilidade da avaliao e concordaram com as suas recomendaes e respectiva implementao.

A avaliao custou aproximadamente $4 500 e foi executada em dois meses. Todas as recomendaes principais foram aceites e implementadas pelo BSTDB e pelo Muturio e, pelas estimativas mais conservadoras, gerou lucros adicionais e poupanas de cerca de pelo menos $541 000.
P A R A
M A I S
I N F O R M A O
Todor Dimitrov, Enhancing The Performance Of A Major Environmental Project Through A Focused Mid-Term Evaluation: The Kombinat za Czvetni Metali S.A. (KCM) Environmental Improvement Project in Bulgaria in OED, Avaliaes Influentes: Estudos de Casos Pormenorizados.
D E
23
Ajudar a Reavaliao da Poltica florestal nacional da China
Em 1999 o Departamento de Avaliao de Operaes do Banco Mundial (OED) executou um relatrio crtico sobre a Estratgia Florestal do Banco em 1991, para avaliar: (i) o seu impacto nos emprstimos globais do Banco, e (ii) a eficcia do papel do Banco e seus impactos nos resultados florestais. Foram realizados seis estudos de casos nacionais, o da China includo.

Uma equipa de consultores do Banco, incluindo um investigador chins snior, realizou trabalho terico e in loco para o estudo da avaliao do estudo do caso da China. Para alm da carteira florestal do Banco, foram tambm examinados sessenta projectos relacionados dos sectores da agricultura, transportes e outros. O estudo in loco exigiu visitas conjuntas ao local do projecto Chins/Banco e a residncias, e consultas com as autoridades responsveis pelas florestas, Comisso Nacional de Planeamento , autoridades provinciais e outros dadores. Anlise suplementar foi obtida a partir do trabalho emprico realizado na China e pelo trabalho do Departamento de Estatstica. O estudo do caso beneficiou tambm dos contributos de um workshop dos interessados em Beijing, da anlise dos pares no Banco Mundial e de uma consulta na Internet.
A carteira florestal do Banco para a China, de $1 000 milhes, se bem que constituindo apenas uma fraco do programa florestal do pas, fortaleceu as capacidades de gesto e tcnicas do governo neste sector, mas teve menos sucesso em empenhar o governo no dilogo e na anlise da poltica do sector florestal. Como consequncia de um amplo esforo de conservao nacional de reflorestamento, houve um aumento de 15% de cobertura de florestas, a maior parte em plantaes e cinturas de proteco. Os emprstimos do Banco contriburam, por um lado, para uma cobertura adicional de rvores numa rea de 3,3 milhes de hectares, diversificando assim as espcies de rvores utilizadas e, por outro, ajudaram a aumentar o envolvimento de aglomerados familiares pobres na florestao e agro florestao. A avaliao diminuiu os custos socioeconmicos governamentais resultantes da proibio do derrube de rvores em 1998 o prprio governo calculou que seria necessrio pelo menos $22 mil milhes, para deslocar cerca de 2,4 milhes de trabalhadores.

A avaliao da China demorou 18 meses e custou cerca de $80 000.

A China deveria realizar monitorizao, avaliao e investigao de polticas de uma forma sistemtica, de modo a fortalecer as medidas e programas florestais em vigor. O sector florestal deveria ser desenvolvido de forma a incluir mudanas de utilizao da terra, bem como o impacto das polticas florestais nos aglomerados familiares rurais.
24
Se bem que no tenha um carcter de recomendao formal, o relatrio quis questionar a proibio do abate de rvores e suas severas consequncias para os pobres.

A avaliao do estudo do caso da China contribuiu directamente para: Ajudar a legitimar o debate entre oficiais seniores, investigadores e outros, sobre poltica florestal e a recente proibio do derrube de rvores por parte do governo. Gerar amplo consenso, entre os chineses, acerca da necessidade de melhor M&A, e igualmente, sobre a necessidade de uma investigao mais profunda e de uma anlise poltica do impacto dos projectos do sector florestal nos pobres e na biodiversidade. Encorajar a participao da comunidade cientfica e dos beneficirios rurais chineses, em programas florestais, bem como encorajar a colaborao entre importantes parceiros chineses com quem nunca tenham interagido. A avaliao da China contribuiu tambm de forma significativa para a criao do Grupo de Trabalho para as Florestas e Prados (TFG) do Conselho Chins para o Ambiente e para o Desenvolvimento, no contexto da auto-reavaliao interna da poltica de proibio da China, e a sua nfase na anlise e investigao de polticas. O lder da avaliao do OED do Banco Mundial para a estratgia do sector florestal foi convidado pelo Conselho da China para ser o co-presidente e membro dirigente deste Grupo de Trabalho. A TFG, por sua vez: Realizou levantamentos em 1400 aglomerados familiares em 10 provncias, para obter as perspectivas do cidado comum acerca do impacto dos programas e polticas florestais. Documentou de forma convincente e abrangente as muitas e complexas questes que afectam a eficcia dos programas florestais governamentais. Avaliou, atravs da utilizao de profundo trabalho emprico, os impactos das principais iniciativas governamentais para a conservao da floresta e demonstrou alguns impactos negativos no intencionais. Recomendou que a abordagem de cima para baixo do governo para o planeamento e gesto florestal, fosse substituda por abordagens mais participativas e flexveis. Recomendou a substituio da proibio total do abate de rvores por um planeamento do uso pr-activo da terra florestal, no sentido de obter uma gesto florestal sustentada. Defendeu com sucesso uma aproximao estratgica ao M&A para o sector florestal. Como resposta, o governo rev neste momento a sua poltica e os seus programas florestais, em reas tais como a gesto de florestas e a propriedade/uso da terra. Colectivamente, estas iniciativas constituem uma mudana substancial aplicao da proibio do derrube de rvores.
Os impactos da avaliao do estudo do caso da China da OED, e o subsequente trabalho da TFG chinesa, foram avaliados por uma anlise levada a cabo posteriormente pelos interessados. Essa anlise foi realizada por um consultor da OED, baseado em
D E
25
Washington, que contactava os interessados, Banco Mundial e Chineses, utilizando principalmente o telefone e o e-mail, para obter as suas perspectivas acerca dos impactos do estudo do OED. Os relatrios do Banco e as publicaes dos diferentes parceiros foram tambm analisados.

A avaliao da OED e a TFG custou cerca de, respectivamente, $80 000 e 1,02 milhes e, em conjunto, ajudou a legitimar a necessidade de uma profunda reavaliao da proibio, por parte do governo da China, do derrube de rvores. Dado que o governo estimou que s a deslocao dos trabalhadores teria um custo de $22 mil milhes, ambas as actividades de avaliao podem ser vistas com um alto potencial de eficcia na reduo de custos.
P A R A
M A I S
I N F O R M A O
Todor Dimitrov, Enhancing The Performance Of A Major Environmental Project Through A Focused Mid-Term Evaluation: The Kombinat za Czvetni Metali S.A. (KCM) Environmental Improvement Project in Bulgaria in OED, Avaliaes Influentes: Estudos de Casos Pormenorizados
26
Concepo de Avaliaes teis: lies aprendidas
Encorajar a utilizao Os factores que se seguem aumentam a probabilidade de que a avaliao tenha ajudado a aumentar o desempenho e os impactos das polticas, programas e projectos de desenvolvimento:
A importncia de um ambiente propcio s polticas. Os resultados da avaliao sero mais facilmente utilizados se enfrentarem as preocupaes polticas actuais, e se existir o compromisso, da parte dos principais decisores em aceitarem as consequncias polticas da implementao das concluses. O calendrio da avaliao. A avaliao deveria ser lanada quando os decisores tivessem definido claramente as suas necessidades de informao. As concluses tm de ser fornecidas pontualmente de forma a afectar em tempo til as decises, e os principais resultados tm de ser comunicados informalmente, antes do relatrio final estar concludo. O papel da avaliao. A avaliao raramente a nica, ou a mais importante, fonte de informao ou de influncia para os decisores ou para os gestores de polticas. Uma avaliao de sucesso deve adaptar-se ao contexto no qual ser utilizada, e o avaliador deve compreender quando, e de que forma, os resultados podem ser utilizados mais eficazmente. Construindo uma relao com o cliente e a efectiva comunicao dos resultados da avaliao. essencial estabelecer uma boa relao com os principais interessados, ouvir atentamente as suas necessidades, compreender a sua percepo do contexto poltico e mant-los informados sobre o progresso da avaliao. No devero existir surpresas quando os resultados da avaliao forem apresentados. Quem dever conduzir a avaliao? Os estudos de casos identificaram dois modos distintos de organizar uma avaliao, cada um deles com vantagens e desvantagens: Opo 1: a avaliao conduzida pela unidade de avaliao da agncia financiadora ou gestora. Isto tem normalmente a vantagem de um melhor acesso aos actores principais e aos dados, e de uma melhor compreenso do contexto organizacional e poltico no seio do qual a avaliao realizada. Contudo, existe o potencial risco de que a avaliao se torne demasiado envolvida no contexto poltico, perdendo a viso do conjunto e vendo-se em dificuldade para explorar as reas sensveis. Opo 2: a avaliao conduzida por um corpo ou por uma organizao externa. Isto pode assegurar a independncia e a credibilidade e pode tornar mais fcil o explorar das questes mais sensveis, tais como as presses polticas locais ou a excluso de grupos vulnerveis. Contudo, os avaliadores externos podero ter menos acesso aos decisores e aos dados necessrios. Uma terceira opo, no discutida nestes estudos de casos, consiste na tentativa de realizar as vantagens das duas primeiras opes gerindo e/ou realizando uma
D E
27
avaliao em conjunto, envolvendo uma combinao de agncias externas ou independentes e o pessoal do programa.
O mbito e a metodologia da avaliao

No existe uma nica melhor metodologia de avaliao; a abordagem deve ser adaptada ao contexto especfico, s questes da avaliao e prioridades e s recursos disponveis. O avaliador frequentemente recomendar que se alargue o mbito proposto pela avaliao com vista a apreciar, por exemplo, o processo de implementao e seus resultados, ou a estudar mais aprofundadamente o contexto politico e social no qual o programa funciona. A maior parte das avaliaes utiliza tambm uma abordagem de metodologia mltipla, combinando uma recolha de dados quantitativa e qualitativa e mtodos de anlise para, simultaneamente, aumentar a fiabilidade das concluses e fornecer um mais amplo quadro para a sua interpretao.
Quanto deveria custar a avaliao?

O valor de uma avaliao deveria ser calculado como qualquer outra despesa de projecto ou programa, em termos da sua potencial eficcia em funo dos custos. Uma avaliao aparentemente "cara" s poder ser plenamente justificada se puder produzir uma reduo de custos ou um aumento significativo de benefcios superior ao seu prprio custo. As avaliaes descritas neste volume foram de um valor mnimo $4 500 at $500 000, mas em cada caso a questo "Justificou-se a avaliao?" foi avaliada pela comparao dos benefcios produzidos com os custos da realizao do estudo. Se nalguns casos tanto os custos como os benefcios podem ser quantificados monetariamente, j noutros casos os benefcios podem dizer respeito a um aumento da equidade, qualidade ambiental ou eficcia geral do programa - em qualquer dos casos os decisores tm que fazer um juzo sobre se vale a pena investir na avaliao, para produzir um determinado conjunto de benefcios qualitativos.
Estimar a utilizao das concluses das Avaliaes e a sua eficcia em funo dos custos
A maior parte das apreciaes das avaliaes realizada com limitaes temporais e oramentais, e, muitas vezes at, com constrangimentos polticos, limitando os interessados que podem ser contactados, e o tipo de questes que podem ser colocadas. No seio deste contexto real, raramente possvel realizar a avaliao rigorosa com a metodologia ou a anlise atributiva recomendadas pelos manuais. A metodologia para avaliar a utilizao muitas vezes limitada a uma anlise dos relatrios de investigao disponveis, discusses com a equipa de avaliao (pessoalmente ou pelo telefone ou e-mail) e, nalguns casos, solicita-se a opinio de peritos locais (tais como o pessoal do Banco Mundial ou outras misses residentes de dadores).
28
A anlise de atribuio - pela qual as polticas observadas ou os resultados dos programas, podem ser atribudos aos efeitos da avaliao difcil na melhor das circunstncias ( mas ainda mais com os diferentes tipos de limitaes acima referidos). As tcnicas descritas na publicao da OED, M&E: Some Tools, Methods and Approaches (M&A: Alguns Instrumentos, Mtodos e Abordagens) representam uma srie de instrumentos analticos normalmente disponveis para a anlise atributiva. Sempre que possvel, a avaliao deveria combinar e comparar o maior nmero possvel destas tcnicas medida que estejam disponveis:
Construo, sempre que possvel, de modelos contraditrios, descrevendo a situao que teria sido obtida se a avaliao no tivesse sido realizada (Bulgria, Paquisto). Referncias avaliao em relatrios governamentais e documentos de planificao (ndia, Esquema de Garantia de Emprego; Filipinas; Uganda) e entrevistas com os avaliadores. Anlise crtica de declaraes feitas em relatrios de avaliao relativamente ao impacto da avaliao (ndia, Esquema de Garantia de Emprego; Bulgria; Indonsia; Uganda) e entrevistas com os avaliadores. Opinies dos interessados obtidas atravs de entrevistas estruturadas (ndia, notas dadas pelos cidados), ou, mais comummente, nas respostas s questes enviadas por e-mail (Bulgria; Indonsia).
Na maior parte dos estudos de casos, a anlise de eficcia de custo foi utilizada para comparar os benefcios financeiros ou numricos da avaliao com os seus custos monetrios. Na maior parte dos casos no foi difcil identificar os potenciais impactos da avaliao (tais como custos administrativos reduzidos, aumento de vendas, reduo de multas, mais beneficirios), e o desafio foi calcular a proporo das mudanas observadas que podia ser atribuda avaliao. Uma lio chave consiste em assegurar que as assunes e os mtodos de clculo utilizados para medir a eficcia econmica da anlise, so claramente expostos de modo a que o leitor possa ele mesmo julgar a validade dos mtodos.
29
Fontes adicionais sobre Monitorizao e Avaliao

Stios da INTERNET (World Wide Web sites)
Avaliao Independente do Banco Mundial: http://www.worldbank.org/oed/ Reforo dos Sistemas de Monitorizao e Avaliao de Pases e os documentos publicados como parte deste estudo, Avaliaes Influentes: Influentes:http://www.worldbank.org/oed/ecd/
Notcias sobre Monitorizao e Avaliao: http://www.mande.co.uk/

Influential Evaluations Portuguese

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Influential Evaluations Portuguese

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAES INFLUENTES:

Avaliaes que Melhoraram o Desempenho e os Impactos de Programas de Desenvolvimento

Banco Mundial Washington, D.C. www.worldbank.org/oed/ecd/

Melhorar a eficincia do Esquema de Garantia de Emprego da ndia

O impacto do programa Um quarto dos beneficirios no pertencia ao grupo alvo.

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Utilizar as Notas dadas pelos cidados

O objectivo da avaliao das "Notas" dos Cidados (CRC)

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Avaliar a eficcia das intervenes na gua e saneamento nas Flores, Indonsia

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Alargar o enquadramento de polticas para avaliar a viabiliadade de grandes barragens

O debate acerca de grandes barragens em desenvolvimento

15 Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

A abolio das Lojas de Racionamento de farinha de trigo no Paquisto

Custo e durao da avaliao

17 Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Melhorar a prestao dos servios de educao primria no Uganda

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Aumentar o desempenho de um grande projecto ambiental na Bulgria

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Ajudar a Reavaliao da Poltica florestal nacional da China

Custo e durao da avaliao

Estimar os impactos para os quais a avaliao contribuiu

A questo da atribuio: avaliar em que medida os impactos foram devidos avaliao

Ter sido a avaliao eficaz em funo dos custos?

Concepo de Avaliaes teis: lies aprendidas

O mbito e a metodologia da avaliao

Quanto deveria custar a avaliao?

Fontes adicionais sobre Monitorizao e Avaliao

Notcias sobre Monitorizao e Avaliao: http://www.mande.co.uk/

Você também pode gostar