Avaliao de Polticas Pblicas e Programas Governamentais: tendncias recentes e experincias no Brasil 1

Carla Giane Soares da Cunha 2

Nas ltimas dcadas a avaliao de polticas e programas governamentais assumiu grande relevncia para as funes de planejamento e gesto governamentais. A despeito da existncia de experincias anteriores, o interesse pela avaliao tomou grande impulso com a modernizao da Administrao Pblica. Em vrios pases, este movimento foi seguido pela adoo dos princpios da gesto pblica empreendedora e por transformaes das relaes entre Estado e sociedade. A avaliao pode subsidiar: o planejamento e formulao das intervenes governamentais, o acompanhamento de sua implementao, suas reformulaes e ajustes, assim como as decises sobre a manuteno ou interrupo das aes. um instrumento importante para a melhoria da eficincia do gasto pblico, da qualidade da gesto e do controle sobre a efetividade da ao do Estado, bem como para a divulgao de resultados de governo. Alm do carter de mensurao objetiva de resultados, a avaliao possui tambm aspectos qualitativos, constituindo-se em um julgamento sobre o valor das intervenes governamentais por parte dos avaliadores internos ou externos, bem como por parte dos usurios ou beneficirios. A deciso de aplicar recursos pblicos em uma ao pressupe a atribuio de valor e legitimidade aos seus objetivos, e a avaliao deve verificar o cumprimento das metas estabelecidas. Em pases desenvolvidos a avaliao amplamente praticada e, ao longo dessa experincia, propostas metodolgicas foram geradas por organismos internacionais de financiamento como o Banco Mundial e o Banco Interamericano de Desenvolvimento e por outras instituies como a Organizao para a Cooperao e o Desenvolvimento

Este trabalho foi elaborado durante o curso The Theory and Operation of a Modern National Economy, ministrado na George Washington University, no mbito do Programa Minerva, em 2006.

Economista, Mestre em Planejamento Urbano e Regional e Tcnica em Planejamento da Secretaria da Coordenao e Planejamento do Estado do Rio Grande do Sul.

Econmico (OCDE), a Comisso Econmica para a Amrica Latina e Caribe (CEPAL) e o Centro Latino Americano de Administrao para o Desenvolvimento (CLAD). H diferentes maneiras de realizar uma avaliao. Uma delas a avaliao acadmica, mais formal, com interesse no estudo da efetividade das polticas, seus impactos e benefcios. Outra forma a avaliao promovida durante o perodo de implementao das polticas e programas governamentais, com foco na anlise de sua eficincia e eficcia. No Brasil, a importncia da avaliao tambm reconhecida. Recentemente o Governo Federal brasileiro tem realizado a avaliao sistemtica de seus programas. Esta avaliao tem nfase na eficcia e eficincia dos programas expressos nos Planos Plurianuais. Estados como o Rio Grande do Sul comearam a seguir o exemplo desde o ltimo ano. O objetivo desse trabalho discutir se as avaliaes praticadas no mbito dos Planos Plurianuais do Brasil e do Rio Grande do Sul podem realmente auxiliar no processo de tomada de decises sobre a implementao de polticas e programas governamentais. Para alcanar este objetivo, primeiramente sero expostas as principais razes para a adoo da prtica da avaliao. Em segundo, sero apresentados os conceitos mais comumente utilizados no campo da avaliao. Logo aps, o captulo trs abordar a experincia internacional recente em avaliao de polticas e programas pblicos. Em seguida, as avaliaes de programas feitas pelo Governo Federal de 2000 a 2004 sero analisadas, bem como a experincia do Estado do Rio Grande do Sul em sua primeira avaliao dos programas do Plano Plurianual 2004-2007. Finalmente, o estudo ir analisar brevemente as possibilidades e limitaes da metodologia corrente.

1- Razes para Avaliar Polticas e Programas Governamentais

1.1- A Utilidade da Avaliao de Polticas e Programas Pblicos

Hoje h quase um consenso na literatura de que os motivos para realizar estudos de avaliao de polticas e programas pblicos esto relacionados transformao da

Administrao Pblica em uma administrao mais moderna e eficiente, mesmo que em alguns pases isto ainda seja apenas um desejo. Nos anos 80 e 90, o mundo foi varrido por uma onda de ideologia neoliberal que pregou o Estado Mnimo e cuja aceitao talvez tenha sido um reflexo do colapso do Estado comunista. A despeito do entusiasmo inicial, a possibilidade de existncia do Estado mnimo mostrou-se irrealista, principalmente para os pases em desenvolvimento, onde as polticas pblicas desempenham um papel estratgico para aliviar a pobreza e torn-los mais compatveis com uma economia de mercado. Na impossibilidade de substituir o Estado pelo mercado, a crise deste perodo acabou produzindo uma reforma deste Estado na maioria dos pases ocidentais. Segundo Bresser Pereira (1996) No lugar da velha administrao pblica burocrtica, emergiu uma nova forma de administrao a administrao pblica gerencial -, que tomou emprestado do setor privado os imensos avanos prticos e tericos ocorridos no sculo XX na administrao de empresas, sem, contudo perder sua caracterstica especfica: a de ser uma administrao que no est orientada para o lucro, mas para o atendimento do interesse pblico(p.9). As caractersticas bsicas da administrao pblica gerencial so a orientao para o cidado e para a obteno de resultados, em contraponto administrao burocrtica, que se concentra nos processos, sem considerar a ineficincia envolvida. O crescente interesse dos governos nos estudos de avaliao est relacionado s questes de efetividade, eficincia, accountability e desempenho da gesto pblica, j que estes estudos constituem-se em ferramenta para gestores, formuladores e

implementadores de programas e polticas pblicas. As avaliaes de polticas e programas permitem que formuladores e implementadores tomem suas decises com maior conhecimento, maximizando o resultado do gasto pblico, identificando xitos e superando pontos de estrangulamento.

1.2- Principais Questes a Serem Respondidas pelas Avaliaes

Derlien (2001) identifica trs funes atribudas avaliao de polticas: de informao, de alocao e de legitimao. Estas motivaes so identificadas a diferentes

fases da implementao de avaliaes. Durante os anos 60, os pases que impulsionaram a atividade estavam mais interessados na informao. Para eles, as questes principais a serem respondidas seriam: Como funcionam as polticas? Que efeitos produzem? Como se pode melhor-las? A segunda fase, que tomou impulso durante os anos 80 e predomina hoje, visa alocao ou dotao oramentria mais racional, e as questes bsicas a que se prope so: Que programas podem ser cortados a partir de resultados negativos? Quais so as conseqncias da privatizao de certas atividades pblicas? Como os programas podem ser reorganizados para atingir mais resultados com o mesmo montante? J a funo de legitimao no pode ser identificada a uma fase temporal, tendo sempre desempenhado papel importante no contexto poltico, ao menos para os pases desenvolvidos da Amrica do Norte e Europa que o autor examina. Para Ala-Harja e Helgason (2000), a avaliao de programas um mecanismo de melhoria do processo de tomada de decises. Embora no se destine a resolver ou substituir juzos subjetivos, a avaliao permite ao governante um certo conhecimento dos resultados de um dado programa, informao que pode ser utilizada para melhorar a concepo ou implementao de um programa, para fundamentar decises e para melhorar a prestao de contas sobre polticas e programas pblicos. Segundo estes autores, as principais metas da avaliao seriam: a melhoria do processo de tomada de deciso, a alocao apropriada de recursos e a responsabilidade para o parlamento e os cidados. Examinando o caso latino-americano, Bozzi (2001) ressalta que a preocupao atual com a avaliao da gesto pblica insere-se num contexto de mudana de paradigma da administrao pblica, reforma do Estado e modernizao de suas instituies a nvel mundial, que produziu efeitos tambm em pases com outros nveis de desenvolvimento. Em seus documentos, tanto a Comisso Econmica Para a Amrica Latina e Caribe (CEPAL), quanto o Centro Latino-americano de Administrao para o Desenvolvimento (CLAD) preconizam a necessidade de os pases latino-americanos montarem sistemas de avaliao de desempenho para transformar a estrutura de suas atuais administraes pblicas e para promover uma agenda de desenvolvimento que

inclua estabilidade econmica, maior equidade, alocao mais efetiva dos recursos pblicos e crescimento econmico sustentvel. No Brasil, ainda podem ser citadas outras razes para a demanda por avaliaes. Em primeiro lugar, a crise fiscal brasileira diminuiu a capacidade de gasto dos governos e aumentou a presso por maior eficincia. Nesta questo, o fim do processo inflacionrio teve importante papel, pois acabou com as receitas financeiras dos governos e exps os problemas das finanas pblicas. Em segundo, o aprofundamento da democracia trouxe novos atores sociais e reivindicaes aos governos. Em terceiro, a longa crise econmica brasileira aumentou a desigualdade social e a busca pelos programas sociais do governo. Por ltimo, pode ser citada a desestruturao da funo de planejamento, que deixou os governantes sem elementos de informao e avaliao (Garcia, 1997). Segundo Silva (1999), o motivo mais imediato do interesse pela avaliao de atividades de governo seria a preocupao com a efetividade, isto , com a aferio dos resultados esperados e no-esperados alcanados pela implementao dos programas. O segundo motivo seria o de entender o processo pelo qual os programas alcanaram ou no esses resultados, analisando a dinmica da interveno estatal e os problemas concretos advindos da implementao. Outros motivos relevantes seriam a aprendizagem organizacional das instituies pblicas sobre suas atividades, a tomada de deciso sobre a continuidade ou no dos programas e, ainda, a transparncia, qualidade e accountability na gesto dos recursos pblicos (responsabilizao dos gestores por decises e aes implementadas). Assim, as questes imediatas e centrais a serem respondidas pelos estudos de avaliao seriam: Em que medida os objetivos propostos na formulao do programa so ou foram alcanados na implementao? Como o programa funciona e quais os motivos que levam ou levaram a atingir ou no os resultados? (Silva, 1999, p.38 e Silva, 2002, p.15) A partir dessas questes gerais, os estudos podem responder tpicos mais especficos, relacionados s informaes para o processo decisrio e aprendizagem organizacional. A partir de diferentes motivaes para avaliar, so definidos diferentes estudos avaliativos entre vrias possibilidades e conceitos, abordados a seguir.

2- Principais Conceitos
2.1- Definio de Avaliao

A definio do que seja avaliao parece ser quase consensual. De acordo com a UNICEF (1990), por exemplo, trata-se do exame sistemtico e objetivo de um projeto ou programa, finalizado ou em curso, que contemple o seu desempenho, implementao e resultados, com vistas determinao de sua eficincia, efetividade, impacto, sustentabilidade e a relevncia de seus objetivos. O propsito da avaliao guiar os tomadores de deciso, orientando-os quanto continuidade, necessidade de correes ou mesmo suspenso de uma determinada poltica ou programa. (Costa e Castanhar, 2003, p.972). De acordo com o Government Accountability Office (GAO), dos Estados Unidos, avaliaes de programas so estudos sistemticos, conduzidos periodicamente ou ad hoc, para analisar quo bem um programa est funcionando. As avaliaes podem ser conduzidas por especialistas externos ou por gerentes de programas. Para o GAO, elas examinam a performance dos programas quanto ao alcance de seus objetivos e o contexto em que isto ocorre. A Organizao para a Cooperao e o Desenvolvimento Econmico (OCDE), em seu Glossrio de Termos em Avaliao e Gesto por Desempenho, utiliza as mesmas idias-chave para a definio de avaliao, adicionando que a mesma deve prover informaes com crdito e utilidade, permitindo o aprendizado no processo de tomada de decises. O Glossrio da OCDE ressalta, tambm, que a avaliao constitui-se na determinao de valor ou significncia de uma atividade, poltica ou programa. um julgamento, to sistemtico e objetivo quanto possvel, a respeito das intervenes governamentais. Entretanto, autores como Ala-Harja e Helgason chamam a ateno para o fato de que no h um acordo sobre o que avaliao, em funo de que o conceito definido de mltiplas, e s vezes contraditrias, maneiras, e por uma variedade de disciplinas, tais como economia, poltica, administrao e sociologia. Alm disso, a avaliao serve a uma ampla gama de necessidades, discusses, clientes, instituies e praticantes. Como a

avaliao tem sido crescentemente demandada, virtualmente qualquer tipo de feedback ou consulta tem sido chamado de avaliao.

2.2 - Conceitos Bsicos

A atividade de avaliao no uma atividade isolada e auto-suficiente. Ela uma das etapas do processo de planejamento das polticas e programas governamentais: gera informaes que possibilitam novas escolhas; analisa resultados que podem sugerir a necessidade de reorientao das aes para o alcance dos objetivos traados. A seguir so apresentados alguns dos conceitos bsicos relacionados avaliao.

Poltica Silva (2002, p. 18) define a fase de formulao de polticas como sendo o estgio onde as propostas ganham forma e estatuto, recebendo tratamentos formais mnimos, ao serem definidos metas, objetivos e recursos. As polticas transformam-se em programas quando explicitada a estratgia de

implementao e, por uma ao de autoridade, so criadas as condies iniciais para sua implementao.

Plano - o conjunto de programas que buscam objetivos comuns. O plano ordena os objetivos gerais e os desagrega em objetivos especficos, que sero os objetivos gerais dos programas. O plano organiza as aes programticas em uma seqncia temporal, de acordo com a racionalidade tcnica e as prioridades de atendimento. (Cohen e Franco, 2004, p.86).

Programa um conjunto de atividades organizadas para serem realizadas dentro de cronograma e oramento especficos disponveis para a implementao de polticas, ou para a criao de condies que permitam o alcance de metas polticas desejveis. (Ala-Harja e Helgason, 2000, p.8).

Projeto um instrumento de programao para alcanar os objetivos de um programa, envolvendo um conjunto de operaes, limitadas no tempo, das quais

resulta um produto final que concorre para a expanso ou aperfeioamento da ao do governo. Quando essas operaes se realizam de modo contnuo ou permanente, so denominadas de Atividades. (Garcia, 1997, p. 6).

Objetivo a situao que se deseja obter ao final da implementao do programa, mediante a aplicao dos recursos e da realizao das aes previstas (Cohen e Franco, 2004, p.88).

Meta a dimenso quantitativa, temporal e espacial do objetivo.

Produto o resultado concreto das atividades desenvolvidas pelo programa, podendo ser tanto bens quanto servios.

Efeito o que decorre da influncia do programa. O objetivo est localizado temporalmente antes do incio do programa. Os efeitos so resultados das aes do programa, e podem ser intermedirios, ocorrendo durante o programa, ou finais, que so os que perduram aps o programa. Os efeitos podem ser ainda procurados, ou seja, foram estabelecidos como objetivos, ou no procurados.

Impacto o resultado do programa que pode ser atribudo exclusivamente s suas aes, aps a eliminao dos efeitos externos. o resultado lquido do programa.

Eficcia a relao entre alcance de metas e tempo ou, em outras palavras, grau em que se alcanam os objetivos e metas do programa, em um determinado perodo de tempo, sem considerar os custos implicados.

Eficincia a relao entre custo e benefcios, onde se busca a minimizao do custo total para uma quantidade de produto, ou a maximizao do produto para um gasto total previamente fixado.

Efetividade a relao entre os resultados e o objetivo. a medida do impacto ou do grau de alcance dos objetivos. (Cohen e Franco, 2004, p.107).

Indicador a quantificao que permite a mensurao dos resultados do programa. um recurso metodolgico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanas que esto se processando na mesma.(Januzzi, 2003, p.15). O mesmo autor destaca algumas classificaes de indicadores importantes para a anlise e formulao de polticas: 1. Quanto natureza do fenmeno indicado: o indicador-insumo a medida dos recursos humanos, financeiros, equipamentos, etc. alocados para o programa; o indicador-produto serve para mensurar os resultados efetivos das polticas; e os indicadores-processo so indicadores intermedirios de esforo operacional para a obteno dos resultados. 2. Quanto temporalidade: o indicador de estoque a medida em um momento especfico; j o indicador de performance ou fluxo procura medir mudanas ocorridas entre dois momentos distintos. 3. Quanto avaliao de programas: indicadores de eficincia dos meios e recursos empregados; indicadores da eficcia no cumprimento das metas; e indicadores da efetividade social do programa, isto , de seus efeitos (Januzzi, 2003, p.24).

2.3- Tipos de Avaliao

As avaliaes podem ser classificadas segundo vrios critrios. Considerando o agente que as realiza, as avaliaes podem ser classificadas como (Cohen e Franco, 2004; Cotta, 1998): Avaliao externa realizada por pessoas de fora da instituio responsvel pelo programa, em geral com experincia neste tipo de atividade. Entre as vantagens desta avaliao podem ser citadas a iseno e objetividade dos avaliadores externos, que no esto diretamente implicados com o processo, alm da possibilidade de comparao dos resultados obtidos com os de outros programas similares j analisados. Por outro lado, o

acesso aos dados necessrios torna-se mais difcil e os que vo ter seu trabalho avaliado podem se colocar em posio defensiva, fornecendo informaes parciais e minimizando o efeito de melhoria dos programas. Alega-se, tambm, que o conhecimento da metodologia de avaliao pode no substituir o conhecimento sobre as especificidades do programa, e que no existe uma nica metodologia aplicvel a todos os casos. Avaliao interna realizada dentro da instituio responsvel, com maior colaborao das pessoas que participam do programa. Citam-se como vantagens a eliminao da resistncia natural a um avaliador externo, a possibilidade de reflexo e aprendizagem e compreenso sobre a atividade realizada dentro da instituio. Mas podese perder muito em objetividade, j que os que julgam esto, tambm, envolvidos, tendo formulado e executado o programa. Se a avaliao for realizada internamente instituio, mas por pessoas que no participam do programa, na tentativa de diminuir a subjetividade, a situao torna-se anloga do avaliador externo. Avaliao mista procura combinar os tipos de avaliao anteriores, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado, na tentativa de manter as vantagens e superar as desvantagens das avaliaes apresentadas acima. Avaliao participativa usada principalmente para pequenos projetos, prev a participao dos beneficirios das aes no planejamento, na programao, execuo e avaliao dos mesmos. Quanto natureza, as avaliaes podem ser: Avaliaes formativas esto relacionadas formao do programa. Adotadas durante a implementao, so voltadas para a anlise e produo de informao sobre as etapas de implementao. Geram informaes para os que esto diretamente envolvidos com o programa, com o objetivo de fornecer elementos para a realizao de correes de procedimentos para melhorar o programa. Avaliaes somativas esto relacionadas anlise e produo de informaes sobre etapas posteriores. So realizadas quando o programa est sendo implementado h algum tempo ou aps a sua implementao, para verificar a sua efetividade e fazer o julgamento do seu valor geral.

10

Quando se leva em conta o momento de sua realizao, podem ser identificadas como (Cohen e Franco, 2004): Avaliao ex-ante realizada ao comeo de um programa, com o fito de dar suporte deciso de implementar ou no o programa, e ordenar os vrios projetos segundo sua eficincia para alcanar os objetivos determinados. O elemento central da avaliao ex-ante o diagnstico, que auxilia na alocao dos recursos disponveis de acordo com os objetivos propostos. Para esta avaliao podem ser utilizadas as tcnicas de Anlise Custo-Benefcio e Anlise Custo-Efetividade, mais afeita aos programas sociais. Avaliao ex-post realizada durante a execuo de um programa ou ao seu final, quando as decises so baseadas nos resultados alcanados. Neste tipo de avaliao julga-se, quando um programa est em execuo, se ele deve continuar ou no, com base nos resultados obtidos at o momento e, se a resposta for positiva, se deve manter a formulao original ou sofrer modificaes. Quando o programa j foi concludo, julgase a pertinncia do uso futuro da experincia, ou seja, se o mesmo tipo de programa deve ser implementado novamente ou no. A avaliao ex-post a mais desenvolvida metodologicamente e a que tem tido maior aplicao. Ainda possvel distinguir dois enfoques, segundo os tipos de problemas ou perguntas que as avaliaes respondem (Cohen e Franco, 2004; Cotta, 1998): Avaliao de processos realizada durante a implementao do programa, diz respeito dimenso de gesto. uma avaliao peridica que procura detectar as dificuldades que ocorrem durante o processo para efetuar correes ou adequaes. Serve de suporte para melhorar a eficincia operativa; Avaliao de impactos ou resultados tem objetivos mais ambiciosos, respondendo se o programa funcionou ou no. Procura verificar em que medida o programa alcana seus objetivos e quais so os seus efeitos, indagando se houve modificaes na situao-problema que originou a formulao do programa, aps sua implementao. Serve de suporte para deciso sobre poltica, como continuao do programa e formulao de outros. a avaliao mais complexa, pois envolve o julgamento sobre hipteses, tais como: (1) Uma soluo se aplica a outras realidades, ou apenas a determinado contexto? (2) As mudanas observadas na situao-problema se

11

devem interveno ou a outros fatores? (3) As mudanas so permanentes ou temporrias, cessando com a interrupo do programa? Cotta estabelece uma diferenciao entre avaliao de resultados e avaliao de impacto: ... depende eminentemente do escopo da anlise: se o objetivo inquirir sobre os efeitos de uma interveno sobre a clientela atendida, ento, trata-se de uma avaliao de resultados; se a inteno captar os reflexos desta mesma interveno em contexto mais amplo, ento, trata-se de uma avaliao de impacto. (Cotta,1998, p. 113).

2.4- Diferenas entre Avaliao e outros Mecanismos de Retorno de Informaes

Vrios autores chamam a ateno para a diferenciao entre avaliao e monitoramento ou acompanhamento. Pois, enquanto o acompanhamento ou

monitoramento uma atividade gerencial interna, realizada durante o perodo de execuo e operao, a avaliao pode ser realizada antes, durante a implementao ou mesmo algum tempo depois, aps o programa provocar todo o seu impacto, e com a preocupao centrada no modo, medida e razo dos benefcios advindos. De acordo com Mokate (2002, p.91), o monitoramento faz um acompanhamento das aes da iniciativa que se avalia e dos produtos das ditas aes. A UNICEF (1991) define o monitoramento como um acompanhamento sistemtico e peridico da execuo de uma atividade, que busca determinar o grau em que seu desenlace coincida com o programado, com o fim de detectar oportunamente deficincias, obstculos e/ou necessidades de ajuste da execuo. Assim, segundo essas definies, os processos de monitoramento e avaliao so complementares, porm a avaliao vai alm, na medida em que realiza a verificao de que o plano originalmente traado est efetivamente alcanando as transformaes que pretendia, subsidiando a definio de polticas pblicas. Mas a avaliao necessita das informaes provenientes do monitoramento para realizar o julgamento que lhe cabe, a respeito da eficincia, eficcia e efetividade dos programas. O GAO define a mensurao de desempenho como o monitoramento e relato contnuo do acompanhamento de um programa, particularmente de seu progresso em direo aos objetivos previamente fixados, conduzida pelo gerente do programa ou da

12

agncia responsvel pelo programa. Medidas de desempenho podem indicar o tipo ou o nvel de atividade conduzida pelo programa (processo), os produtos e servios diretos derivados do programa (produto), ou os resultados desses produtos e servios (resultado). Ambos, mensurao de desempenho e avaliao de programas, visam dar suporte alocao de recursos e outras decises polticas, mas a mensurao de desempenho pode servir como um sistema de alerta para o gerente, em funo de sua natureza contnua. De acordo com Newcomer (1997), mensurao de desempenho um conceito bastante inclusivo, que pode se referir ao acompanhamento rotineiro do alcance das metas, dos produtos ou dos resultados intermedirios ou finais de um programa (p. 7). O mtodo de avaliao de programas visa responder as questes como e por que, enquanto a mensurao de desempenho captura indicadores quantitativos que se referem aos produtos e, talvez, aos resultados do programa, mas sem se interessar por como e por que(p. 10). O Quadro 1 sintetiza as diferenas entre a avaliao e outras formas de feedback ou consulta.

Quadro 1 DIFERENA ENTRE AVALIAO E OUTROS MECANISMOS DE FEEDBACK Estudos cientficos Auditoria tradicional As avaliaes se centram no uso prtico da informao. As avaliaes analisam os gastos pblicos a partir de pontos de vista mais amplos, questionando, at mesmo, a propriedade dos objetivos do programa, bem como a eficcia e eficincia de sua satisfao (a distino entre auditoria e avaliao geralmente no clara). As avaliaes geralmente so conduzidas como parte de um esforo nico e buscam reunir informaes aprofundadas sobre o programa em questo, embora a existncia de sistemas regulares e eficientes de monitoramento seja necessria como base para o desenvolvimento de avaliaes bem-sucedidas. As avaliaes procuram ir alm: buscam encontrar explicaes para os resultados observveis e entender a lgica da interveno pblica (contudo, sistemas de mensurao de desempenho, se eficientes, podem caracterizar, sobretudo nos Estados Unidos, uma 13

Monitoramento

Mensurao de desempenho

forma de avaliao). Anlise das polticas As avaliaes esto centradas na anlise ex-post. Essa anlise das polticas s vezes definida como uma avaliao prvia, para o estudo de polticas possveis no futuro. Fonte: Ala-Harja e Helgason, 2000, p.9.

A Comisso Europia (1997) apresenta uma recente inovao, conhecida como auditoria de desempenho, que est conceitualmente prxima da avaliao. Segundo a Comisso Europia, a auditoria de desempenho est fortemente preocupada com as questes relacionadas eficincia (dos produtos diretos do programa) e ao bom gerenciamento. Auditoria de desempenho e avaliao visam o mesmo objetivo de melhorar a qualidade dos programas, mas a avaliao vai alm, na medida em que analisa questes como a sustentabilidade e a relevncia de um programa, bem como suas conseqncias a longo prazo. Por outro lado, o monitoramento examina os produtos, ou seja, os bens e servios produzidos pelo programa, entregues ao pblico-alvo. um processo contnuo, realizado durante a execuo do programa, com a inteno de corrigir imediatamente qualquer desvio dos objetivos operacionais. A avaliao conduzida em um ponto especfico do ciclo de vida de um programa, e consiste em um estudo em profundidade, mas o monitoramento freqentemente gera dados que so usados na avaliao. Quanto diferena entre a avaliaes intermediria e a ex-post, alm da questo temporal, destaca-se que, em muitos casos, a avaliao intermediria est focada nos resultados do programa e no realiza uma anlise sistemtica de seus impactos. A avaliao intermediria tende a depender fortemente das informaes provenientes do sistema de monitoramento, e possui uma natureza formativa, com a preocupao de melhorar o funcionamento do programa. Em alguns casos, a avaliao intermediria visa examinar os impactos do programa, mas somente de maneira limitada. A avaliao expost tem natureza somativa e freqentemente conduzida com a inteno declarada de analisar os impactos do programa. Entretanto, visto que as informaes necessrias para julgar o impacto de um programa no estaro disponveis seno vrios anos aps seu trmino, as avaliaes ex-post tambm produziro uma anlise limitada sobre os reflexos

14

totais da implementao de um programa (European Commission, 1997, p.24).

3- Experincias Internacionais em Avaliao

3.1- Europa

Na sua primeira fase, nos anos 60 e 70, o processo de avaliao esteve ligado ao planejamento e programao em pases europeus como Sucia e Alemanha. Nos anos 80, a avaliao passou a se ocupar das questes de resultado e distribuio de recursos oramentrios, no Reino Unido, Pases Baixos, Noruega e Sucia, ficando a questo do impacto para um segundo plano. Neste perodo, a avaliao passou a ser um assunto de interesse tambm do Parlamento. As nuanas da avaliao variaram em cada pas segundo a obrigao legal do Executivo informar ao Legislativo, a independncia ou autonomia dos avaliadores, bem como o grau de centralizao ou regionalizao dos governos (Derlien, 2001). Na Sucia, as primeiras avaliaes foram realizadas na dcada de 50 por comisses encarregadas da formulao de polticas e tomada de decises. A partir da dcada de 60, rgos de pesquisa e outras agncias foram fundados tendo a avaliao como atividade principal. Nos anos 80, as atividades avaliativas foram sistematizadas e ligadas mais firmemente ao processo oramentrio. Um dos objetivos era fazer das avaliaes prvias ad hoc um componente formal para a tomada de decises. Os rgos pblicos deveriam apresentar um relatrio anual com os resultados e realizar revises aprofundadas a cada trs anos. Atualmente, revises aprofundadas s so conduzidas mediante solicitao formal dos ministrios. Os rgos so solicitados a avaliar e apresentar um relatrio de desempenho e resultados, que so utilizados principalmente para ajustes de polticas. Nos Pases Baixos o governo estabeleceu, no incio da dcada de 90, que as avaliaes seriam feitas em nvel ministerial, e seriam externas, internas, ex-ante, em nvel intermedirio e ex-post. O Ministrio da Fazenda e as diretorias oramentrias tornaram-se responsveis pelas orientaes e pela coordenao das avaliaes, bem como

15

pela popularizao de seu uso. O Tribunal de Contas assumiu as tarefas de exame da eficincia da gesto, organizao das avaliaes e divulgao peridica dos resultados. Na Finlndia, as avaliaes so geralmente realizadas ad hoc, mas alguns setores, como o de desenvolvimento e de educao, fazem uso sistemtico de procedimentos avaliativos. No perodo de 1995 1997, o governo organizou um programa de avaliao composto de 12 estudos, com o objetivo de sistematizar as informaes sobre as reformas no setor pblico e fortalecer a cultura de avaliao na administrao pblica. Durante os anos 90, alguns sistemas de avaliao nacionais europeus estiveram fortemente influenciados pelos ditames da Unio Europia, especialmente nos pases que recebem grandes quantidades de recursos. A avaliao de polticas recebeu estmulo importante da Unio Europia na Irlanda, Espanha e Alemanha (Derlien, 2001). A Unio Europia preconiza prticas institucionalizadas de avaliao em reas como aes de desenvolvimento, pesquisa e poltica tecnolgica e programas financiados pelos Structural Funds. Os servios operacionais so responsveis pela avaliao de seus prprios programas, traando seu plano anual de avaliao. A recomendao de que as aes financiadas por recursos oramentrios sejam avaliadas a cada seis anos. A integrao entre oramento e avaliao ocorre atravs da exigncia de que as propostas de programas sejam acompanhadas de um demonstrativo financeiro e de um plano avaliativo. Alm disso, as propostas de novos programas devem estar fundamentadas em avaliaes ex-ante, e as de renovao de programas tambm devem estar apoiadas em avaliaes. Sem avaliao, no h alocao de recursos (Ala-Harja e Helgason, 2000). Como suporte ao estabelecimento de uma cultura de avaliao, foram organizadas redes de avaliadores, manuais normativos e seminrios de treinamento. O enfoque gerencial sobre a administrao pblica emergiu com vigor na GrBretanha, com o governo de Margareth Thatcher em 1979, que realizou uma reforma administrativa profunda e bem-sucedida. De acordo com Bresser Pereira (1996), uma srie de programas o programa das Unidades de Eficincia (Efficiency Units), que envolviam a avaliao dos custos de cada rgo do Estado; o programa Prximos Passos (Next Steps), que introduziu as agncias executivas; e o programa Garantia do Cidado (Citizens Chart). Todos contriburam para tornar o servio pblico na GrBretanha mais flexvel, descentralizado, eficiente e orientado para o cidado. O servio

16

pblico britnico tradicional passou por uma transformao profunda, perdeu os traos burocrticos e adquiriu caractersticas gerenciais. A reforma da administrao pblica na Gr-Bretanha teve trs dimenses principais: primeiramente, o poder do servio pblico civil foi diminudo para fazer o aparato de estado responder mais prontamente s decises polticas; em segundo, prticas de gerncia do setor privado foram introduzidas, para promover a economia e a eficincia no governo; e, em terceiro, os cidados tiveram a sua liberdade de escolha aumentada quanto entrega de servios pblicos, contrapondo-se ao controle e dominao do estado sobre os projetos pblicos. O foco na segunda dimenso trouxe as maiores mudanas no projeto organizacional e na prtica gerencial, tendo por resultado o que veio a ser chamado de Nova Administrao Pblica ou Administrao Pblica Gerencial. A nova administrao pblica advoga a aplicao de princpios e instrumentos gerenciais clssicos (de Taylor e Fayol) na organizao pblica,. Por exemplo, a distino clara entre a poltica e a administrao, tendo por resultado uma separao prtica e fsica entre o processo poltico de tomada de deciso (realizado pelos Gabinetes, Ministrios e Parlamento) e a execuo administrativa destas decises (concentradas nas agncias, colocadas em uma determinada distncia dos Ministrios) (Mierlo, 1996). Mas os esforos para melhorar tanto o controle externo quanto o interno da burocracia pela poltica, tiveram um resultado de menor sucesso e muito distante do esperado pelas modernas teorias da administrao pblica, segundo Mierlo (1996). A abordagem de Thatcher foi rapidamente adotada, nos anos 80, por outros governos ocidentais que identificaram prioridades similares: a reduo da despesa pblica, do dficit, a reverso do srio declnio na confiana do pblico no governo, e a necessidade em modernizar e dinamizar a gerncia do servio pblico na nova era da competio global. As mudanas na administrao pblica resultaram no deslocamento do seu modelo burocrtico tradicional, clssico (hierarquia, controle, cautela e base em regras fixadas) a um modelo ps-burocrtico de organizao, envolvendo a inovao, a flexibilidade, menos controle central, empowerment, competio, aprendizagem contnua, qualidade de servios e orientao para resultados. Assim, uma nova forma de gerncia pblica tem evoludo nas ltimas duas dcadas. A nfase na flexibilidade foi aumentada, a responsabilidade realada. O

17

gerenciamento dos recursos e dos programas requer que os servidores pblicos, gerentes e equipe de funcionrios, estejam preparados para demonstrar as habilidades bsicas de risco, de inovao, e de planejamento criativo. Estas transformaes do setor pblico foram adotadas mais entusiasticamente por alguns do que por outros. Encontram-se tentativas de reforma com graus variados de sucesso. Pases tais como o Reino Unido, Austrlia, Nova Zelndia, Canad e os Estados Unidos, tm se esforado para revitalizar, modernizar e at reinventar seus servios pblicos.

3.2- Nova Zelndia e Austrlia

A moderna administrao pblica realmente comeou na Nova Zelndia, segundo Kettl (2000), que classifica o caso neozelands como parte do Modelo Westminster de reformas, que tambm inclui o Reino Unido, o Canad e a Austrlia. L, as reformas iniciaram como uma deciso de cima para baixo, privatizando programas e focando em produtos e resultados em lugar de processos e oramentos. Quatro estgios diferentes foram identificados na reforma de Nova Zelndia: (1) de 1978 a 1985, a fase do gerencialismo introduziu a gerncia no estilo do setor privado na administrao pblica; (2) de 1986 a 1991, a fase do mercado trouxe abordagens de livre-mercado gerncia do governo, incluindo contratos, competio e interesse individual; (3) de 1992 a 1996, a fase estratgica tentou introduzir uma viso ampla dos programas do governo, para reduzir a fragmentao que veio da segunda fase; (4) aps 1997, a fase de adaptao da capacidade concentrou-se em desenvolver a potencialidade dos recursos humanos, especialmente (Kettl, 2000, p.10). A idia subjacente reforma da Nova Zelndia era o aumento da transparncia do governo, especificando os objetivos dos programas de governo e relatando os resultados obtidos. No geral, os reformadores tentaram separar a elaborao das polticas da administrao das polticas, substituindo as tradicionais autoridade e burocracia de governo pela competio e os incentivos de mercado, tornando transparentes os objetivos e os resultados, e dando a gerentes do governo a flexibilidade para determinar como alcanar estes objetivos (Kettl, 2000, p.11).

18

Na dcada de 80, no processo de reforma da administrao pblica australiana, foi introduzida pelo governo a estratgia de avaliao sistematicamente integrada gesto e ao planejamento das organizaes e dos programas. Todos os programas pblicos so avaliados a cada trs ou cinco anos, e as principais propostas de polticas pblicas incluem um plano de avaliao. Os resultados das avaliaes devem ser divulgados ao pblico. Na Austrlia, as avaliaes so conduzidas pelos prprios gerentes dos programas, orientadas gesto de desempenho e coordenadas pelos responsveis pela alocao de recursos. O Ministrio da Fazenda responsvel pela coordenao da avaliao nos diversos rgos do governo, e a Auditoria Geral pode interferir na atividade. A avaliao foi associada ao processo oramentrio, sendo a eficcia dos programas o principal critrio para a alocao dos novos recursos. Ala-Harja e Helgason (2000) comentam que, na formulao do oramento de 1994/1995, os resultados das avaliaes influenciaram 77% das novas polticas propostas, 65% das medidas de economia de recursos e 68% das deliberaes do primeiro escalo do governo sobre as propostas. O sucesso da avaliao na Austrlia tem sido associado a: (1) diversas reformas no setor pblico voltadas aos resultados finais; (2) exigncias de avaliao endossadas pelo primeiro escalo; (3) apoio de ministrios chave; (4) consenso e motivao quanto necessidade de avaliao; (5) redes de avaliadores e unidades centrais de avaliadores nos ministrios; (6) planejamento, coordenao, qualidade e bons sistemas de informao sobre o desempenho (Ala-Harja e Helgason, 2000).

3.3- Estados Unidos

Os Estados Unidos tm tradio em avaliao, que praticada em nvel federal, estadual e municipal. Os rgos responsveis pela implementao dos programas realizam suas avaliaes, e o Congresso freqentemente legisla sobre a realizao de avaliaes em larga escala. O General Accounting Office (GAO), que assessora o

19

Congresso nas funes de superviso do Poder Executivo, realiza um grande nmero de auditorias de desempenho e avaliaes de programas. Mas, de acordo com Derlien (2001), as avaliaes experimentaram um declnio no Executivo americano, bem como no Congresso (com o GAO). A verso americana para a nova administrao pblica poderia ter contribudo para a perda do interesse na avaliao, por enfatizar o resultado em lugar do impacto dos programas, tendendo a avaliar instituies em vez de programas. Alm disso, as instituies descentralizadas que implementam os programas tambm tendem a relatar os resultados, sem preocupao com os impactos. Uma quantidade considervel do que chamado de avaliao de programas pelos governos estaduais e locais nos Estados Unidos mais similar mensurao de desempenho do que avaliao em profundidade. A mensurao de desempenho referese ao acompanhamento regular do desempenho, relacionado especialmente com a informao sobre o resultado dos programas de uma agncia, obtido durante o processo da execuo. As medidas de resultado esto focadas na parte da avaliao de programas que lida somente com os resultados estimados, sem tentar identificar quo importante o programa para os resultados alcanados, nem se estes se devem existncia do programa ou a outras motivaes. A avaliao dos programas tende a ser mais cara e a requerer capacidades especficas que um pequeno nmero de estados e de municipalidades possuem. Em muitos casos, no estado e no nvel local, as avaliaes so feitas por avaliadores ou auditores da esfera legislativa, e no pela do Executivo (Hatry, H. in Newcomer, 1997). A nvel Federal, em 1993 o Government Performance and Results Act (GPRA) legislou sobre o planejamento estratgico e mensurao de desempenho nas agncias do governo federal americano. Por essa lei, as agncias deveriam desenvolver planos estratgicos plurianuais e planos anuais de desempenho, com relatrios referentes a cada programa. Passou a ser exigido das agncias, a partir de 1997: a declarao de viso e misso estratgica; o estabelecimento de objetivos e metas de longo prazo e de metas anuais de desempenho; o desenvolvimento de indicadores de desempenho; o uso de indicadores de desempenho para melhorar a efetividade dos programas implementados pelas agncias; e comunicao dos resultados para o pblico (Cavalvanti e Otero, 1997).

20

A avaliao de programas orientada para resultados insere-se neste contexto, com a aferio da efetividade das aes do governo. Os planos anuais estabelecem nveis de desempenho projetados atravs de indicadores, que devem ser quantificveis e mensurveis. As medidas devem ser orientadas para resultados e realizao dos objetivos dos programas, e no para atividades. Os relatrios anuais avaliam o atingimento dos nveis de desempenho projetados e o atingimento dos objetivos programticos. Simultaneamente ao Government Performance and Results Act, o Executivo americano realizava o National Performance Review (NPR), objetivando o melhor funcionamento do governo federal a um custo menor. Assim, por um lado, o National Performance Review recomendou a diminuio da burocracia, modernizao dos processos e reduo das agncias. Por outro lado, o Government Performance and Results Act, do Congresso, centrou-se na mensurao de desempenho e melhoria dos programas, requerendo a incorporao da avaliao de resultados no estabelecimento dos planos anuais e plurianuais das agncias. O Government Performance and Results Act e o National Performance Review criaram um ambiente de forte presso para mudanas, alimentados por maiores demandas por servios governamentais mais eficientes e efetivos, num ambiente de recursos mais escassos (Cavalvanti e Otero, 1997). O NPR foi uma estratgia adotada com o fito de tornar o governo mais barato, mais gil e mais eficaz, mas, de acordo com Kettl (2000), focalizado mais no comportamento da burocracia do que em mudana nas estruturas e processos do governo. O mesmo autor identifica trs fases neste movimento: (1) de 1993 a 1994, trabalhar melhor e custar menos; (2) de 1994 a 1998, o que o governo deve fazer; e (3) aps 1998, procurar relevncia poltica. Na primeira, fase as agncias identificavam oportunidades para diminuir os desperdcios e melhorar o gerenciamento, com motivao e empowering dos empregados, para fazerem um trabalho melhor com eliminao de programas e de posies desnecessrios. Nesta fase os regulamentos foram simplificados, dando aos gerentes mais flexibilidade para poupar recursos, e servios ao cliente foram desenvolvidos. A segunda fase foi caracterizada pela reviso de tudo, programas ou agncias. Mas, devido a problemas polticos, o nmero de agncias permaneceu o mesmo, bem

21

como o nmero de programas federais. No fim, o corte oramentrio feito pelo Congresso e a discusso poltica destruram o entusiasmo inicial. Na terceira fase, o foco do NPR mudou, bem com seu nome, para National Partnership for Reinventing Government. O novo papel era implementar sistemas e tecnologias de informao que pudessem melhorar a eficincia do governo, concentrando esforos em trinta e duas agncias de alto impacto que trabalhavam diretamente com os cidados. Como visto por Kettl, ao buscar relevncia poltica o NPR distanciou-se de sua habilidade de alcanar resultados mensurveis, e o governo acabou fazendo promessas que no poderia cumprir diretamente (Kettl, 2000). Com relao aos objetivos de melhor atendimento ao pblico, o NPR elaborou um documento denominado Best Practices in Perfomance Measurement destacando que, quanto utilidade da avaliao no processo decisrio, as informaes devem ser efetivamente teis para a tomada de decises e correo de rumos. Alm disso, devem ser adequadas em tempo, ter relevncia e conciso para facilitar a tomada de decises e controle de processo, tendo em vista o preenchimento das metas e objetivos de cada nvel da organizao. So dispensveis as extensas coletas de dados para os fins exclusivos de informao (Toledo Silva, 2002). Quanto ao desempenho e sua avaliao, os princpios gerenciais do NPR foram essencialmente informais, sendo a formalizao concentrada nos sistemas de oramento, finanas pblicas e controle. Foi o GPRA que regulamentou a sistemtica da avaliao aplicada aos programas. O GPRA reconhecido pelos agentes de governo e pelos estudiosos das reformas nos EUA como tendo importncia central na articulao das reas de planejamento e controle com o planejamento das aes de governo. O processo de reforma j vinha se desenvolvendo nas reas de oramento, finanas e controle antes da criao do NPR, e seus fundamentos remontam aos 1950. Pouco antes do GPRA, o Chief Financial Officers Act of 1990 determinou a incorporao de conceitos de desempenho relativos eficincia e eficcia do gasto pblico nas aes de controle oramentrio e financeiro. A mesma lei determinou a uniformizao de critrios de avaliao de programas de diferentes reas de ao governamental, incorporando elementos no estritamente financeiros na avaliao dos programas federais sem, contudo, prever como se operaria a mudana.

22

O Results Act no especificou um formato determinado para o plano anual de desempenho, mas exigiu um plano que (1) identificasse os objetivos anuais e as medidas relativas a cada uma das atividades do programa, (2) discutisse as estratgias e os recursos necessrios para o alcance dos objetivos anuais, e (3) descrevesse os meios que a agncia usaria para verificar e validar seus dados do desempenho. Para auxiliar o Congresso na anlise dos planos estratgicos, bem como os planejadores e avaliadores de programas do Executivo, o GAO publicou um manual para orientar o processo de avaliao geral da consistncia dos planos de desempenho, a partir de trs questes-chave, relacionadas a: (1) objetivos e medidas anuais do desempenho: Em que medida o plano de desempenho da agncia fornece um retrato claro do desempenho pretendido? (2) estratgias e recursos: Quo bem o plano de desempenho discute as estratgias e recursos que a agncia usar para conseguir alcanar seus objetivos? (3) validao e verificao: Em que medida o plano de desempenho da agncia fornece confiana de que sua informao sobre desempenho ter credibilidade? (United States, 1998). O sistema de anlise do GAO estabeleceu princpios uniformes relativamente aos critrios internos de avaliao propostos por cada entidade, de maneira a tentar neutralizar parte dos vcios inerentes a avaliaes feitas pelos prprios agentes executores dos programas. Aps cinco anos de vigncia do Government Performance and Results Act, o GAO ainda indicava, em 1998, grandes desafios a serem superados tanto na elaborao dos planos quanto na avaliao de desempenho, entre os quais destacavam-se (Toledo Silva, 2002): alguns programas no conseguiram determinar seu sucesso apenas com

base em indicadores de desempenho, requerendo avaliaes completas dos programas; a disponibilidade de informaes de desempenho no tempo certo mostrou-

se difcil mesmo para os programas de curta durao; programas de pesquisa e desenvolvimento podem envolver dcadas para

apresentar resultados tangveis, tornando muito difcil a avaliao anual;

23

necessidade de implantar, desenvolver e aplicar sistemas de mensurao

de desempenho confiveis, que forneam informaes vlidas, a custos compatveis e de aplicao prtica para o gerenciamento cotidiano; dificuldades em identificar indicadores de desempenho adequados e falta

de dados para a fixao das metas quantitativas e para a avaliao de seu alcance. Toledo Silva destaca tambm que o National Partnership for Reinventing Government, com sua nfase na avaliao de satisfao dos usurios, acaba por desconsiderar o alcance mais amplo das polticas e aes governamentais, atendo-se ao resultado imediato do programa. O foco da NPR na satisfao dos usurios importante para a legitimao da reforma junto ao pblico. No entanto, esta no pode ser vista como substituta dos indicadores de eficcia social da poltica pblica, pois nem sempre o objetivo principal desta restrito ao universo de usurios diretos (Toledo Silva, 2000, p.113). Observa-se assim que, apesar dos esforos, a produo de informaes teis e utilizveis para fins de reviso e correo de rumos dos programas governamentais continua um desafio aberto, em que pesem os esforos sucessivos de aprimoramento dos sistemas de controle, acompanhamento e avaliao.

4- Brasil Avaliao do Plano Plurianual (PPA)

4.1- Caractersticas e Legislao do PPA

Atualmente existem importantes esforos na Amrica Latina para utilizao sistemtica de indicadores e avaliaes de programas e polticas pblicas. Alm do Brasil, Argentina, Chile e Colmbia so alguns dos pases que esto incorporando as novas idias de administrao pblica (Bozzi, 2001, Toledo Silva, 2002, Silva e Costa, 2002). Em 1995, foi criado na Argentina o Sistema de Informao, Avaliao e Monitoramento de Programas Sociais (SIEMPRO), com financiamento do Banco Mundial, uma vez que o governo argentino e o Banco detectaram um gasto relativamente

24

alto na rea social, porm com baixa eficincia e efetividade nos seus programas sociais. No Chile, a partir do processo de democratizao, a funo avaliao recobrou importncia, juntamente com o objetivo de modernizar a gesto pblica. Embora no Chile no haja um sistema nico de avaliao governamental, a tarefa est institucionalmente atribuda aos Ministrios do Planejamento, da Fazenda e Secretaria Geral da Presidncia da Repblica, que atuam articuladas no Programa de Avaliao de Projetos Governamentais (PAPG), originado em 1997 em funo de demandas do Congresso. A Colmbia implantou o Sistema Nacional de Avaliao da Gesto e Resultados (SINERGIA), em 1991, como instrumento de acompanhamento e avaliao dos planos nacionais de desenvolvimento. Porm, as circunstncias polticas do Pas tornaram os pilares de sistema de mensurao uma atividade burocrtica. No Brasil, a Constituio Federal de 1988 estabeleceu que o Executivo deve submeter aprovao do Legislativo um Plano Plurianual (PPA), abrangendo quatro anos e contendo as diretrizes, os objetivos e as metas da administrao pblica federal para as despesas de capital e para os programas de longa durao. Alm do PPA, a Constituio estabeleceu que fossem institudos as Leis de Diretrizes Oramentrias (LDO) e o Oramento Geral da Unio (OGU) como componentes de um sistema integrado de planejamento e oramento. Todos os demais planos e programas nacionais, regionais e setoriais tambm devem ser subordinados ao PPA. O perodo de vigncia do plano encontra-se deslocado em relao ao mandato presidencial, de forma que no primeiro ano de governo o Presidente da Repblica executa as aes previstas no mandato anterior e elabora o plano para os prximos quatro anos. No entanto, nos primeiros anos aps a Constituio, a inflao acelerada tornava invivel o planejamento de mdio e longo prazos. O primeiro PPA (1991 a 1995) no teve o carter de um plano, mas sim de consolidao de oramentos, seguindo os moldes da legislao anterior. O segundo PPA (1996 a 1999) teve como marco principal a implementao do Programa Brasil em Ao. De acordo com Silva e Costa (2002), a poltica definida pelo governo federal para o PPA 1996-1999 foi a tentativa mais abrangente de ao de poltica pblica para a viabilizao de objetivos estratgicos de modernizao do Estado, reduo de desequilbrios espaciais e sociais e insero competitiva do pas( p.38). A lei que

25

aprovou o PPA para este perodo determinou a elaborao de um relatrio de acompanhamento do plano. No entanto, o relatrio do ano de 1997 foi mais descritivo do que analtico, sem uma consolidao de dados em indicadores de desempenho. Alguns dos problemas enfrentados foram a incompatibilidade entre o PPA e o OGU e a ausncia de parmetros que permitissem a avaliao de desempenho do governo sobre o alcance das metas. A partir dessas dificuldades, o Ministrio do Planejamento, Oramento e Gesto definiu uma nova estratgia, e foram selecionados 42 projetos do PPA para integrarem o Programa Brasil em Ao. Esses projetos foram submetidos a um regime especial de acompanhamento e gerenciamento, com os objetivos de: (1) orientar o processo oramentrio, sinalizando prioridades; (2) detectar problemas de implementao e introduzir correes; (3) criar base de dados de informao para atrair investidores e facilitar parcerias pblico-privadas (Silva e Costa, 2002). Os projetos selecionados identificavam objetivos, metas fsicas e financeiras, localizao, executores, fontes de financiamento e cronogramas de execuo. Para cada projeto foi designado um gerente. Foi disponibilizado um sistema informatizado para gerentes e executores atualizarem o planejamento inicial, acompanharem e avaliarem a execuo do projeto, elaborarem relatrios, anteciparem problemas e proporem medidas para superao. O Brasil em Ao serviu como projeto-piloto para o PPA 2000-2003, popularizado como Avana Brasil, que estendeu a organizao gerencial para todos os programas do governo federal. Pelos relatos de diversos autores (Barbosa e Garcia, 2001, Calmon e Gusso, 2002, Gartenkraut,2002 Toledo Silva, 2002) o processo de elaborao dos programas includos no PPA 2000-2003 foi precedido de inmeras discusses tcnicas, envolvendo especialmente o Ministrio do Planejamento, Oramento e Gesto e o Instituto de Pesquisa Econmica Aplicada (IPEA). Tambm foi contratado, como subsdio elaborao do novo Plano, um estudo denominado de Eixos Nacionais de Integrao e Desenvolvimento, realizado por um consrcio internacional de empresas, visando identificao de investimentos estratgicos ao desenvolvimento do Pas. O PPA 2000-2003 inovou metodologicamente ao: (1) usar como referncia as Diretrizes Estratgicas da Presidncia da Repblica para a elaborao dos programas dos

26

ministrios; (2) integrar o Plano com o Oramento Geral da Unio; (3) organizar todas as aes governamentais em programas, que passaram a ser a unidade de gesto; (4) estruturar os programas com objetivos, pblico-alvo, valores, prazos, metas fsicas e indicadores definidos, com vistas ao acompanhamento e avaliao; (5) adotar um modelo de gerenciamento moderno, visando a obteno de resultados; (6) designar um gerente para cada programa; (7) propor a avaliao anual dos resultados alcanados por cada programa.

4.2- Definindo a Metodologia de Avaliao do PPA 2000-2003

A lei que estipulou o Avana Brasil disps que a avaliao anual da execuo do PPA deve estar disponvel para fundamentar as eventuais revises do Plano, a Lei de Diretrizes Oramentrias e o Oramento anual. As revises do Plano so feitas atravs da LDO, que encaminhada ao Congresso no ms de abril, tornando bastante exguo o prazo para a avaliao. Segundo a legislao, o relatrio anual de avaliao deve conter: (1) avaliao do desempenho das variveis macroeconmicas que fundamentaram a elaborao do Plano; (2) demonstrativo da execuo fsica, financeira e regionalizada dos programas; (3) demonstrativo do desempenho dos indicadores de cada programa; (4) avaliao do alcance das metas fsicas e financeiras e da evoluo dos indicadores de cada programa (Lei 9.989/2000). No entanto, as premissas da avaliao permaneceram genricas e imprecisas at o incio da implementao do PPA, quando foram tomadas as primeiras decises sobre a sistemtica a ser utilizada. Alm disso, o prazo para a reestruturao dos rgos de planejamento nos ministrios e para a elaborao dos programas foi insuficiente para o porte da mudana proposta. As falhas nas etapas anteriores a de avaliao culminaram em problemas nos enunciados dos objetivos e indicadores dos programas e na inconsistncia de seus outros elementos, como metas e recursos (Toledo Silva, 2002). Aliaram-se a estes fatos a dimenso do trabalho, visto que haviam cerca de 350 gerentes para um universo de 380 programas do Plano. Enfim, a forma do processo de avaliao a ser desenvolvido ficou definida em trs etapas: a primeira, de responsabilidade do gerente, compreende a identificao dos

27

resultados do programa junto sociedade, a anlise do desempenho fsico/financeiro de suas aes e a adequao da concepo/execuo do programa ao atingimento dos resultados esperados; a segunda, elaborada pelos responsveis pelo planejamento e gesto de polticas setoriais, tem por finalidade avaliar os resultados dos programas, tendo como referncia as Orientaes Estratgicas do Presidente da Repblica e as Orientaes Estratgicas Setoriais. Os demais poderes da Unio devero seguir as diretrizes dos seus respectivos planejamentos; a terceira, coordenada pelo Ministrio do Planejamento, Oramento e Gesto, refere-se a anlise do conjunto completo dos programas em relao s Orientaes Estratgicas do Plano. (Brasil, Ministrio do Planejamento, Oramento e Gesto, Relatrio de Avaliao Exerccio 2000). As etapas de avaliao dos programas e de avaliao setorial foram realizadas atravs de questionrios de mltipla escolha, ao qual se adicionaram algumas questes de resposta aberta e discursiva. O questionrio foi preenchido pelos gerentes e pela secretaria executiva de cada ministrio por meio do Sistema de Informaes Gerenciais e de Planejamento (SIGPLAN), acessvel pela internet. Embora tenham sido realizados modificaes e aperfeioamentos ao longo do processo, em sntese as etapas e instncias de avaliao so as seguintes:

Fonte: Relatrio de Avaliao Exerccio 2001

28

SIGPLAN

foi

implantado

para

apoiar

planejamento,

execuo,

monitoramento, gesto e avaliao do Plano. Este sistema agregou os dados de execuo oramentria e financeira de todos os programas e aes do governo federal, alm de informaes de monitoramento e gesto fornecidas pelos gerentes de programas, ministrios setoriais e Ministrio do Planejamento, Oramento e Gesto. A integrao entre o Plano Plurianual e o Oramento permitiu que a atualizao da execuo oramentria e financeira dos programas fosse procedida semanalmente, e que os gerentes complementassem periodicamente as informaes sobre o desempenho fsico. Os tcnicos do Ministrio do Planejamento tinham por tarefa monitorar as informaes no SIGPLAN. Tambm foi desenvolvido um mdulo do sistema com o objetivo de tornar acessveis sociedade as informaes sobre o andamento dos programas.

4.3- Principais Resultados e Problemas Enfrentados

Na viso de Garcia (2000), na elaborao dos programas dos PPA 2000-2003 houve muita heterogeneidade, reducionismo, setorializao e impreciso. O oramento dos programas tambm apresentou problemas, sendo feito em bases pouco realistas, com metas que no correspondiam s capacidades operacionais dos rgos nem s dotaes previstas. Na fase de avaliao, um dos grandes problemas defrontados foi o de que muitos programas e aes no foram desenhados para serem avaliados. Houve dificuldade para estabelecer indicadores adequados aos objetivos dos programas, confiveis e com sries histricas que permitissem comparaes. As informaes sobre o andamento dos programas tambm foram insuficientes (Barbosa e Garcia, 2001). Em relao ao uso do SIGPLAN, apesar de ser um sistema bem estruturado e de fcil acesso, seu sucesso depende da qualidade e periodicidade das informaes. Entre os principais problemas detectados na atualizao do sistema e que causaram efeitos negativos na fase de avaliao, Calmon e Gusso (2002) destacam: (1) a inadequao ou inexistncia de sistemas internos de acompanhamento dos programas; (2) insuficincia de recursos humanos na gesto e acompanhamento dos programas; (3) ausncia de recursos humanos qualificados para a avaliao; (4) indicadores inadequados; e (5) impreciso das

29

informaes relativas s metas fsicas e custos dos programas. A respeito das trs etapas de avaliao definidas, um dos desafios foi o de estabelecer o nexo entre o desempenho fsico e financeiro dos programas, os objetivos e diretrizes setoriais e os macro objetivos do governo. Ou seja, estabelecer o encadeamento lgico entre os objetivos e metas dos programas e os objetivos da poltica governamental. Devido heterogeneidade dos macro objetivos e dos programas e sua quantidade, a avaliao de resultados finais relacionados ao conjunto dos programas e macro objetivos de governo consiste em tarefa gigantesca e muito difcil de ser levada a efeito simultaneamente para todos os programas( Toledo Silva, 2002, p.247). Tambm so alvos de crtica a obteno das avaliaes a partir de questionrios padronizados e o curto treinamento dado aos gerentes, tanto na fase de elaborao como de avaliao do plano. O pouco tempo dedicado capacitao no permitiu que o novo modelo de planejamento se consolidasse como uma cultura no governo federal. A introduo do gerente, uma figura nova na estrutura administrativa, exigiria mais tempo para que esses perceberem a natureza do seu papel e pudessem superam a resistncia das organizaes e diferentes ministrios. Pela anlise de Calmon e Gusso (2002), foi perceptvel a dificuldade dos gerentes responderem s questes relacionadas aos resultados dos programas. Em muitos casos, as informaes no estavam disponveis devido inadequao dos indicadores propostos ou inexistncia de aferio anual. Nesses casos, os gerentes informaram sobre o alcance de metas como resposta ao questionamento sobre resultados do programa, empobrecendo a avaliao. A baixa qualidade das respostas, pela escassez de informaes e pela carncia de capacitao dos gerentes e suas equipes, sugeria a necessidade de investimento em capacitao gerencial e de avaliao. Outro problema foi o grau de subjetividade, decorrente do fato de a avaliao ter sido interna, realizada pelos prprios gerentes encarregados da implementao dos programas. A avaliao do plano, por sua vez, consistiu em verificar, com base nas informaes dos relatrios gerenciais sobre os programas e no conhecimento especializado dos tcnicos, se os programas foram implementados de forma a contribuir para o alcance dos macro objetivos. A anlise da gesto do plano corresponde a uma viso agregada sobre o desempenho dos programas e dos ministrios no modelo de

30

gesto proposto. As informaes da etapa de avaliao setorial tambm foram utilizadas nesta fase. Contudo, ao persistirem as dificuldades de informao na fase de monitoramento e de avaliao dos programas, a avaliao do plano s poderia ter sido feita com grande subjetividade. Adicionalmente, a responsabilizao e cobrana por resultados foram pouco efetivas, visto que o baixo desempenho no foi acompanhado de medidas corretivas. As unidades de gerenciamento dos programas no possuam autonomia legal ou administrativa para corrigir ou solucionar muitos problemas detectados nos processos de monitoramento e avaliao. O novo modelo de gerenciamento por programas no foi totalmente assimilado, visto que existiram superposies entre os gerentes e a estrutura administrativa formal do governo federal, gerando conflitos de competncia e tomada de deciso entre as duas instncias. Entre os avanos proporcionados pela experincia de avaliao do PPA 20002003, citam-se o estmulo discusso sobre o monitoramento e avaliao a que os tcnicos e rgos envolvidos no processo foram submetidos. Esse fato consistiu-se num importante passo para disseminar a cultura de avaliao na administrao pblica e para incorporar essas prticas nos processos de tomada de deciso, melhoria da gesto e aprendizagem organizacional, que demandam tempo para consolidao. Da mesma forma, embora o uso das informaes tenha sido ainda restrito, a divulgao peridica das informaes sociedade e obrigatoriedade de prestao de contas ao Legislativo foram passos que dificilmente podero ser retrocedidos. Alm disso, em funo de legislao e da aprovao da prtica do governo federal, muitos estados adotaram os princpios de modernizao da administrao pblica, utilizando os mesmos moldes de elaborao de programas, avaliao e divulgao dos resultados, entre eles o Estado do Rio Grande do Sul. O PPA 2004-2007 foi elaborado com base nos mesmos conceitos e fundamentos metodolgicos do Avana Brasil. Foram mantidos o modelo de gesto, a organizao por programas e o sistema de informaes j utilizados. Foi introduzida uma estratgia participativa na formulao do plano, com a incorporao vrias contribuies de organizaes da sociedade civil. Tambm foram realizadas consultas pblicas e validao dos 26 estados e do Distrito Federal. A fase de elaborao dos programas foi desdobrada

31

em duas, uma para os aspectos qualitativos, como definio de objetivo, pblico-alvo e indicadores dos programas, e outra para os aspectos quantitativos. As avaliaes e recomendaes dos gerentes sobre os programas anteriores serviram de subsdio elaborao dos programas do PPA 2004-2007, denominado de Brasil, um Pas de Todos. As mesmas trs instncias de avaliao foram mantidas no modelo de gerenciamento do PPA 2004-2007. As modificaes introduzidas em relao ao PPA 2000-2003 foram basicamente duas. A primeira, que o titular da unidade administrativa qual o programa est vinculado tornou-se o gerente do programa, e o titular da unidade administrativa qual se vincula a ao, o coordenador da ao, conforme o Decreto 5.233/2004, que regulamenta a Lei do Plano (Lei 10.933/2004). Essa iniciativa tende a minimizar os conflitos entre a estrutura gerencial e a estrutura administrativa mencionados anteriormente. A segunda que foi criado o Sistema de Monitoramento e Avaliao do Plano Plurianual, cuja estrutura foi definida de forma integrada ao modelo de gesto do Plano. O Sistema de Monitoramento e Avaliao (SMA) tem como funo principal assegurar que a avaliao seja parte integrante da gesto dos programas e d subsdios para a tomada de deciso. O sistema composto por uma Comisso de Monitoramento e Avaliao (CMA) e por Unidades de Monitoramento e Avaliao (UMA) em cada ministrio setorial e secretaria especial. De acordo com o Decreto n 5.233/2004, a CMA ter como atribuio geral elaborar propostas de normas e de procedimentos gerais, relativos ao monitoramento e avaliao dos programas do Poder Executivo, bem como oferecer elementos tcnicos que orientem os processos de alocao de recursos oramentrios e financeiros e a reviso dos programas, com vistas ao alcance de resultados. A Unidade de Monitoramento e Avaliao (UMA) ser o principal agente do Sistema. Competir UMA de cada rgo apoiar a elaborao dos planos gerenciais, o monitoramento e a avaliao dos programas. O trabalho da CMA e das UMAs ser integrar as vrias iniciativas de avaliao e os sistemas de monitoramento, a saber: avaliao anual do PPA; avaliao de programas selecionados; avaliao de iniciativa setorial; avaliao de iniciativa no governamental; avaliao dos Pactos de Concertao (Brasil, Relatrio de Avaliao Exerccio 2004).

32

5- Estado do Rio Grande do Sul - Primeira Avaliao do PPA 20042007

5.1- Legislao Estadual do PPA

De acordo com a Constituio Estadual do Estado do Rio Grande do Sul (Art. 149), a lei que aprovar o Plano Plurianual estabelecer, de forma regionalizada, as diretrizes, objetivos e metas, quantificados fsica e financeiramente, dos programas da administrao direta e indireta, de suas fundaes, das empresas pblicas e das empresas em que o Estado detenha, direta ou indiretamente, a maioria do capital social com direito a voto. A avaliao do Plano Plurianual constitui-se em obrigao da Administrao Estadual, estando prevista nas Leis Complementares Estaduais n 10.336/1994 e n 11.180/1998 a publicao, at 30 de maio de cada ano: (1) do demonstrativo das receitas por fonte e das despesas por programa; (2) da estimativa das despesas de capital, especificadas por programa; (3) das metas, quantificadas fsica e financeiramente, por rgo e por programa, que devero ser atingidas relativamente prestao de serviosfins. O Rio Grande do Sul j elaborou quatro Planos Plurianuais desde a determinao legal de faz-lo, bem como publicou anualmente os relatrios previstos. No entanto, como apontou o Tribunal de Contas do Estado a respeito do PPA 2000-2003, esse acompanhamento foi limitado, tendo em vista a inexistncia de indicadores especficos, relacionados aos objetivos propostos. A respeito deste PPA, o mesmo Tribunal de Contas indicou que a adequao nova metodologia introduzida pelo Governo Federal deveria ter sido implementada ao longo dos exerccios transcorridos desde a sua aprovao. A partir de janeiro de 2003, ocorreram diversas iniciativas para discutir a modernizao metodolgica do Plano Plurianual do Estado, com o objetivo de enquadrlo s normas da Portaria Interministerial n42/99 e ao Decreto Federal n 2829/98, j adotados pelos demais Estados da Federao.

33

A Lei Estadual n 11.945/2003, que instituiu o Plano Plurianual 2004-2007 determinou (Art 8) que o acompanhamento e a avaliao dos programas deste plano sero realizados atravs do desempenho dos indicadores e metas, cujos ndices, apurados periodicamente, tero a finalidade de medir os resultados alcanados. Ser realizada, anualmente, a avaliao fsica e financeira da consecuo dos objetivos dos Programas, expressos pelos indicadores e pelas metas das aes a eles associadas, expressando os resultados anuais e acumulados no respectivo quadrinio.

5.2- Adaptando a Experincia Federal ao Caso do Rio Grande do Sul

A elaborao do PPA 2004-2007 uma das tentativas de modernizao da gesto pblica no Estado do Rio Grande do Sul, juntamente com outras iniciativas como os contratos de gesto, o governo eletrnico, a central de servios ao cidado, as parcerias pblico-privadas, as licitaes eletrnicas, etc. Com vistas adoo de novas prticas de gesto voltadas obteno dos resultados, no PPA 2004-2007 as aes do governo passaram a ser organizadas em 242 Programas, todos com objetivos, indicadores e um conjunto de aes cuja execuo permite o alcance dos propsitos traados. As aes foram identificadas nos Oramentos Anuais como projetos ou atividades. Estabeleceu-se, desse modo, uma linha de integrao que permite, a partir da execuo oramentria, acompanhar a execuo financeira do Plano Plurianual. Antes mesmo de sua elaborao, o prazo de entrega do Plano j havia sido postergado atravs de modificao da lei anterior, passando de 15 de maro para 15 de maio do primeiro ano de cada novo governo estadual. Esse alongamento do prazo permitiu maiores discusses na etapa de elaborao dos programas, com a incorporao das sugestes dos 22 Conselhos Regionais de Desenvolvimento, que representam vrias organizaes da sociedade civil. Alm disso, foi introduzida a figura do Coordenador de Programa e foi implantado o Sistema de Informaes Gerenciais e de Planejamento do Rio Grande do Sul SIGPLANRS, concebido como uma ferramenta de apoio gesto em suas diversas instncias. O Sistema de Informaes foi cedido pelo Ministrio do Planejamento,

34

Oramento e Gesto Secretaria de Coordenao e Planejamento do Estado e adaptado s caractersticas e peculiaridades locais. Da mesma forma, a funo de Coordenador de Programa uma adaptao da funo de Gerente de Programa adotada pelo Governo Federal, com a diferena de que, no Estado, essa responsabilizao no formalizada. Ainda em 2004, foi realizada a primeira reviso do PPA 2004-2007, resultando na criao de 15 Programas novos e na excluso de 25 criados na verso original do Plano, alm de alteraes em aes e indicadores. Concluindo um ciclo completo de gesto, realizou-se a avaliao dos programas e do PPA, a partir das informaes registradas pelos Coordenadores de Programa no SIGPLANRS, dando origem: (1) a relatrios quantitativos de evoluo dos indicadores e das metas fsicas e financeiras das aes; e (2) a uma srie de anlises, possveis a partir das respostas a quesitos sobre aspectos relativos aos resultados, execuo e concepo dos Programas e dos conjuntos de Programas agrupados por setor. (Relatrio de Avaliao Exerccio 2004)

5.3- Principais Resultados e Problemas da Avaliao 2004

Assim como na elaborao e avaliao do PPA 2000-2003 do Governo Federal, a experincia de alterao metodolgica efetuada no Rio Grande do Sul no PPA 2004-2007 teve problemas e sofreu resistncias. Pode-se mesmo dizer que as dificuldades enfrentadas foram semelhantes s observadas no nvel federal. Tal como no governo federal, a capacitao dos tcnicos encarregados da elaborao do Plano foi rpida e insuficiente, tanto na coordenao, a cargo da Secretaria da Coordenao e Planejamento como nos demais rgos. As equipes encarregadas do planejamento e da coordenao do Plano eram, e ainda so, pequenas em todos os rgos estaduais. As deficincias na capacitao dos recursos humanos envolvidos no processo acarretaram problemas nas etapas posteriores, embora tenha sido feito um grande esforo para san-las. Outra dificuldade digna de nota est relacionada ao desenho dos programas. Apesar de serem apenas quatro as diretrizes de governo determinadas, foi vago o estabelecimento das relaes entre estas e os programas. As diretrizes so: (1) atrao de investimentos e fomento ao desenvolvimento econmico; (2) combate s desigualdades

35

regionais; (3) promoo da incluso social; e (4) modernizao da gesto e dos servios pblicos. A inteno expressa nas instrues para elaborao do PPA foi a de que cada programa fosse concebido para atacar problemas da sociedade. No entanto, os programas j estavam praticamente concebidos por cada rgo quando, ento, se procurou uma justificativa para sua existncia. Desta forma, em muitos programas as aes refletem mais a estrutura administrativa dos rgos do que as relaes de causalidade e as vrias frentes de ao necessrias para a resoluo de um problema. Outra dificuldade relativa ao desenho foi a indefinio de indicadores, sua no apurao e sua inadequao em relao aos objetivos do programa. Muitas vezes as metas foram transformadas em indicadores e vice-versa. Os coordenadores de programa, que foram uma adaptao da funo de gerente de programa do governo federal, igualmente no tm responsabilizao pelos resultados e nem autonomia administrativa. No caso do Estado, boa parte dos coordenadores so tcnicos designados para preencher as informaes no SIGPLANRS, e no coordenadores de programa propriamente ditos. Esse fato acarreta em atrasos na atualizao do SIGPLANRS, j que estes coordenadores no detm informaes sobre os programas, tendo que busc-las em instncias superiores. No Rio Grande do Sul realizado o monitoramento de algumas aes prioritrias, com recorte diferente dos programas do PPA e por outro sistema informatizado, sem integrao com o SIGPLANRS at o momento. Inicialmente houve resistncia dos rgos na integrao do PPA com o oramento, j que a vinculao entre aes dos programas do Plano e os projetos ou atividades do oramento anual tornam necessrio um planejamento que no usualmente praticado pelos rgos pblicos estaduais. H dificuldade na alocao de custos e conseqente predomnio na alocao de custos em despesas administrativas gerais. A primeira reviso do Plano foi realizada para proceder a correo de alguns erros tcnicos contidos na verso inicial do PPA, bem como para buscar uma maior vinculao com os projetos e atividades do oramento. A reviso parte integrante do ciclo gerencial do PPA. No entanto, seja pela novidade, seja pela incompreenso, a primeira reviso do plano provocou muitas crticas e uso poltico por parte do Legislativo do Estado.

36

A primeira experincia de avaliao do PPA 2004-2007 no Estado do Rio Grande do Sul seguiu os mesmos moldes da avaliao praticada pelo governo federal, em trs etapas: (1) atravs de questionrio dirigido aos coordenadores de programas; (2) atravs de questionrio dirigido aos coordenadores setoriais; (3) anlise e consolidao das respostas realizada pela Secretaria da Coordenao e Planejamento. Essas anlises constituem-se em importante contribuio para a qualificao dos processos de planejamento, oramento e gesto. Alm de orientar a reviso do PPA, ao indicar a necessria reformulao de Programas e da estrutura programtica, a avaliao orienta tambm a qualificao dos diversos processos atinentes gesto, como alocao de recursos, procedimentos gerenciais e fornecimento de informaes. As orientaes que nortearam os aperfeioamentos introduzidos no Plano Plurianual 2004-2007 do Estado do Rio Grande do Sul tiveram por objetivos: (1) propiciar a integrao e a compatibilizao dos instrumentos bsicos de planejamento e oramento: Plano Plurianual, Lei de Diretrizes Oramentrias e Lei do Oramento Anual; (2) organizar em programas todas as aes do Governo que resultassem em bens ou servios para atendimento de demandas da sociedade; (3) assegurar que os programas estivessem alinhados com as diretrizes de governo e compatveis com a previso de disponibilidade de recursos; (4) proporcionar a alocao de recursos nos oramentos anuais de modo compatvel aos objetivos e diretrizes estabelecidos no Plano e com o desempenho obtido na execuo dos programas; (5) melhorar o desempenho gerencial da administrao pblica, tendo como elemento bsico a definio de responsabilidade por custos e resultados; (6) permitir a avaliao do desempenho dos programas em relao aos objetivos e metas especificados no Plano; (7) oferecer elementos para relacionar a execuo fsica e financeira dos programas aos resultados da atuao do Governo; (8) criar condies para a melhoria contnua e mensurvel da qualidade e produtividade dos bens e servios pblicos; (9) dar maior transparncia aplicao de recursos pblicos e aos resultados obtidos. A despeito do uso ainda restrito dos resultados da avaliao e do processo como um todo, foi dado um importante passo para a modernizao da administrao pblica no Estado. Os objetivos pretendidos so ambiciosos e alcanveis somente longo prazo, pois envolvem mudanas em uma grande estrutura. Apesar disso, e tal como observado

37

em relao ao governo federal, difcil que acontea um retrocesso aps algumas conquistas, tais como a integrao PPA e oramento anual. Observa-se que ainda so necessrios muitos avanos no planejamento, na gesto, na avaliao do desempenho e do resultado das aes de governo, mas tentou-se estabelecer uma base que pudesse ser aperfeioada.

Consideraes Finais
O interesse do governo na avaliao dos programas e das polticas pblicas est relacionado preocupao com a eficcia, a eficincia, a efetividade e a accountability de suas aes. Os estudos de avaliaes podem fornecer aos gerentes e administradores pblicos respostas sobre a qualidade de seu trabalho, bem como a possibilidade de mostrar os resultados de seu trabalho sociedade e ao Legislativo. De acordo com a anlise de experincias estrangeiras, os principais interesses das atuais avaliaes so os resultados, a alocao oramentria racional e a reorganizao dos programas de modo a alcanar os objetivos de planejamento. Estas so as respostas que as avaliaes podem oferecer como subsdio ao processo de tomada de decises, durante a execuo dos programas e das polticas. As iniciativas do Governo Federal brasileiro, quanto ao processo da avaliao de programas, seguem as tendncias internacionais, visando s presses sociais para a melhoria da qualidade na proviso dos servios pblicos e s demandas para reduo das despesas pblicas. A aplicao sistemtica da avaliao de programas uma prtica nova na administrao pblica brasileira, tanto federal como estadual, especialmente com a abrangncia de todos os programas do Plano Plurianual. O tipo de avaliao adotado pelo governo federal brasileiro e pelo Estado do Rio Grande do Sul pode ser caracterizado como uma avaliao intermediria, de natureza formativa, conduzida, em sua maior parte, dentro das instituies responsveis pelos programas. Este tipo de avaliao visa auxiliar e advertir aos planejadores e aos gerentes e seus colaboradores sobre problemas e necessidades de melhoria do programa.

38

As avaliaes com caractersticas acadmicas, externas e ex-post, feitas aps a execuo do programa, so criticadas por no levarem em conta as necessidades prticas dos responsveis pela execuo. De acordo com muitos crticos, para converter a avaliao em uma ferramenta til para administrao pblica, necessrio que ela esteja integrada s organizaes e ao processo real de tomada de deciso. A anlise dos casos brasileiro e estadual mostrou que so necessrios alguns avanos no sistema de avaliao de ambos os nveis do governo, o que algo natural em um processo implantado to recentemente. Um dos ajustes a necessidade de uma maior integrao entre os processos de monitoramento e de avaliao e os outros estgios do ciclo de gerenciamento, especialmente no que est relacionado alocao de recursos oramentrios e a tomada de deciso dos gerentes. Isto especialmente verdadeiro no caso do Rio Grande do Sul, onde o sistema de monitoramento separado do de avaliao, e onde h ainda um grande trabalho a ser feito na melhoria da apropriao de custos dos programas. Outra questo diz respeito ao fato de que o objetivo das avaliaes intermedirias est focalizado nos resultados do programa, com interesse em melhorar os mecanismos de entrega dos produtos do programa, e no numa anlise sistemtica de seu impacto. Talvez seja a limitao principal da metodologia atual. O alcance de um objetivo, em termos de produto fsico ou disponibilizao de servio, pode ser uma condio necessria mas no suficiente para resolver determinado problema, com baixo impacto da ao do governo na sociedade. No caso do Rio Grande do Sul, a avaliao relativa efetividade dos programas somente pode ser feita aps o PPA 2004-2007, pois este foi o primeiro a estabelecer objetivos especficos e indicadores de desempenho. Apesar das dificuldades e das imperfeies no desenho dos programas, este esforo pode ser feito para melhorar a aprendizagem organizacional e para fortalecer o conhecimento tcnico necessrio para a elaborao e avaliao do prximo PPA.

39

Referncias Bibliogrficas:
Ala-Harja, Marjukka; Helgason, Sigurdur. Em Direo s Melhores Prticas de Avaliao. Braslia, Revista do Servio Pblico, ano 51, n. 4, out./dez., 2000. Barbosa, Frederico; Garcia, Ronaldo C. A Propsito da Avaliao do PPA: lies da primeira tentativa. Braslia, IPEA, Boletim de Polticas Sociais: acompanhamento e anlise, n. 3, ago., 2001. Bozzi, Sonia O. Evaluacin de la Gestion Pblica: conceptos y aplicaciones em el caso latinoamericano. Braslia, Revista do Servio Pblico, ano 52, n.1, jan./mar., 2001. Brasil. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual 2000-2003 Exerccios 2000 a 2003. http://www.planejamento.gov.br/ planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm. Brasil. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual 2004-2007 Exerccio 2004. http://www.planejamento.gov.br/ planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm. Bresser Pereira, Luiz C. A Administrao Pblica Gerencial: estratgia e estrutura para um novo Estado. Braslia, ENAP, 1996 (Texto para Discusso). Calmon, Katya M. N.; Gusso, Divonzir A. A Experincia de Avaliao do Plano Plurianual (PPA) do Governo Federal no Brasil. Braslia, Planejamento e Polticas Pblicas, n. 25, jun./dez., 2002. Cavalcanti, Bianor S.; Otero, Roberto B. Novos Padres Gerenciais no Setor Pblico: medidas do governo americano. Braslia, ENAP, 1997 (Texto para Discusso). Cohen, Ernesto; Franco, Rolando. Avaliao de Projetos Sociais. Petrpolis, Vozes, 2004. Costa, Frederico L.; Castanhar, Jos C. Avaliao de Programas Pblicos: desafios conceituais e metodolgicos. Rio de Janeiro, Revista de Administrao Pblica, 37 (5), set./out., 2003. Cotta, Tereza C. Metodologias de Avaliao de Programas e Projetos Sociais: anlise de resultados e de impacto. Braslia, Revista do Servio Pblico, ano 49, n. 2, abr./jun., 1998. Derlien, Hans-Ulrich. Uma Comparacin Internacional em la Evaluacin de ls Polticas Pblicas. Braslia, Revista do Servio Pblico, ano 52, n.1, jan./mar., 2001. European Commission. Evaluating EU Expenditures Programmes: A Guide to Ex Post and Intermediate Evaluation. Luxembourg. January, 1997. Fitz-Gibbon, Carol T.,; Morris, Lyn L. How to Design a Program Evaluation? Beverly Hills, Sage Publications, 1978. Garcia, Ronaldo C. Avaliao de Aes Governamentais: pontos para um comeo de conversa. Braslia, IPEA/CENDEC, out., 1997. Garcia, Ronaldo C. A Reorganizao do Processo de Planejamento do Governo Federal: o PPA 200-2003. Braslia, IPEA, maio, 2000 (Texto para Discusso n.726). Garcia, Ronaldo C. Subsdios para Organizar Avaliaes da Ao Governamental. Braslia, IPEA, jan., 2001 (Texto para Discusso n.776). Gartenkraut, Michal. Brasil: uma anlise do Plano Plurianual PPA 2000/2003. Relatrio Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA, 2002.

40

Hatry, Harry P. Where the Rubber Meets the Road: Performance Measurement for State and Local Public Agencies. In: Newcomer, K. (ed.) Using Performance Measurements to Improve Public and Nonprofit Programs. San Francisco, Jossey-Bass, 1997. Jannuzzi, Paulo de M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicaes. Campinas, Editora Alnea, 2. ed., 2003. Kettl, Donald F. The Global Public Management Revolution: a report on the transformation of governance. Washington D.C., Brookings Institute, 2000. Lynn Jr., Laurence. Requiring Bureaucracies to Perform: what have we learned from the US Government Performance and Results Act (GPRA)? The University of Chicago, 1998. http://harrisschool.uchicago.edu/About/publications/working-papers/pdf/wp-lynn.pdf. Mierlo, J.G.A. The Experience of OECD Countries with Public Management Reform and its Relevance to Central and Eastern Europe. The University of Maastricht, 1996. http://ideas.repec.org/p/dgr/umamet/199621. Mokate, Karen M.. Convirtiendo el Monstruoen Aliado: la evaluacin como herramienta de la gerencia social. Braslia, Revista do Servio Pblico, ano 53, n. 1, jan./mar., 2002. Newcomer, Kathryn. Using Performance Measurement to Improve Programs. In: Newcomer, K. (ed.) Using Performance Measurements to Improve Public and Nonprofit Programs. San Francisco, Jossey-Bass, 1997. Rio Grande do Sul. Secretaria da Coordenao e Planejamento. PPA 2004-2007. Relatrio Anual de Avaliao. Exerccio 2004. Silva, Pedro L. B. (coord.) Modelo de Avaliao de Programas Sociais Prioritrios: relatrio final. Programa de Apoio Gesto Social no Brasil. Campinas, NEPP-UNICAMP, 1999. Silva, Pedro L. B.; Costa, Nilson R. A Avaliao de Programas Pblico: reflexes sobre a experincia brasileira. Relatrio Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA, 2002. Silva, Pedro L. B.; Melo, Marcus A. B. O Processo de Implementao de Polticas Pblicas no Brasil: caractersticas e determinantes da avaliao e programas e projetos. Campinas, NEPPUNICAMP, 2000. Toledo Silva, Ricardo. Eficincia e Eficcia da Ao Governamental: uma anlise comparativa de sistemas de avaliao. Relatrio Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA, 2002. United States. General Accounting Office (GAO). The results act. An evaluators guide to assessing agency annual performance plans. GAO/GGD-10.1.20, 1998.

41