Avaliao de Polticas Pblicas e Programas Governamentais:

tendncias recentes e experincias no Brasil 1

Carla Giane Soares da Cunha 2

Nas ltimas dcadas a avaliao de polticas e programas governamentais assumiu

grande relevncia para as funes de planejamento e gesto governamentais. A despeito
da existncia de experincias anteriores, o interesse pela avaliao tomou grande impulso
com a modernizao da Administrao Pblica. Em vrios pases, este movimento foi
seguido pela adoo dos princpios da gesto pblica empreendedora e por
transformaes das relaes entre Estado e sociedade.
A avaliao pode subsidiar: o planejamento e formulao das intervenes
governamentais, o acompanhamento de sua implementao, suas reformulaes e ajustes,
assim como as decises sobre a manuteno ou interrupo das aes. um instrumento
importante para a melhoria da eficincia do gasto pblico, da qualidade da gesto e do
controle sobre a efetividade da ao do Estado, bem como para a divulgao de
resultados de governo.
Alm do carter de mensurao objetiva de resultados, a avaliao possui tambm
aspectos qualitativos, constituindo-se em um julgamento sobre o valor das intervenes
governamentais por parte dos avaliadores internos ou externos, bem como por parte dos
usurios ou beneficirios. A deciso de aplicar recursos pblicos em uma ao pressupe
a atribuio de valor e legitimidade aos seus objetivos, e a avaliao deve verificar o
cumprimento das metas estabelecidas.
Em pases desenvolvidos a avaliao amplamente praticada e, ao longo dessa
experincia, propostas metodolgicas foram geradas por organismos internacionais de
financiamento como o Banco Mundial e o Banco Interamericano de Desenvolvimento e
por outras instituies como a Organizao para a Cooperao e o Desenvolvimento

Este trabalho foi elaborado durante o curso The Theory and Operation of a Modern National Economy,
ministrado na George Washington University, no mbito do Programa Minerva, em 2006.

Economista, Mestre em Planejamento Urbano e Regional e Tcnica em Planejamento da Secretaria da

Coordenao e Planejamento do Estado do Rio Grande do Sul.

Econmico (OCDE), a Comisso Econmica para a Amrica Latina e Caribe (CEPAL) e

o Centro Latino Americano de Administrao para o Desenvolvimento (CLAD).
H diferentes maneiras de realizar uma avaliao. Uma delas a avaliao
acadmica, mais formal, com interesse no estudo da efetividade das polticas, seus
impactos e benefcios. Outra forma a avaliao promovida durante o perodo de
implementao das polticas e programas governamentais, com foco na anlise de sua
eficincia e eficcia.
No Brasil, a importncia da avaliao tambm reconhecida. Recentemente o
Governo Federal brasileiro tem realizado a avaliao sistemtica de seus programas. Esta
avaliao tem nfase na eficcia e eficincia dos programas expressos nos Planos
Plurianuais. Estados como o Rio Grande do Sul comearam a seguir o exemplo desde o
ltimo ano.
O objetivo desse trabalho discutir se as avaliaes praticadas no mbito dos
Planos Plurianuais do Brasil e do Rio Grande do Sul podem realmente auxiliar no
processo de tomada de decises sobre a implementao de polticas e programas
governamentais. Para alcanar este objetivo, primeiramente sero expostas as principais
razes para a adoo da prtica da avaliao. Em segundo, sero apresentados os
conceitos mais comumente utilizados no campo da avaliao. Logo aps, o captulo trs
abordar a experincia internacional recente em avaliao de polticas e programas
pblicos. Em seguida, as avaliaes de programas feitas pelo Governo Federal de 2000 a
2004 sero analisadas, bem como a experincia do Estado do Rio Grande do Sul em sua
primeira avaliao dos programas do Plano Plurianual 2004-2007. Finalmente, o estudo
ir analisar brevemente as possibilidades e limitaes da metodologia corrente.

1- Razes para Avaliar Polticas e Programas Governamentais

1.1- A Utilidade da Avaliao de Polticas e Programas Pblicos

Hoje h quase um consenso na literatura de que os motivos para realizar estudos

de avaliao de polticas e programas pblicos esto relacionados transformao da

Administrao Pblica em uma administrao mais moderna e eficiente, mesmo que em

alguns pases isto ainda seja apenas um desejo. Nos anos 80 e 90, o mundo foi varrido
por uma onda de ideologia neoliberal que pregou o Estado Mnimo e cuja aceitao
talvez tenha sido um reflexo do colapso do Estado comunista. A despeito do entusiasmo
inicial, a possibilidade de existncia do Estado mnimo mostrou-se irrealista,
principalmente para os pases em desenvolvimento, onde as polticas pblicas
desempenham um papel estratgico para aliviar a pobreza e torn-los mais compatveis
com uma economia de mercado.
Na impossibilidade de substituir o Estado pelo mercado, a crise deste perodo
acabou produzindo uma reforma deste Estado na maioria dos pases ocidentais. Segundo
Bresser Pereira (1996) No lugar da velha administrao pblica burocrtica, emergiu
uma nova forma de administrao a administrao pblica gerencial -, que tomou
emprestado do setor privado os imensos avanos prticos e tericos ocorridos no sculo
XX na administrao de empresas, sem, contudo perder sua caracterstica especfica: a de
ser uma administrao que no est orientada para o lucro, mas para o atendimento do
interesse pblico(p.9). As caractersticas bsicas da administrao pblica gerencial so
a orientao para o cidado e para a obteno de resultados, em contraponto
administrao burocrtica, que se concentra nos processos, sem considerar a ineficincia
envolvida.
O crescente interesse dos governos nos estudos de avaliao est relacionado s
questes de efetividade, eficincia, accountability e desempenho da gesto pblica, j que
estes

estudos

constituem-se

em

ferramenta

para

gestores,

formuladores

implementadores de programas e polticas pblicas. As avaliaes de polticas e

programas permitem que formuladores e implementadores tomem suas decises com
maior conhecimento, maximizando o resultado do gasto pblico, identificando xitos e
superando pontos de estrangulamento.

1.2- Principais Questes a Serem Respondidas pelas Avaliaes

Derlien (2001) identifica trs funes atribudas avaliao de polticas: de

informao, de alocao e de legitimao. Estas motivaes so identificadas a diferentes

fases da implementao de avaliaes. Durante os anos 60, os pases que impulsionaram

a atividade estavam mais interessados na informao. Para eles, as questes principais a
serem respondidas seriam: Como funcionam as polticas? Que efeitos produzem? Como
se pode melhor-las? A segunda fase, que tomou impulso durante os anos 80 e predomina
hoje, visa alocao ou dotao oramentria mais racional, e as questes bsicas a que
se prope so: Que programas podem ser cortados a partir de resultados negativos? Quais
so as conseqncias da privatizao de certas atividades pblicas? Como os programas
podem ser reorganizados para atingir mais resultados com o mesmo montante? J a
funo de legitimao no pode ser identificada a uma fase temporal, tendo sempre
desempenhado papel importante no contexto poltico, ao menos para os pases
desenvolvidos da Amrica do Norte e Europa que o autor examina.
Para Ala-Harja e Helgason (2000), a avaliao de programas um mecanismo de
melhoria do processo de tomada de decises. Embora no se destine a resolver ou
substituir juzos subjetivos, a avaliao permite ao governante um certo conhecimento
dos resultados de um dado programa, informao que pode ser utilizada para melhorar a
concepo ou implementao de um programa, para fundamentar decises e para
melhorar a prestao de contas sobre polticas e programas pblicos. Segundo estes
autores, as principais metas da avaliao seriam: a melhoria do processo de tomada de
deciso, a alocao apropriada de recursos e a responsabilidade para o parlamento e os
cidados.
Examinando o caso latino-americano, Bozzi (2001) ressalta que a preocupao
atual com a avaliao da gesto pblica insere-se num contexto de mudana de
paradigma da administrao pblica, reforma do Estado e modernizao de suas
instituies a nvel mundial, que produziu efeitos tambm em pases com outros nveis de
desenvolvimento.
Em seus documentos, tanto a Comisso Econmica Para a Amrica Latina e
Caribe (CEPAL), quanto o Centro Latino-americano de Administrao para o
Desenvolvimento (CLAD) preconizam a necessidade de os pases latino-americanos
montarem sistemas de avaliao de desempenho para transformar a estrutura de suas
atuais administraes pblicas e para promover uma agenda de desenvolvimento que

inclua estabilidade econmica, maior equidade, alocao mais efetiva dos recursos
pblicos e crescimento econmico sustentvel.
No Brasil, ainda podem ser citadas outras razes para a demanda por avaliaes.
Em primeiro lugar, a crise fiscal brasileira diminuiu a capacidade de gasto dos governos e
aumentou a presso por maior eficincia. Nesta questo, o fim do processo inflacionrio
teve importante papel, pois acabou com as receitas financeiras dos governos e exps os
problemas das finanas pblicas. Em segundo, o aprofundamento da democracia trouxe
novos atores sociais e reivindicaes aos governos. Em terceiro, a longa crise econmica
brasileira aumentou a desigualdade social e a busca pelos programas sociais do governo.
Por ltimo, pode ser citada a desestruturao da funo de planejamento, que deixou os
governantes sem elementos de informao e avaliao (Garcia, 1997).
Segundo Silva (1999), o motivo mais imediato do interesse pela avaliao de
atividades de governo seria a preocupao com a efetividade, isto , com a aferio dos
resultados esperados e no-esperados alcanados pela implementao dos programas. O
segundo motivo seria o de entender o processo pelo qual os programas alcanaram ou no
esses resultados, analisando a dinmica da interveno estatal e os problemas concretos
advindos da implementao. Outros motivos relevantes seriam a aprendizagem
organizacional das instituies pblicas sobre suas atividades, a tomada de deciso sobre
a continuidade ou no dos programas e, ainda, a transparncia, qualidade e accountability
na gesto dos recursos pblicos (responsabilizao dos gestores por decises e aes
implementadas).
Assim, as questes imediatas e centrais a serem respondidas pelos estudos de
avaliao seriam: Em que medida os objetivos propostos na formulao do programa so
ou foram alcanados na implementao? Como o programa funciona e quais os motivos
que levam ou levaram a atingir ou no os resultados? (Silva, 1999, p.38 e Silva, 2002,
p.15) A partir dessas questes gerais, os estudos podem responder tpicos mais
especficos, relacionados s informaes para o processo decisrio e aprendizagem
organizacional.
A partir de diferentes motivaes para avaliar, so definidos diferentes estudos
avaliativos entre vrias possibilidades e conceitos, abordados a seguir.

2- Principais Conceitos
2.1- Definio de Avaliao

A definio do que seja avaliao parece ser quase consensual. De acordo com a
UNICEF (1990), por exemplo, trata-se do exame sistemtico e objetivo de um projeto ou
programa, finalizado ou em curso, que contemple o seu desempenho, implementao e
resultados, com vistas determinao de sua eficincia, efetividade, impacto,
sustentabilidade e a relevncia de seus objetivos. O propsito da avaliao guiar os
tomadores de deciso, orientando-os quanto continuidade, necessidade de correes ou
mesmo suspenso de uma determinada poltica ou programa. (Costa e Castanhar, 2003,
p.972).
De acordo com o Government Accountability Office (GAO), dos Estados Unidos,
avaliaes de programas so estudos sistemticos, conduzidos periodicamente ou ad hoc,
para analisar quo bem um programa est funcionando. As avaliaes podem ser
conduzidas por especialistas externos ou por gerentes de programas. Para o GAO, elas
examinam a performance dos programas quanto ao alcance de seus objetivos e o contexto
em que isto ocorre.
A Organizao para a Cooperao e o Desenvolvimento Econmico (OCDE), em
seu Glossrio de Termos em Avaliao e Gesto por Desempenho, utiliza as mesmas
idias-chave para a definio de avaliao, adicionando que a mesma deve prover
informaes com crdito e utilidade, permitindo o aprendizado no processo de tomada de
decises. O Glossrio da OCDE ressalta, tambm, que a avaliao constitui-se na
determinao de valor ou significncia de uma atividade, poltica ou programa. um
julgamento, to sistemtico e objetivo quanto possvel, a respeito das intervenes
governamentais.
Entretanto, autores como Ala-Harja e Helgason chamam a ateno para o fato de
que no h um acordo sobre o que avaliao, em funo de que o conceito definido de
mltiplas, e s vezes contraditrias, maneiras, e por uma variedade de disciplinas, tais
como economia, poltica, administrao e sociologia. Alm disso, a avaliao serve a
uma ampla gama de necessidades, discusses, clientes, instituies e praticantes. Como a

avaliao tem sido crescentemente demandada, virtualmente qualquer tipo de feedback

ou consulta tem sido chamado de avaliao.

2.2 - Conceitos Bsicos

A atividade de avaliao no uma atividade isolada e auto-suficiente. Ela uma

das etapas do processo de planejamento das polticas e programas governamentais: gera
informaes que possibilitam novas escolhas; analisa resultados que podem sugerir a
necessidade de reorientao das aes para o alcance dos objetivos traados. A seguir so
apresentados alguns dos conceitos bsicos relacionados avaliao.

Poltica Silva (2002, p. 18) define a fase de formulao de polticas como sendo
o estgio onde as propostas ganham forma e estatuto, recebendo tratamentos
formais mnimos, ao serem definidos metas, objetivos e recursos. As polticas
transformam-se

em

programas

quando

explicitada

estratgia

de

implementao e, por uma ao de autoridade, so criadas as condies iniciais

para sua implementao.

Plano - o conjunto de programas que buscam objetivos comuns. O plano ordena

os objetivos gerais e os desagrega em objetivos especficos, que sero os objetivos
gerais dos programas. O plano organiza as aes programticas em uma seqncia
temporal, de acordo com a racionalidade tcnica e as prioridades de atendimento.
(Cohen e Franco, 2004, p.86).

Programa um conjunto de atividades organizadas para serem realizadas dentro

de cronograma e oramento especficos disponveis para a implementao de
polticas, ou para a criao de condies que permitam o alcance de metas
polticas desejveis. (Ala-Harja e Helgason, 2000, p.8).

Projeto um instrumento de programao para alcanar os objetivos de um

programa, envolvendo um conjunto de operaes, limitadas no tempo, das quais

resulta um produto final que concorre para a expanso ou aperfeioamento da

ao do governo. Quando essas operaes se realizam de modo contnuo ou
permanente, so denominadas de Atividades. (Garcia, 1997, p. 6).

Objetivo a situao que se deseja obter ao final da implementao do

programa, mediante a aplicao dos recursos e da realizao das aes previstas
(Cohen e Franco, 2004, p.88).

Meta a dimenso quantitativa, temporal e espacial do objetivo.

Produto o resultado concreto das atividades desenvolvidas pelo programa,

podendo ser tanto bens quanto servios.

Efeito o que decorre da influncia do programa. O objetivo est localizado

temporalmente antes do incio do programa. Os efeitos so resultados das aes
do programa, e podem ser intermedirios, ocorrendo durante o programa, ou
finais, que so os que perduram aps o programa. Os efeitos podem ser ainda
procurados, ou seja, foram estabelecidos como objetivos, ou no procurados.

Impacto o resultado do programa que pode ser atribudo exclusivamente s

suas aes, aps a eliminao dos efeitos externos. o resultado lquido do
programa.

Eficcia a relao entre alcance de metas e tempo ou, em outras palavras,

grau em que se alcanam os objetivos e metas do programa, em um determinado
perodo de tempo, sem considerar os custos implicados.

Eficincia a relao entre custo e benefcios, onde se busca a minimizao do

custo total para uma quantidade de produto, ou a maximizao do produto para
um gasto total previamente fixado.

Efetividade a relao entre os resultados e o objetivo. a medida do impacto

ou do grau de alcance dos objetivos. (Cohen e Franco, 2004, p.107).

Indicador a quantificao que permite a mensurao dos resultados do

programa. um recurso metodolgico, empiricamente referido, que informa
algo sobre um aspecto da realidade social ou sobre mudanas que esto se
processando na mesma.(Januzzi, 2003, p.15). O mesmo autor destaca algumas
classificaes de indicadores importantes para a anlise e formulao de polticas:
1. Quanto natureza do fenmeno indicado: o indicador-insumo a medida
dos recursos humanos, financeiros, equipamentos, etc. alocados para o
programa; o indicador-produto serve para mensurar os resultados efetivos
das polticas; e os indicadores-processo so indicadores intermedirios de
esforo operacional para a obteno dos resultados.
2. Quanto temporalidade: o indicador de estoque a medida em um
momento especfico; j o indicador de performance ou fluxo procura
medir mudanas ocorridas entre dois momentos distintos.
3. Quanto avaliao de programas: indicadores de eficincia dos meios e
recursos empregados; indicadores da eficcia no cumprimento das metas;
e indicadores da efetividade social do programa, isto , de seus efeitos
(Januzzi, 2003, p.24).

2.3- Tipos de Avaliao

As avaliaes podem ser classificadas segundo vrios critrios. Considerando o

agente que as realiza, as avaliaes podem ser classificadas como (Cohen e Franco, 2004;
Cotta, 1998):
Avaliao externa realizada por pessoas de fora da instituio responsvel pelo
programa, em geral com experincia neste tipo de atividade. Entre as vantagens desta
avaliao podem ser citadas a iseno e objetividade dos avaliadores externos, que no
esto diretamente implicados com o processo, alm da possibilidade de comparao dos
resultados obtidos com os de outros programas similares j analisados. Por outro lado, o

acesso aos dados necessrios torna-se mais difcil e os que vo ter seu trabalho avaliado
podem se colocar em posio defensiva, fornecendo informaes parciais e minimizando
o efeito de melhoria dos programas. Alega-se, tambm, que o conhecimento da
metodologia de avaliao pode no substituir o conhecimento sobre as especificidades do
programa, e que no existe uma nica metodologia aplicvel a todos os casos.
Avaliao interna realizada dentro da instituio responsvel, com maior
colaborao das pessoas que participam do programa. Citam-se como vantagens a
eliminao da resistncia natural a um avaliador externo, a possibilidade de reflexo e
aprendizagem e compreenso sobre a atividade realizada dentro da instituio. Mas podese perder muito em objetividade, j que os que julgam esto, tambm, envolvidos, tendo
formulado e executado o programa. Se a avaliao for realizada internamente
instituio, mas por pessoas que no participam do programa, na tentativa de diminuir a
subjetividade, a situao torna-se anloga do avaliador externo.
Avaliao mista procura combinar os tipos de avaliao anteriores, fazendo com
que os avaliadores externos tenham contato estreito com os participantes do programa a
ser avaliado, na tentativa de manter as vantagens e superar as desvantagens das
avaliaes apresentadas acima.
Avaliao participativa usada principalmente para pequenos projetos, prev a
participao dos beneficirios das aes no planejamento, na programao, execuo e
avaliao dos mesmos.
Quanto natureza, as avaliaes podem ser:
Avaliaes formativas esto relacionadas formao do programa. Adotadas
durante a implementao, so voltadas para a anlise e produo de informao sobre as
etapas de implementao. Geram informaes para os que esto diretamente envolvidos
com o programa, com o objetivo de fornecer elementos para a realizao de correes de
procedimentos para melhorar o programa.
Avaliaes somativas esto relacionadas anlise e produo de informaes
sobre etapas posteriores. So realizadas quando o programa est sendo implementado h
algum tempo ou aps a sua implementao, para verificar a sua efetividade e fazer o
julgamento do seu valor geral.

10

Quando se leva em conta o momento de sua realizao, podem ser identificadas

como (Cohen e Franco, 2004):
Avaliao ex-ante realizada ao comeo de um programa, com o fito de dar
suporte deciso de implementar ou no o programa, e ordenar os vrios projetos
segundo sua eficincia para alcanar os objetivos determinados. O elemento central da
avaliao ex-ante o diagnstico, que auxilia na alocao dos recursos disponveis de
acordo com os objetivos propostos. Para esta avaliao podem ser utilizadas as tcnicas
de Anlise Custo-Benefcio e Anlise Custo-Efetividade, mais afeita aos programas
sociais.
Avaliao ex-post realizada durante a execuo de um programa ou ao seu final,
quando as decises so baseadas nos resultados alcanados. Neste tipo de avaliao
julga-se, quando um programa est em execuo, se ele deve continuar ou no, com base
nos resultados obtidos at o momento e, se a resposta for positiva, se deve manter a
formulao original ou sofrer modificaes. Quando o programa j foi concludo, julgase a pertinncia do uso futuro da experincia, ou seja, se o mesmo tipo de programa deve
ser implementado novamente ou no. A avaliao ex-post a mais desenvolvida
metodologicamente e a que tem tido maior aplicao.
Ainda possvel distinguir dois enfoques, segundo os tipos de problemas ou
perguntas que as avaliaes respondem (Cohen e Franco, 2004; Cotta, 1998):
Avaliao de processos realizada durante a implementao do programa, diz
respeito dimenso de gesto. uma avaliao peridica que procura detectar as
dificuldades que ocorrem durante o processo para efetuar correes ou adequaes. Serve
de suporte para melhorar a eficincia operativa;
Avaliao de impactos ou resultados tem objetivos mais ambiciosos,
respondendo se o programa funcionou ou no. Procura verificar em que medida o
programa alcana seus objetivos e quais so os seus efeitos, indagando se houve
modificaes na situao-problema que originou a formulao do programa, aps sua
implementao. Serve de suporte para deciso sobre poltica, como continuao do
programa e formulao de outros. a avaliao mais complexa, pois envolve o
julgamento sobre hipteses, tais como: (1) Uma soluo se aplica a outras realidades, ou
apenas a determinado contexto? (2) As mudanas observadas na situao-problema se

11

devem interveno ou a outros fatores? (3) As mudanas so permanentes ou

temporrias, cessando com a interrupo do programa? Cotta estabelece uma
diferenciao entre avaliao de resultados e avaliao de impacto: ... depende
eminentemente do escopo da anlise: se o objetivo inquirir sobre os efeitos de uma
interveno sobre a clientela atendida, ento, trata-se de uma avaliao de resultados; se a
inteno captar os reflexos desta mesma interveno em contexto mais amplo, ento,
trata-se de uma avaliao de impacto. (Cotta,1998, p. 113).

2.4- Diferenas entre Avaliao e outros Mecanismos de Retorno de Informaes

Vrios autores chamam a ateno para a diferenciao entre avaliao e

monitoramento

ou

acompanhamento.

Pois,

enquanto

acompanhamento

ou

monitoramento uma atividade gerencial interna, realizada durante o perodo de

execuo e operao, a avaliao pode ser realizada antes, durante a implementao ou
mesmo algum tempo depois, aps o programa provocar todo o seu impacto, e com a
preocupao centrada no modo, medida e razo dos benefcios advindos.
De acordo com Mokate (2002, p.91), o monitoramento faz um acompanhamento
das aes da iniciativa que se avalia e dos produtos das ditas aes. A UNICEF (1991)
define o monitoramento como um acompanhamento sistemtico e peridico da execuo
de uma atividade, que busca determinar o grau em que seu desenlace coincida com o
programado, com o fim de detectar oportunamente deficincias, obstculos e/ou
necessidades de ajuste da execuo.
Assim, segundo essas definies, os processos de monitoramento e avaliao so
complementares, porm a avaliao vai alm, na medida em que realiza a verificao de
que o plano originalmente traado est efetivamente alcanando as transformaes que
pretendia, subsidiando a definio de polticas pblicas. Mas a avaliao necessita das
informaes provenientes do monitoramento para realizar o julgamento que lhe cabe, a
respeito da eficincia, eficcia e efetividade dos programas.
O GAO define a mensurao de desempenho como o monitoramento e relato
contnuo do acompanhamento de um programa, particularmente de seu progresso em
direo aos objetivos previamente fixados, conduzida pelo gerente do programa ou da

12

agncia responsvel pelo programa. Medidas de desempenho podem indicar o tipo ou o

nvel de atividade conduzida pelo programa (processo), os produtos e servios diretos
derivados do programa (produto), ou os resultados desses produtos e servios (resultado).
Ambos, mensurao de desempenho e avaliao de programas, visam dar suporte
alocao de recursos e outras decises polticas, mas a mensurao de desempenho pode
servir como um sistema de alerta para o gerente, em funo de sua natureza contnua.
De acordo com Newcomer (1997), mensurao de desempenho um conceito
bastante inclusivo, que pode se referir ao acompanhamento rotineiro do alcance das
metas, dos produtos ou dos resultados intermedirios ou finais de um programa (p. 7). O
mtodo de avaliao de programas visa responder as questes como e por que,
enquanto a mensurao de desempenho captura indicadores quantitativos que se referem
aos produtos e, talvez, aos resultados do programa, mas sem se interessar por como e
por que(p. 10).
O Quadro 1 sintetiza as diferenas entre a avaliao e outras formas de feedback
ou consulta.

Quadro 1
DIFERENA ENTRE AVALIAO E OUTROS MECANISMOS DE FEEDBACK
Estudos cientficos
Auditoria tradicional

Monitoramento

Mensurao de desempenho

As avaliaes se centram no uso prtico da

informao.
As avaliaes analisam os gastos pblicos a partir de
pontos de vista mais amplos, questionando, at
mesmo, a propriedade dos objetivos do programa,
bem como a eficcia e eficincia de sua satisfao (a
distino entre auditoria e avaliao geralmente no
clara).
As avaliaes geralmente so conduzidas como parte
de um esforo nico e buscam reunir informaes
aprofundadas sobre o programa em questo, embora a
existncia de sistemas regulares e eficientes de
monitoramento seja necessria como base para o
desenvolvimento de avaliaes bem-sucedidas.
As avaliaes procuram ir alm: buscam encontrar
explicaes para os resultados observveis e entender
a lgica da interveno pblica (contudo, sistemas de
mensurao de desempenho, se eficientes, podem
caracterizar, sobretudo nos Estados Unidos, uma
13

forma de avaliao).
Anlise das polticas
As avaliaes esto centradas na anlise ex-post. Essa
anlise das polticas s vezes definida como uma
avaliao prvia, para o estudo de polticas possveis
no futuro.
Fonte: Ala-Harja e Helgason, 2000, p.9.

A Comisso Europia (1997) apresenta uma recente inovao, conhecida como

auditoria de desempenho, que est conceitualmente prxima da avaliao. Segundo a
Comisso Europia, a auditoria de desempenho est fortemente preocupada com as
questes relacionadas eficincia (dos produtos diretos do programa) e ao bom
gerenciamento. Auditoria de desempenho e avaliao visam o mesmo objetivo de
melhorar a qualidade dos programas, mas a avaliao vai alm, na medida em que analisa
questes como a sustentabilidade e a relevncia de um programa, bem como suas
conseqncias a longo prazo.
Por outro lado, o monitoramento examina os produtos, ou seja, os bens e servios
produzidos pelo programa, entregues ao pblico-alvo. um processo contnuo, realizado
durante a execuo do programa, com a inteno de corrigir imediatamente qualquer
desvio dos objetivos operacionais. A avaliao conduzida em um ponto especfico do
ciclo de vida de um programa, e consiste em um estudo em profundidade, mas o
monitoramento freqentemente gera dados que so usados na avaliao.
Quanto diferena entre a avaliaes intermediria e a ex-post, alm da questo
temporal, destaca-se que, em muitos casos, a avaliao intermediria est focada nos
resultados do programa e no realiza uma anlise sistemtica de seus impactos. A
avaliao intermediria tende a depender fortemente das informaes provenientes do
sistema de monitoramento, e possui uma natureza formativa, com a preocupao de
melhorar o funcionamento do programa. Em alguns casos, a avaliao intermediria visa
examinar os impactos do programa, mas somente de maneira limitada. A avaliao expost tem natureza somativa e freqentemente conduzida com a inteno declarada de
analisar os impactos do programa. Entretanto, visto que as informaes necessrias para
julgar o impacto de um programa no estaro disponveis seno vrios anos aps seu
trmino, as avaliaes ex-post tambm produziro uma anlise limitada sobre os reflexos

14

totais da implementao de um programa (European Commission, 1997, p.24).

3- Experincias Internacionais em Avaliao

3.1- Europa

Na sua primeira fase, nos anos 60 e 70, o processo de avaliao esteve ligado ao
planejamento e programao em pases europeus como Sucia e Alemanha. Nos anos 80,
a avaliao passou a se ocupar das questes de resultado e distribuio de recursos
oramentrios, no Reino Unido, Pases Baixos, Noruega e Sucia, ficando a questo do
impacto para um segundo plano. Neste perodo, a avaliao passou a ser um assunto de
interesse tambm do Parlamento. As nuanas da avaliao variaram em cada pas
segundo a obrigao legal do Executivo informar ao Legislativo, a independncia ou
autonomia dos avaliadores, bem como o grau de centralizao ou regionalizao dos
governos (Derlien, 2001).
Na Sucia, as primeiras avaliaes foram realizadas na dcada de 50 por
comisses encarregadas da formulao de polticas e tomada de decises. A partir da
dcada de 60, rgos de pesquisa e outras agncias foram fundados tendo a avaliao
como atividade principal. Nos anos 80, as atividades avaliativas foram sistematizadas e
ligadas mais firmemente ao processo oramentrio. Um dos objetivos era fazer das
avaliaes prvias ad hoc um componente formal para a tomada de decises. Os rgos
pblicos deveriam apresentar um relatrio anual com os resultados e realizar revises
aprofundadas a cada trs anos. Atualmente, revises aprofundadas s so conduzidas
mediante solicitao formal dos ministrios. Os rgos so solicitados a avaliar e
apresentar um relatrio de desempenho e resultados, que so utilizados principalmente
para ajustes de polticas.
Nos Pases Baixos o governo estabeleceu, no incio da dcada de 90, que as
avaliaes seriam feitas em nvel ministerial, e seriam externas, internas, ex-ante, em
nvel intermedirio e ex-post. O Ministrio da Fazenda e as diretorias oramentrias
tornaram-se responsveis pelas orientaes e pela coordenao das avaliaes, bem como

15

pela popularizao de seu uso. O Tribunal de Contas assumiu as tarefas de exame da

eficincia da gesto, organizao das avaliaes e divulgao peridica dos resultados.
Na Finlndia, as avaliaes so geralmente realizadas ad hoc, mas alguns setores,
como o de desenvolvimento e de educao, fazem uso sistemtico de procedimentos
avaliativos. No perodo de 1995 1997, o governo organizou um programa de avaliao
composto de 12 estudos, com o objetivo de sistematizar as informaes sobre as reformas
no setor pblico e fortalecer a cultura de avaliao na administrao pblica.
Durante os anos 90, alguns sistemas de avaliao nacionais europeus estiveram
fortemente influenciados pelos ditames da Unio Europia, especialmente nos pases que
recebem grandes quantidades de recursos. A avaliao de polticas recebeu estmulo
importante da Unio Europia na Irlanda, Espanha e Alemanha (Derlien, 2001).
A Unio Europia preconiza prticas institucionalizadas de avaliao em reas
como aes de desenvolvimento, pesquisa e poltica tecnolgica e programas financiados
pelos Structural Funds. Os servios operacionais so responsveis pela avaliao de seus
prprios programas, traando seu plano anual de avaliao. A recomendao de que as
aes financiadas por recursos oramentrios sejam avaliadas a cada seis anos. A
integrao entre oramento e avaliao ocorre atravs da exigncia de que as propostas
de programas sejam acompanhadas de um demonstrativo financeiro e de um plano
avaliativo. Alm disso, as propostas de novos programas devem estar fundamentadas em
avaliaes ex-ante, e as de renovao de programas tambm devem estar apoiadas em
avaliaes. Sem avaliao, no h alocao de recursos (Ala-Harja e Helgason, 2000).
Como suporte ao estabelecimento de uma cultura de avaliao, foram organizadas redes
de avaliadores, manuais normativos e seminrios de treinamento.
O enfoque gerencial sobre a administrao pblica emergiu com vigor na GrBretanha, com o governo de Margareth Thatcher em 1979, que realizou uma reforma
administrativa profunda e bem-sucedida. De acordo com Bresser Pereira (1996), uma
srie de programas o programa das Unidades de Eficincia (Efficiency Units), que
envolviam a avaliao dos custos de cada rgo do Estado; o programa Prximos
Passos (Next Steps), que introduziu as agncias executivas; e o programa Garantia do
Cidado (Citizens Chart). Todos contriburam para tornar o servio pblico na GrBretanha mais flexvel, descentralizado, eficiente e orientado para o cidado. O servio

16

pblico britnico tradicional passou por uma transformao profunda, perdeu os traos
burocrticos e adquiriu caractersticas gerenciais.
A reforma da administrao pblica na Gr-Bretanha teve trs dimenses
principais: primeiramente, o poder do servio pblico civil foi diminudo para fazer o
aparato de estado responder mais prontamente s decises polticas; em segundo, prticas
de gerncia do setor privado foram introduzidas, para promover a economia e a eficincia
no governo; e, em terceiro, os cidados tiveram a sua liberdade de escolha aumentada
quanto entrega de servios pblicos, contrapondo-se ao controle e dominao do estado
sobre os projetos pblicos. O foco na segunda dimenso trouxe as maiores mudanas no
projeto organizacional e na prtica gerencial, tendo por resultado o que veio a ser
chamado de Nova Administrao Pblica ou Administrao Pblica Gerencial.
A nova administrao pblica advoga a aplicao de princpios e instrumentos
gerenciais clssicos (de Taylor e Fayol) na organizao pblica,. Por exemplo, a distino
clara entre a poltica e a administrao, tendo por resultado uma separao prtica e fsica
entre o processo poltico de tomada de deciso (realizado pelos Gabinetes, Ministrios e
Parlamento) e a execuo administrativa destas decises (concentradas nas agncias,
colocadas em uma determinada distncia dos Ministrios) (Mierlo, 1996). Mas os
esforos para melhorar tanto o controle externo quanto o interno da burocracia pela
poltica, tiveram um resultado de menor sucesso e muito distante do esperado pelas
modernas teorias da administrao pblica, segundo Mierlo (1996).
A abordagem de Thatcher foi rapidamente adotada, nos anos 80, por outros
governos ocidentais que identificaram prioridades similares: a reduo da despesa
pblica, do dficit, a reverso do srio declnio na confiana do pblico no governo, e a
necessidade em modernizar e dinamizar a gerncia do servio pblico na nova era da
competio global. As mudanas na administrao pblica resultaram no deslocamento
do seu modelo burocrtico tradicional, clssico (hierarquia, controle, cautela e base em
regras fixadas) a um modelo ps-burocrtico de organizao, envolvendo a inovao, a
flexibilidade, menos controle central, empowerment, competio, aprendizagem contnua,
qualidade de servios e orientao para resultados.
Assim, uma nova forma de gerncia pblica tem evoludo nas ltimas duas
dcadas. A nfase na flexibilidade foi aumentada, a responsabilidade realada. O

17

gerenciamento dos recursos e dos programas requer que os servidores pblicos, gerentes
e equipe de funcionrios, estejam preparados para demonstrar as habilidades bsicas de
risco, de inovao, e de planejamento criativo.
Estas transformaes do setor pblico foram adotadas mais entusiasticamente por
alguns do que por outros. Encontram-se tentativas de reforma com graus variados de
sucesso. Pases tais como o Reino Unido, Austrlia, Nova Zelndia, Canad e os Estados
Unidos, tm se esforado para revitalizar, modernizar e at reinventar seus servios
pblicos.

3.2- Nova Zelndia e Austrlia

A moderna administrao pblica realmente comeou na Nova Zelndia, segundo

Kettl (2000), que classifica o caso neozelands como parte do Modelo Westminster de
reformas, que tambm inclui o Reino Unido, o Canad e a Austrlia. L, as reformas
iniciaram como uma deciso de cima para baixo, privatizando programas e focando em
produtos e resultados em lugar de processos e oramentos.
Quatro estgios diferentes foram identificados na reforma de Nova Zelndia: (1)
de 1978 a 1985, a fase do gerencialismo introduziu a gerncia no estilo do setor privado
na administrao pblica; (2) de 1986 a 1991, a fase do mercado trouxe abordagens de
livre-mercado gerncia do governo, incluindo contratos, competio e interesse
individual; (3) de 1992 a 1996, a fase estratgica tentou introduzir uma viso ampla dos
programas do governo, para reduzir a fragmentao que veio da segunda fase; (4) aps
1997, a fase de adaptao da capacidade concentrou-se em desenvolver a potencialidade
dos recursos humanos, especialmente (Kettl, 2000, p.10).
A idia subjacente reforma da Nova Zelndia era o aumento da transparncia do
governo, especificando os objetivos dos programas de governo e relatando os resultados
obtidos. No geral, os reformadores tentaram separar a elaborao das polticas da
administrao das polticas, substituindo as tradicionais autoridade e burocracia de
governo pela competio e os incentivos de mercado, tornando transparentes os objetivos
e os resultados, e dando a gerentes do governo a flexibilidade para determinar como
alcanar estes objetivos (Kettl, 2000, p.11).

18

Na dcada de 80, no processo de reforma da administrao pblica australiana, foi

introduzida pelo governo a estratgia de avaliao sistematicamente integrada gesto e
ao planejamento das organizaes e dos programas. Todos os programas pblicos so
avaliados a cada trs ou cinco anos, e as principais propostas de polticas pblicas
incluem um plano de avaliao. Os resultados das avaliaes devem ser divulgados ao
pblico.
Na Austrlia, as avaliaes so conduzidas pelos prprios gerentes dos
programas, orientadas gesto de desempenho e coordenadas pelos responsveis pela
alocao de recursos. O Ministrio da Fazenda responsvel pela coordenao da
avaliao nos diversos rgos do governo, e a Auditoria Geral pode interferir na
atividade.
A avaliao foi associada ao processo oramentrio, sendo a eficcia dos
programas o principal critrio para a alocao dos novos recursos. Ala-Harja e Helgason
(2000) comentam que, na formulao do oramento de 1994/1995, os resultados das
avaliaes influenciaram 77% das novas polticas propostas, 65% das medidas de
economia de recursos e 68% das deliberaes do primeiro escalo do governo sobre as
propostas.
O sucesso da avaliao na Austrlia tem sido associado a: (1) diversas reformas
no setor pblico voltadas aos resultados finais; (2) exigncias de avaliao endossadas
pelo primeiro escalo; (3) apoio de ministrios chave; (4) consenso e motivao quanto
necessidade de avaliao; (5) redes de avaliadores e unidades centrais de avaliadores nos
ministrios; (6) planejamento, coordenao, qualidade e bons sistemas de informao
sobre o desempenho (Ala-Harja e Helgason, 2000).

3.3- Estados Unidos

Os Estados Unidos tm tradio em avaliao, que praticada em nvel federal,

estadual e municipal. Os rgos responsveis pela implementao dos programas
realizam suas avaliaes, e o Congresso freqentemente legisla sobre a realizao de
avaliaes em larga escala. O General Accounting Office (GAO), que assessora o

19

Congresso nas funes de superviso do Poder Executivo, realiza um grande nmero de

auditorias de desempenho e avaliaes de programas.
Mas, de acordo com Derlien (2001), as avaliaes experimentaram um declnio
no Executivo americano, bem como no Congresso (com o GAO). A verso americana
para a nova administrao pblica poderia ter contribudo para a perda do interesse na
avaliao, por enfatizar o resultado em lugar do impacto dos programas, tendendo a
avaliar instituies em vez de programas. Alm disso, as instituies descentralizadas que
implementam os programas tambm tendem a relatar os resultados, sem preocupao
com os impactos.
Uma quantidade considervel do que chamado de avaliao de programas pelos
governos estaduais e locais nos Estados Unidos mais similar mensurao de
desempenho do que avaliao em profundidade. A mensurao de desempenho referese ao acompanhamento regular do desempenho, relacionado especialmente com a
informao sobre o resultado dos programas de uma agncia, obtido durante o processo
da execuo. As medidas de resultado esto focadas na parte da avaliao de programas
que lida somente com os resultados estimados, sem tentar identificar quo importante o
programa para os resultados alcanados, nem se estes se devem existncia do programa
ou a outras motivaes. A avaliao dos programas tende a ser mais cara e a requerer
capacidades especficas que um pequeno nmero de estados e de municipalidades
possuem. Em muitos casos, no estado e no nvel local, as avaliaes so feitas por
avaliadores ou auditores da esfera legislativa, e no pela do Executivo (Hatry, H. in
Newcomer, 1997).
A nvel Federal, em 1993 o Government Performance and Results Act (GPRA)
legislou sobre o planejamento estratgico e mensurao de desempenho nas agncias do
governo federal americano. Por essa lei, as agncias deveriam desenvolver planos
estratgicos plurianuais e planos anuais de desempenho, com relatrios referentes a cada
programa. Passou a ser exigido das agncias, a partir de 1997: a declarao de viso e
misso estratgica; o estabelecimento de objetivos e metas de longo prazo e de metas
anuais de desempenho; o desenvolvimento de indicadores de desempenho; o uso de
indicadores de desempenho para melhorar a efetividade dos programas implementados
pelas agncias; e comunicao dos resultados para o pblico (Cavalvanti e Otero, 1997).

20

A avaliao de programas orientada para resultados insere-se neste contexto,

com a aferio da efetividade das aes do governo. Os planos anuais estabelecem nveis
de desempenho projetados atravs de indicadores, que devem ser quantificveis e
mensurveis. As medidas devem ser orientadas para resultados e realizao dos objetivos
dos programas, e no para atividades. Os relatrios anuais avaliam o atingimento dos
nveis de desempenho projetados e o atingimento dos objetivos programticos.
Simultaneamente ao Government Performance and Results Act, o Executivo
americano realizava o National Performance Review (NPR), objetivando o melhor
funcionamento do governo federal a um custo menor. Assim, por um lado, o National
Performance Review recomendou a diminuio da burocracia, modernizao dos
processos e reduo das agncias. Por outro lado, o Government Performance and
Results Act, do Congresso, centrou-se na mensurao de desempenho e melhoria dos
programas, requerendo a incorporao da avaliao de resultados no estabelecimento dos
planos anuais e plurianuais das agncias.
O Government Performance and Results Act e o National Performance Review
criaram um ambiente de forte presso para mudanas, alimentados por maiores demandas
por servios governamentais mais eficientes e efetivos, num ambiente de recursos mais
escassos (Cavalvanti e Otero, 1997).
O NPR foi uma estratgia adotada com o fito de tornar o governo mais barato,
mais gil e mais eficaz, mas, de acordo com Kettl (2000), focalizado mais no
comportamento da burocracia do que em mudana nas estruturas e processos do governo.
O mesmo autor identifica trs fases neste movimento: (1) de 1993 a 1994, trabalhar
melhor e custar menos; (2) de 1994 a 1998, o que o governo deve fazer; e (3) aps 1998,
procurar relevncia poltica.
Na primeira, fase as agncias identificavam oportunidades para diminuir os
desperdcios e melhorar o gerenciamento, com motivao e empowering dos empregados,
para fazerem um trabalho melhor com eliminao de programas e de posies
desnecessrios. Nesta fase os regulamentos foram simplificados, dando aos gerentes mais
flexibilidade para poupar recursos, e servios ao cliente foram desenvolvidos.
A segunda fase foi caracterizada pela reviso de tudo, programas ou agncias.
Mas, devido a problemas polticos, o nmero de agncias permaneceu o mesmo, bem

21

como o nmero de programas federais. No fim, o corte oramentrio feito pelo

Congresso e a discusso poltica destruram o entusiasmo inicial.
Na terceira fase, o foco do NPR mudou, bem com seu nome, para National
Partnership for Reinventing Government. O novo papel era implementar sistemas e
tecnologias de informao que pudessem melhorar a eficincia do governo, concentrando
esforos em trinta e duas agncias de alto impacto que trabalhavam diretamente com os
cidados. Como visto por Kettl, ao buscar relevncia poltica o NPR distanciou-se de sua
habilidade de alcanar resultados mensurveis, e o governo acabou fazendo promessas
que no poderia cumprir diretamente (Kettl, 2000).
Com relao aos objetivos de melhor atendimento ao pblico, o NPR elaborou um
documento denominado Best Practices in Perfomance Measurement destacando que,
quanto utilidade da avaliao no processo decisrio, as informaes devem ser
efetivamente teis para a tomada de decises e correo de rumos. Alm disso, devem ser
adequadas em tempo, ter relevncia e conciso para facilitar a tomada de decises e
controle de processo, tendo em vista o preenchimento das metas e objetivos de cada nvel
da organizao. So dispensveis as extensas coletas de dados para os fins exclusivos de
informao (Toledo Silva, 2002).
Quanto ao desempenho e sua avaliao, os princpios gerenciais do NPR foram
essencialmente informais, sendo a formalizao concentrada nos sistemas de oramento,
finanas pblicas e controle. Foi o GPRA que regulamentou a sistemtica da avaliao
aplicada aos programas. O GPRA reconhecido pelos agentes de governo e pelos
estudiosos das reformas nos EUA como tendo importncia central na articulao das
reas de planejamento e controle com o planejamento das aes de governo. O processo
de reforma j vinha se desenvolvendo nas reas de oramento, finanas e controle antes
da criao do NPR, e seus fundamentos remontam aos 1950.
Pouco antes do GPRA, o Chief Financial Officers Act of 1990 determinou a
incorporao de conceitos de desempenho relativos eficincia e eficcia do gasto
pblico nas aes de controle oramentrio e financeiro. A mesma lei determinou a
uniformizao de critrios de avaliao de programas de diferentes reas de ao
governamental, incorporando elementos no estritamente financeiros na avaliao dos
programas federais sem, contudo, prever como se operaria a mudana.

22

O Results Act no especificou um formato determinado para o plano anual de

desempenho, mas exigiu um plano que (1) identificasse os objetivos anuais e as medidas
relativas a cada uma das atividades do programa, (2) discutisse as estratgias e os
recursos necessrios para o alcance dos objetivos anuais, e (3) descrevesse os meios que a
agncia usaria para verificar e validar seus dados do desempenho.
Para auxiliar o Congresso na anlise dos planos estratgicos, bem como os
planejadores e avaliadores de programas do Executivo, o GAO publicou um manual para
orientar o processo de avaliao geral da consistncia dos planos de desempenho, a partir
de trs questes-chave, relacionadas a: (1) objetivos e medidas anuais do desempenho:
Em que medida o plano de desempenho da agncia fornece um retrato claro do
desempenho pretendido? (2) estratgias e recursos: Quo bem o plano de desempenho
discute as estratgias e recursos que a agncia usar para conseguir alcanar seus
objetivos? (3) validao e verificao: Em que medida o plano de desempenho da agncia
fornece confiana de que sua informao sobre desempenho ter credibilidade? (United
States, 1998).
O sistema de anlise do GAO estabeleceu princpios uniformes relativamente aos
critrios internos de avaliao propostos por cada entidade, de maneira a tentar
neutralizar parte dos vcios inerentes a avaliaes feitas pelos prprios agentes executores
dos programas.
Aps cinco anos de vigncia do Government Performance and Results Act, o
GAO ainda indicava, em 1998, grandes desafios a serem superados tanto na elaborao
dos planos quanto na avaliao de desempenho, entre os quais destacavam-se (Toledo
Silva, 2002):

alguns programas no conseguiram determinar seu sucesso apenas com

base em indicadores de desempenho, requerendo avaliaes completas dos programas;

a disponibilidade de informaes de desempenho no tempo certo mostrou-

se difcil mesmo para os programas de curta durao;

programas de pesquisa e desenvolvimento podem envolver dcadas para

apresentar resultados tangveis, tornando muito difcil a avaliao anual;

23

necessidade de implantar, desenvolver e aplicar sistemas de mensurao

de desempenho confiveis, que forneam informaes vlidas, a custos compatveis e

de aplicao prtica para o gerenciamento cotidiano;

dificuldades em identificar indicadores de desempenho adequados e falta

de dados para a fixao das metas quantitativas e para a avaliao de seu alcance.
Toledo Silva destaca tambm que o National Partnership for Reinventing
Government, com sua nfase na avaliao de satisfao dos usurios, acaba por
desconsiderar o alcance mais amplo das polticas e aes governamentais, atendo-se ao
resultado imediato do programa. O foco da NPR na satisfao dos usurios importante
para a legitimao da reforma junto ao pblico. No entanto, esta no pode ser vista como
substituta dos indicadores de eficcia social da poltica pblica, pois nem sempre o
objetivo principal desta restrito ao universo de usurios diretos (Toledo Silva, 2000,
p.113).
Observa-se assim que, apesar dos esforos, a produo de informaes teis e
utilizveis para fins de reviso e correo de rumos dos programas governamentais
continua um desafio aberto, em que pesem os esforos sucessivos de aprimoramento dos
sistemas de controle, acompanhamento e avaliao.

4- Brasil Avaliao do Plano Plurianual (PPA)

4.1- Caractersticas e Legislao do PPA

Atualmente existem importantes esforos na Amrica Latina para utilizao

sistemtica de indicadores e avaliaes de programas e polticas pblicas. Alm do
Brasil, Argentina, Chile e Colmbia so alguns dos pases que esto incorporando as
novas idias de administrao pblica (Bozzi, 2001, Toledo Silva, 2002, Silva e Costa,
2002).
Em 1995, foi criado na Argentina o Sistema de Informao, Avaliao e
Monitoramento de Programas Sociais (SIEMPRO), com financiamento do Banco
Mundial, uma vez que o governo argentino e o Banco detectaram um gasto relativamente

24

alto na rea social, porm com baixa eficincia e efetividade nos seus programas sociais.
No Chile, a partir do processo de democratizao, a funo avaliao recobrou
importncia, juntamente com o objetivo de modernizar a gesto pblica. Embora no Chile
no haja um sistema nico de avaliao governamental, a tarefa est institucionalmente
atribuda aos Ministrios do Planejamento, da Fazenda e Secretaria Geral da
Presidncia da Repblica, que atuam articuladas no Programa de Avaliao de Projetos
Governamentais (PAPG), originado em 1997 em funo de demandas do Congresso.
A Colmbia implantou o Sistema Nacional de Avaliao da Gesto e Resultados
(SINERGIA), em 1991, como instrumento de acompanhamento e avaliao dos planos
nacionais de desenvolvimento. Porm, as circunstncias polticas do Pas tornaram os
pilares de sistema de mensurao uma atividade burocrtica.
No Brasil, a Constituio Federal de 1988 estabeleceu que o Executivo deve
submeter aprovao do Legislativo um Plano Plurianual (PPA), abrangendo quatro anos
e contendo as diretrizes, os objetivos e as metas da administrao pblica federal para as
despesas de capital e para os programas de longa durao. Alm do PPA, a Constituio
estabeleceu que fossem institudos as Leis de Diretrizes Oramentrias (LDO) e o
Oramento Geral da Unio (OGU) como componentes de um sistema integrado de
planejamento e oramento. Todos os demais planos e programas nacionais, regionais e
setoriais tambm devem ser subordinados ao PPA. O perodo de vigncia do plano
encontra-se deslocado em relao ao mandato presidencial, de forma que no primeiro ano
de governo o Presidente da Repblica executa as aes previstas no mandato anterior e
elabora o plano para os prximos quatro anos.
No entanto, nos primeiros anos aps a Constituio, a inflao acelerada tornava
invivel o planejamento de mdio e longo prazos. O primeiro PPA (1991 a 1995) no
teve o carter de um plano, mas sim de consolidao de oramentos, seguindo os moldes
da legislao anterior. O segundo PPA (1996 a 1999) teve como marco principal a
implementao do Programa Brasil em Ao.
De acordo com Silva e Costa (2002), a poltica definida pelo governo federal para
o PPA 1996-1999 foi a tentativa mais abrangente de ao de poltica pblica para a
viabilizao de objetivos estratgicos de modernizao do Estado, reduo de
desequilbrios espaciais e sociais e insero competitiva do pas( p.38). A lei que

25

aprovou o PPA para este perodo determinou a elaborao de um relatrio de

acompanhamento do plano. No entanto, o relatrio do ano de 1997 foi mais descritivo do
que analtico, sem uma consolidao de dados em indicadores de desempenho. Alguns
dos problemas enfrentados foram a incompatibilidade entre o PPA e o OGU e a ausncia
de parmetros que permitissem a avaliao de desempenho do governo sobre o alcance
das metas.
A partir dessas dificuldades, o Ministrio do Planejamento, Oramento e Gesto
definiu uma nova estratgia, e foram selecionados 42 projetos do PPA para integrarem o
Programa Brasil em Ao. Esses projetos foram submetidos a um regime especial de
acompanhamento e gerenciamento, com os objetivos de: (1) orientar o processo
oramentrio, sinalizando prioridades; (2) detectar problemas de implementao e
introduzir correes; (3) criar base de dados de informao para atrair investidores e
facilitar parcerias pblico-privadas (Silva e Costa, 2002).
Os projetos selecionados identificavam objetivos, metas fsicas e financeiras,
localizao, executores, fontes de financiamento e cronogramas de execuo. Para cada
projeto foi designado um gerente. Foi disponibilizado um sistema informatizado para
gerentes e executores atualizarem o planejamento inicial, acompanharem e avaliarem a
execuo do projeto, elaborarem relatrios, anteciparem problemas e proporem medidas
para superao.
O Brasil em Ao serviu como projeto-piloto para o PPA 2000-2003,
popularizado como Avana Brasil, que estendeu a organizao gerencial para todos os
programas do governo federal. Pelos relatos de diversos autores (Barbosa e Garcia, 2001,
Calmon e Gusso, 2002, Gartenkraut,2002 Toledo Silva, 2002) o processo de elaborao
dos programas includos no PPA 2000-2003 foi precedido de inmeras discusses
tcnicas, envolvendo especialmente o Ministrio do Planejamento, Oramento e Gesto e
o Instituto de Pesquisa Econmica Aplicada (IPEA). Tambm foi contratado, como
subsdio elaborao do novo Plano, um estudo denominado de Eixos Nacionais de
Integrao e Desenvolvimento, realizado por um consrcio internacional de empresas,
visando identificao de investimentos estratgicos ao desenvolvimento do Pas.
O PPA 2000-2003 inovou metodologicamente ao: (1) usar como referncia as
Diretrizes Estratgicas da Presidncia da Repblica para a elaborao dos programas dos

26

ministrios; (2) integrar o Plano com o Oramento Geral da Unio; (3) organizar todas as
aes governamentais em programas, que passaram a ser a unidade de gesto; (4)
estruturar os programas com objetivos, pblico-alvo, valores, prazos, metas fsicas e
indicadores definidos, com vistas ao acompanhamento e avaliao; (5) adotar um modelo
de gerenciamento moderno, visando a obteno de resultados; (6) designar um gerente
para cada programa; (7) propor a avaliao anual dos resultados alcanados por cada
programa.

4.2- Definindo a Metodologia de Avaliao do PPA 2000-2003

A lei que estipulou o Avana Brasil disps que a avaliao anual da execuo
do PPA deve estar disponvel para fundamentar as eventuais revises do Plano, a Lei de
Diretrizes Oramentrias e o Oramento anual. As revises do Plano so feitas atravs da
LDO, que encaminhada ao Congresso no ms de abril, tornando bastante exguo o
prazo para a avaliao. Segundo a legislao, o relatrio anual de avaliao deve conter:
(1) avaliao do desempenho das variveis macroeconmicas que fundamentaram a
elaborao do Plano; (2) demonstrativo da execuo fsica, financeira e regionalizada dos
programas; (3) demonstrativo do desempenho dos indicadores de cada programa; (4)
avaliao do alcance das metas fsicas e financeiras e da evoluo dos indicadores de
cada programa (Lei 9.989/2000).
No entanto, as premissas da avaliao permaneceram genricas e imprecisas at o
incio da implementao do PPA, quando foram tomadas as primeiras decises sobre a
sistemtica a ser utilizada. Alm disso, o prazo para a reestruturao dos rgos de
planejamento nos ministrios e para a elaborao dos programas foi insuficiente para o
porte da mudana proposta. As falhas nas etapas anteriores a de avaliao culminaram em
problemas nos enunciados dos objetivos e indicadores dos programas e na inconsistncia
de seus outros elementos, como metas e recursos (Toledo Silva, 2002).
Aliaram-se a estes fatos a dimenso do trabalho, visto que haviam cerca de 350
gerentes para um universo de 380 programas do Plano. Enfim, a forma do processo de
avaliao a ser desenvolvido ficou definida em trs etapas:

a primeira, de responsabilidade do gerente, compreende a identificao dos

27

resultados do programa junto sociedade, a anlise do desempenho

fsico/financeiro de suas aes e a adequao da concepo/execuo do
programa ao atingimento dos resultados esperados;

a segunda, elaborada pelos responsveis pelo planejamento e gesto de polticas

setoriais, tem por finalidade avaliar os resultados dos programas, tendo como
referncia as Orientaes Estratgicas do Presidente da Repblica e as
Orientaes Estratgicas Setoriais. Os demais poderes da Unio devero seguir as
diretrizes dos seus respectivos planejamentos;

a terceira, coordenada pelo Ministrio do Planejamento, Oramento e Gesto,

refere-se a anlise do conjunto completo dos programas em relao s
Orientaes Estratgicas do Plano. (Brasil, Ministrio do Planejamento,
Oramento e Gesto, Relatrio de Avaliao Exerccio 2000).
As etapas de avaliao dos programas e de avaliao setorial foram realizadas

atravs de questionrios de mltipla escolha, ao qual se adicionaram algumas questes de

resposta aberta e discursiva. O questionrio foi preenchido pelos gerentes e pela
secretaria executiva de cada ministrio por meio do Sistema de Informaes Gerenciais e
de Planejamento (SIGPLAN), acessvel pela internet. Embora tenham sido realizados
modificaes e aperfeioamentos ao longo do processo, em sntese as etapas e instncias
de avaliao so as seguintes:

Fonte: Relatrio de Avaliao Exerccio 2001

28

SIGPLAN

foi

implantado

para

apoiar

planejamento,

execuo,

monitoramento, gesto e avaliao do Plano. Este sistema agregou os dados de execuo

oramentria e financeira de todos os programas e aes do governo federal, alm de
informaes de monitoramento e gesto fornecidas pelos gerentes de programas,
ministrios setoriais e Ministrio do Planejamento, Oramento e Gesto. A integrao
entre o Plano Plurianual e o Oramento permitiu que a atualizao da execuo
oramentria e financeira dos programas fosse procedida semanalmente, e que os
gerentes complementassem periodicamente as informaes sobre o desempenho fsico.
Os tcnicos do Ministrio do Planejamento tinham por tarefa monitorar as informaes
no SIGPLAN. Tambm foi desenvolvido um mdulo do sistema com o objetivo de tornar
acessveis sociedade as informaes sobre o andamento dos programas.

4.3- Principais Resultados e Problemas Enfrentados

Na viso de Garcia (2000), na elaborao dos programas dos PPA 2000-2003

houve muita heterogeneidade, reducionismo, setorializao e impreciso. O oramento
dos programas tambm apresentou problemas, sendo feito em bases pouco realistas, com
metas que no correspondiam s capacidades operacionais dos rgos nem s dotaes
previstas. Na fase de avaliao, um dos grandes problemas defrontados foi o de que
muitos programas e aes no foram desenhados para serem avaliados. Houve
dificuldade para estabelecer indicadores adequados aos objetivos dos programas,
confiveis e com sries histricas que permitissem comparaes. As informaes sobre o
andamento dos programas tambm foram insuficientes (Barbosa e Garcia, 2001).
Em relao ao uso do SIGPLAN, apesar de ser um sistema bem estruturado e de
fcil acesso, seu sucesso depende da qualidade e periodicidade das informaes. Entre os
principais problemas detectados na atualizao do sistema e que causaram efeitos
negativos na fase de avaliao, Calmon e Gusso (2002) destacam: (1) a inadequao ou
inexistncia de sistemas internos de acompanhamento dos programas; (2) insuficincia de
recursos humanos na gesto e acompanhamento dos programas; (3) ausncia de recursos
humanos qualificados para a avaliao; (4) indicadores inadequados; e (5) impreciso das

29

informaes relativas s metas fsicas e custos dos programas.

A respeito das trs etapas de avaliao definidas, um dos desafios foi o de
estabelecer o nexo entre o desempenho fsico e financeiro dos programas, os objetivos e
diretrizes setoriais e os macro objetivos do governo. Ou seja, estabelecer o encadeamento
lgico entre os objetivos e metas dos programas e os objetivos da poltica governamental.
Devido heterogeneidade dos macro objetivos e dos programas e sua quantidade, a
avaliao de resultados finais relacionados ao conjunto dos programas e macro objetivos
de governo consiste em tarefa gigantesca e muito difcil de ser levada a efeito
simultaneamente para todos os programas( Toledo Silva, 2002, p.247).
Tambm so alvos de crtica a obteno das avaliaes a partir de questionrios
padronizados e o curto treinamento dado aos gerentes, tanto na fase de elaborao como
de avaliao do plano. O pouco tempo dedicado capacitao no permitiu que o novo
modelo de planejamento se consolidasse como uma cultura no governo federal. A
introduo do gerente, uma figura nova na estrutura administrativa, exigiria mais tempo
para que esses perceberem a natureza do seu papel e pudessem superam a resistncia das
organizaes e diferentes ministrios.
Pela anlise de Calmon e Gusso (2002), foi perceptvel a dificuldade dos gerentes
responderem s questes relacionadas aos resultados dos programas. Em muitos casos, as
informaes no estavam disponveis devido inadequao dos indicadores propostos ou
inexistncia de aferio anual. Nesses casos, os gerentes informaram sobre o alcance de
metas como resposta ao questionamento sobre resultados do programa, empobrecendo a
avaliao. A baixa qualidade das respostas, pela escassez de informaes e pela carncia
de capacitao dos gerentes e suas equipes, sugeria a necessidade de investimento em
capacitao gerencial e de avaliao. Outro problema foi o grau de subjetividade,
decorrente do fato de a avaliao ter sido interna, realizada pelos prprios gerentes
encarregados da implementao dos programas.
A avaliao do plano, por sua vez, consistiu em verificar, com base nas
informaes dos relatrios gerenciais sobre os programas e no conhecimento
especializado dos tcnicos, se os programas foram implementados de forma a contribuir
para o alcance dos macro objetivos. A anlise da gesto do plano corresponde a uma
viso agregada sobre o desempenho dos programas e dos ministrios no modelo de

30

gesto proposto. As informaes da etapa de avaliao setorial tambm foram utilizadas

nesta fase. Contudo, ao persistirem as dificuldades de informao na fase de
monitoramento e de avaliao dos programas, a avaliao do plano s poderia ter sido
feita com grande subjetividade.
Adicionalmente, a responsabilizao e cobrana por resultados foram pouco
efetivas, visto que o baixo desempenho no foi acompanhado de medidas corretivas. As
unidades de gerenciamento dos programas no possuam autonomia legal ou
administrativa para corrigir ou solucionar muitos problemas detectados nos processos de
monitoramento e avaliao. O novo modelo de gerenciamento por programas no foi
totalmente assimilado, visto que existiram superposies entre os gerentes e a estrutura
administrativa formal do governo federal, gerando conflitos de competncia e tomada de
deciso entre as duas instncias.
Entre os avanos proporcionados pela experincia de avaliao do PPA 20002003, citam-se o estmulo discusso sobre o monitoramento e avaliao a que os
tcnicos e rgos envolvidos no processo foram submetidos. Esse fato consistiu-se num
importante passo para disseminar a cultura de avaliao na administrao pblica e para
incorporar essas prticas nos processos de tomada de deciso, melhoria da gesto e
aprendizagem organizacional, que demandam tempo para consolidao. Da mesma
forma, embora o uso das informaes tenha sido ainda restrito, a divulgao peridica
das informaes sociedade e obrigatoriedade de prestao de contas ao Legislativo
foram passos que dificilmente podero ser retrocedidos.
Alm disso, em funo de legislao e da aprovao da prtica do governo
federal, muitos estados adotaram os princpios de modernizao da administrao
pblica, utilizando os mesmos moldes de elaborao de programas, avaliao e
divulgao dos resultados, entre eles o Estado do Rio Grande do Sul.
O PPA 2004-2007 foi elaborado com base nos mesmos conceitos e fundamentos
metodolgicos do Avana Brasil. Foram mantidos o modelo de gesto, a organizao
por programas e o sistema de informaes j utilizados. Foi introduzida uma estratgia
participativa na formulao do plano, com a incorporao vrias contribuies de
organizaes da sociedade civil. Tambm foram realizadas consultas pblicas e validao
dos 26 estados e do Distrito Federal. A fase de elaborao dos programas foi desdobrada

31

em duas, uma para os aspectos qualitativos, como definio de objetivo, pblico-alvo e

indicadores dos programas, e outra para os aspectos quantitativos. As avaliaes e
recomendaes dos gerentes sobre os programas anteriores serviram de subsdio
elaborao dos programas do PPA 2004-2007, denominado de Brasil, um Pas de
Todos.
As mesmas trs instncias de avaliao foram mantidas no modelo de
gerenciamento do PPA 2004-2007. As modificaes introduzidas em relao ao PPA
2000-2003 foram basicamente duas.
A primeira, que o titular da unidade administrativa qual o programa est
vinculado tornou-se o gerente do programa, e o titular da unidade administrativa qual se
vincula a ao, o coordenador da ao, conforme o Decreto 5.233/2004, que regulamenta
a Lei do Plano (Lei 10.933/2004). Essa iniciativa tende a minimizar os conflitos entre a
estrutura gerencial e a estrutura administrativa mencionados anteriormente.
A segunda que foi criado o Sistema de Monitoramento e Avaliao do Plano
Plurianual, cuja estrutura foi definida de forma integrada ao modelo de gesto do Plano.
O Sistema de Monitoramento e Avaliao (SMA) tem como funo principal assegurar
que a avaliao seja parte integrante da gesto dos programas e d subsdios para a
tomada de deciso. O sistema composto por uma Comisso de Monitoramento e
Avaliao (CMA) e por Unidades de Monitoramento e Avaliao (UMA) em cada
ministrio setorial e secretaria especial. De acordo com o Decreto n 5.233/2004, a CMA
ter como atribuio geral elaborar propostas de normas e de procedimentos gerais,
relativos ao monitoramento e avaliao dos programas do Poder Executivo, bem como
oferecer elementos tcnicos que orientem os processos de alocao de recursos
oramentrios e financeiros e a reviso dos programas, com vistas ao alcance de
resultados. A Unidade de Monitoramento e Avaliao (UMA) ser o principal agente do
Sistema. Competir UMA de cada rgo apoiar a elaborao dos planos gerenciais, o
monitoramento e a avaliao dos programas. O trabalho da CMA e das UMAs ser
integrar as vrias iniciativas de avaliao e os sistemas de monitoramento, a saber:
avaliao anual do PPA; avaliao de programas selecionados; avaliao de iniciativa
setorial; avaliao de iniciativa no governamental; avaliao dos Pactos de Concertao
(Brasil, Relatrio de Avaliao Exerccio 2004).

32

5- Estado do Rio Grande do Sul - Primeira Avaliao do PPA 20042007

5.1- Legislao Estadual do PPA

De acordo com a Constituio Estadual do Estado do Rio Grande do Sul (Art.

149), a lei que aprovar o Plano Plurianual estabelecer, de forma regionalizada, as
diretrizes, objetivos e metas, quantificados fsica e financeiramente, dos programas da
administrao direta e indireta, de suas fundaes, das empresas pblicas e das empresas
em que o Estado detenha, direta ou indiretamente, a maioria do capital social com direito
a voto.
A avaliao do Plano Plurianual constitui-se em obrigao da Administrao
Estadual, estando prevista nas Leis Complementares Estaduais n 10.336/1994 e n
11.180/1998 a publicao, at 30 de maio de cada ano: (1) do demonstrativo das receitas
por fonte e das despesas por programa; (2) da estimativa das despesas de capital,
especificadas por programa; (3) das metas, quantificadas fsica e financeiramente, por
rgo e por programa, que devero ser atingidas relativamente prestao de serviosfins.
O Rio Grande do Sul j elaborou quatro Planos Plurianuais desde a determinao
legal de faz-lo, bem como publicou anualmente os relatrios previstos. No entanto,
como apontou o Tribunal de Contas do Estado a respeito do PPA 2000-2003, esse
acompanhamento foi limitado, tendo em vista a inexistncia de indicadores especficos,
relacionados aos objetivos propostos. A respeito deste PPA, o mesmo Tribunal de Contas
indicou que a adequao nova metodologia introduzida pelo Governo Federal deveria
ter sido implementada ao longo dos exerccios transcorridos desde a sua aprovao.
A partir de janeiro de 2003, ocorreram diversas iniciativas para discutir a
modernizao metodolgica do Plano Plurianual do Estado, com o objetivo de enquadrlo s normas da Portaria Interministerial n42/99 e ao Decreto Federal n 2829/98, j
adotados pelos demais Estados da Federao.

33

A Lei Estadual n 11.945/2003, que instituiu o Plano Plurianual 2004-2007

determinou (Art 8) que o acompanhamento e a avaliao dos programas deste plano
sero realizados atravs do desempenho dos indicadores e metas, cujos ndices, apurados
periodicamente, tero a finalidade de medir os resultados alcanados. Ser realizada,
anualmente, a avaliao fsica e financeira da consecuo dos objetivos dos Programas,
expressos pelos indicadores e pelas metas das aes a eles associadas, expressando os
resultados anuais e acumulados no respectivo quadrinio.

5.2- Adaptando a Experincia Federal ao Caso do Rio Grande do Sul

A elaborao do PPA 2004-2007 uma das tentativas de modernizao da gesto

pblica no Estado do Rio Grande do Sul, juntamente com outras iniciativas como os
contratos de gesto, o governo eletrnico, a central de servios ao cidado, as parcerias
pblico-privadas, as licitaes eletrnicas, etc.
Com vistas adoo de novas prticas de gesto voltadas obteno dos
resultados, no PPA 2004-2007 as aes do governo passaram a ser organizadas em 242
Programas, todos com objetivos, indicadores e um conjunto de aes cuja execuo
permite o alcance dos propsitos traados. As aes foram identificadas nos Oramentos
Anuais como projetos ou atividades. Estabeleceu-se, desse modo, uma linha de
integrao que permite, a partir da execuo oramentria, acompanhar a execuo
financeira do Plano Plurianual.
Antes mesmo de sua elaborao, o prazo de entrega do Plano j havia sido
postergado atravs de modificao da lei anterior, passando de 15 de maro para 15 de
maio do primeiro ano de cada novo governo estadual. Esse alongamento do prazo
permitiu maiores discusses na etapa de elaborao dos programas, com a incorporao
das sugestes dos 22 Conselhos Regionais de Desenvolvimento, que representam vrias
organizaes da sociedade civil.
Alm disso, foi introduzida a figura do Coordenador de Programa e foi
implantado o Sistema de Informaes Gerenciais e de Planejamento do Rio Grande do
Sul SIGPLANRS, concebido como uma ferramenta de apoio gesto em suas diversas
instncias. O Sistema de Informaes foi cedido pelo Ministrio do Planejamento,

34

Oramento e Gesto Secretaria de Coordenao e Planejamento do Estado e adaptado

s caractersticas e peculiaridades locais. Da mesma forma, a funo de Coordenador de
Programa uma adaptao da funo de Gerente de Programa adotada pelo Governo
Federal, com a diferena de que, no Estado, essa responsabilizao no formalizada.
Ainda em 2004, foi realizada a primeira reviso do PPA 2004-2007, resultando na
criao de 15 Programas novos e na excluso de 25 criados na verso original do Plano,
alm de alteraes em aes e indicadores. Concluindo um ciclo completo de gesto,
realizou-se a avaliao dos programas e do PPA, a partir das informaes registradas
pelos Coordenadores de Programa no SIGPLANRS, dando origem: (1) a relatrios
quantitativos de evoluo dos indicadores e das metas fsicas e financeiras das aes; e
(2) a uma srie de anlises, possveis a partir das respostas a quesitos sobre aspectos
relativos aos resultados, execuo e concepo dos Programas e dos conjuntos de
Programas agrupados por setor. (Relatrio de Avaliao Exerccio 2004)

5.3- Principais Resultados e Problemas da Avaliao 2004

Assim como na elaborao e avaliao do PPA 2000-2003 do Governo Federal, a

experincia de alterao metodolgica efetuada no Rio Grande do Sul no PPA 2004-2007
teve problemas e sofreu resistncias. Pode-se mesmo dizer que as dificuldades
enfrentadas foram semelhantes s observadas no nvel federal.
Tal como no governo federal, a capacitao dos tcnicos encarregados da
elaborao do Plano foi rpida e insuficiente, tanto na coordenao, a cargo da Secretaria
da Coordenao e Planejamento como nos demais rgos. As equipes encarregadas do
planejamento e da coordenao do Plano eram, e ainda so, pequenas em todos os rgos
estaduais. As deficincias na capacitao dos recursos humanos envolvidos no processo
acarretaram problemas nas etapas posteriores, embora tenha sido feito um grande esforo
para san-las.
Outra dificuldade digna de nota est relacionada ao desenho dos programas.
Apesar de serem apenas quatro as diretrizes de governo determinadas, foi vago o
estabelecimento das relaes entre estas e os programas. As diretrizes so: (1) atrao de
investimentos e fomento ao desenvolvimento econmico; (2) combate s desigualdades

35

regionais; (3) promoo da incluso social; e (4) modernizao da gesto e dos servios
pblicos.
A inteno expressa nas instrues para elaborao do PPA foi a de que cada
programa fosse concebido para atacar problemas da sociedade. No entanto, os programas
j estavam praticamente concebidos por cada rgo quando, ento, se procurou uma
justificativa para sua existncia. Desta forma, em muitos programas as aes refletem
mais a estrutura administrativa dos rgos do que as relaes de causalidade e as vrias
frentes de ao necessrias para a resoluo de um problema. Outra dificuldade relativa
ao desenho foi a indefinio de indicadores, sua no apurao e sua inadequao em
relao aos objetivos do programa. Muitas vezes as metas foram transformadas em
indicadores e vice-versa.
Os coordenadores de programa, que foram uma adaptao da funo de gerente
de programa do governo federal, igualmente no tm responsabilizao pelos resultados e
nem autonomia administrativa. No caso do Estado, boa parte dos coordenadores so
tcnicos designados para preencher as informaes no SIGPLANRS, e no
coordenadores de programa propriamente ditos. Esse fato acarreta em atrasos na
atualizao do SIGPLANRS, j que estes coordenadores no detm informaes sobre os
programas, tendo que busc-las em instncias superiores. No Rio Grande do Sul
realizado o monitoramento de algumas aes prioritrias, com recorte diferente dos
programas do PPA e por outro sistema informatizado, sem integrao com o
SIGPLANRS at o momento.
Inicialmente houve resistncia dos rgos na integrao do PPA com o
oramento, j que a vinculao entre aes dos programas do Plano e os projetos ou
atividades do oramento anual tornam necessrio um planejamento que no usualmente
praticado pelos rgos pblicos estaduais. H dificuldade na alocao de custos e
conseqente predomnio na alocao de custos em despesas administrativas gerais.
A primeira reviso do Plano foi realizada para proceder a correo de alguns erros
tcnicos contidos na verso inicial do PPA, bem como para buscar uma maior vinculao
com os projetos e atividades do oramento. A reviso parte integrante do ciclo gerencial
do PPA. No entanto, seja pela novidade, seja pela incompreenso, a primeira reviso do
plano provocou muitas crticas e uso poltico por parte do Legislativo do Estado.

36

A primeira experincia de avaliao do PPA 2004-2007 no Estado do Rio Grande

do Sul seguiu os mesmos moldes da avaliao praticada pelo governo federal, em trs
etapas: (1) atravs de questionrio dirigido aos coordenadores de programas; (2) atravs
de questionrio dirigido aos coordenadores setoriais; (3) anlise e consolidao das
respostas realizada pela Secretaria da Coordenao e Planejamento. Essas anlises
constituem-se em importante contribuio para a qualificao dos processos de
planejamento, oramento e gesto. Alm de orientar a reviso do PPA, ao indicar a
necessria reformulao de Programas e da estrutura programtica, a avaliao orienta
tambm a qualificao dos diversos processos atinentes gesto, como alocao de
recursos, procedimentos gerenciais e fornecimento de informaes.
As orientaes que nortearam os aperfeioamentos introduzidos no Plano
Plurianual 2004-2007 do Estado do Rio Grande do Sul tiveram por objetivos: (1)
propiciar a integrao e a compatibilizao dos instrumentos bsicos de planejamento e
oramento: Plano Plurianual, Lei de Diretrizes Oramentrias e Lei do Oramento Anual;
(2) organizar em programas todas as aes do Governo que resultassem em bens ou
servios para atendimento de demandas da sociedade; (3) assegurar que os programas
estivessem alinhados com as diretrizes de governo e compatveis com a previso de
disponibilidade de recursos; (4) proporcionar a alocao de recursos nos oramentos
anuais de modo compatvel aos objetivos e diretrizes estabelecidos no Plano e com o
desempenho obtido na execuo dos programas; (5) melhorar o desempenho gerencial da
administrao pblica, tendo como elemento bsico a definio de responsabilidade por
custos e resultados; (6) permitir a avaliao do desempenho dos programas em relao
aos objetivos e metas especificados no Plano; (7) oferecer elementos para relacionar a
execuo fsica e financeira dos programas aos resultados da atuao do Governo; (8)
criar condies para a melhoria contnua e mensurvel da qualidade e produtividade dos
bens e servios pblicos; (9) dar maior transparncia aplicao de recursos pblicos e
aos resultados obtidos.
A despeito do uso ainda restrito dos resultados da avaliao e do processo como
um todo, foi dado um importante passo para a modernizao da administrao pblica no
Estado. Os objetivos pretendidos so ambiciosos e alcanveis somente longo prazo,
pois envolvem mudanas em uma grande estrutura. Apesar disso, e tal como observado

37

em relao ao governo federal, difcil que acontea um retrocesso aps algumas

conquistas, tais como a integrao PPA e oramento anual. Observa-se que ainda so
necessrios muitos avanos no planejamento, na gesto, na avaliao do desempenho e
do resultado das aes de governo, mas tentou-se estabelecer uma base que pudesse ser
aperfeioada.

Consideraes Finais
O interesse do governo na avaliao dos programas e das polticas pblicas est
relacionado preocupao com a eficcia, a eficincia, a efetividade e a accountability de
suas aes. Os estudos de avaliaes podem fornecer aos gerentes e administradores
pblicos respostas sobre a qualidade de seu trabalho, bem como a possibilidade de
mostrar os resultados de seu trabalho sociedade e ao Legislativo.
De acordo com a anlise de experincias estrangeiras, os principais interesses das
atuais avaliaes so os resultados, a alocao oramentria racional e a reorganizao
dos programas de modo a alcanar os objetivos de planejamento. Estas so as respostas
que as avaliaes podem oferecer como subsdio ao processo de tomada de decises,
durante a execuo dos programas e das polticas.
As iniciativas do Governo Federal brasileiro, quanto ao processo da avaliao de
programas, seguem as tendncias internacionais, visando s presses sociais para a
melhoria da qualidade na proviso dos servios pblicos e s demandas para reduo das
despesas pblicas. A aplicao sistemtica da avaliao de programas uma prtica nova
na administrao pblica brasileira, tanto federal como estadual, especialmente com a
abrangncia de todos os programas do Plano Plurianual.
O tipo de avaliao adotado pelo governo federal brasileiro e pelo Estado do Rio
Grande do Sul pode ser caracterizado como uma avaliao intermediria, de natureza
formativa, conduzida, em sua maior parte, dentro das instituies responsveis pelos
programas. Este tipo de avaliao visa auxiliar e advertir aos planejadores e aos gerentes
e seus colaboradores sobre problemas e necessidades de melhoria do programa.

38

As avaliaes com caractersticas acadmicas, externas e ex-post, feitas aps a

execuo do programa, so criticadas por no levarem em conta as necessidades prticas
dos responsveis pela execuo. De acordo com muitos crticos, para converter a
avaliao em uma ferramenta til para administrao pblica, necessrio que ela esteja
integrada s organizaes e ao processo real de tomada de deciso.
A anlise dos casos brasileiro e estadual mostrou que so necessrios alguns
avanos no sistema de avaliao de ambos os nveis do governo, o que algo natural em
um processo implantado to recentemente.
Um dos ajustes a necessidade de uma maior integrao entre os processos de
monitoramento e de avaliao e os outros estgios do ciclo de gerenciamento,
especialmente no que est relacionado alocao de recursos oramentrios e a tomada
de deciso dos gerentes. Isto especialmente verdadeiro no caso do Rio Grande do Sul,
onde o sistema de monitoramento separado do de avaliao, e onde h ainda um grande
trabalho a ser feito na melhoria da apropriao de custos dos programas.
Outra questo diz respeito ao fato de que o objetivo das avaliaes intermedirias
est focalizado nos resultados do programa, com interesse em melhorar os mecanismos
de entrega dos produtos do programa, e no numa anlise sistemtica de seu impacto.
Talvez seja a limitao principal da metodologia atual. O alcance de um objetivo, em
termos de produto fsico ou disponibilizao de servio, pode ser uma condio
necessria mas no suficiente para resolver determinado problema, com baixo impacto da
ao do governo na sociedade.
No caso do Rio Grande do Sul, a avaliao relativa efetividade dos programas
somente pode ser feita aps o PPA 2004-2007, pois este foi o primeiro a estabelecer
objetivos especficos e indicadores de desempenho. Apesar das dificuldades e das
imperfeies no desenho dos programas, este esforo pode ser feito para melhorar a
aprendizagem organizacional e para fortalecer o conhecimento tcnico necessrio para a
elaborao e avaliao do prximo PPA.

39

Referncias Bibliogrficas:
Ala-Harja, Marjukka; Helgason, Sigurdur. Em Direo s Melhores Prticas de Avaliao.
Braslia, Revista do Servio Pblico, ano 51, n. 4, out./dez., 2000.
Barbosa, Frederico; Garcia, Ronaldo C. A Propsito da Avaliao do PPA: lies da primeira
tentativa. Braslia, IPEA, Boletim de Polticas Sociais: acompanhamento e anlise, n. 3, ago.,
2001.
Bozzi, Sonia O. Evaluacin de la Gestion Pblica: conceptos y aplicaciones em el caso
latinoamericano. Braslia, Revista do Servio Pblico, ano 52, n.1, jan./mar., 2001.
Brasil. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano
Plurianual 2000-2003 Exerccios 2000 a 2003. http://www.planejamento.gov.br/
planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm.
Brasil. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano
Plurianual
2004-2007

Exerccio
2004.
http://www.planejamento.gov.br/
planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm.
Bresser Pereira, Luiz C. A Administrao Pblica Gerencial: estratgia e estrutura para um novo
Estado. Braslia, ENAP, 1996 (Texto para Discusso).
Calmon, Katya M. N.; Gusso, Divonzir A. A Experincia de Avaliao do Plano Plurianual
(PPA) do Governo Federal no Brasil. Braslia, Planejamento e Polticas Pblicas, n. 25,
jun./dez., 2002.
Cavalcanti, Bianor S.; Otero, Roberto B. Novos Padres Gerenciais no Setor Pblico: medidas do
governo americano. Braslia, ENAP, 1997 (Texto para Discusso).
Cohen, Ernesto; Franco, Rolando. Avaliao de Projetos Sociais. Petrpolis, Vozes, 2004.
Costa, Frederico L.; Castanhar, Jos C. Avaliao de Programas Pblicos: desafios conceituais e
metodolgicos. Rio de Janeiro, Revista de Administrao Pblica, 37 (5), set./out., 2003.
Cotta, Tereza C. Metodologias de Avaliao de Programas e Projetos Sociais: anlise de
resultados e de impacto. Braslia, Revista do Servio Pblico, ano 49, n. 2, abr./jun., 1998.
Derlien, Hans-Ulrich. Uma Comparacin Internacional em la Evaluacin de ls Polticas
Pblicas. Braslia, Revista do Servio Pblico, ano 52, n.1, jan./mar., 2001.
European Commission. Evaluating EU Expenditures Programmes: A Guide to Ex Post and
Intermediate Evaluation. Luxembourg. January, 1997.
Fitz-Gibbon, Carol T.,; Morris, Lyn L. How to Design a Program Evaluation? Beverly Hills, Sage
Publications, 1978.
Garcia, Ronaldo C. Avaliao de Aes Governamentais: pontos para um comeo de conversa.
Braslia, IPEA/CENDEC, out., 1997.
Garcia, Ronaldo C. A Reorganizao do Processo de Planejamento do Governo Federal: o PPA
200-2003. Braslia, IPEA, maio, 2000 (Texto para Discusso n.726).
Garcia, Ronaldo C. Subsdios para Organizar Avaliaes da Ao Governamental. Braslia,
IPEA, jan., 2001 (Texto para Discusso n.776).
Gartenkraut, Michal. Brasil: uma anlise do Plano Plurianual PPA 2000/2003. Relatrio
Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA, 2002.

40

Hatry, Harry P. Where the Rubber Meets the Road: Performance Measurement for State and
Local Public Agencies. In: Newcomer, K. (ed.) Using Performance Measurements to
Improve Public and Nonprofit Programs. San Francisco, Jossey-Bass, 1997.
Jannuzzi, Paulo de M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicaes.
Campinas, Editora Alnea, 2. ed., 2003.
Kettl, Donald F. The Global Public Management Revolution: a report on the transformation of
governance. Washington D.C., Brookings Institute, 2000.
Lynn Jr., Laurence. Requiring Bureaucracies to Perform: what have we learned from the US
Government Performance and Results Act (GPRA)? The University of Chicago, 1998.
http://harrisschool.uchicago.edu/About/publications/working-papers/pdf/wp-lynn.pdf.
Mierlo, J.G.A. The Experience of OECD Countries with Public Management Reform and its
Relevance to Central and Eastern Europe. The University of Maastricht, 1996.
http://ideas.repec.org/p/dgr/umamet/199621.
Mokate, Karen M.. Convirtiendo el Monstruoen Aliado: la evaluacin como herramienta de la
gerencia social. Braslia, Revista do Servio Pblico, ano 53, n. 1, jan./mar., 2002.
Newcomer, Kathryn. Using Performance Measurement to Improve Programs. In: Newcomer, K.
(ed.) Using Performance Measurements to Improve Public and Nonprofit Programs. San
Francisco, Jossey-Bass, 1997.
Rio Grande do Sul. Secretaria da Coordenao e Planejamento. PPA 2004-2007. Relatrio Anual
de Avaliao. Exerccio 2004.
Silva, Pedro L. B. (coord.) Modelo de Avaliao de Programas Sociais Prioritrios: relatrio
final. Programa de Apoio Gesto Social no Brasil. Campinas, NEPP-UNICAMP, 1999.
Silva, Pedro L. B.; Costa, Nilson R. A Avaliao de Programas Pblico: reflexes sobre a
experincia brasileira. Relatrio Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA,
2002.
Silva, Pedro L. B.; Melo, Marcus A. B. O Processo de Implementao de Polticas Pblicas no
Brasil: caractersticas e determinantes da avaliao e programas e projetos. Campinas, NEPPUNICAMP, 2000.
Toledo Silva, Ricardo. Eficincia e Eficcia da Ao Governamental: uma anlise comparativa de
sistemas de avaliao. Relatrio Tcnico. Cooperao Tcnica BID-IPEA. Braslia, IPEA,
2002.
United States. General Accounting Office (GAO). The results act. An evaluators guide to
assessing agency annual performance plans. GAO/GGD-10.1.20, 1998.

41