Você está na página 1de 16

CEPAL - SERIE Seminarios y conferencias

N 29

V. O processo institucional de
avaliao do plano plurianual
2000-2003

Marta Ghirlanda1

Resumo
O presente artigo tem como objetivo apresentar pesquisa
relativa anlise do processo institucional de avaliao dos programas
executados no primeiro ano do Plano Plurianual 2000-2003, realizada
com os dirigentes pblicos responsveis pela concepo e
implementao do processo, no mbito do Poder Executivo Federal
brasileiro. So analisados os seguintes aspectos: definio
institucional de avaliao, demanda pelas avaliaes, identificao de
quem realiza as avaliaes, fonte de financiamento para a realizao
das avaliaes e difuso dos resultados da avaliao. Os resultados
ressaltam as aes empreendidas pelo governo brasileiro para a
estruturao de um processo institucional de avaliao, indito pela
sua abrangncia e homogeneidade. Destaca-se como principal
contribuio deste estudo o incio de pesquisas empricas sobre o
processo institucional de avaliao no Brasil, que poder fomentar
debates e novos estudos quanto atual realidade brasileira.

Analista de Planejamento e Oramento, Secretara de Fazenda e Planejamento do Goberno do Distrito Federal, Brasilia, Brasil.

131

Gestin pblica por resultados y programacin plurianual

A.

Introduo

No contexto organizacional de gerenciamento por resultados e no discurso ideolgico do


New Public Management, a avaliao de aes governamentais tornou-se uma prtica conhecida e
rotineira (Albaek, 1998). O esforo para quantificar e qualificar os resultados das intervenes
estatais vem promovendo a expanso de conceitos, a construo de mtodos e a disseminao da
importncia da avaliao. Nas ltimas dcadas, em razo da necessidade de aumento da eficincia
no setor pblico, da ineficcia das formas tradicionais de prestar contas dos resultados das aes
pblicas e do declnio da confiana da sociedade nos governos, a funo avaliao passou a ser
fortalecida em diversos pases, compondo programas oficiais de governos e integrando a vida
institucional do Estado. O grande mrito da avaliao ser um importante instrumento de feedback
para os governantes, uma vez que detecta erros, indica como corrigi-los e contribui para a melhoria
da eficincia e eficcia das aes governamentais. Como parte integrante do aprendizado dos
governos, a avaliao deve ser um processo interativo entre os beneficirios dos programas e
demais atores envolvidos em sua execuo.
No Brasil, at o final da dcada de 90, havia um certo pessimismo com relao realizao e
utilizao das avaliaes de programas governamentais. A ausncia de continuidade e
receptividade das avaliaes, por parte dos dirigentes pblicos, apresentava-se como obstculo
implementao de um processo de avaliao fidedigno e til gesto governamental. Aliada a essa
questo o alto grau de afastamento do processo decisrio impunha o risco de transformar a
avaliao em apenas mais um rito ou uma restrio burocrtica. As tentativas de sistematizao da
avaliao at 1999, restringiram-se anlise da execuo fsica e financeira dos programas de
governo executados em cada exerccio. Algumas outras iniciativas de avaliao, dispersas e
desarticuladas, tambm aconteceram, seja por tentativas isoladas de algumas instituies ou por
exigncias contratuais de financiamentos internacionais. Entretanto, acontecimentos recentes
revelaram a mudana desse cenrio. O processo estruturado para as avaliaes dos programas
executados no primeiro ano do Plano Plurianual 2000-2003 sugere que a avaliao das aes
governamentais comea a ser inserida na agenda pblica brasileira. Dentre os 388 programas que
compem o Plano Plurianual 2000-2003, 347 foram avaliados (quase 90%) em um processo que
mobilizou gerentes de programas, tcnicos das unidades setoriais de planejamento de todos os
ministrios, monitores do Ministrio do Planejamento, Oramento e Gesto e pesquisadores do
IPEA. Trata-se de atividade indita, na medida em que avalia, de forma integral e homognea,
todo o conjunto de atividades em curso no Governo Federal (Ministrio do Planejamento,
Oramento e Gesto, 2001, p. 9).
O objetivo deste artigo apresentar pesquisa, realizada em 2001, relativa anlise do
processo institucional de avaliao governamental, no mbito do Poder Executivo Federal
Brasileiro, sob a perspectiva dos dirigentes pblicos responsveis pela concepo e implementao
do processo de avaliao do primeiro ano de execuo do Plano Plurianual 2000-2003. O processo
institucional foi abordado a partir de cinco pontos que compem os objetivos de interesse deste
trabalho: definio institucional de avaliao; demanda pela avaliao; quem realiza as avaliaes;
financiamento para a realizao das avaliaes; difuso dos resultados da avaliao. Optou-se por
uma pesquisa qualitativa em decorrncia da natureza, complexidade e questes propostas. Foram
entrevistados dirigentes pblicos do Ministrio do Planejamento, Oramento e Gesto e do IPEA,
selecionados a partir da anlise das atribuies de seus cargos. Para anlise das entrevistas, os
contedos foram agrupados por temas, de acordo com seus aspectos comuns. As informaes foram
tratadas de forma a apresentar a sntese do contedo das entrevistas, os fundamentos presentes na
legislao e documentos oficiais do Governo e os elementos identificados na literatura.

132

CEPAL - SERIE Seminarios y conferencias

B.

N 29

A institucionalizao da avaliao

Na administrao pblica, os ambientes tcnico e institucional fazem com que teoria e


prtica no se relacionem de uma maneira pura. Fatores institucionais no propiciam a prtica
como aplicao de teoria prvia nem as teorias so geradas a partir de prticas. Na realidade, teoria
e prtica so prticas (Rodrigues, 1992). A avaliao, na prtica, apresenta no somente a
intensidade do alcance de objetivos e metas elementos de um ambiente tcnico - estabelecidos
pelas organizaes pblicas, mas, fundamentalmente, processos carregados de valor. Os
avaliadores constantemente expem suas escolhas acerca de detalhes tcnicos e administrativos da
avaliao, as formas como as metas so concebidas, implementadas e aferidas. Todo esse processo
cercado por valores e, segundo Dahler-Lardsen (2000), a poltica exercida at quando a
avaliao parece ser pura administrao. De acordo com Weiss (1998), a caracterstica poltica
da avaliao decorre do fato de a avaliao lidar com programas reais, que so criados e mantidos
por foras polticas e tambm do fato de as pessoas nos altos escales do governo que decidem
sobre o futuro dos programas pblicos estarem imersas na poltica.
Os valores conectados s noes contemporneas da avaliao traduzem-se na expectativa de
que as organizaes pblicas sejam mais responsveis com as necessidades e interesses dos
cidados, ou seja, os usurios de seus servios (Dahler-Lardsen 2000). A preocupao dos
cidados, crescente em muitos pases, em conhecer e analisar a aplicao dos recursos pblicos,
vem fomentando o debate acerca da legitimidade das aes implementadas pelo setor pblico e
demandando maior transparncia e responsabilizao accountability - por parte de seus agentes.
Segundo Ala-Harja e Helgason (2000), problemas relacionados legitimidade do setor pblico e
necessidade de fortalecer a responsabilidade do governo clamam por novos e mais sofisticados
mecanismos de controle como, por exemplo, a avaliao.
Fatores institucionais exercem grande influncia na seleo dos instrumentos de poltica, na
forma de sua utilizao e em seu desempenho. A escolha de um instrumento de poltica e a
avaliao de sua efetividade no deve basear-se exclusivamente em consideraes tcnicas. A
escolha de tais instrumentos deve encontrar seu fundamento, tambm, em preferncias ideolgicas
e em uma tradio filosfica (Subirats, 1995). A esse respeito Monnier (apud Amparn, 1995)
ressalta que a importncia dos diferentes enfoques da avaliao no se restringe a seus aspectos
metodolgicos, mas, fundamentalmente, na credibilidade da avaliao frente aos atores sociais
envolvidos. Essa credibilidade no depende tanto do rigor tcnico dos instrumentos utilizados mas,
sim, da legitimidade que os objetivos e procedimentos da avaliao tenham frente a seus
destinatrios.
Nas organizaes pblicas, os administradores tendem a ter interesses na continuao da
organizao e de suas atividades. O conservadorismo induz uma organizao a no terminar as
atividades quando as metas estabelecidas so alcanadas. Ao contrrio, novas metas so escolhidas
para legalizar a continuao da existncia da organizao. Em termos de programas pblicos, esse
princpio pode induzir os dirigentes a alterar as metas dos programas em vez de termin-los
(Dahler-Lardsen, 2000). O conservadorismo no setor pblico um mero aspecto do fenmeno mais
geral em instituies e organizaes: a tendncia sobrevivncia. Bouckaert (1998) esclarece que
as administraes pblicas no mudam por si mesmas, elas necessitam de presso para que se
produza a mudana. Os processos de modernizao consistem em organizar e institucionalizar
essas presses que podem ser internas administrativas - ou externas polticas ou sociais.
A institucionalizao da avaliao governamental, ento, materializa-se na sua incorporao
cultura das organizaes pblicas de acordo com o contexto poltico, econmico e social de
seus ambientes externos - em sua utilizao como instrumento de tomada de deciso e na
internalizao de valores que propiciem prticas tais como controle social e accountability.
133

Gestin pblica por resultados y programacin plurianual

Relevantes experincias internacionais so apresentadas em um estudo comparativo para


verificar a institucionalizao da funo avaliao em oito pases ocidentais desenvolvidos e
democrticos realizado pelo Instituto Internacional de Cincias Administrativas de Bruxelas e
coordenado por Rist (1999). Os componentes do grupo de pesquisa so membros de governos
(Noruega e Estados Unidos) e da academia (Reino Unido, Canad, Dinamarca, Repblica Federal
da Alemanha, Sua e Pases Baixos). O estudo bastante amplo e aborda aspectos diversos da
avaliao, partindo da prpria definio da funo avaliao, explorando as condies estruturais
de cada pas para o desenvolvimento da avaliao, esclarecendo o papel da avaliao nas decises
governamentais, as metodologias utilizadas e descrevendo o processo institucional em cada um
desses pases.
Os resultados da pesquisa apresentam os diferentes estgios de desenvolvimento dos oito
pases quanto funo avaliao no nvel federal de governo, classificando-os em duas amplas
categorias: pases que desenvolveram capacidades de avaliao durante a "primeira onda" (dcadas
de 60 e 70) e pases que adquiriram tais habilidades mais tarde, durante a "segunda onda" de
desenvolvimento da avaliao (dcada de 80).
O primeiro grupo de pases, denominado de primeira onda Canad, Repblica Federal da
Alemanha, Reino Unido e Estados Unidos - distingue-se da maior parte dos outros pases que
iniciaram a avaliao a partir da dcada de oitenta, em funo das condies de suas economias
nacionais e, consequentemente, da situao fiscal dos respectivos governos. Durante a dcada de
60, a prspera situao econmica permitia a esses governos investimentos em dispendiosos
programas de interveno social, principalmente nas reas de educao e sade. Nesse contexto,
surgiram os sistemas formais de planejamento que estavam limitados a um planejamento
econmico de mdio prazo ou integravam o oramento com a programao. A avaliao era
utilizada pelos administradores, principalmente, para conservao de programas existentes ou para
a implementao de outros novos. Somente em raras ocasies, foram necessrias avaliaes para
proteger estes programas dos oponentes polticos, comprovando sua efetividade (Derlien, 1998).
No segundo grupo de pases - Dinamarca, Pases Baixos, Noruega e Sua a situao
econmica no favorvel existente ao final da dcada de 70, promoveu a necessidade de gerenciar a
escassez e desenvolver tcnicas para gesto de cortes oramentrios. A situao econmica fiscal
crtica implicou em uma nova viso da avaliao sobre o processo oramentrio: iniciativas de
gesto financeira e esforos para utilizao de avaliaes anteriores, racionalizando a distribuio
de recursos oramentrios. A partir de ento, a avaliao passou a ser utilizada no somente pelos
administradores dos programas mas, principalmente, pelos ministros da Fazenda e agncias
responsveis pelas auditorias governamentais. Por conseguinte, a funo da avaliao sofre uma
significativa mudana: a nfase na reduo dos programas ineficientes e conseqente otimizao
dos oramentos nacionais (Derlien, 1998).
Os elementos evidenciados na experincia internacional relatada por Rist serviram como
ponto balizador para esta pesquisa realizada no Brasil, de maneira a norte-la e objetiv-la. Desta
forma, foram selecionados cinco pontos do processo institucional apresentado por Rist (1999):

134

a definio de avaliao;

a demanda pelas avaliaes;

a identificao de quem realiza as avaliaes;

a verificao do financiamento para a realizao das avaliaes;

a difuso dos resultados da avaliao.

CEPAL - SERIE Seminarios y conferencias

N 29

importante frisar que esta pesquisa no se constitui em uma anlise comparativa com os
pases pesquisados por Rist. A estratgia utilizada por Rist apenas trouxe a inspirao deste estudo
e estabeleceu alguns elementos para anlise.

C.

A avaliao no Brasil
1. Antecedentes

As primeiras iniciativas referentes avaliao no Brasil remontam aos anos 70, quando o
governo brasileiro tentou montar um sistema de acompanhamento e avaliao do programa de
metas e bases para ao do governo, por meio do Decreto 68.003, de 28 de julho de 1971. O
primeiro relatrio elaborado referia-se ao exerccio de 1971, quando constatou-se um elevado grau
de execuo dos projetos includos no plano de governo (75% dos projetos). Aps essa experincia,
foi procedida a avaliao do I PND (1972) que tambm apresentou um resultado positivo e deu
incio ao Programa de Acompanhamento dos PND's (Holanda, 1999). Vale lembrar, que durante o
regime militar, o Congresso Nacional teve seus poderes reduzidos e, em conseqncia, os Planos
Nacionais de Desenvolvimento no eram apreciados pelos parlamentares, assim como a prestao
de contas do Poder Executivo. Os oramentos eram encaminhados ao Legislativo, entretanto, os
parlamentares no tinham poder para emend-los (Garcia, 2000).
Na dcada de 80, a crise de financiamento e o grau de endividamento pblico soterraram o
planejamento e as aes pblicas passaram a ser conduzidas ao sabor das conjunturas, com
predominncia de uma perspectiva de curto prazo. As conseqncias foram a ineficincia, aes
desarticuladas, ausncia na definio de prioridades na direo da ao governamental e ausncia
de avaliao, com profundas repercusses sobre a qualidade da gesto pblica. Segundo Garcia
(1997, p. 4), as conseqncias da descontinuidade das aes governamentais de avaliao foram
danosas para o pas e a baixa capacidade de governo hoje existente pode ser atribuda submisso
do planejamento a uma concepo economicista, ao abandono dos mtodos e tcnicas de
programao, acompanhamento e integrao de aes.
O primeiro Plano Plurianual teve sua vigncia no perodo compreendido entre 1991 e 1995 e
foi aprovado pelo Congresso Nacional praticamente sem discusso e emendas. No incio de 1992
foi apresentada e aprovada uma reviso do plano, entretanto, no foi implementada em virtude do
incio do processo de impeachment que culminou com o afastamento do Presidente. O novo
governo, ento, encaminhou nova proposta de reviso ao Congresso Nacional. Esta proposta no
foi votada, resultando na necessidade de adaptaes pontuais at o final de sua vigncia. Tendo em
vista a ausncia de sistemas de informao e de monitoramento no foram realizadas avaliaes das
aes implementadas nesse perodo (Garcia, 2000).
O segundo PPA, cuja vigncia compreendia o perodo de 1996 a 1999, apresentou algumas
inovaes com relao ao gerenciamento das aes prioritrias do governo. Os 42 projetos mais
relevantes foram agrupados em um programa denominado Brasil em Ao e gerenciados
mediante um acompanhamento sistemtico, com o suporte de um Sistema de Informaes
Gerenciais, cujas atualizaes eram dirias. Essa nova concepo de gerenciamento, voltada para a
obteno de resultados, garantiu aos projetos os recursos financeiros necessrios de acordo com
cronogramas de desembolso compatveis com suas fases de implementao e os desempenhos
alcanados. Para cada projeto foi designado, pelo ministro responsvel pelo setor envolvido, um
gerente responsvel pelo andamento, pelos resultados e pelas informaes acerca de todas as suas
aes. Os problemas ou contratempos enfrentados eram imediatamente comunicados ao ministro. A
idia dessa nova forma de gerenciamento consistiu em imprimir um dinamismo caracterstico ao
setor empresarial (Garcia, 2000).
135

Gestin pblica por resultados y programacin plurianual

A lei que aprovou o PPA 1996-1999 estabeleceu a exigncia de envio ao Congresso,


anualmente, de um relatrio de acompanhamento do plano (art. 2 da Lei 9.276/96). Os relatrios,
ento encaminhados, apresentavam uma anlise da execuo fsica e financeira dos programas
executados em cada exerccio, constituindo-se em um documento muito mais descritivo do que
analtico (Holanda,1999).
Em termos prticos, as experincias dos dois planos revelaram que o modelo de
planejamento esboado pela Constituio de 1988 era inadequado, uma vez que os planos
apresentavam simples intenes do governo e os oramentos no conseguiam traduzir em projetos e
atividades a vontade poltica expressa no Plano Plurianual. Havia uma grande dificuldade no
acompanhamento e avaliao das aes de Governo, tendo em vista a escassez de indicadores
capazes de demonstrar a realidade a ser alterada. Tais fatos motivaram o governo a promover
mudanas na estrutura, metodologia de elaborao, classificao funcional-programtica,
gerenciamento e avaliao de planos e oramentos governamentais (Galvo e Ghirlanda, 2000).
A publicao do Decreto 2.829, de 29 de outubro de 1998, um marco na modernizao do
processo de planejamento governamental no Brasil. Mudanas substanciais foram propostas,
afetando a concepo e a execuo dos instrumentos de planejamento e de oramento da Unio,
dos Estados, do Distrito Federal e dos Municpios. Dentre as determinaes emanadas do Decreto,
destaca-se o gerenciamento dos programas que passa a ser realizado por uma nica unidade, mesmo
quando executado com outros rgos, com a designao de um gerente de programa pelo Ministro
de Estado ao qual o programa estiver vinculado. O Decreto prope avaliaes dos programas, com
base nos objetivos e metas fixados, com a finalidade de aferir seus resultados e subsidiar a alocao
dos recursos pblicos, de forma a evitar disperso e desperdcio dos recursos pblicos (Brasil,
1998). Apenas duas semanas aps a publicao do Decreto 2.829/98, o Ministrio do Planejamento
e Oramento editou a Portaria 117/98, posteriormente revogada pela Portaria 42/99, que altera a
antiga classificao funcional estabelecida no Anexo 5 da Lei 4.320/64. Essa nova classificao
altera, no apenas nominalmente mas, sim, efetivamente a estrutura e a concepo dos planos e dos
oramentos. O elemento programa torna-se a ligao entre o plano e os oramentos, transformando
as intenes que deram sustentao plataforma de campanha do Governo eleito em aes. Desta
forma, os programas se apresentam no mais com uma linguagem oramentria, mas com uma
linguagem clara e apropriada que conecta o discurso poltico ao documento tcnico de
planejamento e de oramento, possibilitando fcil interpretao e tornando transparentes e
quantificados os produtos a serem gerados para a soluo dos problemas identificados no plano.
Uma vez institudo o novo arcabouo legal - que propiciou a elaborao de um plano com os
elementos mnimos imprescindveis avaliao e executadas as aes programadas para o
exerccio de 2000, iniciou-se o processo de avaliao de cada um dos programas e do Plano
Plurianual com um todo. Este processo de avaliao foi estruturado e conduzido pela Secretaria de
Planejamento e Investimentos Estratgicos do Ministrio do Planejamento, Oramento e Gesto em
parceria com o Instituto de Pesquisa Econmica Aplicada - IPEA. O tpico a seguir apresenta os
principais resultados decorrentes de pesquisa realizada com os dirigentes responsveis pela
concepo e implementao desse novo modelo.

2. Resultados da pesquisa
a)
Definio institucional de avaliao
Em primeiro lugar, de modo a compreender o processo de avaliao do primeiro ano do PPA,
buscou-se verificar os fundamentos presentes na legislao em vigor e a percepo dos dirigentes
quanto a uma definio institucional da avaliao, de forma a se estabelecer os princpios e valores
que norteiam o atual processo de avaliao.
136

CEPAL - SERIE Seminarios y conferencias

N 29

No foi encontrada uma definio institucional formal de avaliao, seja nos documentos
oficiais do Governo ou nos discursos dos dirigentes. Os entrevistados apresentaram definies
contendo diferentes elementos eficcia, efetividade, eficincia, desempenho, qualidade - mas o
contedo avaliao de resultados foi o ponto de convergncia, estando presente nos discursos de
todos os entrevistados. A ausncia de uma definio institucional pode advir da complexidade que
envolve a avaliao e do fato de os dirigentes, na prtica, no estarem preocupados com a definio
da avaliao mas, sim, com sua implementao. Essa uma questo tambm presente nos
documentos oficiais do governo, conforme ressaltado por um dos entrevistados.
A Lei 10.180 que organiza os sistemas de Planejamento e de Oramento Federal, de
Administrao Financeira Federal, de Contabilidade Federal e de Controle Interno do Poder
Executivo, surgiu a partir da Medida Provisria 2.036, reeditada 81 vezes. Mesmo com tantas
reedies excelentes oportunidades para ajustes e alteraes - a lei muito confusa e no
diferencia a natureza e finalidade das atividades de controle e avaliao. Os sistemas de
Planejamento e Oramento Federal tm, dentre as suas atribuies, as atividades de elaborao,
acompanhamento e avaliao de planos, programas e oramentos, e de realizao de estudos e
pesquisas socioeconmicas. O sistema de Controle Interno, por sua vez, visa avaliao da
ao governamental e da gesto dos administradores pblicos federais, por intermdio da
fiscalizao contbil, financeira, oramentria, operacional e patrimonial, e a apoiar o controle
externo no exerccio de sua misso institucional. No est clara a distino entre as atribuies de
cada sistema e torna-se difcil a compreenso da expresso avaliao da ao governamental (...)
por intermdio da fiscalizao contbil (...). No se consegue definir se a inteno avaliar ou
fiscalizar. H uma grande confuso conceitual, reafirmando a posio de Rist (1999) de que
freqentemente a avaliao confundida com atividades de controle, como por exemplo, a
auditoria. Um dos entrevistados ressalta a importncia quanto diferenciao desses conceitos e as
providncias que esto sendo tomadas para que, na prtica, os temas controle e avaliao sejam
tratados de maneira compatvel com suas finalidades.
Constata-se no discurso dos documentos oficiais a preocupao com a utilizao dos
resultados da avaliao, de modo a torn-la um instrumento de gesto. Isso demonstra a
existncia de inteno quanto utilizao, por parte dos gerentes dos programas, dos resultados da
avaliao como feedback para o sistema de planejamento, de modo a aprimorar e redirecionar as
aes dos programas de Governo. A utilizao da avaliao como ferramenta gerencial,
proporcionando elementos concretos para aferio do desempenho dos programas pblicos, foi
abordada pelos entrevistados, ressaltando-se a preocupao de que a avaliao no termine
simplesmente com a elaborao de um relatrio.
O fato de o novo processo ter sido implementado de forma integral, abrangendo todas as
reas de atuao do governo e a quase totalidade dos programas inseridos no Plano Plurianual,
pode ser interpretado como um fator restritivo absoro da nova prtica. Quando processos
inovativos so implementados paulatinamente, os membros da organizao tm a oportunidade de,
aos poucos, internalizar os valores inerentes a tais processos e se acostumar com suas prticas. Por
sua vez, os dirigentes podem, tambm aos poucos, adequar eventuais disfunes percebidas nesses
processos. Essa apreenso foi evidenciada por um dos entrevistados: eu acho que a gente foi at
apressado nesse procedimento, porque normal essas coisas surgirem sob a forma de projetopiloto, um processo de maturao um pouco maior (...).
Com relao internalizao do processo de avaliao, por parte dos demais rgos de
Governo, os entrevistados foram unnimes ao afirmar que no h homogeneidade quanto a uma
compreenso da atual proposta de avaliao. Segundo os entrevistados, a avaliao, tal qual se
apresenta, e os respectivos valores que a envolve ainda no permearam a estrutura da burocracia
brasileira. Alguns entrevistados atribuem essa no absoro ao fato de a avaliao ser recente, ser
137

Gestin pblica por resultados y programacin plurianual

uma novidade quanto a sua forma e inteno. Esse fato refora a viso de Meyer e Rowan (1992)
quanto lenta difuso de inovaes no incio de suas implementaes. A esse respeito, um
entrevistado esclarece que a avaliao um debate que comea a surgir: est longe ainda de ser
um consenso, de estar consolidada e, mesmo os responsveis por ela, terem plena convico de
que este o ponto de chegada. A sensao que ns temos que o ponto de partida.
b)
Demanda pela avaliao
As avaliaes pressupem uma demanda que, na realidade, constitui-se em um fator
motivador para suas realizaes. Essa demanda apresenta-se clara e bem definida tanto na
legislao e documentos oficiais do Governo quanto nos discursos dos entrevistados. Todos os
entrevistados reconhecem a demanda externa do Congresso Nacional - ressalvando-se a observao
de um entrevistado quanto ao fato de o Congresso Nacional ainda no ser o principal demandante
da avaliao - e algum tipo de demanda interna, seja da Presidncia da Repblica, do primeiro
escalo do Governo ou do Ministrio do Planejamento, Oramento e Gesto.
Os entrevistados ressaltam que a demanda do Poder Legislativo, expressa na Constituio
Federal, foi inserida na lei que dispe sobre o Plano Plurianual, pela primeira vez desde sua
criao, atribuindo ao Poder Executivo a obrigatoriedade do encaminhamento ao Congresso
Nacional de relatrio de avaliao do Plano. Com esse procedimento, o Congresso Nacional
manifesta-se no sentido de materializar os preceitos constitucionais referentes avaliao dos
planos de governo.
A demanda formulada pelo Ministrio do Planejamento, Oramento e Gesto teve uma
resposta bastante positiva uma vez que dentre os 388 programas que compem o Plano Plurianual
347 foram avaliados. Segundo um entrevistado, a adeso foi muito grande e dentre os programas
no avaliados, 18 no tiveram execuo, 3 so programas de apoio administrativo (utilizados para
pagamento de pessoal, gua, eletricidade etc.), 10 programas so dos poderes Judicirio e
Legislativo e 10 programas tiveram execuo e, por alguma razo, no foram avaliados. Dentre
esse ltimo grupo de 10 programas encontram-se aqueles criados no Congresso Nacional,
decorrentes de emendas parlamentares, construdos sem os requisitos necessrios avaliao (por
exemplo, objetivos e indicadores). Algumas emendas, tpicas demandas municipais, foram
agrupadas em um grande programa, com aes dispersas e de difcil mensurao.
Pela independncia dos poderes, no cabe ao Poder Executivo avaliar os programas do
Legislativo e do Judicirio. A Constituio Federal determina que o Plano Plurianual, elaborado no
mbito do Executivo, seja abrangente e englobe os trs poderes do governo, entretanto, a avaliao
uma deciso de cada poder. Os entrevistados no possuem informaes referentes a iniciativas de
avaliao no mbito dos programas executados pelos outros dois poderes.
Com relao ao fato de o processo de avaliao no Brasil somente iniciar-se nesse momento,
um entrevistado atribui a dois fatores: o primeiro refere-se pouca tradio democrtica de nossa
sociedade e a conseqente falta de cobrana aos governantes por parte dos cidados; o segundo
fator refere-se baixa preocupao com o domnio de cincias e tcnicas de Governo: No se
entende administrao pblica como algo que requeira conhecimentos, mtodos e tcnicas
particulares, prprios da complexidade desta enorme tarefa de fazer governo; a conduo de uma
administrao pblica complexa. Da ter sido pouco entendida a avaliao como um instrumento
de conduo de processos complexos, como um instrumento de gesto, como um instrumento de
governo. O entrevistado ressalta, ainda, que as condies para a realizao das avaliaes, hoje,
no so ideais: houve muita improvisao nessa primeira tentativa e possvel e necessrio que a
prxima avaliao acontea de forma diferente, melhor planejada.
Outro entrevistado explica que esse amplo processo de avaliao est comeando somente
agora em funo da falta de referncia e homogeneidade dos planos anteriores que no propiciavam
138

CEPAL - SERIE Seminarios y conferencias

N 29

os elementos imprescindveis avaliao. Os antigos planos eram organizados de uma forma mais
contbil, por unidades. Hoje, todas as aes de governo esto organizadas da mesma maneira, por
programas, com objetivos e indicadores, criando-se, assim, a condio mnima indispensvel para
uma avaliao institucional.
Com relao continuidade desse processo amplo de avaliao, um entrevistado ressalta que
a simples edio de decretos e portarias no suficiente para a perpetuao do processo. Atribui
trs condies necessrias continuidade do processo. A primeira refere-se a uma transformao
cultural na gesto do governo com a conscientizao de que a avaliao intrnseca melhoria da
gesto e busca de resultados. A segunda refere-se cobrana por parte do Congresso Nacional,
ente vital da representao democrtica e da articulao do Governo com a sociedade. A terceira
condio a participao da sociedade: A avaliao das organizaes e dos programas s vai
crescer no dia em que a sociedade entender que isso vital para compreender melhor as suas
relaes com o Estado e com seus governantes e, a, uma relao que no perversa, de ver no
Estado sempre um Estado tipo paternalista que tem que fazer mas no fez, mas uma relao
madura, de uma sociedade que cobra dos governantes e que instigue legitimidade.
A questo da legitimidade tambm foi abordada. Ressalta-se que a avaliao est inserida no
contexto conceitual e filosfico do Plano Plurianual. A orientao estratgica do Plano guarda
coerncia com a proposta de Governo que foi apresentada sociedade antes da eleio: (...) ela
tem esse comprometimento de legitimidade; posso discutir se foi debatida ou no. Finalizando,
explica-se que a avaliao fecha um grande crculo que se apoia na democracia.
c)
Os avaliadores
O processo institucional foi constitudo de trs instncias de avaliao. A primeira ficou sob
a responsabilidade dos gerentes dos programas e foi implementada pelos prprios gerentes e suas
equipes. A segunda instncia, sob a responsabilidade dos secretrios executivos de cada ministrio,
na prtica, foi realizada pela Subsecretaria de Planejamento, Oramento e Administrao (SPOA)
de cada ministrio. A terceira etapa foi realizada pelos monitores da Secretaria de Planejamento e
Investimentos Estratgicos - SPI do Ministrio do Planejamento, Oramento e Gesto em parceria
com os pesquisadores do IPEA.
Com relao primeira etapa, as orientaes constantes no Manual de Avaliao ressaltam a
necessidade da incluso de outras percepes, alm da viso do gerente do programa, sugerindo
consulta equipe do programa e aos stakeholders, em especial usurios/beneficirios dos servios.
Na prtica, diferentes procedimentos foram adotados. Alguns gerentes promoveram um amplo
processo de discusso e a importncia desse processo participativo deve-se ao fato de o gerente
nem sempre ser o executor direto dos programas. Em algumas situaes, os executores esto em
outros ministrios, s vezes no prprio ministrio mas em secretarias distintas ou, ento, as aes
so executadas por entes no-federais, como por exemplo estados e municpios. As avaliaes de
aproximadamente 60 programas incluram algum tipo de consulta aos usurios, entretanto, essas
consultas no foram homogneas e diferentes metodologias foram utilizadas, no possibilitando a
visualizao do conjunto. A importncia dessa experincia, segundo um entrevistado, iniciar a
cultura de ouvir e olhar de fora para dentro.
Para a segunda etapa, avaliao setorial, o Manual estabelece a responsabilidade pela
conduo dos trabalhos Secretaria Executiva de cada ministrio, com o apoio da Subsecretaria de
Planejamento, Oramento e Avaliao - SPOA, do gerente do Programa de Gesto de Polticas e
sugere o envolvimento da alta direo do ministrio. Na prtica, as avaliaes foram
implementadas pelas SPOAs. Essas subsecretarias constituem-se em rgos setoriais do sistema de
planejamento e oramento e so rgos com uma tradio muito fiscal e de pouco planejamento,
sobretudo, planejamento estratgico: uma oportunidade de traz-las para este debate,
139

Gestin pblica por resultados y programacin plurianual

fundamental, inclusive, envolv-las na gesto dos programas e na gesto estratgica dos


ministrios mas eu queria dizer que a tem um longo trabalho de capacitao, sensibilizao,
porque so rgos que esto mais para um departamento de finanas do que para um
departamento de planejamento estratgico. Outro entrevistado complementa que essas
subsecretarias lidam apenas com informaes relativas ao processo de execuo oramentria e
financeira e, em decorrncia, essa etapa da avaliao foi muito deficiente.
A terceira etapa, sob a superviso do Ministrio do Planejamento, Oramento e Gesto, foi
implementada por monitores do prprio ministrio e pesquisadores do IPEA. Existe um projeto, no
mbito da Secretaria de Planejamento e Investimentos Estratgicos do Ministrio do Planejamento,
Oramento e Gesto, denominado Avaliao, que tem, dentre as suas atribuies, a promoo
dessa terceira etapa da avaliao. Esse projeto integrado por uma pequena equipe que se associa
aos monitores para a realizao dessas avaliaes. A funo dos monitores acompanhar, orientar
e, inclusive, guiar a avaliao de um conjunto de programas de determinado setor governamental
(educao, sade, meio-ambiente etc.). Durante todo o ano os monitores aproximadamente 30
monitores - acompanham e esto em permanente contato com os gerentes dos programas pelos
quais so responsveis entre dez e quinze programas para cada monitor. O monitor torna-se,
ento, grande especialista em um conjunto de programas e tem uma participao ativa no momento
da avaliao.
A participao dos pesquisadores do IPEA foi viabilizada por meio de uma fora-tarefa
especificamente mobilizada para esse trabalho. Algumas atividades da terceira etapa de avaliao
foram implementadas conjuntamente, SPI e IPEA, enquanto outras foram realizadas isoladamente.
A anlise referente aos macroobjetivos do plano foi realizada pelo IPEA, enquanto que a reviso
das avaliaes dos gerentes e a consolidao do relatrio foram atividades comuns s duas equipes.
Segundo um entrevistado, a parceria com o IPEA totalmente deliberada, intencional e
pragmaticamente planejada do ponto de vista de resultados esperados: (...) o que est em jogo com
a parceria a combinao de uma longa tradio de avaliao de polticas pblicas, de natureza
mais acadmica, com um planejamento, hoje, muito preocupado, intensivo, em um gerenciamento
de resultados, portanto, muito prtico, pretensamente ancorado na prtica das tomadas de
decises (...) o sistema que deve sair da no ser nunca um sistema criado teoricamente. Acho que
ele uma construo que se vai fazendo no caminho, no andar (...).
Com relao aos programas e projetos financiados por instituies de fomento internacionais
(Banco Interamericano de Desenvolvimento, Banco Mundial) os entrevistados esclarecem que
existem outras exigncias alm daquelas estabelecidas no Manual de Avaliao. Essas exigncias
so contratuais, particulares a cada situao e variam de acordo com a natureza e complexidade de
cada projeto ou programa. Geralmente, os contratos exigem a realizao de avaliaes ex-ante, ongoing e ex-post (esta ltima normalmente avaliao de impacto). Essas avaliaes, contratadas
pela equipe gestora do projeto, geralmente so externas, realizadas por consultores independentes
ou institutos de pesquisa. Entretanto, essas avaliaes ainda no foram incorporadas a esse
processo de avaliao. Alguns gerentes de vultuosos programas que se beneficiam de
financiamentos externos, absorveram as informaes oriundas das avaliaes externas para a
implementao das avaliaes internas, integrantes do processo de avaliao. Os entrevistados
esclarecem que algumas dessas avaliaes externas so realizadas de forma bastante burocrtica,
somente para cumprir as exigncias contratuais e pouco influenciam o processo de tomada de
deciso. A questo da imparcialidade tambm abordada: eu acho que existem avaliaes
independentes internas e dependentes externas. Existem organizaes que esto fora do governo
mas esto profundamente articuladas e dependentes do governo. E o fato de ser de dentro do
governo no assegura que seja de m qualidade ou parcial. Essa verbalizao est em
consonncia com a posio de Vedung (1997) quando afirma que o fato de o avaliador ser externo

140

CEPAL - SERIE Seminarios y conferencias

N 29

no garante a imparcialidade da avaliao, uma vez que pode redigir seu relatrio muito mais
para agradar quem o contratou do que para refletir a verdade.
Independentemente de os programas se beneficiarem de financiamentos externos, todos os
entrevistados afirmam que os ministrios tm total autonomia para a contratao de avaliaes
externas e no existem quaisquer restries legais a esse respeito. Os entrevistados informam que,
nesses casos, as restries so, geralmente, de ordem financeira. No existe um controle ou
normatizao dessas avaliaes, por parte do Ministrio do Planejamento, Oramento e Gesto.
Esse processo institucional para a avaliao dos programas do Plano Plurianual no esgota as
possibilidades de avaliao do governo e os gerentes so estimulados a implementar outras
avaliaes entendidas como pertinentes e interessantes. Um entrevistado esclarece que as
avaliaes do Governo Federal sempre foram implementadas por terceiros e, em que pese tivessem
aquiescncia dos gestores, elas sempre foram induzidas de fora para dentro.
O fato de o governo priorizar, no processo institucional ora implementado, objeto deste
estudo, as avaliaes internas, certamente trar algumas vantagens em relao s avaliaes
externas: os gerentes estaro propensos a utilizar os resultados das avaliaes como feedback para
o redirecionamento dos programas, participaro da implementao desses resultados, tero alguma
condio de contornar possveis resistncias s mudanas decorrentes dos resultados da avaliao
e, principalmente, comearo a conviver com a prtica da avaliao e, aos poucos, internalizar
seus valores, fortalecendo a funo avaliao no governo.
d)
Financiamento da avaliao
Os recursos destinados s avaliaes no so visveis ou localizveis no Oramento Geral da
Unio referente aos exerccios de 2000 e 2001. Todos os entrevistados afirmam que no existem
recursos especficos destinados avaliao e que os recursos utilizados esto diludos no
oramento de cada ministrio. Pelo fato de a avaliao ter sido realizada pelos prprios servidores,
sem contratao de consultores externos, os custos foram absorvidos pelos ministrios. Os rgos
do governo arcaram, portanto, somente com as despesas de pessoal e demais despesas
administrativas, sem a realizao de uma contabilizao especfica, ficando tal despesa diluda em
seus oramentos. Esse fato vem confirmar a afirmao de Alonso (1999) quanto a no utilizao,
por parte do governo brasileiro, de contabilidade de custos para apurar os gastos de uma
determinada atividade.
Um entrevistado reconhece a necessidade de um controle de custos em relao cada
atividade mas afirma que hoje no h essa conscincia entre os gestores pblicos: Hoje no passa
pela cabea do gestor pblico que recursos humanos custo. Ele tem um programa, reduo da
mortalidade infantil, ele pensa o que ele gasta de vacina, de alimento, mas ele no pensa quanto
custa de recursos humanos que esto disposio dele. um exemplo. Ressalta, ainda, que o
entendimento, a assimilao e a utilizao de uma contabilidade de custos exigem uma perspectiva
de mudana de longo prazo e no momento atual, apenas esto sendo dados os primeiros passos.
Os seis entrevistados afirmaram que no h uma estimativa de custo da avaliao - em
quaisquer dos trs nveis de avaliao e, tambm, no tm conhecimento de estudos ou pesquisas
em andamento que auxiliem as instituies pblicas a estabelecerem esse custo. A esse respeito os
entrevistados esclarecem que o Ministrio do Planejamento, Oramento e Gesto est finalizando
entendimentos para a assinatura de contrato a ser firmado com o Banco Mundial cujas aes vo
contemplar a integrao do sistema de planejamento, gesto e avaliao, o aprimoramento do atual
modelo de avaliao, capacitao de pessoal e intercmbio de experincias. Existe a inteno de, a
partir de projetos-piloto, iniciar a contabilizao de custos da atividade de avaliao.
Um entrevistado sugere a criao de um fundo para o financiamento das avaliaes. Ele
esclarece que o fato de a avaliao ter sido realizada de uma forma muito geral, padronizada para
141

Gestin pblica por resultados y programacin plurianual

todos os programas, basicamente com recursos de pessoal disponveis no oramento, permitiu uma
grande abrangncia em relao aos setores nos quais o governo atua mas, por outro lado, as
especificidades de cada setor no puderam ser bem exploradas: (...) existe um termo de
compromisso entre abrangncia e profundidade. Ns ganhamos em abrangncia e perdemos em
profundidade. Informou ainda, a inteno de, nas prximas avaliaes, manter esse processo
amplo de baixo custo para o governo e agregar novas experincias em um conjunto de
programas especfico, com avaliaes mais profundas e tcnicas apropriadas a setores particulares.
e)
Difuso dos resultados da avaliao
A divulgao do produto final das avaliaes, o Relatrio Anual de Avaliao Exerccio
2000, foi direcionada a dois segmentos de pblico: interno e externo. O segmento interno
constituiu-se da Presidncia da Repblica e dos Ministrios. O segmento externo foi constitudo
pelo Congresso Nacional e os resultados, tambm, foram disponibilizados para o pblico em geral
pela internet.
Os ministrios receberam apenas a comunicao formal quanto disponibilizao do
relatrio final no site do Ministrio do Planejamento, Oramento e Gesto. Houve a inteno em se
promover um debate com todos os rgos do governo antes do encaminhamento dos resultados ao
Congresso Nacional, mas os prazos no foram suficientes para a realizao de uma ampla
discusso. Segundo Ala-Harja e Helgason (2000), necessria a formao de grupos de discusso
ou a promoo de seminrios e oficinas para o estabelecimento de um dilogo quanto aos
resultados da avaliao. Outro entrevistado tambm ressalta a importncia dessa discusso interna:
Mais do que a divulgao, imprescindvel a discusso. Divulgar, discutir e agir sobre os
resultados da avaliao em cada caso. Seqncias absolutamente integrantes do processo de
avaliao. Voc no avalia para produzir relatrios. Voc avalia para poder corrigir. Essa
preocupao com relao conexo entre os resultados da avaliao e a ao corroborada na
literatura por Faria (in Rico,1996, p. 7): No Brasil, os problemas detectados na avaliao no so
analisados de modo que contribuam para o aprimoramento do programa.
Um entrevistado reconhece a necessidade de uma discusso com especialistas de institutos
de pesquisa e da academia, no somente com relao aos resultados da avaliao mas, sobretudo,
quanto ao processo. Outro entrevistado argumenta que o governo no foi agressivo com relao
divulgao das avaliaes mas que o Legislativo pode desempenhar esse papel de divulgador na
medida em que os parlamentares despertarem a ateno da sociedade para algum aspecto especfico
da avaliao. Tambm reconheceu-se que no houve uma boa articulao entre o Executivo e o
Congresso, no sentido da promoo de uma discusso sobre os resultados da avaliao: Ns
deveramos ter combinado com as comisses debates seletivos, comisso por comisso, as
comisses permanentes ou, mesmo, a comisso mista de oramento, plano e debate sobre o
relatrio.
O relatrio encaminhado ao Congresso no esgota as informaes produzidas pela avaliao:
(...) no mandamos tudo ao Congresso, porque entendamos que algumas coisas deveriam ser
melhor trabalhadas com os ministrios setoriais. Quando eu digo isso, eu lembro que todo o
material foi para o Congresso com uma nica exceo que foi a matriz de impacto. O
entrevistado justifica o no encaminhamento da matriz de impacto, que correlacionava os
resultados dos programas aos objetivos estratgicos de cada ministrio, apontando as dificuldades
que alguns ministrios enfrentaram principalmente com relao capacitao de pessoal e ao
resultado no satisfatrio dessa etapa de avaliao. Vale ressaltar que uma primeira proposta para o
processo de avaliao, expressa no Manual de Elaborao e Gesto de 1999, contemplava apenas
duas etapas: a avaliao do gerente e a avaliao do Ministrio do Planejamento, Oramento e
Gesto. Entretanto, para que cada Ministro tivesse uma viso geral de seus setores, criou-se essa
etapa intermediria, avaliao setorial, que, na prtica, no correspondeu s expectativas. Os
142

CEPAL - SERIE Seminarios y conferencias

N 29

entrevistados reconhecem as deficincias das avaliaes de alguns ministrios e a necessidade de se


repensar essa fase do processo para as avaliaes futuras.
Com relao divulgao dos resultados da avaliao para os demais segmentos sociais, a
iniciativa do governo foi no sentido de disponibilizar o relatrio no site do Ministrio do
Planejamento, Oramento e Gesto, na ntegra, tal qual encaminhado ao Congresso Nacional. Dois
entrevistados ressaltam que esse meio de divulgao no atinge a sociedade como um todo uma vez
que somente uma pequena parcela da populao com maior renda e melhor nvel educacional
tem acesso internet.
A legislao e os documentos oficiais do governo apresentam a inteno de transparncia
quanto aos resultados das aes governamentais. Entende-se que a disponibilizao do relatrio na
internet no denota a transparncia pretendida uma vez que a linguagem do relatrio tcnica
caracterstica e apropriada a esse tipo de documento e no est decodificada para que a
sociedade possa compreender o contedo da mensagem. Um entrevistado entende que seria
necessria a divulgao de alguma forma impressa, didtica e clara, similar a uma cartilha. Outro
entrevistado explica que o governo estruturou um site, denominado abrasil (www.abrasil.gov.br),
que apresenta os resultados das aes do governo, com uma linguagem um pouco mais popular
para pessoas que no sabem o que empenhado, realizado . Esse site disponibiliza informaes
sobre as aes do Avana Brasil, com histrias de sucesso, dividido em sees com ttulos e
contedos de fcil compreenso (Vida na cidade, Vida no campo, Lazer e cultura, Um futuro
melhor, Vida saudvel, Eu trabalhador, Produzindo o Brasil e Construindo o Brasil). Conforme
descrito no prprio site, sua finalidade apresentar histrias de sucesso portanto, difunde apenas
as imagens positivas e no as imagens reais referentes situao em que se encontra cada um dos
programas.
Um entrevistado esclarece que elaborar um relatrio e public-lo um simples ato
burocrtico que no atinge os diferentes segmentos sociais. No seu entendimento, as audincias
pblicas so atos democrticos mas que, tambm, no tm alcance social: Quem tem dinheiro
para vir Cmara dos Deputados para uma audincia pblica? Vou para uma capital e fao uma
audincia pblica... Quem tem acesso a essa audincia pblica? As audincias no so to
pblicas assim mas, de qualquer maneira, no deixa de ser um ato democrtico de exposio, de
discusso. Ele entende que a divulgao um ato de compromisso com a sociedade e prope
debates por segmentos de usurios interessados: Por exemplo na rea do PRONAF [Programa
Nacional de Agricultura Familiar], para citar um, faria isso com os agricultores, com os conselhos.
Existem 1056 conselhos de desenvolvimento rural do PRONAF. com eles que eu acho que se
deve discutir. Mas o gerente que vai discutir. o governo que vai l, apresentar isso. E faz disso
um processo de tomada de deciso. a onde eu acho que se altera o curso da divulgao. Claro,
eu posso falar de outros programas nesses conselhos, se houver necessidade ou se houver
demanda mas eu acho que tem que ser uma coisa mais dirigida, mais orientada para o pblico
interessado. Seno voc no escutado, porque quem escuta no est querendo saber, porque no
lhe interessa, no lhe toca nos seus problemas mais imediatos.
de fundamental importncia a divulgao dos resultados das aes pblicas em uma
linguagem acessvel sociedade, por meio de um canal adequado e, sobretudo, para segmentos
especficos. De acordo com Arretche (in Rico, 1996) a divulgao das avaliaes fundamental
para que a sociedade disponha de elementos que capacite os cidados a exercerem o princpio
democrtico de controlar a eficincia e a eficcia das aes pblicas, de maneira a correlacionar os
gastos pblicos efetuados aos resultados obtidos na implementao das polticas.

143

Gestin pblica por resultados y programacin plurianual

D.

Concluses

Alguns resultados deste estudo podem constituir-se em pontos de reflexo para os dirigentes
pblicos. O primeiro refere-se necessidade de melhor conceituao - nos documentos oficiais do
governo dos elementos que envolvem a avaliao e o seu potencial democrtico. A partir dessa
providncia, naturalmente, surgir uma definio institucional formal de avaliao que congregue
os valores inseridos nesse processo. Outro ponto de reflexo refere-se sensibilizao do primeiro
escalo do governo quanto ao potencial da avaliao como instrumento gerencial e a importncia
da utilizao de seus resultados. Isso implicar em melhor organizao das atividades de avaliao,
maior envolvimento dos dirigentes no processo e poder gerar uma demanda interna mais
especfica. Outra questo importante o investimento na capacitao dos avaliadores visando a
superao de algumas deficincias tcnicas relatadas pelos entrevistados. Outro ponto de ateno
a necessidade da promoo de estudos que auxiliem os gestores a estabelecer os custos da
avaliao e a alocao de recursos especficos para a avaliao no Oramento Geral da Unio,
preferencialmente nos oramentos de cada programa. Outra questo, fundamental, a
decodificao das informaes oriundas da avaliao para a sociedade e a promoo de debates
setoriais, em consonncia com as sugestes apresentadas pelos entrevistados.
Em que pese as deficincias observadas visvel o esforo empreendido pelo governo para a
divulgao dos resultados das aes governamentais. Os valores emanados por meio do discurso
oficial, seja dos documentos de governo ou dos dirigentes pblicos, tendem a se converter em uma
perspectiva vlida e legtima. Esse discurso, certamente, no transformar automaticamente a
realidade institucional e, tampouco, seus valores sero incorporados sem resistncia pela
burocracia. O xito na absoro da proposta do novo processo institucional de avaliao depender,
fundamentalmente, da vontade poltica, da capacidade gerencial de coordenar esforos, da
democratizao do processo e da descoberta de potencial para a internalizao de novos valores.
Tendo em vista os resultados deste trabalho uma proposta de agenda para a pesquisa da
avaliao no Brasil incluiria os seguintes aspectos: identificar como o processo de avaliao
percebido pelos avaliadores do governo e se esta percepo convergente com o discurso dos
dirigentes e dos documentos oficiais do governo; investigar a influncia dos resultados dessa
avaliao no processo de tomada de deciso e na alocao dos recursos oramentrios para os
prximos anos; pesquisar a utilizao dos resultados da avaliao, por parte do Congresso Nacional

E.

Bibliografia referenciada

Ala-Harja, Marjukka & Helgason, Sigurdur. Em direo s melhores prticas de avaliao. Revista do Servio
Pblico, Braslia, ano 51, n 4, p. 5 - 60, out-dez 2000.
Albaek, E. Knowledge, interests and the many meanings of evaluation: A developmental perspective.
Scandinavian Journal of Social Welfare, n 7, 1998, p. 94-98.
Alonso, Marcos. Custos no servio pblico. Revista do Servio Pblico, Braslia, ENAP, ano 50, n.1,
Jan./Mar, 1999.
Amparn, Juan P. G. La evaluacin de polticas pblicas: enfoques tericos y realidades en nueve pases
desarrollados. Gestin e Poltica Pblica, Mxico, v. IV, n 1, 1 sem. 1995, p. 47- 115.
Arretche, Marta. Tendncias no Estudo sobre Avaliao. In RICO, Elizabeth M. et al. Avaliao de Polticas
Sociais: uma questo em debate. So Paulo, Cortez, 1998.
Bouckaert, Geert. Calidad y cantidad en el anlisis de las polticas pblicas. Gestin y Anlisis de Polticas
Pblicas, Madrid, n 11-12, jan-ago 1998, p. 5-22.
Brasil. Constituio Repblica Federativa do Brasil, 1988.
___Lei 9.276, de 10 de maio de 1996.
___Lei 9.625, de 7 de abril de 1998.
___Lei 9.989, de 21 de julho de 2000.

144

CEPAL - SERIE Seminarios y conferencias

N 29

___Lei 10.180, de 6 de fevereiro de 2001.


___Decreto 3.750, de 14 de fevereiro de 2001.
___Decreto 3.260, de 24 de novembro de 1999.
___Decreto 2.829, de 29 de outubro de 1998.
___Decreto 68.003, de 28 de julho de 1971.
___Plano Plurianual 2000-2003, 1999.
___Oramento Geral da Unio, exerccio 2000.
___Oramento Geral da Unio, exerccio 2001.
___Mensagem do Presidente da Repblica ao Congresso Nacional, encaminhando o Oramento Geral da
Unio para 2002.
Cotta, Tereza Cristina. Metodologias de Avaliao de Programas e Projetos Sociais: anlise de resultados e de
impacto. Revista do Servio Pblico, Braslia, ano 49, n 2, p. 105 - 126, abr-jun 1998.
Dahler-Lardsen, Peter. Surviving the routinization of evaluation: The administrative use of evaluations in
Danish municipalities. Administration & Society; Beverly Hills, v. 32, n 1, Mar 2000, p. 70-92.
Derlien, Hans-Ulrich. Una comparacin internacional en la evaluacin de las polticas pblicas. Gestin y
Anlisis de Polticas Pblicas, n 11-12, jan-ago 1998, p. 13-22.
Faria, Regina. Avaliao de Programas Sociais: evolues e tendncias. In RICO, Elizabeth M. et al.
Avaliao de Polticas Sociais: uma questo em debate. So Paulo, Cortez, 1998.
Galvo, Lavnia & Ghirlanda, Marta. Plano Plurianual 2000-2003: revolucionando o planejamento. Trabalho
apresentado na 52 Reunio Anual da Sociedade Brasileira para o Progresso da Cincia SBPC, 2000.
Garcia, Ronaldo Coutinho. Avaliao de Aes Governamentais: pontos para um comeo de conversa. IPEA,
Braslia: 1997.
___A Reorganizao do Processo de Planejamento do Governo Federal: O PPA 2000-2003. Texto para
discusso n 726, IPEA, Braslia: maio de 2000.
___Subsdios para Organizar Avaliaes da Ao Governamental. Texto para discusso n 776, IPEA,
Braslia: janeiro de 2001.
Holanda, Nilson. Relatrio sobre a Experincia Brasileira e o Caso do Brasil em Ao. Projeto de
Fortalecimento da Funo Avaliao na Amrica Latina. IPEA/BID, Braslia: 1999.
Meyer, J. W. e B. Rowan. Institutionalized Organizations: Formal Structure as Myth and Ceremony, in J. W.
Meyer e R. W. Scott, Organizational Environments. Ritual and Rationality. London: Sage Publications,
1992.
MINISTRIO do Planejamento, Oramento e Gesto. Portaria 117, de 12 de novembro de 1998.
___Portaria 42, de 14 de abril de 1999.
___PPA 2000 - Manual de Avaliao -PPA 2000-2003. Braslia, 2000.
___PPA 2000 Relatrio Anual de Avaliao Exerccio 2000. Braslia, abril de 2001.
Rico, Elizabeth M. et al. Avaliao de Polticas Sociais: uma questo em debate. So Paulo, Cortez, 1998.
Rist, Ray. Program evaluation and the management of government: patterns & prospects across eigth
nations. New Brunswick: Transaction, 1999.
Rodrigues, Heliana B. C. A. et al. Grupos e instituicoes em anlise. Rio de janeiro: Rosa dos Tempos , 1992.
Subirats, Joan. Los instrumentos de las polticas, el debate pblico y el processo de evaluacin. Gestin e
Poltica Pblica, Mxico, v. IV, n 1, 1 sem. 1995, p. 5- 23.
Vedung, Evert. Evaluacin de Politicas Pblicas y Programas. Ministerio de Trabajo y Asuntos Sociales,
Madrid, 1997.
Weiss, Carol H. Evaluation: Methods for Studying Programs and Policies. 2 ed, New Jersey, Prentice Hall,
1998.

145