893 3087 1 PB

AVALIAO DE POLTICAS PBLICAS: por um procedimento
integrado ao ciclo da gesto

Fernanda Carneiro1*
RESUMO
O presente artigo objetiva analisar as dificuldades observadas
na criao de rgos pblicos responsveis por avaliar polticas
pblicas em apoio gesto. A hiptese testada neste artigo tem
como pressuposto que as atividades de avaliao destas polticas
se desenvolveram de forma experimental, de acordo com novos
padres de exigncia internacionais e enquanto o modelo de
Estado assumia novas caractersticas, englobando novas funes.
A metodologia adotada baseia-se em estudo bibliogrfico da
avaliao de polticas pblicas e de sua institucionalizao. Este
artigo busca destacar os desafios encontrados por experts e pelo
governo, quando da avaliao destas polticas, fazendo referncia a
problemas tambm constatados na Frana. Este pas, que inspirou
o modelo de Administrao Pblica no Brasil, tambm apresenta
srias dificuldades em institucionalizar a avaliao das polticas
pblicas de modo a auxiliar na tomada de decises.
Palavras-chave: Polticas Pblicas. Avaliao. Controle. Gesto.
Ministrio do Desenvolvimento Social.
* - Graduao em Direito pela Faculdade Mineira de Direito da Pontifcia Universidade

Catlica de Minas Gerais, Mestrado em Administrao Pblica na Faculdade de Direito
e Cincias Polticas da Universit de Picardie Jules Verne. Encarregada de banco de
dados na CARITAS Dveloppement Uvira, na Repblica Democrtica do Congo (RDC).
Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013
93
Fernanda Carneiro
EVALUACIN DE LAS POLTICAS PBLICAS: por un

procedimiento integrado al ciclo de gestin
Fernanda Carneiro
RESUMEN
94
Este artculo tiene como objetivo analizar las dificultades encontradas

en la creacin de los organismos pblicos responsables para la
evaluacin de las polticas pblicas de apoyo a la gestin. La
hiptesis planteada en este artculo tiene como suposicin que las
actividades de evaluacin de estas polticas se han desarrollado
experimentalmente, de acuerdo con las nuevas normas y padrones
de exigencias internacionales, mientras que el modelo del Estado
asume nuevas caractersticas, abarcando nuevas funciones. Esta
metodologa tiene como base el estudio bibliogrfico de la evaluacin
de las polticas pblicas y su institucionalizacin. En este artculo
se pretende dar a conocer y destacar los desafos que enfrentan
los gobiernos y los experts en la evaluacin de estas polticas,
se hace referencia a problemas constatados en Francia tambin.
Este pas, que inspir el modelo de Administracin Pblica en Brasil,
tambin presenta serias dificultades para la institucionalizacin de la
evaluacin de las polticas pblicas con el fin de ayudar en la toma
de decisiones.
Palabras claves: Polticas Pblicas. Evaluacin. Control. Gestin.
Ministerio de Desarrollo Social.
Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto
EVALUATION OF PUBLIC POLICIES: aiming at procedures

linked to the management cycle
ABSTRACT
This article aims to analyze problems that have been observed with
the creation of public bodies responsible for evaluating public policies
that support decision making. The hypothesis tested in this paper is
based on the assumption that the methods used to evaluate public
policies were developed in an experimental way according to the new
international standards while the State was assuming new roles in
society. The methodology adopted is based on bibliographic research
concerning the evaluation of public policies. This paper highlights the
challenges faced by experts and the government in evaluating public
policies both in this State (Brazil) and in France. France has also
experienced serious difficulties in creating evaluation institutions to
support decision making adequately and constructively. Because
of some similarities between France and Brazil, that country was
chosen as a model for Public Administration in Brazil.
Keywords:
Public Policies. Evaluation. Control. Public

Administration. Social Development Ministry.
95
Fernanda Carneiro
1 INTRODUO
Apesar de existir avaliao de polticas pblicas de forma esparsa

em outros Estados21, foi nos Estados Unidos da Amrica (EUA), que
primeiro se desenvolveu e se colocou em evidncia o processo de
avaliao a favor destas polticas, inspirando-se no modelo do setor
privado e com objetivos inicialmente de accountability32.
96
importante salientar que a metodologia de avaliao de polticas

pblicas34 varia de acordo com a evoluo destas polticas e do
paradigma de Estado em que se est inserido. Assim, os indicadores
utilizados deixaram de ser meramente quantitativos com objetivos
de se verificar os custos e fiscalizar as aes pblicas, para incluir
aqueles qualitativos. Importantes momentos na histria conduziram
a uma evoluo dos antigos indicadores, que passaram a ser
insuficientes para avaliar os programas polticos implementados,
seja pela complexidade que estes passaram a adquirir, seja por uma
1 - Existem dados que demonstram a utilizao de mtodos de avaliao pelo Estado

j em 1773. Nesta data, enquetes foram realizadas por parte do Ministrio da Marinha
da Frana, cujo objetivo era averiguar nos portos quais eram as vantagens e os
inconvenientes dos diversos trabalhos que estavam sendo realizados, podendo medir
o savoir faire das matrias que estavam sendo desenvolvidas nos arsenais (DUPUIS,
1998).
2 - Com todos os conflitos polticos que possam envolver os resultados de estudos
de avaliao, inegvel seu papel de produzir accountability. Embora esse termo
seja muitas vezes traduzido como responsabilizao, Ozlak (2005) observa que ele
se refere a um processo de prestao de contas; no entanto, o termo accountability
conota a prpria obrigao de se prestar contas, assumida voluntariamente pelo
sujeito, sem necessidade da interveno de um terceiro para exigi-la. Essa distino
crucial, pois a obrigao faz parte dos valores e, portanto, da cultura; no precisando,
necessariamente, ser exigida por outros. A meno ao termo accountability evocaria,
de imediato, relao com as noes de transparncia, eficincia, eficcia, bom governo,
autonomia, controle, servio ao cidado, legitimidade, ou, inclusive, democracia. E
tambm pareceria associada a seus opostos: arbitrariedade, opacidade, corrupo,
ineficincia, autoritarismo etc. (VAITSMAN, 2011, p.22).
3 - As polticas pblicas so aqui entendidas como o resultado dos jogos de poder,
de interesses diversos, que se materializam em decises emitidas pelo poder pblico
no exerccio de suas funes atribudas pela Constituio e que desenham suas
prioridades de governo atravs de planos, programas, aes realizados com o intuito
de equacionar problemas econmicos e sociais.
mudana dos parmetros de avaliao, que passam a ser visados

na tomada de decises, quando, por exemplo, a satisfao dos
beneficirios passou a ser considerada uma medida de interesse
para a gesto.
O novo modelo de Welfare State, desenvolvido no governo de
Roosevelt e motivado pelos reflexos sociais da quebra da bolsa de
valores em 1929, fez desenvolver e ampliar as funes do Estado,
sendo um fator propulsor para o desenvolvimento de mtodos
para a avaliao dos resultados das polticas pblicas sociais. Foi
por meio deste novo paradigma que os Estados arrogaram para si
uma srie de responsabilidades sociais, o que exigiu dos gestores a
implementao de aes e programas com objetivos de minimizar as
desigualdades sociais, melhorar a qualidade e o acesso educao,
entre outros.
A avaliao das aes adotadas pelo Estado foi fortemente
influenciada pelo setor privado e adquiriu maior evidncia junto
ideia de boa performance da mquina pblica, na qual o contribuinte
passa a ser visto como cliente dos servios prestados pelo Estado.
Nesse contexto, o princpio da transparncia visado e a boa
governana passa a ser o ideal a ser almejado pela gesto pblica.
Destes novos conceitos, a institucionalizao da avaliao se
apresenta como elemento essencial e intrnseco prpria poltica
pblica por ser o meio capaz de identificar os resultados do projeto,
seus impactos, avaliar seus meios, aportando transparncia ao setor
pblico, evidenciando a importncia da ao empreendida e dos seus
resultados.
A institucionalizao de diferentes mecanismos
de accountability, entre os quais a avaliao,
tornou-se parte da governana nos Estados
democrticos e onde existem diferentes
mecanismos de prestao de contas. No Brasil,
essa institucionalizao parte do processo
97
Fernanda Carneiro
mais amplo e construo da democracia e da

profissionalizao (VAITSMAN, 2011, p.22).
Etimologicamente, o ato de avaliar o ato de atribuir valor a algo,

podendo-se depreender em que medida ele pode ser considerado
positivo ou negativo. A avaliao apresenta-se, assim, como um
processo por meio do qual se pode conhecer das polticas pblicas,
desde seu projeto sua implementao, sendo capaz de avaliar
desde a viabilidade dos projetos at os seus resultados e impactos.
Ela permite se mesurar as aes empreendidas ou almejadas pelo
Estado, tendo como base alguns referenciais definidos, o que faz
dela um elemento bastante importante gesto por ser o capaz de
auxili-la na tomada de decises45, seja para rever os projetos, seja
para alterar o curso de sua execuo.
98
Os referenciais tomados em um processo de avaliao so um

conjunto de indicadores capazes de informar: (1) da pertinncia
dos problemas observados na realidade e os objetivos almejados
pelo projeto, respondendo ento pergunta se ele seria capaz de
tanger aqueles problemas que motivaram a sua criao; (2) podese verificar tambm a coerncia entre os meios propostos e seus
objetivos, buscando responder seguinte pergunta: seriam os meios
escolhidos capazes de atingir os objetivos previstos?; (3) uma vez
implementado o projeto, pode-se depreender da eficcia do mesmo,
ou seja, se ele foi capaz de atingir os resultados esperados e se ele
os atingiu completa ou parcialmente; (4) ainda, pode-se medir se o
meio utilizado foi eficiente, verificando a relao de custo e tempo
4 - Na verdade, a ao pblica caracterizada por incoerncias, ambiguidades e
incertezas em todos os estgios em todos os momentos. Qualquer poltica pblica
em grande parte um esforo de coordenao de foras centrfugas que operam no
interior da prpria mquina estatal e na sociedade. A formulao de polticas , com
muita frequncia, marcada pelo fato de que os decisores no sabem exatamente o
que eles querem, nem o resultado possvel das polticas formuladas, bem como pelo
fato de que as polticas adotadas so o resultado de um processo de negociao no
qual o desenho original de um programa substancialmente modificados. (JOBERT;
MULLER, 1987 apud ARRETCHE, 1998).
despendido para a obteno dos resultados; (5) aps os resultados,

ainda se pode depreender da utilidade do projeto, buscando verificar
se os impactos do projeto tenham, ou no, efetivamente corroborado
para a soluo dos problemas observados e que motivaram a
elaborao do mesmo (VIVEA, 2005, p.4).
De acordo com o seu objeto, a avaliao pode ter as seguintes
dimenses:
a) Processos: estudos sobre os pontos que
favorecem ou dificultam os processos de
implementao da poltica ou programa, ai
includos seus desenho, dimenses organizacionais
e institucionais.
b) Resultados, que englobam: - desempenho (ou
resultados em um sentido estrito, outcomes): que
se refere aos produtos do programa, tais como
definidos em suas metas; - impacto: mudanas
na situao dos beneficirios, provocadas
diretamente pelo programa. As avaliaes de
impacto procuram, por meio de desenhos quaseexperimentais, comparar dois grupos similares
da populao, medindo as diferenas observadas
entre os dois grupos, decorrentes da exposio e
da nao exposicao a um programa;
c) efeitos: outros resultados do programa, sociais
ou institucionais, esperados ou no, que acabam
se produzindo em decorrncia do programa
(VAITSMAN, 2006, p.22).
A avaliao serve para melhorar a administrao pblica, no

correspondendo com as aes de simples auditoria de performance,
nem com o controle de regularidade jurdica. Essa ferramenta
contribui modernizao da gesto da administrao e dos servios
pblicos, eficincia da despesa pblica e ao desenvolvimento da
responsabilidade como prestao de contas. Por meio dela que
se pode conhecer a ao, fruto da poltica pblica, demonstrando
seus limites e impactos. Ela permite padronizar as apresentaes,
99
Fernanda Carneiro
multiplicar e melhor controlar as fontes e as bases de dados, preparar

snteses, responder s falsas argumentaes e aos rumores. Ela um
meio para a boa governana, eis que est inserida em um conjunto
de processos da produo de conhecimento, securizando todas
as partes interessadas: os eleitos, aqueles com cargo de deciso
dentro da administrao pblica e tambm os cidados, garantindo
a transparncia das aes do governo (BASL, 2001).
Apesar de ser um importante meio para a gesto, as avaliaes
das polticas pblicas sofrem crticas por serem parciais,56 passando
tambm por certos obstculos, tanto culturais quanto polticos. A
avaliao pode ser objeto de lutas institucionais e de controvrsias
semnticas e ideolgicas, podendo ser percebida como uma ameaa
legitimidade poltica. No entanto, para que seu resultado seja
eficaz, faz-se necessria a sua apropriao pela gesto, que deve
estar sensibilizada para a sua importncia e utilidade (OHNET, 1998).
100
Deste modo, o presente artigo busca averiguar quais seriam os

desafios para uma efetiva avaliao das polticas pblicas, objetivando
analisar quais seriam as dificuldades enfrentadas para se estruturar
uma avaliao que apoia a gesto na conduo das polticas pblicas.
A hiptese a ser testada tem como pressuposto que as atividades de
avaliao dessas polticas se desenvolveram de forma experimental,
junto ao prprio desenvolvimento das funes do Estado e em
conformidade com novos padres de exigncia internacionais.
5 - certo que qualquer forma de avaliao envolve necessariamente um julgamento,
vale dizer, trata-se precipuamente de atribuir um valor, uma medida de aprovao ou
desaprovao a uma poltica ou programa pblico particular, de analis-la a partir
de uma certa concepo de justia (explcita ou implcita). Neste sentido, no existe
possibilidade de que qualquer modalidade de avaliao ou anlise de polticas pblicas
possa ser apenas instrumental, tcnica ou neutra. Nesta perspectiva, qualquer linha
de abordagem das polticas pblicas supe, de parte do analista, um conjunto de
princpios cuja demonstrao no limite, impossvel, dado que corresponde a opes
valorativas pessoais. Neste sentido, o uso adequado dos instrumentos de anlise e
avaliao so fundamentais para que no se confunda opes pessoais com resultados
de pesquisa (ARRETCHE, 1998, p. 29).
A metodologia adotada baseou-se em pesquisa bibliogrfica

sobre a evoluo da avaliao de polticas pblicas, observando
particularmente o Ministrio do Desenvolvimento Social e Combate
Fome (MDS). Neste artigo, ser realizado o levantamento dos
desafios observados na avaliao de polticas pblicas, fazendo
referncia a problemas encontrados na Frana, pas que inspirou
a Administrao Pblica do Brasil, mas que apresenta srias
dificuldades de institucionalizar a avaliao de suas polticas. Para
tanto, este estudo dividido em duas partes. Na primeira, dedicase evoluo dos processos de avaliao dentro do contexto dos
ministrios, informando dos novos desafios que prope as polticas
pblicas sociais. Na segunda parte, dedica-se aos desafios de se
formar uma cultura de avaliao na perspectiva dos gestores,
salientando as crticas formuladas por estes.

2 A EVOLUO DA INSTITUCIONALIZAO DA
AVALIAO DAS POLTICAS PBLICAS
A cultura da avaliao de polticas pblicas um novo movimento, que
encontra seu fundamento no paradigma do Estado democrtico de
Direito, sendo essencial para efetivar os princpios da administrao
pblica, previstos no art. 37, da Constituio Federal de 198867. Alguns
autores falam sobre a nova gesto pblica como uma mudana de
perspectiva na Administrao Pblica. Por meio dela, tem-se uma
anlise mais abrangente das questes sociais, com um tratamento
interdisciplinar e multisetorial obrigatrio destas. Alm disto,
devido maior exigncia da sociedade nos pases democrticos, a
6 - Art. 37: A administrao Pblica direta e indireta de qualquer dos Poderes da

Unio, dos Estados, do Distrito Federal e dos Municpios obedecer aos princpios de
legalidade, impessoalidade, moralidade, publicidade e eficincia [...] (BRASIL, 1988).
101
Fernanda Carneiro
transparncia e o accountability87 passam a ser exigidos dos gestores

(NASCIMENTO, 2008). Essas exigncias, portanto, se alteraram de
acordo com a evoluo da sociedade.

2.1 A institucionalizao da avaliao: de uma
avaliao-controle a uma avaliao integrada ao ciclo da
gesto
Pela Constituio Federal de 1967, pode-se verificar uma grande
preocupao do Estado quanto fiscalizao financeira e
oramentria da Unio89. Neste contexto, foi criado o controle interno,
102
rgo integrado ao controle poltico. O artigo 72 desta constituio

incluiu a avaliao de resultados dentre uma das competncias de
controle elencadas. Assim, a avaliao prevista pela Constituio de
1967 era realizada por um rgo de controle, que corroborava com
o controle externo para a eficcia dele e para a regularidade das
receitas e despesas dos rgos de gesto.
Em 1979, o governo de Delfim Neto havia definido que a auditoria
passaria a incluir a avaliao dos resultados, alm das funes de
conformidade legal e de verificao quanto forma, traando uma
certa confuso entre o que se entende como avaliao e o que se
entende como controle. Na Constituio de 1988, as funes do
7 - A institucionalizao de diferentes mecanismos de accountability, entre os quais

a avaliao, tornou-se parte da governana nos Estados democrticos e onde existem
diferentes mecanismos de prestao de contas. No Brasil, essa institucionalizao
parte do processo mais amplo e construo da democracia e da profissionalizao
(VAITSMAN, 2011, p. 22).
8 - Art. 71 - A fiscalizao financeira e oramentria da Unio ser exercida pelo
Congresso Nacional atravs de controle externo, e dos sistemas de controle interno
do Poder Executivo, institudos por lei [...].
Art. 72 - O Poder Executivo manter sistema de controle interno, visando a: I - criar
condies indispensveis para eficcia do controle externo e para assegurar
regularidade realizao da receita e da despesa; II - acompanhar a execuo de
programas de trabalho e do oramento; III - avaliar os resultados alcanados pelos
administradores e verificar a execuo dos contratos (BRASIL, 1967).
Controle Interno foram estendidas como pode se constatar pelo

trecho citado abaixo:
Art. 74. Os Poderes Legislativo, Executivo e
Judicirio mantero, de forma integrada, sistema
de controle interno com a finalidade de:
I - avaliar o cumprimento das metas
previstas no plano plurianual, a execuo
dos programas de governo e dos oramentos
da Unio;
II - comprovar a legalidade e avaliar os resultados,
quanto eficcia e eficincia, da gesto
oramentria, financeira e patrimonial nos rgos
e entidades da administrao federal, bem como
da aplicao de recursos pblicos por entidades
de direito privado;
III - exercer o controle das operaes de crdito,
avais e garantias, bem como dos direitos e
haveres da Unio;
IV - apoiar o controle externo no exerccio de sua
misso institucional.
1 Os responsveis pelo controle interno, ao
tomarem conhecimento de qualquer irregularidade
ou ilegalidade, dela daro cincia ao Tribunal de
Contas da Unio, sob pena de responsabilidade
solidria.
2 Qualquer cidado, partido poltico, associao
ou sindicato parte legtima para, na forma da lei,
denunciar irregularidades ou ilegalidades perante
o Tribunal de Contas da Unio (BRASIL, 1988).
Apesar das finalidades de avaliar a execuo do plano plurianual

e da execuo dos programas de governo terem adquirido maior
definio e destaque nesta Constituio, o controle interno continua
sendo o responsvel pela funo de controlar, arrogando para si a
funo de controle e avaliao ao mesmo tempo.
103
Fernanda Carneiro
O incio da dcada de 90 vivenciou o impeachment do governo Collor

e o escndalo dos anes do oramento. A explicao utilizada
para a crise institucional vivida pelo Estado se deu na fragilidade
dos controles da administrao pblica e, particularmente, do
controle interno. Ento, foram feitas propostas de reforma deste
rgo como soluo institucional para a crise de legitimidade que
se encontrava. Assim, foi criada a Secretaria Federal de Controle
(SFC) para coordenar as secretarias de controle Interno (Chiste)910,
104
antes ligadas aos Ministrios, que passaram a ser dirigidas pela SFC.
Os dirigentes deste novo rgo se comprometeram a fiscalizar as
prticas dos agentes com independncia e autonomia e cumprir
o dever constitucional de avaliar a execuo de metas fsicas de
programas de governo na gesto, que ainda no era eficaz (GARCIA,
2011). Deste modo, o controle interno, localizado insuficientemente
prximo da gesto para ser considerado dela e insuficientemente
distante para ser considerado um rgo externo, passa a viver um
paradoxo institucional: como avaliar os programas de governo para
melhorar a gesto e realizar o controle da gesto?
Dentro do controle interno foi realizada uma diviso entre as
funes de auditoria e de avaliao de resultado, que recebeu o
nome de fiscalizao. Ambas acabaram por permanecer com o fim
de controlar a ao do gestor e verificar se as aes empreendidas
9 - Sigla originada de Controle Interno Setorial.

seriam capazes de atingir os resultados esperados1011. Deste modo,

utilizava-se da avaliao de resultado como meio de se verificar a
conformidade daquilo que foi proposto pelo gestor e daquilo que era
executado, no deixando de ser um controle e sem efetivamente
poder auxiliar o gestor.
Se a avaliao for considerada apenas um
acessrio na gesto de polticas sociais, ou como
uma pesquisa social realizada de forma espordica
e/ou pontualmente, o seu aspecto tcnicooperativo pode ganhar um carter puramente
instrumental, no qual a construo de modelos
avaliativos pode apresentar-se como uma sada
sedutora no sentido de facilitar e disseminar
processos avaliativos.
Sob este enfoque, a avaliao cumpre um papel
mais de controle, para verificar se as aes esto
sendo desenvolvidas conforme o planejado, ou
se os resultados previstos foram atingidos. Neste
caso h um srio risco de burocratizao do
processo avaliativo, visto mais como uma funo
gerencial, geradora de dados e informaes,
do que como uma opo tcnico-poltica de
gesto, cuja finalidade conhecer e transformar
determinadas dimenses da realidade social
10 - A rea da auditoria concebia o trabalho da SFC como aplicao de um conjunto

de protocolos ou normas de auditoria geralmente aceitas para avaliar a gesto pblica
ou a execuo de aes do governo. Tratava-se da obteno e avaliao objetiva de
evidncias a respeito da execuo de aes governo e de eventos administrativos para
verificao do grau de correspondncia (quantitativa ou qualitativa) deles em relao
aos critrios estabelecidos, tais como legislao, regras operacionais e especificao
de produtos e servios. Nessa viso, no se tratava de indicar para o gestor o
que ele deveria fazer, mas de verificar se o gestor fez ou no aquilo que
era esperado que ele fizesse, at mesmo, na fiscalizao dos programas de
governo. [...].
Conforme se depreende, tanto a rea de fiscalizao, quanto a de auditoria
incorporaram o discurso do controle de resultados em seus procedimentos. Contudo,
a condio das duas reas para atender s novas demandas era bastante diferente.
A definio da recm-constituda rea de fiscalizao era fiscalizar a execuo das
aes governamentais, e o seu foco era precisamente ser capaz de identificar se
a execuo estava ocorrendo de forma a permitir o alcance dos resultados
desejados (GARCIA, 2011, p. 152).
105
Fernanda Carneiro
e/ou modificar o prprio planejamento desta

(ROMERA; PAULILO, 2006, p.13).
Enquanto no exterior j se podia encontrar atividades de

institucionalizao da avaliao dos programas de governo, no Brasil
ainda se caminhava a passos bastante tmidos. Durante o governo
Thatcher, na dcada de 80, o governo britnico, que assistia a um
novo movimento na Administrao do Estado, adotou diversas
iniciativas com o intuito de criar organismos com competncia para
avaliar os resultados obtidos dos novos programas implementados.
Enquanto isto, no Brasil, observava-se que estas aes eram
esparsas, sem haver uma uniformidade de mtodos, nem uma
instituio responsvel para desenvolver a avaliao.1112
106
At a criao do Ministrio do Desenvolvimento Social e Combate

Fome, em 20041213, no havia se observado grande evoluo na funo
de avaliao de polticas pblicas. Entretanto, dada a sua criao,
os investimentos pblicos em programas com fins sociais cresceram
exponencialmente. Tratando-se de projetos mais complexos,
que buscam realizar uma interveno em uma realidade social, a
avaliao passou a ser uma ferramenta necessria gesto, seja
como reflexo das presses exercidas por organismos internacionais,
seja para mostrar os resultados das aes empreendidas e garantir
maior legitimidade destas, justificando-se o capital investido.
Assim, o MDS foi o primeiro ministrio no Brasil a criar um rgo
responsvel por realizar as avaliaes de seus projetos, a Secretaria
11 - BERLARDONI; SOUZA; PEIXE, 2008.

12 - Medida provisria n.163, de 23 de janeiro de 2004, transformada na Lei n.10.868,
de 13 de maio de 2004.
de Avaliao e Gesto da Informao (SAGI)1314, institucionalizando a

avaliao como uma ferramenta da gesto.
Com a centralizao da funo de avaliao
na SAGI, a unidade tornou-se responsvel por
realizar ou contratar todos os estudos de avaliao
referentes aos programas do Ministrio. Tambm
ficou a cargo da capacitao dos gestores com o
objetivo de fornecer-lhes maior competncia para
definir suas demandas; debater as metodologias
especialmente, apropriar-se dos resultados das
investigaes para a melhoria dos programas e
polticas sob sua gesto (VAITSMAN, 2011, p.28).
No entanto, a avaliao de programas sociais apresenta obstculos

prprios natureza desta interveno1415, que at ento no tinha
sido enfrentada de forma institucional pelas gestes anteriores.
Desvendando novos caminhos, a SAGI teve grande abertura para
se desenvolver, o que se deu, segundo Vaitsman, muitas vezes, de
forma experimental1516.
13 - O Ministrio do desenvolvimento Social e Combate Fome (MDS) tem se destacado

por ser o primeiro a institucionalizar uma secretaria especializada em avaliao e
gesto da informao; a qual tem contratado estudos, promovido treinamentos e
implementado sistemticas para o monitoramento de polticas de transferncia de
renda, assistncia social e segurana alimentar. A secretaria de Avaliao e Gesto da
Informao (SAGI) responsvel por grande volume de estudos, pesquisas de linha
de base, surveys de beneficirios e avaliaes de impacto, produzidos para subsidiar
as polticas sociais (BORGES, 2011, p.7).
14 - A avaliao de programas e projetos sociais possui complexidades e especificidades
prprias. As polticas e programas sociais, desde sua deciso, implementao e
execuo, esto impregnadas por valores, pautas culturais, demandas e expresses
mltiplas dos diversos sujeitos intervenientes, sejam eles gestores, executores e/ou
beneficirios. Portanto, esse campo permeado por embates e representaes da
ao que influenciam processos e resultados. Os impactos de uma determinada ao
social podem ser mltiplos, derivados de vrias causas e fatores (ROMERA; PAULILO,
2006, p.10).
15 - Como o MDS era uma estrutura recm-criada, sem procedimentos j estabelecidos
para a montagem da rea de avaliao e monitoramento, a no ser uma portaria
designando as atribuies da secretaria e seus departamentos, houve bastante
espao para iniciativa e criatividade para a definio dos caminhos a serem seguidos,
por meio de um processo que implicou vrias vezes, e importante reconhecer, ensaio
e erro (VAITSMAN, 2006, p.18).
107
Fernanda Carneiro

2.2 As mudanas dos indicadores utilizados para a
avaliao de polticas pblicas
108
As primeiras avaliaes de polticas pblicas para combater a misria

se deram, a partir de 1930, nos Estados Unidos da Amrica, obtendo
maior expresso na dcada de 1960, quando o financiamento
destas polticas passa a ser mais significativo. No incio, buscavase determinar apenas a eficincia e a eficcia de polticas sociais,
dando incio indstria da pesquisa avaliativa, surgindo revistas
especializadas, cursos de graduao e ps-graduao, centros de
pesquisa, treinamentos, instrumentos de medio, o que transformou
a anlise neste setor como um campo de pesquisa especfico. As
primeiras abordagens de avaliao se inspiravam nas cincias exatas
e com o rigor de se isolar as variveis das cincias experimentais. A
avaliao buscava mensurar o real, baseando-se na estatstica para
definir indicadores de resultados, enfatizando na quantificao das
metas, dos objetivos e dos resultados obtidos pelos projetos.
Na dcada subsequente, a avaliao de polticas pblicas passou a
sofrer a influncia das cincias sociais e da aplicao avaliativa no
mbito da educao, questionando a adequao dos mtodos que
utilizavam de indicadores meramente quantitativos, incorporando
mtodos de estudo com indicadores qualitativos para se apreender
da dinmica de um programa social. Assim, buscou-se, por meio da
avaliao, entender a dinmica de um programa social: seu contexto,
o que foi efetivamente executado, a relao entre os objetivos e os
resultados do programa - mensurando seu desempenho.
J os mtodos avaliativos contemporneos conseguiram transcender
as prticas que foram at ento aplicadas, valorizando ambas as
abordagens, tanto quantitativa quanto qualitativa, com uma viso
mais pluralista do que aquelas que haviam sido utilizadas at
ento. No Brasil, isso se deu como resultado de pelo menos dois
fenmenos, observados nos anos 70 e 80: a presso exercida por

rgos internacionais e a presso exercida pelos prprios movimentos
sociais. Os grandes vultos de dinheiro a serem investidos em
projetos sociais, oriundos de organizaes internacionais, estavam
condicionados realizao de avaliao, logo, para se receber toda
a quantia disponibilizada, fazia-se necessrio avaliar o que j se
tinha feito, vindo a proporcionar a realizao de avaliaes com fins
economtricos. Na dcada de 80, houve um aprofundamento das
crticas realizadas pelos movimentos sociais poltica social realizada,
seja pelo mau uso de recursos pblicos, seja pelos poucos resultados
observados - os esforos avaliativos neste contexto se deram para
mudar o desempenho ou a atuao de uma poltica social para
torn-la mais eficiente, eficaz e efetiva, critrios que passaram a ser
pesados para o Estado1617.
Atualmente os critrios de eficincia, eficcia e efetividade devem ser
rigorosamente observados, desde a elaborao de um programa at
a sua implementao. Esta supervalorizao destes padres sofre
influncias do accountability e do conceito de boa governana1718,
em que a transparncia na administrao meio e fim, o que
permite a efetiva participao dos cidados que agora tm acesso
s informaes importantes a respeito da conduo do Estado. No
entanto, estes critrios, no contexto das polticas sociais, passam
por uma srie de obstculos para se obter um resultado conclusivo.
Na Frana, com a Reforma Geral da Poltica Pblica (RGPP), que
teve incio no final da dcada passada, novos indicadores passaram
a integrar os processos de avaliao das polticas pblicas. Esta
16 - ROMERA; PAULILO, 2006.
17 - Lvaluation promet dtre un des moyens de la bonne gouvernance moderne.
Elle sinscrit en effet dans un ensemble de processus de production de connaissances
concourant scuriser toutes les parties prenantes de laction publique: les lus, les
dcideurs publics mais aussi les citoyens par la meilleure connaissance, la meilleure
construction de la connaissance la plus scientifique possible et la prise en compte
demble des ncessits de communiquer sur laction publique (BASL, 2001, p.19).
109
Fernanda Carneiro
reforma participa de um movimento para melhorar a qualidade do

servio pblico prestado, diminuindo as despesas e garantindo a
transparncia das avaliaes. Por meio desta reforma, os servios
pblicos passaram a ser avaliados de acordo com a qualidade da
prestao, passando a englobar tambm indicadores de satisfao
dos beneficirios. Esta reforma produto dos objetivos de boa
governana na Frana, tendo acrescido, em nvel institucional, novos
valores ao processo de avaliao das polticas pblicas1819.
3 OS DESAFIOS PARA UMA CULTURA DE AVALIAO
NA TOMADA DE DECISES
110
Os critrios de avaliao se alteraram desde as primeiras avaliaes,

realizadas no incio do sculo XX, at chegar aos dias atuais, quando
se pode observar a utilizao de indicadores qualitativos precisos e
uma busca pela tecnizao da rea. No entanto, seja pelo histrico
de utilizao da avaliao como mtodo de controle, seja pela prpria
natureza da avaliao de polticas pblicas, a institucionalizao
destes mtodos encontra uma srie de desafios para se tornar eficaz.

3.1 Avaliao ou libi: como superar anos de controle
para integrar a avaliao no ciclo da gesto
Apesar da diferenciao entre controle e avaliao ser questionvel
por alguns autores, quando se foca nos objetivos da avaliao que
pode se perceber a grande diferena entre esses dois mecanismos,
esta diferena est no animus da avaliao, na sua razo de ser.
Enquanto no controle, as avaliaes realizadas tm o fim de fiscalizar,
averiguar se a execuo de programas est em conformidade com
o que havia sido previsto e em conformidade com a lei, a avaliao
tem como objetivo produzir conhecimento a respeito de programas,
entender da sua implementao e dos seus resultados. a partir da
18 - LEGGE, 2011.
avaliao que se pode refletir sobre os impactos e os meios utilizados,

garantindo ao gestor informaes essenciais sobre o programa, para
que ele possa tomar decises, garantindo a eficcia das aes.1920
A avaliao no se aproxima das misses tradicionais de controle
financeiro ou de inspeo. As funes de avaliao no correspondem
s misses pblicas tradicionais de inspeo, de controle ou mesmo
de simples auditoria de performances. Elas no buscam mais controlar
a regularidade jurdica de uma ao pblica. Pode-se, no entanto,
avaliar os efeitos econmicos ou outros de uma regulamentao.
A avaliao no um simples estudo, mas uma verdadeira
ferramenta ao servio da estratgia pblica, uma contribuio
tomada de decises, contribuindo, assim, modernizao da gesto
de administrao e de servios pblicos, eficcia da despesa
pblica, bem como ao desenvolvimento da responsabilizao, do
debate pblico, e das prticas de prestao de contas no seio das
organizaes e das prticas de confrontao com o olhar externo
(BASLE, 2001, p.18).
Apesar de a avaliao se distanciar do controle em seus objetivos,
ainda existem gestores que no se sentem confiantes com a realizao
de avaliaes de seus programas, mesmo que essas avaliaes
sirvam para auxili-los na gesto. Uma das dificuldades elencadas
para a institucionalizao da SAGI foi esta confuso comumente
realizada entre avaliao e fiscalizao.
Como observou Wildawsky, h muitos anos, as
organizaes no gostam de ser avaliadas (1979).
Era comum a confuso entre, por um lado,
avaliao e, por outro, fiscalizao e controle, o
19 - [...]le contrle fait partie de la mission des fonctionnaires eux-mmes, qui

doivent vrifier que tout a t mis en uvre comme prvu, quon na viol aucune
loi, quon a t intgre dans la gestion; lvaluation, qui doit tre plus distancie,
en situation dextriorit, cherche savoir dune part quels sont les rsultats dune
politique publique et dautre part quoi a sert (CROZIER, 1998).
111
Fernanda Carneiro
que produziu alguma resistncia em relao ao

papel da SAGI (VAITSMAN, 2006, p.17).
So, no entanto, diversos os motivos para tanto, entre eles, o que mais
se destaca encontra fundamento em um medo de que a avaliao
pudesse ser usada para fins polticos, podendo deixar o gestor em
situao desconfortvel com os eleitores, caso os resultados de seu
programa no fossem os esperados, ou que em uma avaliao no
se conseguisse depreender impactos positivos para o problema que
se almejava resolver com a sua implementao. Este medo parece
ser comum no somente no Brasil, mas tambm na Frana, que
tem apresentado dificuldades de institucionalizar a avaliao de suas
polticas pblicas.
112
Seria presunoso pensar que assim em pouco

tempo nossa coletividade2021 teria se colocado
em dia com a avaliao... Assim como voc a
sugere na sua questo, a avaliao traz medo
em algum lugar, pois por trs desta palavra,
banal at ento e tambm pouco empregada
pelos polticos, poderia bem se esconder uma
forma de controle e, portanto, colocando em
questo as decises tomadas pelos responsveis,
mandatrios pelo sufrgio de eleitores. Mas de
fato que se reclame uma maior transparncia
da gesto pblica uma realidade que no se
consegue fugir (BOUNIOL, 2001, p. 24, traduzido
pela autora).
Michel Crozier2122, em entrevista realizada para o caderno de avaliaes

de polticas pblicas da revista Pouvoirs Locaux (1998), constata
que os funcionrios pblicos da Frana, de um modo geral, tm
tendncia de no querer ver as consequncias concretas do seu
20 - Seria equivalente a um municpio no Brasil.
21 - Socilogo fundador do Centro de Sociologia das Organizaes (CSO) junto
ao CNRS (Centro Nacional de Pesquisa Cientfica da Frana - Centre National de
Recherche Scientifique).
trabalho realizado, optando assim por uma realidade abstrata e

distante. Quando perguntado do motivo do atraso que a Frana se
encontrava em 1998 para a realizao de avaliaes das polticas
pblicas, sua resposta foi digna de reflexo:
A resposta sua questo (por que que ela
[avaliao da poltica pblica] no funciona
na Frana?) de certa forma simples: ela no
funciona porque a Frana se tornou vtima
de seu modelo de regularidade jacobina, que
teve sua nobreza [...]. O peso essencial deste
sistema , evidentemente, a centralizao,
produzindo um modo de organizao hierrquico,
uma administrao pletrica, muito difcil de
se reformar e onde impossvel, por razes
sistmicas, trabalhar em termos de programas,
de objetivos e de avaliao de resultados: neste
sistema centralizado, necessrio compreender
que a administra o uma fortaleza. Ela
bem colocada sob a autoridade de um poder
legislativo e executivo eleito pelos cidados,
que lhe conferem legitimidade, mas ao mesmo
tempo, esta legitimidade absoluta protege e isola
a administrao, que se tornou intocvel. a
velha tradio do direito francs que quer que os
agentes do rei no sejam jamais incomodados,
pois so cobertos pela autoridade soberana
(CROZIER, 1998, p.44-45, traduzido pela autora).
Este socilogo fala sobre a importncia de sair de uma lgica de

culpabilidade e de comear uma lgica de dilogo, de trocas em que
o cidado pudesse ser ouvido e exercer influncia. No entanto, a
prpria lgica do sistema dificulta esta distino, eis que o governante
francs, bem como o brasileiro em um primeiro momento, no soube
estabelecer uma distino clara entre controle e avaliao. Na Frana,
atribui-se Cour des comptes, rgo semelhante ao Tribunal de
Contas da Unio (TCU), a funo de realizar a avaliao. Segundo
esse pesquisador, os funcionrios desta corte teriam passado a
113
Fernanda Carneiro
monopolizar a avaliao de tudo aquilo que pudesse ameaar a

gesto, mantendo-se na perspectiva de controle. (CROZIER, 1998).
114
Obviamente que se os conceitos de controle e avaliao no so

suficientemente claros institucionalmente, eles no o sero tambm
para os gestores, o que colabora com o medo da avaliao. No Brasil,
o controle interno assumiu o papel da avaliao, a princpio tida como
fiscalizao. Na tese da Leice Maria Garcia (2011), encontra-se uma
anlise de como o controle interno enxergaria seu papel e qual seria
a viso que os gestores teriam deste rgo. Por meio desta anlise,
evidenciou-se uma crise de identidade do controle interno que,
diferentemente da sua prpria percepo, ele foi percebido pelos
gestores como um ente que auxilia o gestor de forma limitada, pois
seu foco seria de verificar se os gestores estariam ou no fazendo
aquilo que a legislao define, agindo como se os gestores fossem
corruptos. Esta percepo dos gestores quanto conduta do controle
interno, evidenciada na tese supracitada, se assemelha crtica de
Crozier sobre a avaliao exercida pelo rgo de controle na Frana.
Sendo assim, resta claro que, para desenvolver uma cultura de
avaliao, faz-se necessrio que, em primeiro lugar, as diferenas
entre controle e avaliao sejam bem definidas para as instituies,
delineando de forma transparente as suas funes e seus objetivos.
Em um contexto de indefinio dos papis exercidos, seja pelos
rgos de controle, seja pelos de avaliao, no se tem um ambiente
favorvel construo de uma cultura de avaliao. Foi para
ultrapassar este obstculo, garantindo gesto meios de legitimar
sua ao e demonstrar os resultados e impactos de seus programas,
que o Ministrio do Desenvolvimento Social criou a SAGI2223. Tendo o

ministrio como o destinatrio das avaliaes, estas so feitas em
conformidade com os seus interesses e, por isto, atendendo suas
necessidades.
3.2 Desafios salientados na avaliao de polticas
pblicas
Conforme se observou pela seo anterior, a indeterminao do
conceito do controle e da avaliao se apresenta como um obstculo
para que os gestores pudessem ter interesse em integrar as prticas
de avaliao gesto. No entanto, existem outros elementos que
tambm so enfatizados na literatura como outros empecilhos para
se institucionalizar, bem como para se realizar avaliaes junto aos
rgos de gesto.

3.2.1 Da banalizao da profisso de avaliador criao
de associaes profissionais
A existncia de uma banalizao profissional2324 do exerccio de
avaliar j foi considerada um desafio para se consolidar a cultura
de avaliao nos rgos estatais. Somente com a criao de redes e
associaes de profissionais em avaliao, criadas especialmente para
o exerccio da avaliao de polticas pblicas e com a consolidao
e legitimao destes, que se pde comear a construir uma
22 - No Brasil, a expanso dos sistemas de avaliao integrados s estruturas

governamentais vem produzindo algumas mudanas no mbito da gesto das
polticas pblicas. Com alguma tradio nas reas da educao e da sade, mais
recentemente, a avaliao tem sido institucionalizada na rea de proteo social no
contributiva, conquistando cada vez maior legitimidade como atividade mais integrada
ao processo das polticas (VAITSMAN, 2011, p.20).
23 - DUPUIS, 1998.
115
Fernanda Carneiro
verdadeira profissionalizao desta carreira2425e permitir o intercmbio

dos profissionais a fim de produzir e partilhar conhecimentos em
matria de avaliao.
de responsabilidade das mais altas autoridades
do Estado e das coletividades territoriais2526 em
concurso com organismos independentes, como
a Sociedade Francesa de Avaliao2627, o dever
de promover a cultura de avaliao em nosso
pas [Frana] por todos os meios apropriados.
Aes de apoio s coletividades territoriais,
independentemente de sua importncia, so
necessrias afim de reforar a vulgarizao da
avaliao e desenvolver o conhecimento e os
intercmbios de boas prticas. Se tornou urgente
a este respeito, que o CNFPT [Centro Nacional
da Funo Pblica Territorial] considere a
avaliao como uma ferramenta fundamental aos
elaboradores e gestores de polticas pblicas [...]
(BOUNIOUL, 2001, 24-25, traduo da autora).
116
No Brasil, em poucos anos, esta profissionalizao tem se desenvolvido

de modo vertiginoso junto a uma nova cultura de avaliao que,
apesar dos obstculos, vem se inserindo na gesto pblica.
[] no existia, em quaisquer das organizaes
anteriores, uma cultura de avaliao, ou seja,
um conjunto de prticas e crenas legitimando
a avaliao como parte da gesto de programas
e polticas. Pelo contrrio, havia grande
24 - No Brasil com a Rede Brasileira de Monitoramento e Avaliao, e na Frana
com a Sociedade Francesa de Avaliao, criada em junho de 1999, ambas criadas
tardiamente, eis que em diversos pases j se tinha sociedades especializadas nesta
funo. Destacando-se os anglo-saxes como a Sociedade de Avaliao Canadense,
criada em 1981; nos EUA com a Sociedade Americana de Avaliao, criada em 1994;
na Austrlia com a Sociedade Australiana de Avaliao, entre outras.
25 - A Frana divida em trs unidades territoriais descentralizadas (Rgion,
Dpartement e Commune), com personalidade jurdica autnoma.
26 - A Sociedade Francesa de Avaliao (SFE) uma associao sem fins lucrativos,
que acolhe todos aqueles que detm um interesse na avaliao. Ela tem por vocao
contribuir ao desenvolvimento da avaliao e de promover sua utilizao nas
concepes e implementaes de aes pblicas e de toda ao de interesse pblico,
fazendo progredir as tcnicas, mtodos, procedimentos e princpios ticos.
desconhecimento no apenas do significado,

mas tambm da prpria funo avaliao
e monitoramento. No Brasil, a integrao
dessa funo ao planejamento e gesto
governamental envolvendo uma concepo de
administrao pblica transparente e voltada
para resultados ainda no se institucionalizou
como prtica normal2728, ou seja, incorporada
viso de mundo de certa comunidade, no caso
tanto os gestores e dirigentes governamentais
como os demais atores envolvidos em polticas e
programas especficos (VAITSMAN, 2006, p.16).
Cinco anos depois desta publicao, foi realizado o III Seminrio da

Rede Brasileira de Monitoramento e Avaliao, com a participao
de especialistas em avaliao de programas internacionais. Nesta
ocasio, o cenrio da avaliao no Brasil era diferente.
O fato de j existirem mais de 1.700 membros
na Rede Brasileira de Monitoramento e Avaliao
uma clara evidncia do rpido crescimento da
profisso avaliao no Brasil - ou pelo menos
o reconhecimento por muitos indivduos e
instituies de que h um importante papel a ser
desempenhado pela avaliao no fornecimento
de feedback sobre a evoluo dos programas e
sobre o fornecimento de informaes que visam
a melhorar programas e a sua eficcia (RUGH,
2011, p. 99).
Enquanto no trecho publicado em 2006, fala-se de um incio de uma

institucionalizao da cultura de avaliao, em que destacaram as
adversidades dadas pelo desconhecimento do que seria a funo de
avaliao e da sua importncia; no trecho extrado de uma entrevista
realizada, em 2011, com um especialista em avaliao, o seu ponto
27 - O termo normal usado no sentido dado por Kuhn (1992) ideia de cincia
normal, que consiste no conjunto de valores, prticas, procedimentos, mtodos,
enfim, em uma viso de mundo que caracteriza as prticas e discursos aceitos como
legtimos e necessrios dentro de um paradigma cientfico em determinado momento
histrico (VAITSMAN, 2006, p.16).
117
Fernanda Carneiro
de vista foi bastante otimista no sentido de j se perceber um

rpido crescimento dessa profisso, que tardiamente teve seu incio
propulsionado pela criao da SAGI.
3.2.2 Avaliao como uma atividade tcnica e cujos fins
so polticos
118
certo que nenhuma avaliao pode ser neutra, j que o prprio

ato de avaliar de aportar valor a algo, ser capaz de critic-lo,
considerando-o positivo ou negativo. Para se ter resultados confiveis
imperativo que o expert, ao exercer essa atividade, seja o mais
tcnico o possvel, buscando se distanciar do objeto de sua pesquisa
para, assim, trazer tona o que se passa de fato com o programa
avaliado. Esse distanciamento, no entanto, no se d de modo
absoluto, eis que esta atividade deve ser realizada para o gestor
com o objetivo de melhorar o desempenho de seus programas e de
entender os impactos deles. Logo, dialogar com o gestor antes da
anlise para tentar entender o que para ele mais importante na
avaliao e quais so suas dvidas, essencial para que o resultado
da anlise possa ser til gesto.
Deste modo, a avaliao passa por uma dualidade de ser um
produto tcnico, mas que visa a atender os interesses dos gestores
e somente se realiza de forma eficaz com a participao deles. Por
isso, necessrio desenvolver uma relao de confiana entre rgo
de avaliao e os gestores2829, elemento este que foi considerado um
dos fatores que permitiram o sucesso da instituio da SAGI junto ao
28 - Importncia da confiana para a criao e institucionalizao de uma estrutura
de avaliao, exigindo legitimidade e adeso dos membros da organizao- acreditar
na relevncia e cooperar. Com a criao da SAGI, coube diferenciar atividades de
controle e avaliao. [...] O convencimento dos membros da organizao e, sobretudo,
dos gestores de que as informaes produzidas por monitoramento e avaliao
possibilitariam no apenas melhorar o desempenho dos programas, mas tambm
verificar se os resultados previstos estavam sendo alcanados, assim como possveis
reformulaes, consistiu em uma etapa necessria do processo de institucionalizao
(VAITSMAN, 2011, p.21).
MDS, lembrando-se que ultrapassar um longo histrico de controle e

fiscalizao para se adentrar em uma nova perspectiva de avaliao,
cujo primordial intuito de melhorar o desempenho de polticas
pblicas, no tarefa fcil. Ainda, deve-se pesar o contedo sensvel
de uma avaliao de programas polticos que podem ser usados
com fins polticos como, por exemplo, a utilizao dos resultados de
uma avaliao de uma poltica pblica que no conseguiu alcanar
os resultados esperados, ser usada como campanha poltica para
adversrios polticos2930. Este seria um dos exemplos bem comum,
quando se confunde a avaliao de um programa com a avaliao
de um poltico.
A confluncia entre produo de conhecimento e
poltica, tpica do campo da avaliao, estreita-se
quando o que est em jogo so programas com
grande visibilidade poltica e social e, sobretudo,
quando a legitimidade e a eficcia desses
programas so contestadas por atores com alto
poder de vocalizao e formao de agenda.
Por outro lado, a existncia da avaliao como
mecanismo institucionalizado produz no apenas
mudanas de atitudes em relao aos mecanismos
de melhoria da ao governamental, mas induz
tambm um debate poltico mais bem informado
sobre polticas e programas. Se a avaliao
como instrumento de gesto pode ser capaz de
produzir maior clareza e debate pblico sobre
as polticas, somente a poltica poder produzir
transformaes nas polticas (VAITSMAN, 2011,
p.21).
29 - Nas sociedades democrticas contemporneas, em que atores governamentais e
no governamentais participam e disputam polticas, os resultados dos estudos acabam
tendo efeitos polticos, principalmente quando revelam aspectos no esperados
ou contrrios aos objetivos que haviam sido previstos para o programa avaliado.
Resultados, quando divulgados, podem ser usados tanto para tomadas de decises
por parte dos gestores contratantes da avaliao, quanto por outros atores envolvidos
na disputa por determinada agenda poltica. Uma vez que atores e interesses existem
dentro e fora das estruturas governamentais, a divulgao de resultados de avaliao,
ainda que internamente, tambm pode assumir uma conotao poltica. A divulgao
externa de resultados sempre repercute sobre gestores, dirigentes e a comunidade de
polticas envolvidos nos programas avaliados (VAITSMAN, 2011, p.21).
119
Fernanda Carneiro
3.2.3 Dificuldades de se depreender os impactos de
uma poltica pblica

As polticas pblicas tm caractersticas prprias, apresentando
obstculos especficos na realizao de avaliaes. A complexidade
dos objetivos e dos problemas sociais torna difcil mensurar os
impactos de um programa implementado, bem como estabelecer
nexo causal entre uma mudana que se constatou e a ao realizada.
120
O termo avaliao refere-se mensurao

do impacto de intervenes, tais como a
participao em um programa de treinamento
ou recebimento de uma transferncia de renda
de um programa social, sobre os efeitos de
interesse. O termo efeito refere-se a mudanas
no status das variveis relevantes. O problema
central na avaliao de impacto a inferncia
de uma conexo causal entre o tratamento (a
participao em um determinado programa) e o
efeito. A relevncia das avaliaes de impacto
direta, pois seus efeitos podem ser associados a
programas sociais ou melhorias em programas
existentes para atingir os objetivos da poltica
social (OLIVEIRA, 2007, p.23).
Neste campo, observa-se que os recursos investidos so insuficientes

para resolver as demandas sociais. Uma vez que os investimentos
em programas sociais so nfimos em relao aos problemas que
se prope resolver3031, no se consegue saber com exatido quais os
impactos de uma ao. No entanto, apesar de no se saber precisar
quais seriam estes impactos, o que seria daquela realidade sem a
existncia dos projetos executados?3132
30 - O paradoxo de uma poltica cujos meios so nfimos ao olhar de seus fins que
faz parecer bem duvidoso que se pudesse medir seus efeitos (EPSTEIN, 2000, p.34,
traduzido pela autora).
31 - La politique de la ville na pas rsolu les problmes quelle prtend traiter mais
quen aurait-il t sans elle? (EPSTEIN, 2000, p 34).
O fato de existirem diversas aes sociais segmentadas e do tempo

necessrio para se obter resultados destas aes, d origem a
outro problema: a dificuldade de se poder apontar com clareza os
responsveis pelas mudanas sociais observadas. Isto, muitas das
vezes, um desestimulador de se realizar as prprias polticas sociais,
cujos frutos somente sero observados dcadas mais tarde e depois
de diversas intervenes, no se podendo precisar quem teria sido o
responsvel pelas mudanas. Isso pode dar origem a outra fonte de
tenso: quando um gestor se beneficia dos resultados de programas
investidos em outras gestes, arrogando para si a responsabilidade
de uma mudana social, que foi percebida durante a sua gesto, mas
que teve origem nas gestes anteriores.

3.2.4 Do tempo e dos custos de se realizar uma avaliao
No se pode negar que a realizao de uma avaliao tambm tem

seu peso. Os gestores acabam por ter que avaliar a convenincia
da avaliao, pois no faria sentido ter uma avaliao com um
custo maior do que o programa que se quer avaliado. Por outro
lado, uma avaliao que finalizar anos depois do fim do mandato
da gesto ser, para ele, incua. Assim os recursos e o tempo so
limitados dentro das condies do gestor, devendo o avaliador, quase
sempre, se adaptar a estas condies para realizar sua atividade,
estabelecendo com o gestor um dilogo sobre as suas possibilidades
e necessidades.
[...] Se algum aprendeu tcnicas de pesquisa
em seu curso de graduao e depois foi
convidado a conduzir uma avaliao de um
projeto ou programa de desenvolvimento social,
esta pessoa vai aprender rapidamente que os
dados, o tempo e os recursos financeiros que
ela iria estimar como necessrios para realizar
um projeto de pesquisa ideal simplesmente no
esto disponveis. No mundo real, as avaliaes
tm que ser realizadas sob restries de vrios
121
Fernanda Carneiro
tipos. Concomitantemente, os clientes esperam

que as avaliaes sejam rigorosas o suficiente
para convencer seus acionistas ou pblico-alvo de
que elas so suficientemente confiveis e vlidas
(RUGH, 2011, p.96).
122
No trecho supracitado, o pesquisador apresenta um paradoxo: como

ser rigoroso na avaliao sem os meios adequados para s-lo. No
entanto, o limite de tempo e recursos financeiros existem em todas
as reas da avaliao, seja no setor pblico, seja privado. Quando
uma empresa decide saber qual a opinio dos seus consumidores
sobre um produto lanado, ela ir tambm estabelecer limites para
essa pesquisa. A questo que se tem deriva da caracterstica dos
projetos sociais, cujos resultados demoram anos para se apresentar
e, quando se apresentam, foram tantas atividades segmentadas em
seu curso e so tantas as variveis envolvidas, que no se pode
atribuir a uma gesto ou a outra, com exatido, o sucesso ou o
insucesso dos impactos observados. Neste contexto de complexas
variveis e de longos termos para se obter os impactos, os empecilhos
de tempo e custo de uma avaliao so, muitas vezes, levados em
grande considerao pelos gestores.
No se pode negligenciar os custos de uma avaliao. O relatrio da
SAGI, publicado em 2006, informa que os gastos para a avaliao
do programa Bolsa Famlia foi de quase nove milhes de dlares,
conforme se verifica pela tabela abaixo. Ainda, devendo-se levar em
considerao os custos institucionais de criao e funcionamento da

prpria SAGI.33
Tabela 1 - Recursos investidos em pesquisas e programas
entre 2004 e 2005
(Continua)
Recursos Investidos (US$)
Programas Sociais
do MDS
Pesquisas(a)
Programa (b)
Relao Entre
os recurso
investidos em
pesquisa e os
recurso dos
programas (a)/
(b) (%)
Bolsa Famlia
8,863.499.09
4,310,657,583,64
0,206
BPC
265,909.09
6,039,267,162.89
0,004
Sentinela
129,545.45
27,809,127.27
0,466
PETI
1,495,454.55
426,190,622,73
0,351
Agente Jovem
239,714.77
53,035,616.98
0,452
PAIF
3,377,727.27
56,497,363.64
5,979
PAA
680,545.45
91,801,216.70
0,741
PAA-Leite
115,863.64
76,631,793.64
0,151
Cisternas
225,301.72
53,319,197.35
0,423
33 - Do ponto de vista dos custos da Secretaria de Avaliao e Gesto da Informao,

levando em conta o fato de que a unidade foi montada praticamente a partir do zero,
em cerca de dois anos de atividades, investiu-se os seguintes recursos: em pessoal,
cerca de 3,8 milhes de reais (US$ 1,7 milho) entre servidores pblicos, terceirizados,
consultores nacionais e internacionais em diferentes funes, inclusive seus gastos
com passagens e dirias. Em equipamentos de informtica, sem considerar os custos
de instalao e manuteno da rede, que e custeada pelo oramento do ministrio
como um todo, gastou-se, ate abril de 2006, cerca de R$ 1 milho (US$ 440 mil)
em aquisicao de servidores, computadores, impressoras e softwares; em cursos de
capacitacao e treinamento, investiu-se cerca de R$ 400 mil (US$ 176 mil). Desde
2004 ate hoje, as pesquisas contratadas e em contratacao totalizam pouco mais de
R$ 35 milhoes (US$ 15,9 milhoes), o que representa o maior percentual de nossos
investimentos, que chega a R$ 40,6 milhoes (US$ 18,4 milhoes), embora corresponda
a menos de 1% dos recursos investidos nos programas implementados. Isso tudo,
sem contar os recursos ja empenhados, mas ainda nao executados, alem dos recursos
fisicos e estrutura, utilizados pela Secretaria, mas orados e administrados no mbito
da gestao do MDS. O Anexo IV apresenta os recursos investidos em pesquisas e
programas (VAITSMAN, 2006, p. 19).
123
Fernanda Carneiro
(Concluso)
Recursos Investidos (US$)
Programas Sociais
do MDS
Pesquisas(a)
Programa (b)
Relao Entre
os recurso
investidos em
pesquisa e os
recurso dos
programas (a)/
(b) (%)
Restaurantes Populares
63,869.55
40,059,543.25
0,159
Educao Alimentar
159,090.1
6,256,411.36
2,543
Cestas de Alimentos
209,090.91
61,434,895.36
0,340
Bando de Alimentos
90,909.09
2,848,377.09
3,192
TOTAL
15,916,521.50
11,245,798,910.89
0,142
Fonte: SAGI, 2006

a- Recursos investidos nos programas em 2004 e 2005
b- Inclui todas as avaliaes (2004-2006)
4 CONCLUSES
124
A avaliao de polticas pblicas uma nova cultura que sai das mos
dos experts, para o campo da tomada de decises e apresenta-se
ao debate pblico. Apesar de ter sido usada com fins meramente de
controle, e, portanto, limitada em seus objetivos e meios, hoje ela se
distancia das funes de controle, adquire maior complexidade e se
apresenta como uma ferramenta de apoio gesto. Ela especial,
pois trata de uma matria motivada pelo interesse pblico e est
alinhada aos ideais de boa governana e transparncia da gesto
pblica. por meio dela que, ao gestor, garantida a possibilidade
de avaliar o desempenho de seus programas e melhor-los.
Como se viu, a avaliao das polticas pblicas tem uma caracterstica
poltico-gerencial, guardando uma dualidade de ser uma rea
tcnica e poltica ao mesmo tempo. Por tratar de um tipo de
conhecimento que pode produzir alta carga poltica sobre programas
ou valores em disputa, o fato de institucionalizar esta atividade
favorece a comunicao entre gestor e avaliador, permitindo uma

profissionalizao da prpria gesto e garantindo aos cidados a
prestao de contas das atividades da gesto.
Obviamente, a avaliao deve ser de interesse da gesto. Eis que
por meio dela que a gesto poder conhecer da implementao dos
programas e de seus resultados, garantindo um maior desempenho
e at mesmo legitimando a sua ao e o investimento realizado com
verbas pblicas. Desse modo, a realizao da avaliao benfica
a todos os interessados, seja ao Estado, seja aos gestores, seja aos
cidados. Por surgir de uma tica diversa a do controle, a avaliao
tem como cliente, em um primeiro momento, o gestor, pois ele
quem vai demandar a avaliao de seus programas e ele quem
ser capaz de aportar mudanas aos programas implementados
com o fim de melhor-los. Para isto, uma relao de confiana entre
gestor e avaliador deve se formar, o que somente ser possvel se as
instituies de avaliao forem separadas das de controle.
Sendo assim, o gestor deve encarar os desafios observados quando
da avaliao de polticas pblicas (tempo, custo, impactos em longo
termo), buscando focar naquilo que for de mais importante para a
gesto. E tendo sempre em vista quais so os objetivos do que se
quer saber sobre o programa, dos recursos financeiros disponveis e
do tempo em que se quer obter resultados. Assim, esta ferramenta
ser otimizada para apoiar o gestor na criao, implementao e
desenvolvimento de polticas pblicas, garantindo a sua eficcia e
eficincia e profissionalizando a gesto.
Apesar da constante confuso que se faz entre a avaliao da poltica
pblica e a avaliao do gestor, somente com a promoo da prpria
cultura de avaliao seria capaz de ultrapassar esta dificuldade para
permitir que a avaliao pudesse ser efetivamente utilizada pelo
gestor na tomada de decises.
125
Fernanda Carneiro
REFERNCIAS
ARRETCHE, Marta T.S.. Tendncias no Estudo sobre Avaliao. In:
RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma
questo em debate. So Paulo: Cortez Editora, 1998. p. 29-40.
BASL, Maurice. Evaluation: la bonne fentre 2000-2003.
Pouvoirs Locaux, Cahier dvaluation des politiques publiques,
n.49, p.17-20, nov. 2001.
BORGES et al. A Rede Brasileira de Monitoramento e Avaliao: um
relato do processo de sua criao e desenvolvimento. In: BRASIL.
Ministrio do Desenvolvimento Social e Combate Fome. Revista
Brasileira de Monitoramento e Avaliao, p.04-17. Braslia,
DF: MDS; SAGI, n. 1, 2011. 139p. (Edio de Lanamento).
126
BOUNIOUL, Julien. Entrevista realizada por OHNET, JeanMarc. In:Lvaluation sur le terrain. Pouvoirs Locaux, Cahier
dvaluation des politiques publiques, n.49, p.21-26, nov. 2001.
BERLARDONI; SOUZA; PEIXE. Fortalecimento da funo de
avaliao de polticas pblicas: estudo de caso do processo de
avaliao das polticas de emprego e renda da Secretaria de Estado
do Trabalho, Emprego e Promoo Social do Paran. Gesto de
Polticas no Paran, Paran, p.381-393, 2008.
BRASIL. Ministrio do Desenvolvimento Social e Combate Fome.
Revista Brasileira de Avaliao e Monitoramento. Braslia,
DF: MDS; SAGI, n. 1, 2011. 139p. (Edio de Lanamento).
BRASIL. Constituio (1967). Constituio da Repblica Federativa
do Brasil de 1967. Braslia, DF, 1967. Disponvel em: <http://www.
planalto.gov.br/ccivil_03/constituicao/constitui%C3%A7ao67.htm>.
Acesso em: 11 mar. 2013.
BRASIL. Constituio (1988). Constituio da Repblica Federativa

do Brasil. Braslia, DF, 1988. Disponvel em: <http://www.planalto.
gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em: 11
mar. 2013.
BRASIL. Medida provisria n.163, de 23 de janeiro de 2004. Altera
a Lei n. 10.683, de maio de 2003, que dispe sobre a organizao
da Presidncia da Repblica e dos Ministrios, e d outras
providncias. Braslia, DF, 2004. Disponvel em: <http://www.
planalto.gov.br/ccivil_03/_Ato2004-2006/2004/Mpv/163.htm>.
BRASIL. Lei n.10.868, de 13 de maio de 2004. Altera a Lei
n. 10.683, de maio de 2003, que dispe sobre a organizao
da Presidncia da Repblica e dos Ministrios, e d outras
providncias. Braslia, DF, 2004. Disponvel em: <http://www.
planalto.gov.br/ccivil_03/_Ato2004-2006/2004/Lei/L10.869.htm>.
CROZIER, Michel. Entrevista realizada por OHNET, Jean-Marc. In:
Michel Crozier:lchec de lvaluation en France tient au modle
jacobin. Pouvoirs Locaux, Cahier dvaluation des politiques
publiques, n.38, p.40-46, III/1998.
DUPUIS, Jrme. Les raisons du faible impact des valuations.
Pouvoirs Locaux, Cahier dvaluation des politiques publiques,
n.38, p.52-59, III/1998.
EPSTEIN, Renaud. Les leons paradoxales de lvaluation de la
politique de la ville. Recherches et prvisions, dossier villes et
logements, n.62, p. 33-41, 2000.
FAGUNDES, H.; MOURA, A. B. Avaliao de programas e polticas
pblicas. Revista Textos & Contextos Porto Alegre, v.8, n.1,
p.89-103, jan./jun. 2009.
127
Fernanda Carneiro
GARCIA, Leice Maria. Anlise do controle interno do poder

executivo federal brasileiro sob a perspectiva de Pierre
Bourdieu: histria social como possibilidade de compreenso da
produo e reproduo de prticas dos agentes. 2011. 237f. Tese
(Doutorado) - Universidade Federal de Minas Gerais, Faculdade
de Cincias Econmicas, Centro de Ps-Graduao e Pesquisa em
Administrao.
LEGGE, Dominique de. La RGPP : un dfi pour les collectivits
territoriales et les territoires (auditions et annexe). 22 juin 2011.
Disponvel em: <http://www.senat.fr/rap/r10-666-2/r10-666-24.
html>. Acesso em: 26 fev. 2013.
128
RUGH, Jim. Entrevista realizada por Mrcia Paterno Joppert por

ocasio da participao no III Seminrio da Rede Brasileira de
Monitoramento e Avaliao, junho de 2011. In: BRASIL. Ministrio
do Desenvolvimento Social e Combate Fome. Revista Brasileira
de Monitoramento e Avaliao, p. 96-99. Braslia, DF: MDS;
SAGI, n. 1, 2011. 139p. (Edio de Lanamento).
NASCIMENTO, Ronaldo Edson (org.), Elaborao, Anlise e
Avaliao de Polticas Pblicas. In: V Semana da Administrao,
Oramentria, Financeira e de Contrataes Pblicas, abr.
2008, p.25.
OHNET, Jean-Marc. Qui a peur de lvaluation? Pouvoirs Locaux,
Cahier dvaluation des politiques publiques, n.38, p.38-39,
III/1998.
OLIVEIRA, Ana M. H. C. de, et (al.). Captulo 1: Primeiros
Resultados da Anlise de Linha de Base da Pesquisa de Avaliao
de Impacto do Programa Bolsa Famlia. In: VAITSMAN, Jeni
(Org.); PAES-SOUSA, Rmulo (Org.). Avaliao de polticas e
programas do MDS: resultados: bolsa famlia e assistncia social.

Braslia, DF: MDS; SAGI, 2007, v. 2. 412 p.
ROMERA, V. M.; PAULILO, M.A.S. Avaliao em polticas sociais:
dimenso constituinte e constitutiva. Revista gora: Polticas
Pblicas e Servio Social, Ano 2, n. 4, jul. 2006. Disponvel em:
<http://www.assistentesocial.com.br>. Acesso em: 25 fev. 2013.
VAITSMAN; PAES-Sousa. A avaliao de programas e
profissionalizao da gesto. In: BRASIL. Ministrio do
Desenvolvimento Social e Combate Fome. Revista Brasileira de
Monitoramento e Avaliao, p.18-36. Braslia, DF: MDS; SAGI,
n. 1, 2011. 139p. (Edio de Lanamento).
VAITSMAN, Jeni; RODRIGUES, Roberto Wagner S; PAES-SOUSA,
Rmulo. O sistema de avaliao e monitoramento das
polticas e programas sociais: a experincia do Ministrio do
Desenvolvimento Social e Combate Fome do Brasil. Braslia, DF:
Unesco, 2006. 77 p.
VIVEA. Fonds pour la formation des Entrepreneurs du Vivea. Fiche
ressource Evaluation, maio 2005, p.25.
Recebido: 18/03/2013
Aprovado: 08/05/2013
129

893 3087 1 PB

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

893 3087 1 PB

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAO DE POLTICAS PBLICAS: por um procedimento

integrado ao ciclo da gesto

* - Graduao em Direito pela Faculdade Mineira de Direito da Pontifcia Universidade

EVALUACIN DE LAS POLTICAS PBLICAS: por un

Este artculo tiene como objetivo analizar las dificultades encontradas

Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

EVALUATION OF PUBLIC POLICIES: aiming at procedures

Public Policies. Evaluation. Control. Public

Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013

Apesar de existir avaliao de polticas pblicas de forma esparsa

importante salientar que a metodologia de avaliao de polticas

1 - Existem dados que demonstram a utilizao de mtodos de avaliao pelo Estado

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

mudana dos parmetros de avaliao, que passam a ser visados

mais amplo e construo da democracia e da

Etimologicamente, o ato de avaliar o ato de atribuir valor a algo,

Os referenciais tomados em um processo de avaliao so um

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

despendido para a obteno dos resultados; (5) aps os resultados,

A avaliao serve para melhorar a administrao pblica, no

multiplicar e melhor controlar as fontes e as bases de dados, preparar

Deste modo, o presente artigo busca averiguar quais seriam os

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

A metodologia adotada baseou-se em pesquisa bibliogrfica

6 - Art. 37: A administrao Pblica direta e indireta de qualquer dos Poderes da

transparncia e o accountability87 passam a ser exigidos dos gestores

rgo integrado ao controle poltico. O artigo 72 desta constituio

7 - A institucionalizao de diferentes mecanismos de accountability, entre os quais

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

Controle Interno foram estendidas como pode se constatar pelo

Apesar das finalidades de avaliar a execuo do plano plurianual

Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013

O incio da dcada de 90 vivenciou o impeachment do governo Collor

9 - Sigla originada de Controle Interno Setorial.

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

seriam capazes de atingir os resultados esperados1011. Deste modo,

10 - A rea da auditoria concebia o trabalho da SFC como aplicao de um conjunto

e/ou modificar o prprio planejamento desta

Enquanto no exterior j se podia encontrar atividades de

At a criao do Ministrio do Desenvolvimento Social e Combate

11 - BERLARDONI; SOUZA; PEIXE, 2008.

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

de Avaliao e Gesto da Informao (SAGI)1314, institucionalizando a

No entanto, a avaliao de programas sociais apresenta obstculos

13 - O Ministrio do desenvolvimento Social e Combate Fome (MDS) tem se destacado

As primeiras avaliaes de polticas pblicas para combater a misria

Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

fenmenos, observados nos anos 70 e 80: a presso exercida por

reforma participa de um movimento para melhorar a qualidade do

Os critrios de avaliao se alteraram desde as primeiras avaliaes,

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

avaliao que se pode refletir sobre os impactos e os meios utilizados,

19 - [...]le contrle fait partie de la mission des fonctionnaires eux-mmes, qui

que produziu alguma resistncia em relao ao

Seria presunoso pensar que assim em pouco

Michel Crozier2122, em entrevista realizada para o caderno de avaliaes

Avaliao de polticas pblicas: por um procedimento integrado ao ciclo da gesto

trabalho realizado, optando assim por uma realidade abstrata e

Este socilogo fala sobre a importncia de sair de uma lgica de

Perspectivas em Polticas Pblicas | Belo Horizonte | Vol. VI | N 11 | P. 93-129 | jan/jun 2013

monopolizar a avaliao de tudo aquilo que pudesse ameaar a