PUBLICADO EM:

RICO, Elizabeth Melo (org.) (1998). Avaliao de Polticas Sociais: Uma Questo em
Debate. So Paulo, Cortez.

TENDNCIAS NO ESTUDO SOBRE AVALIAO1

Marta T. S. Arretche2

1. Introduo

Para melhor precisar o contedo desta pequena controbuio, necessrio

inicialmente distinguir o que se entende por avaliao de uma dada poltica pblica,
distinguindo-a de outras modalidades de avaliao: a avaliao poltica e a anlise de
polticas pblicas.

certo que qualquer forma de avaliao envolve necessariamente um

julgamento, vale dizer, trata-se precipuamente de atribuir um valor, uma medida de
aprovao ou desaprovao a uma poltica ou programa pblico particular, de analis-la a
partir de uma certa concepo de justia (explcita ou implcita). Neste sentido, no existe
possibilidade de que qualquer modalidade de avaliao ou anlise de polticas pblicas
possa ser apenas instrumental, tcnica ou neutra. Nesta perspectiva, qualquer linha de
abordagem das polticas pblicas supe, de parte do analista, um conjunto de princpios
cuja demonstrao , no limite, impossvel, dado que corresponde a opes valorativas
pessoais. Neste sentido, o uso adequado dos instrumentos de anlise e avaliao so
fundamentais para que no se confunda opes pessoais com resultados de pesquisa.

Cada uma das distintas abordagens avaliativas acima mencionadas supe

distintos instrumentos de operao e, por conseqncia, abordagens e concluses de
diferente natureza.

Me explico: por avaliao poltica, entende-se "a anlise e elucidao do

critrio ou critrios que fundamentam determinada poltica: as razes que a tornam

1. Trabalho preparado com base em exposio realizada no Seminrio "Avaliao de Polticas e de Programas
Sociais", organizado pelo Instituto de Estudos Especiais da PUC-SP, de 19 a 2 de junho de 1996.
2. Profa. de Cincia Poltica na UNESP-CAr.
 2

prefervel a qualquer outra" (Figueiredo & Figueiredo, 1986: 2). Neste sentido, a avaliao
poltica pode ressaltar, quer o carter poltico do processo decisrio que implicou na
adoo de uma dada poltica, quer os valores e critrios polticos nela identificveis. A
avaliao poltica nesta perspectiva prescinde do exame da operacionalidade concreta ou
da implementao do programa sob anlise. Ela examina os pressupostos e fundamentos
polticos de um determinado curso de ao pblica, independentemente de sua
engenharia institucional e de seus resultados provveis.

Por anlise de polticas pblicas, entende-se o exame da engenharia

institucional e dos traos constitutivos dos programas. Qualquer poltica pblica pode ser
formulada e implementada de diversos modos. Digamos, as possibilidades de desenho
institucional de uma poltica nacional de sade, por exemplo, so as mais diversas do
ponto de vista das formas de relao entre setor pblico e setor privado, das formas de
financiamento, das modalidades de prestao de servios, etc. A anlise de polticas
pblicas busca reconstituir estas diversas caractersticas, de forma a apreend-las em um
todo coerente e compreensvel. Ou melhor dizendo, de forma a dar sentido e
entendimento ao carter errtico da ao pblica3.

Ainda que a anlise de uma dada poltica pblica possa atribuir a um

determinado desenho institucional alguns resultados provveis, somente a avaliao
desta poltica poder atribuir uma relao de causalidade entre um programa x e um
resultado y. Por exemplo, ainda que se possa esperar que a cobrana de consultas
mdicas tenda a excluir a populao mais pobre do acesso a servios mdicos com base
no exame do desenho institucional de uma dada poltica de sade, apenas um estudo de
avaliao poder afirmar com relativa segurana quais parcelas da populao foram
efetivamente excludas e qual o impacto desta medida nas condies de sade da
populao. Ou, ainda que se afirme, segundo uma determinada concepo de justia e de
eficincia, que a proviso privada de servios mais eficiente que a proviso pblica,
somente a avaliao de programas efetivamente implementados poder estabelecer uma
relao causal entre uma determinada modalidade de poltica pblica e o sucesso ou
fracasso na realizao de seus propsitos, ou ainda entre esta poltica e um dado
resultado ou impacto sobre a situao social prvia sua implementao.

3. Na verdade, a ao pblica caracterizada por incoerncias, ambigidades e incertezas em todos os estgios e em

todos os momentos. Qualquer poltica pblica em grande parte um esforo de coordenao de foras centrfugas que
operam no interior da prpria mquina estatal e na sociedade. A formulao de polticas com muita freqncia marcada
pelo fato de que os decisores no sabem exatamente o que eles querem, nem o resultado possvel das politicas
formuladas, bem como pelo fato de que as polticas adotadas so o resultado de um processo de negociao no qual o
desenho original de um programa substancialmente modificado (Jobert & Muller, 1987).
 3

Neste sentido, portanto, a particularidade da avaliao de polticas pblicas

consiste na adoo de mtodos e tcnicas de pesquisa que permitam estabelecer uma
relao de causalidade entre um programa x e um resultado y, ou ainda, que, na ausncia
do programa x, no teramos o resultado y (Figueiredo & Figueiredo, 1986).

Feitas estas distines, tratarei aqui exclusivamente de fazer alguns

simples comentrios sobre as tendncias de avaliao de polticas pblicas, mais
particularmente das polticas sociais.

2. Algumas tendncias de avaliao de polticas pblicas

A literatura de avaliao de polticas pblicas costuma distingui-las em

termos de sua efetividade, eficcia e eficincia, distino esta que basicamente um
recurso analtico destinado a separar aspectos distintos dos objetivos e por conseqncia,
da abordagem e dos mtodos e tcnicas de avaliao.

2.1. Sobre a avaliao de efetividade

Por avaliao de efetividade, entende-se o exame da relao entre a

implementao de um determinado programa e seus impactos e/ou resultados, isto , seu
sucesso ou fracasso em termos de uma efetiva mudana nas condies sociais prvias
da vida das populaes atingidas pelo programa sob avaliao(Figueiredo & Figueiredo,
1986). precisamente na avaliao de efetividade que a distino entre avaliao e
anlise torna-se mais clara e necessria, devido necessidade j mencionada de
demonstrar que os resultados encontrados na realidade social esto causalmente
relacionados quela poltica particular. E, adicionalmente, da necessidade de distinguir
entre os produtos de uma poltica e seus resultados.

Por exemplo, um programa de vacinao pode ser muito bem sucedido,

como veremos mais adiante, em termos de sua eficcia, vale dizer, da possibilidade de
efetivamente atingir uma quantidade satisfatria de suas metas de vacinao, por
exemplo, vacinar x crianas em um prazo dado. Neste sentido, o programa foi bem
sucedido do ponto de vista da efetiva produo de determinado produtos. Isto no
significa necessariamente que o programa seja bem sucedido do ponto de vista dos
 4

resultados dele esperados, vale dizer, da possibilidade de efetivamente reduzir a

incidncia da doena que se propunha a erradicar ou a diminuir substancialmente num
horizonte x de tempo.

Da mesma forma, espera-se que programas de saneamento bsico tenham

impacto sobre as condies de sade da populao. Ora, uma coisa abastecer a
populao com sistemas de gua e esgoto e, neste sentido, fornecer produtos como
torneiras de gua e sistemas de eliminao de dejetos. Outra coisa bastante distinta a
qualidade deste servio e, mais distinta ainda, seu impacto sobre as condies de sade
da populao.

Nas avaliaes de efetividade, a maior dificuldade metodolgica no

consiste em distinguir produtos de resultados. De fato, a principal dificuldade
metodolgica consiste precisamente em demonstrar que os resultados encontrados
(sejam eles no sentido do sucesso ou do fracasso) esto causalmente relacionados aos
produtos oferecidos por uma dada poltica sob anlise. Por esta razo, estudos confiveis
sobre efetividade dos programas so muito difceis, e mesmo raros.

E isto por vrias razes, que vo desde as aparentemente mais simples,

que dizem respeito obteno de informaes sobre os programas e sobre as
populaes analisadas, at as metodologicamente mais complicadas, que dizem respeito
possibilidade de isolar a interferncia das variveis intervenientes em qualquer sistema
aberto prprio da anlise social4, passando pelas dificuldades operacionais, que dizem
respeito aos custos financeiros e organizativos envolvidos em pesquisas de campo.

Na verdade, a tradio brasileira em polticas pblicas (se que podemos

afirmar que j exista entre ns uma tradio nesta rea) bastante pobre em termos de
estudos de avaliao da efetividade das polticas. certo que o critrio da efetividade das
polticas tem estado presente em boa parte das anlises. Na medida em que este critrio
est fortemente relacionado a determinados ideais de igualdade e justia social e, por
esta razo, expectativa de que as polticas implementadas reduzam os brutais ndices
de pobreza, desigualdade e excluso social existentes entre ns, a correlao entre
polticas e seus parcos resultados tem estado presente no discurso analtico das polticas
pblicas.

Tais anlises no tem implicado, contudo, em significativos avanos do

ponto de vista da avaliao das polticas, devido -- repito -- dificuldadade em

4. Para uma apresentao de diferentes mtodos e tcnicas de avaliao de programas, ver Deleau; Nioche; Penz;
Ponsard, 1986 e Cohen & Franco, 1988.
 5

estabelecer a relao de causalidade j mencionada. De fato, boa parte das anlises

atribuem inefetividade das polticas sociais brasileiras a persistncia da aguda condio
de abandono, pobreza e desproteo de nossa populao pobre.

Ora, menos que resultado de avaliaes precisas, estas concluses so

resultado da correlao entre ndices de pobreza e oferta de servios sociais. Se
quisermos examinar os resultados das polticas sociais no Brasil apenas com base em
correlaes, podemos afirmar exatamente o oposto do que as anlises correntes atestam:
nas regies mais pobres do pas (do Norte e Nordeste rural), so apenas as redes
pblicas de servios de educao e sade que, com toda a precariedade possvel e
imaginvel, oferecem alguma modalidade de proteo s populaes pobres (Draibe &
Arretche, 1995). Neste sentido, o Sistema de Proteo Social Brasileiro seria efetivo em
sua capacidade de garantir nveis mnimos de proteo populao pobre. Na verdade,
apenas rigorosas avaliaes de efetividade poderiam responder a esta questo.

2.2. Sobre a avaliao da eficcia

Por avaliao de eficcia, entende-se a avaliao da relao entre os

objetivos e instrumentos explcitos de um dado programa e seus resultados efetivos
(Figueiredo & Figueiredo, 1986). Esta avaliao pode ser feita entre, por exemplo, as
metas propostas e as metas alcanadas pelo programa ou entre os instrumentos
previstos para sua implementao e aqueles efetivamente empregados.

A avalio de eficcia seguramente a mais usualmente aplicada nas

avaliaes correntes de polticas pblicas. Isto porque ela certamente aquela mais
factvel e menos custosa de ser realizada. Na verdade, o avaliador estabelece uma
equao entre metas anunciadas por um programa e, com base nas informaes
disponveis, as relaciona s metas alcanadas e, deste modo, conclui pelo sucesso ou
fracasso da poltica. Neste tipo de avaliao, a maior dificuldade consiste na obteno e
confiabilidade das informaes obtidas.

Em menor medida, mas tambm usualmente aplicada a avaliao da

relao entre os instrumentos previstos para implementao de uma poltica e aqueles
efetivamente empregados. Na maior parte das vezes, esta avaliao consiste no exame
da processualidade concreta e da adequao e coerncia dos meios e instrumentos
utilizados durante a vigncia de um determinado programa.
 6

Neste caso tambm, a maior dificuldade consiste na obteno e veracidade

das informaes acerca do funcionamento concreto do programa sob anlise. Contudo,
este tipo de avaliao exige pesquisas de campo capazes de aferir e reconstituir o
processo de implantao e/ou implementao da poltica sob anlise.

2.3. Sobre a avaliao de eficincia

Por avaliao de eficincia, entende-se a avaliao da relao entre o

esforo empregado na implementao de uma dada poltica e os resultados alcanados
(Figueiredo e Figueiredo, 1986).

Penso que a avaliao da eficincia possivelmente hoje a mais

necessria e a mais urgente de ser desenvolvida. E, na verdade, tem sido feito um grande
esforo de sofisticao dos mtodos de avaliao de eficincia nos anos mais recentes.
Isto tem ocorrido sob o impulso de vrios fatores.

Em primeiro lugar, porque a escassez de recursos pblicos exige maior

racionalizao do gasto. Na verdade, sob o impacto da crise fiscal do Estado, medidas e
programas de racionalizao da ao pblica tm buscado aumentar o volume de
recursos efetivamente disponveis sem aumentar o volume de arrecadao e/ou sem
aumentar rubricas de gasto. Por exemplo, um dos objetivos mais importantes do
Programa Comunidade Solidria consiste na melhoria da gesto de programas pr-
existentes, tornando mais eficiente a prestao de servios, sem aumentar
substancialmente rubricas anteriores de gasto. Independentemente da avaliao poltica
que se possa fazer desta opo de poltica de combate pobreza, ela revela uma
tendncia de racionalizao do gasto em que o elemento "eficincia" ganha
preponderncia. Na mesma direo, as mudanas introduzidas a partir de 1989 na gesto
do FGTS indicam um esforo de racionalizao da gesto dos recursos, de modo a elevar
a arrecadao efetiva de recursos, sem aumentar alquotas de cobrana da contribuio e
sem criar novas fontes de obteno de recursos (Arretche, 1994). Em outras palavras,
limites para a obteno de recursos com base na criao de novas fontes de
arrecadao, bem como um crescente estreitamento de suas fontes tradicionais, tm
induzido a inovaes no campo da racionalizao da gesto e do gasto pblicos, vale
dizer, no terreno especfico da eficincia, medidas estas que demandam estudos de
avaliao.
 7

Em segundo lugar, os estudos de avaliao da eficincia tornam-se cada

vez mais necessrios no Brasil porque, paralelamente escassez de recursos pblicos,
os "universos" populacionais a ser cobertos pelos programas sociais so de enormes
propores. Quando um programa de merenda escolar deve alimentar diariamente 32
milhes de crianas, por exemplo, a eficincia do gasto se impe, dado que, vista
negativamente, a ineficincia implica a virtual impossibilidade de oferta desta fonte bsica
de alimentao a um exrcito de crianas dela dependentes.

Mas, finalmente e de modo algum menos importante, as avaliaes de

eficincia, embora bastante negligenciadas, impem-se porque a eficincia um objetivo
democrtico. Na verdade, ao dispor de recursos pblicos e ao implementar polticas
pblicas, o governo est gastando um dinheiro que no seu; ao faz-lo, o governo est
gastando o dinheiro do contribuinte. Ora, a probidade, competncia e eficincia no uso de
recursos publicamente apropriados constituem , em regimes democrticos, uma das
condies para a confiana pblica (public confidente) no Estado e nas instituies
democrticas. O desperdcio de recursos, a corrupo ou a incapacidade governamental
so, na verdade, entraves utilizao de recursos publicamente geridos para finalidades
efetivamente pblicas (Cohen, 1995:40)

Isto no significa que o critrio de eficincia no setor pblico seja o mesmo

da eficincia do setor privado, vale dizer, uma mera equao entre custos os mais
reduzidos possveis e resultados os melhores (mensurveis) possveis. Evidentemente, o
o conceito de eficincia no setor pblico distinto daquele do setor privado. Por exemplo,
dado o objetivo de reduo de desigualdades, justifica-se uma poltica de subsdios, o que
no est de acordo com uma concepo de eficincia que busca apenas minimizar
custos. No entanto, este instrumento no elimina a necessidade de aplicar uma poltica de
subsdios com o maior grau de eficincia possvel, eliminando custos desnecessrios e
no condizentes com o princpio da eqidade.

3. Da avaliao como instrumento democrtico

A avaliao teoricamente uma das etapas de uma poltica. De acordo

com os manuais de anlise e avaliao de politicas pblicas, a avaliao deveria ser uma
etapa posterior implementao das polticas e programas, destinada a influenciar sua
reformulao, seja durante sua implementao, seja posteriormente.
 8

Ora, ns todos sabemos que, em sociedades em que o mercado eleitoral

tem peso, o impacto social de uma poltica tende a ter menor peso no processo decisrio
que seu impacto sobre a opinio pblica ou seu impacto eleitoral. Em outras palavras, a
avaliao da eficincia, eficcia e efetividade das polticas tende a ser apenas um dos
elementos -- e possivelmente de muito menor importncia -- na deciso pela adoo,
reformulao ou supresso de um programa pblico, dado que as razes do mercado
eleitoral tm forte influncia no processo decisrio.

Uma viso precipitadamente negativa desta tendncia (que um "dado" da

vida real) poderia concluir pela irrelevncia da realizao de estudos de avaliao. Na
verdade, diferentemente, a produo e divulgao de avaliaes, tal como demonstrado
mais acima, disponibilizam instrumentos que capacitam o eleitorado a exercer o princpio
democrtico de controle sobre a eficincia da ao dos governos: a idia de que
"desperdiar recursos pblicos (dinheiro que do contribuinte) eleitoralmente negativo".
Neste sentido, a produo e divulgao de avaliaes rigorosas, tecnicamente bem feitas,
permitem o exerccio de um importante direito democrtico: o controle sobre as aes de
governo.

Portanto, a criao e fortalecimento de instituies e agncias

independentes capazes de produzir estudos confiveis de avaliao de polticas pblicas
crescentemente uma necessidade para o bom governo. Seja para a opinio pblica e o
eleitorado, a fim de que estes possam exercer um controle democrtico sobre o uso de
seus recursos; seja para o prprio governante, interessado em controlar agncias estatais
executoras de polticas, agncias estas que tendem a ter autonomia em relao s
diretrizes governamentais.

4. Da necessidade de avaliaes independentes

Porque destinadas a exercer controle sobre as aes pblicas, seja dos

cidados sobre o governo, seja do governo sobre si mesmo, as avaliaes precisam ser
realizadas por rgos independentes.

Normalmente, as equipes governamentais encarregadas da execuo de

uma poltica fazem "avaliaes". Estas consistem freqentemente em relatrios de
acompanhamento, nos quais se descrevem as aes desenvolvidas no curso de
implementao do programa em questo. muito difcil (embora obviamente no
 9

inteiramente impossvel) que tais "avaliaes" possam ser isentas. Isto , h uma srie de
incentivos para que tais avaliaes concluam pelo sucesso do programa ou, pelo menos,
que tendam a minimizar seus elementos de fracasso. Estas razes vo desde a
manuteno dos prprios empregos at o interesse das burocracias em aumentar suas
margens de poder e de gasto. Por estas razes, mais difcil que tais "avaliaes"
tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa
para estudos de avaliao, mais particularmente avaliaes de eficcia.

Em outras palavras, a veracidade e utilidade dos estudos advm em

grande parte de seu rigor metodolgico e da necessidade de no obter resultados
avaliativos os mais confiveis possveis, seja para a anlise do sucesso ou do fracasso
de uma dada poltica.

Como espero ter demonstrado, os estudos de avaliao j so em si

mesmos muito difceis. A dificuldade de isolar da realidade variveis efetivamente
relevantes; a incerteza sobre os reais objetivos da poltica avaliada (dada a necessidade
de distinguir entre objetivos explcitos e implcitos); as dificuldades de obteno e
adequao das informaes; as dificuldades tcnicas para estabelecer relaes de
causalidade entre programas e seus resultados, as dificuldades para obteno dos
recursos financeiros necessrios realizao de confiveis; todos estes fatores tornam os
estudos de avaliao de muito difcil execuo. Se a estes fatores acrescenta-se o part-
pris do avaliador, aumenta exponencialmente a possibilidade de comprometimento dos
resultados da avaliao.

Isto no significa que, em pesquisas de avaliao, a neutralidade

administrativa e a tecnicalidade isenta sejam possveis e, que, portanto, a avaliao se
caracterize pela ausncia de valores, tais como justia social, eficincia, reduo de
custos, etc. Significa apenas que instituies independentes tm maiores condies e
incentivos para, com base em critrios valorativos explcitos e objetivos definidos, montar
instrumentos adequados para responder questo da relao entre os polticas, seus
processos e seus resultados, que so condies necessrias ao bom governo.
 10

5. Bibliografia Citada

ARRETCHE, Marta Teresa da Silva. Polticas de Habitao para Baixa Renda e de

Saneamento Bsico. Relatrio Final. Subprojeto "Canais de Acesso aos Fundos
Pblicos na rea Social", da pesquisa "Balano e Perspectivas do Federalismo Fiscal
no Brasil. IESP/FUNDAP, 1994.

COHEN, Joshua & ROGERS, Joel. Associations and Democracy. London/New York,
Verso, 1993.

COHEN, E. & FRANCO, R. Evaluacin de Proyectos Sociales. Buenos Aires, GEL,

1988.

DELEAU, M.;NIOCHE, J.P.; PENZ,P. et PONSARD, R. Evaluer les Politiques Publiques:

mthodes, dontologie, organisation. Paris, La Documentation Franaise, 1986.

DRAIBE, Snia Miriam & ARRETCHE, Marta T. S (coord). " Politicas Sociales y
Programas de Combate a la Pobreza en Brasil", in: RACZYNSKI, Dagmar (ed.).
Estrategias para Combatir la Pobreza en America Latina: Programas, Instituciones y
Recursos. Santiago, BID/CIEPLAN, 1995.

FIGUEIREDO, Marcus Faria & FIGUEIREDO, Argelina Maria Cheibub. "Avaliao

Poltica e Avaliao de Polticas: Um Quadro de Referncia Terica", in: Textos
IDESP, no. 15, 1986, mimeo.

JOBERT, Bruno & MULLER, Pierre. L'tat en Action. Politiques Publiques et

Corporatismes. Paris, PUF, 1987.

LAMOUNIER, Bolivar. Anlise de Polticas Pblicas: Quadro Terico-Metodolgico de

Referncia. Mimeo.