Avaliao poltica e avaliao

de polticas: um quadro
de referncia terica
Marcus Faria Figueiredo*
Argelina Maria Cheibub Figueiredo*
Este documento teve origem no seminrio sobre "Metodologias de Avalia-
o de Programas Sociais" promovido pelo CENDEC/IPEA, cujo teor e objetivo
esto no Relatrio elaborado por Srgio Abranches. Contamos, para sua realiza-
o, com o apoio fInanceiro do Instituto de Planejamento Econmico e Social
(IPEA), ao qual agradecemos.
Nosso objetivo foi fazer uma reviso sistemtica da bibliograf"", especiali-
zada e recente sobre avaliao de polticas pblicas e dos estudos de avaliao de
polticas sociais no Brasil.
Procuramos destacar os conceitos-chave e montar um quadro de referncia
terica para a Avaliao de Politicas Sociais. Fazemos no fnel um brevssimo co-
mentrio sobre o documento "Prioridades 8S" sugerindo alguns pontos para um
debate mais amplo sobre o programa social da Nova Repblica.
1 AVALIAO POLl'rICA E AVALIAO DE POLl'rICAS
Na anlise de polticas pblicas os cientistas polticos tm se preocupado,
essencial e tradicionalmente, em estudar como as decises so tomadas: que fatores
influenciam o processo de tomada de decises e as caractersticas desse processo.
O desenvolvimento recente da subrea de avaliao de polticas sofre desse mesmo
vis comportamental e neutralista: estuda-se a eficcia das polticas descartando a
avaliao poltica dos principios que os fundamentam e, em decorrncia, o seu
prprio contedo substantivo (Anderson, 1979; Barry, 1975; Dahl, 1981; Lima.
Jr. et alii 1978).
Em conseqncia, o processo de avaliao definido como:
* Do Instituto de Estudos Econmcos e Sociais de So Paulo - IDESP
* Da Universidade de Campinas - UNICAMP
An61 Conl., Belo Horlzont., 1 (3): 107.127, set/dez. 1986
107
"a anlise crtica do programa (poltica) com o objetivo de apreender, princi-
palmente, em que medida as metas esto sendo alcanadas, a que custo, quais
os processos ou efeitos colaterais que esto sendo ativados (previstos ou
no previstos, desejveis ou no desejveis) indicando novos cursos de ao
mais eficazes" (Lima Jnior, et. aIii 1978: 4-5).
Contudo, como lembra Brian Barry, avaliar atribuir valor: determinar se
as coisas so boas ou ms. A avaliao poltica consiste, portanto, em atribuir valor
s polticas, s suas conseqncias, ao aparato institucional em que elas se do e aos
prprios atos que pretendem modificar o contedo dessas polticas (Barry, 1975, v.
I, p. 340). Para tanto, necessrio estabelecer critrios de avaliao que nos permi-
tam dizer se e porque uma poltica prefervel outra. Na medida em que envolve
princpios polticos, cuja relevncia dada por Suaconexo com alguma concepo
de Bem-Estar humano, e as prioridades a serem observadas entre eles, a anlise de
avaliao ter sempre um carter complexo e controverso. No obstante, parece-nos
difcil prescindir do que aqui estamos chamando de Avaliao Poltica como uma
etapa pre1iminar e preparatria do que convencionalmente se chama Avaliao de
Poltica.!
Ao chamarmos a ateno para a necessidade da avaliao poltica propriamen-
te dita, temos como objetvo nico deixar claro o critrio que deve informar a ava-
liao de polticas especficas. Dessa forma, por avaliao poltica entendemos a
anlise e elucidao do critrio ou critrios que fundamentam determinada polti-
ca: as razes que a tomam prefervel a qualquer outra. Mas uma vez, porm, recor-
remos a Brian Barry para lembrar que estas razes tm que ser relevantes, ou seja,
devem estar referidas a princpios cuja realizao ir, presunvelmente, contribuir
para uma desejvel quantidade e distribuio de bem-estar.
2
Essas consideraes se tomam to mais relevantes quando se considera a
peculiaridade da poltica a ser avaliada. O plano Prioridades Sociais para 1985, co-
mo um primeiro esforo de ao social do governo na Nova-Repblica, tem COmo
alvo principal corrigir uma situao social em que persistem extensos bolses de
pobreza e altos nveis de desigualdade social, resultantes de distores das polticas
econrnca e social, dos governos anteriores. Nesse sentido, o plano guarda um car-
ter emergencial que est explcito no seu objetivo prioritrio de eliminao desses
bolses de pobreza e dos altos (grifo nosso) nveis de desigualdade social e regional.
1 No se trata de contrapor a anlise normativa, COmo a preocupao precfpua com o que
deve ser, anlise emprica visando a preetsc, ainda que limitada, dos processos sociais (Dahl,
1981; p.l07-13). Muito menos de retomar a discusso sobre o carter particular da pesquisa de
avalac como mero instrumento de previso de subsdios imediatos (em detrimento, eventual-
mente, de mtodos e procedimentos "cientficos") para a tomada de decises e sua possvel
contribuio para o desenvolvimento da teoria bsica ou vce-versa.
2 Este nvel de nlise no deve ser visto como exclusividade da filosofia pol-
tica e nem um enfoque dessa natureza que estamos propondo. No se deve perder
de Vista que, por sua relevncia (vinculao com o bem-estar humano), esses princ-
pios so sempre objeto de argumentao poltica, e, nesse sentido, a sua anlise
serve de base no s para a avaliao sistemtica da poltica, como tambm para o
uso (pottico) da avaliao.
108 An6I. Conl, hlo Horlzont., 1 (3): 107127, set./dez. 1986
Quanto aos meios de execuo, poucas mudanas so previstas, uma vez que o pla-
no se limita a ampliar programas j existentes. No obstante, ele aponta para uma
nova concepo de poltica social pela rnportncia atribuda aos princpios de
igualdade e democracia. Alm disso, prope atingir nveis mais adequados de efici-
ncia, eficcia e efetividade, e indica as diretrizes - transparncia e descentralizao
- que devem orientar a tomada de decises e a implementao das polticas a ele
pertinentes.
o simples enunciado destes princpios indica a necessidade de uma avaliao
- no sentido mais amplo - que sirva de base para decises polticas posteriores. Es-
ta avaliao no deve se perder na mera anlise conceitual dos princpios (explcitos
ou implcitos) que fundamentam a formulao da poltica. Pelo contrrio, reconhe-
cendo o consenso social existente em relao aos princpios contemplados no plano
de prioridades, deve voltar-se para a questo da compatibilidade interna entre esses
princpios e da consistncia deles com os mecanismos institucionais previstos. Em
determinados momentosocorrero incongruncias e trade offs. Nesses casos,opes
tero que ser feitas e, ento, o conhecimento de alternativas teoricamente possveis
e de suas respectivas conseqncias torna-se essencial.
2 AVALIAAO DE POLl.... ICAS: OBJETlVO,
CRITJ:RIOS E MODELOS ANALfTICOS
De maneira geral, a avaliao de polticas sociais usa os mtodos prprios da
pesquisa social, notadamente a pesquisa de populaes por amostragem, a anlise
de dados agregados (tambm chamado de contabilidade social), anlise de contedo
e observao participante (Freeman e Scherwood 1970; Guttentag e Struening,
1975; Tripodi, 1971). A escolha do mtodo a ser utilizado decorre mais do objetivo
da poltica ou programa sob observao e de seu escopo social do que da prefern-
cia intelectual do analista (Deutscher, 1979). O mais importante nessa discusso o
estabelecimento das conexes lgicas entre os objetivos da avaliao, os critrios
de avaliao e os modelos analticos capazes de dar conta da pergunta bsica de to-
da pesquisa de avaliao: a poltica ou programa social sob observao foi um suces-
so ou um fracasso?
A noo de sucesso ou fracasso de uma poltica depende obviamente dos pro-
psitos dessa politica e das razes que levaram o analista a avaliar tal poltica.
Do lado dos propsitos das polticas, devemos considerar que as polticas
pblicas - as decises governamentais - tm geralmente dois aspectos:
a) gerar um produto fsico, tangvel e mensurvel; e
b) gerar um impacto, que, tanto pode ser fsico, tangvel e mensurvel, quan-
to subjetivo, alterando atitudes, comportamentos e/ou opinies.
Na gerao de um produto no tempo 1, este no precisa necessariamente
ser maior ou menor do que havia no momento anterior. Ou seja, a reproduo roti-
neira de servios pblicos e de programas em si um produto de urna poltica,
observvel a qualquer tempo.
.... n61. ConJ., Belo Horizonte, 1 (3), 107.127, .et./du. 1986 109
Deixando de lado a reproduo rotineira, podemos dizer que os governantes
sempre esperam algum impacto quando decidem por uma poltica. Os produtos
(policy Outputs) so indicadores de que os governos esto fazendo, de suas priori-
dades, e das demandas que esto sendo atendidas, dos interesses que esto sendo
articulados e dos benefcios e objetvos que esto sendo perseguidos. No entanto,
como sugere Nachrnias (1979; 3) produtos de polticas no revelam necessariamen-
te em que medida os objetivos desejados foram ou no atingidos, ou seja, no reve-
Iam os impactos de tais produtos nas condies de vida da populao, Nesse senti-
do, o impacto de uma poltica uma medida do desempenho da ao pblica, ou
seja, uma medida em que a poltica atingiu ou no os seus objetivos ou propsitos.
Do lado das razes ou motivos que promovem a avaliao de polticas pode-
mos identificar razes morais e razes instrumentais.
Do ponto de vista moral as avaliaes tanto de produtos quanto de impactos
de polticas podem caminhar em duas drees, Por um lado, a motivao pode es-
tar na moralidade positiva, legal, notadamente no que se refere probidade dos
gestores e usurios na gesto do programa e na apropriao dos seus benefcios.
Exemplo notrio desse tipo de avaliao so as auditorias contbeis, quer finan-
ceiras ou de material. Neste caso a avaliao administrativa e legal, situao que
no nos interessa neste trabalho. Por outro lado, a motivao pode estar, no na
moralidade admnstrativa, mas na moralidade poltica ou social. Ou seja, se os
propsitos das polticas ou programas so condizentes com princpios de justia
poltica e social minimamente aceitos. Esta linha de motvao est na base do
que Abranches (1985) chama de "auditoria social" que trataria de outros as-
pectos, mas, principalmente, de questes relacionadas com os princpios de jus-
tia que norteiam a formulao e deciso de polticas e suas possveis conseqn-
cias nas condies de vida da populao. Neste caso, se a avaliao se detiver no
exame substantivo da poltica e de seu produto, sem entrar no mrito da efetiva
apropriao de seus benefcios por parte da populao, ela fica restrita avalia-
o poltica, conforme antes destacamos. Ao entrar no mrito da efetiva apropria-
o dos benefcios, como sugere Abranches, avanamos para a avaliao de pol-
tica, tanto do seu produto quanto do seu impacto. Aqui, ento, o objeto da ava-
liao no tanto o volume ou a natureza do produto, nem o tamanho de seu
impacto, mas se esses produtos condizem, minimamente, com princpios de justi-
a poltica e social sobre os quais existe um consenso mnimo.
A motivao instrumental est intimamente ligada com a implementao
da poltica ou programa. Neste caso, o objetivo bsico da avaliao a gerao:
contnua de informaes para rnontorar a execuo do programa (Hargrove,
1975). Ou seja, constatar, por um lado, o processo de produo do produto espe-
rado, quanto ao volume e quanto qualidade, e, por outro lado, controlar os Seus
impactos.
Ao considerarmos esses pontos preliminares, vemos que as pesquisas de ava-
liao se enquadram em dois tipos bsicos: avaliao de processos e avaliao de
impactos (Nachmas, 1979, p. 5).
A avaliao de prooessos visa a aferio da eficcia; se o programa est sen-
do (ou foi) implementado de acordo com as diretrizes concebidas para a sua exe-
110 Anl. Conl., Belo Horizonte, 1 ('3)= 101-127, 'et./du. 19M
cuo e se o seu produto atingir (ou atingiu) as metas desejadas. A importncia
desta linha de avaliao est no fato de que impossvel antever todos os tipos de
entravas, problemas e conflitos possveis durante a realizao de um programa.
Embora a anlise de experincias passadas sirva para aumentar o estoquede conhe-
cimento, ela jamais ser suficiente para prescindir-se da avaliao processual con-
comitante implementao de qualquer programa. Se a avaliao processual no
objetiva medir o tamanho ou a natureza do impacto do programa ela, entretan-
to, quando feita ao longo da implementao, representa a possibilidade de mo-
nitorao dos processos diretamente responsveis pela produo do efeito espera-
do. Isto , ela permite controlar com a devida antecpao o tamanho e a qualda-
de do efeito desejado.
A anlise de impacto, por sua vez, tem uma ambio mais ampla e bem mais
complexa (Rossi et alli, 1977). Ela diz respeito aos efeitos do programa sobre a
populao-alvo e tem, subjacente, a inteno de estabelecer uma relao de causa-
lidade entre a poltica e as alteraes nas condies sociais (Deutscher, 1979; Li-
ma Jr. et alli, 1978; TulIock, 1978).
H muito, Humbert Blalock chamou-nos a ateno para o gap existente en-
tre as proposies tericas causais e a verificao emprica na relao causa-efei-
to. O gap apontado por Blalock decorre quase sempre da ausncia de trs fatores
bsicos: definies operacionais claras dos objetivos do programa, especificao
dos critrios de sucesso e medidas de aferio do sucesso (Butter, 1983; Fguei-
redo e Balbachevsck, 1983; Nachmias, 1979).
Destes trs fatores, os dois primeiros no so restritos avaliao de impac-
tos. Na avaliao processual a existncia de definies claras dos objetivos dos
programas e a especificao de critrios de sucesso so, da mesma forma, funda-
mentais. De qualquer modo, a conexo lgica pode ser resumidamente delinea-
da: a definio dos propsitos da poltica ou programa condiciona os objetivos da
avaliao; estes, por sua vez, condicionam o tipo de pesquisa empregado na avalia-
o; esta escolha, por sua vez, determina o critrio de sucesso, que, por ltimo, es-
tabelece o modelo analtico de aferio do sucesso. Esta cadeia de condicionantes
funciona como um processo de diminuio dos graus de liberdade dos analistas nas
suas opes intelectuais e metodolgicas.
Para uma viso global desse processo de opes controladas elaboramos o
quadro 1, onde esto relacionados os caminhos "naturais" entre os propsitos da
poltica e os modelos analticos de aferio do sucesso.
2.1 PoHticas com propsitos de produo de bens ou serviospblicos
Encontram-se nesta vertente as polticas ou programas cujos objetivos no
vo alm da prpria dstribuio de bens e servios, sem preocupao especfica
com mudanas. E bvio que qualquer produto govemamental pode ser visto como
pretendendo algum impacto. A prpria reproduo rotineira de alguma coisa pode
ser interpretada como um propsito efetivo de evitar a deteriorao de prestao
dos servios pblicos, o que no deixa de ser um impacto. No entanto, para efeito
de classificao conceitual, perfeitamente plausvel incluirmos nesta categoria
aquelas polticas que no visam uma mudana ou uma alterao em determinada
o4.n61. Conl., Belo Horizonte, 1 (3): 107.127, .etJdez. 1986 1\1
condio social. Polticas de emprego, de absoro escolar, em suma, de atendi-
mento ao pblico nos mais variados setores, que buscam atender apenas ao cres-
cimento vegetativo de demandas decorrentes do crescimento demogrfico, no
visamem si nenhuma mudana entre o presente e o futuro.
A avaliao de polticas dessa natureza enquadra-se perfeitamente no que
se chama de avaliao de processo. O objetivo avaliativo aqui acompanhar e afe-
rir se os propsitos, estratgias e execuo do programa esto sendo realizados
segundo as definies previamente estabeiecidas. Na linha de avaliao de proces-
sos, a literatura destaca os seguintes tipos de pesquisa: a) avaliao de metas ou
resultados; b) avaliao de meios-metodoiogia de implantao; c) avaliao de re-
lao custo/benefcio e/ou custo/resultado.
2.1.1 Avaliao de metas: eficcia objetiva
A avaliao de metas talvez seja o tipo mais simples e comum, e o mais di-
fundido. Em geral feita pelos prprios rgos encarregados da execuo da pol-
tica. Enquadram-se aqui os relatrios anuais das entidades e as estatsticas que es-
tes produzem com o intuito de demonstrar que "cumpriram Com as expectati-
vas", no que se refere ao volume e qualidade de produto. O critrio de sucesso
usado o da eficcia objetiva, isto , se as metas atingidas so iguais, superiores
ou inferiores s metas propostas. O modelo analtico empregado para a aferio
do sucesso ou fracasso do programa consiste em medir se a diferena entre a meta
atingida e a proposta est dentro de limites tolerveis. Estes limites ditam a faixa
do sucesso/fracasso da poltica.
2.1.2 Avaliao de meios: eficcia funcional, administrativa e contbil
A avaliao de meios pode tomar dois rumos distintos, como vimos antes:
ela pode ser moral ou instrumental. Normaimente os programas de polticas p-
blicas contemplam uma seo destinada ao que se chama "avaliao e acompanha-
mento", na maioria das vezes ambiguamente defndo e sob aresponsabilidade de
membros da prpria equipe executora do programa. Esta ambigidade de inten-
es desse "setor" de avaliao e acompanhamento prejudica fortemente a escolha
dos critrios de aferio do sucesso/fracasso do programa.
Em pesquisas com este objetivo temos trs critrios de eficcia: Funcional,
Administrativa e Contbil. Quando a inteno da avaliao est na moralidade
executria, os critrios da eficcia administrativa e contbil so os usados. Nestes
casos os modelos analticos de aferio so os de auditoria. No caso da inteno
instrumental o critrio adequado o da eficcia funcional, cujos modelos anal-
ticos so construdos para aferir se os meios e a metodologia de implantao do
programa esto sendo empregados de acordo com as estratgias previamente de-
finidas.
Esta monitorao, porm, pode ir alm da simples constatao e, experi-
mentalmente, simular a adequao entre os meios e fins propostos, tendo em vs-
ta as condies organizacionais e sociais onde o programa est sendo implementa-
do.
112 An61.. Conl., B.lo Horlzont., 1 (3): 88-106, t./d.z 1986
Cabe ainda ressaltar que os critrios e eficcia administrativa e contbl no
so exclusivamente instrumentos de aferio da moralidade executria: o cotida-
no nas prticas administrativas e contbeis pode identificar prticas prejudiciais ao
desempenho adequado (funcional) do programa. Neste sentido, o uso simultneo
;desses dois critrios pode e deve ser estimulado, mas a inteno instrumental deve
, ser largamente enfatizada.
2.1.3 'Avaliao da relao custo-benefcio e custo-resultado: eficincia
Os estudos de avaliao que visam estabelecer relao tima entre os custos da
implantao de uma poltica e os benefcios derivados de seus resultados so efeti-
vamente os menos utilizados na avaliao de polticas sociais (ver seo3).
O conceito de eficincia - custo mnimo possvel para o mximo de benef-
cio possvel largamente utilizado em estudos econmcos, notadarnente na
micro-economia (Booms, 1976; Wildawski, 1968).
Oriundo da noo de otirnizao dos recursos disponveis, o conceito de
eficincia ganha uma elasticidade enorme quando transferido da avaliao do de-
sempenho econmico de empresas para a avaliao poltica e para a avaliao de
polticas. Certos crticos das aes governamentais usam fartamente este concei-
to, "debitando" nos custos de implantao dos programas "custos" que no so
tangiveis e mensurveis, tais como o tempo perdido em virtude de prticas buro-
crticas pouco flexveis, os compromissos das negociaes, as alteraes proces-
suais decorrentes de conflitos polticos, e outros. Decorre da o preconceito de
que toda ao governamental ineficiente quando comparada com a iniciativa
privada, em qualquer setor da vida social.
QUADRO I
AVALIAAO OE POLITICAS
CRITRIOS E \10DELOS ANALITlCOS
DA POLIT,e..
I
OSJl'TIVO
I
TIPOl;oe .ESOUIS" nl,(n'05 oe ........'cAo MOOl'lOS ANA .. ,TICOS PAAA
Ol)PADGAA.... D.... .. L' .. Ao
IG8JET<JE"""<lAAo,' fNl:eSWIFI<"'= ...NSURAAQCXJ
SlJ<;ESOOIFRACASSO
-
...,; ... .... d.,"",""n",,"
I ._,-",-- "'_..
"''''''''''"......,"" "-'
I ''',*''Objo'h,
"-
-"
.
,
....0 ...... "*"'0... """"'. ......."lo.'''''; ......
"do' "'''... !doo ".""...
lool,eyo", "u,,1 'ogl ... 'mo.,""Io ...oeuefo
Co ....".... to "O, .0....
da "'''ii''"''' 1""''';10''''''''
'::'<0."_
"'''''_0''''''''''''''0'''

..... ........ ,, ..
,,$ .......-
""""".M",'"",,,,,,,
",",...,.,,,
";C<"'Co",,'bl'
"... ,,,,.,,,"
"''''<&OE<lo'",,'''_''_,'';
0'"'""<&0 ..... _"_' ... 1".
11.. ".,.. '.- ....."0
.. ..
....''''''I(;.... m'.'"'''
'''''''0_",,''''_
..... ..._.m_o<.' "''''_doi_."",,"..
,_o"","",.,,,,,,,,,",.,,
.
_ .....,._....m.1
''''0"'''''''''0001",.,,+
""'''''''''''."'''''''010''''"
""""''''''''''''",'''''>l..
,....... _.
.. o.""""'",...""';",,
<ro'."",,,,;,,,,".,,,,,,,,,,,,,,, ....,..,...
Y' "Yol
;",,,,,,"1
n".... .,.."'.,",,'_1
,m...... a_,... ""...,... """""__",'"
",";";"",",-",,,,,. ,-...... """'.......
PU'-"""" ,..""""'..""
v' tJ.,
IY
O"
""u
l
I
II
...."" <:0"'''10,
''''''''..............' """"O<M
"'..;,I_.S_..,,,.
Z' t" '1,1",.
0.. 11'"""" ' .. """";ol ....
j"''''';'
-
An61. Conl., Balo Horlzonta, 1 (3): 107127, set.ldez. 1986
113
A origem desse preconceito est na falcia de qne os indivduos e institu-
es que esto fora do aparelho do estado esto, por definio, isentos desses
"custos" atribudos s aes governamentais. Suposio que obviamente falsa.
No' fora apenas por isso, a passagem da esfera privada para a pblica exige um
redimensionamento do conceito de eficicncia, pois o governo est permanen-
temente exposto a demandas sociais e presses polticas, enquanto que entidades
privadas - filantrpicas ou no - esto em geral desobrigadas de dar respostas a
tais demandas e presses.
Nesse sentido, o conceito de eficincia, ao ser transplantado como critrio
de avaliao de politicas, especialmente de politicas sociais, ganha uma nova di
menso: ao lado da noo estritamente econmica de custo-benefcio agrega-se a
noo de custos e benefcios polticos.
o conceito de eficincia na esfera pblica bidimensional. Vemos, de um
lado, a eficincia instrumental, definida pela relao estrita entre custos econ-
micos e benefcios que so, em geral, tangveis e divisveis; de outro, temos a
eficincia poltica, definida pela relao entre os "custos". sociais ou polticos, e
os beneficios deles derivados.
A admisso de que existe uma dimenso poltica na anlise da eficincia torna
a avaliao bem mais complexa. A noo de custos sociais tem por sua vez duas
dimenses: de um lado, eles originam-se de demandas sociais no previstas, que po-
dem ser traduzidas em custos econmicos-fmanceiros; de outro lado, esto os "cus-
tos" sociais e politicos no traduzveis para unidades monetrias, emgeral "pagos'
pela populao atingida pela ao de governo, e que so sempre "debitados" ao lado
do custo da ao governamental. O complicador est no fato de que os custos so-
ciais e polticos tm sinais trocados em relao taxa de eficincia instrumental. A
incorporao da dimenso poltica ao conceito de eficincia governamental conduz,
ento, a uma queda na taxa de eficincia instrumental de qualquer programa social,
Cabe ao analista mostrar a variao da taxa de eficincia instrumental segundo ce-
nrios sociais e polticos distintos, e aos que tomam decises decidir por uma taxa
de eficincia global. Fica com estes a difcil tarefa de decidir o quantum de irracio-
nalidade esto dispostos a introduzir na taxa de eficincia instrumental tima, ter-
nando-a subtima. Este quantum, em muitos casos, o "preo" da democracia,
que deve ser pago por todos.
Isto posto, O uso de critrios de eficincia para a aferio do sucesso de pol-
'ticas sociais no deve ficar restrito sua dimenso instrumental, econmica. Tem-se
que introduzir ai o nvel de satisfao da populao, pelo menos da populao-al-
vo. Em uma palavra, no basta que polticas pblicas sejam instrumentalmente
eficientes. Elas devem ser tambm politicamente eficientes.
2.2 Polticas com propsito de mudanas
e avaliao de impactos: efetividade
objetiva. subjetiva e substantiva
Esta segunda vertente da ao pblica e, conseqentemente, a sua avaliao,
toma por objeto essencial de anlise as mudanas pretendidas nas condies so-
ciais.
114 An!. Conl'
J
B.lo Horizonte, 1 (3): 101-121, set./dez. 1986
Polticas com estes propsitos reservam a si a importncia de causarem um
efeito esperado, o que condiciona a avaliao ao uso de um-critrio de aferio de
mudanas e de modelos analticos causais. Diz-se que essas polticas ou programas
obtiveram sucesso quando se pode imputar a eles a condio de causa necessria,
quando no suficiente, de uma mudana observada. Ou seja, a constatao de que
ocorreram mudanas no suficiente para concluir-se pelo sucesso do programa;
necessrio demonstrar que elas no ocorreriam (total ou parciahnente) sem o pro-
grama. Em outros termos, necessrio demonstrar que a atuao do programa
empiricamente relevante na determinao da mudana observada (Bennett e Lums-
daine, 1975; Campbell,1969, 1972).
A noo de causalidade embutida nas polticas com propsitos de mudana
estabelece, ademais, que essas polticas so aes experimentais por excelncia; so
condies que visam alterar o futuro previsvel dado pela inrcia social. A escoiha
da poltica A, aiternativa a qualquer outra, representa a escolha de um mundo fu-
turo A, alternativo a qualquer outro. O cenrio futuro A relativo ao presente
apenas e somente sob as condies de mudana estabelecida na poltica A. Neste
sentido, a probabilidade de se chegar ao cenrio futuro depende da possibilidade
emprica de se concretizar - implementar - as condies especificadas no plano
de mudanas. Essa possibilidade emprica de mudanas , porsua vez, funo de
dois fatores: de um lado a mudana tem que ser economicamente sustentvel e,
por outro, ela precisa ser ideolgica ou culturaimente vivel. A ausncia de um des-
ses fatores inviabiliza, ou na melhor das hipteses, posterga a mudana (Elster,
1978).
Com esta lgica experimental de funcionamento, polticas com propsitos
de mudana esto sujeitas aos seguintes resultados:
a) o resultado esperado alcanado;
b) um resultado no esperado produzido, sendo porm positivo;
c) resultados do tipo (a) e/ou (b) ocorrem e so bons no ciclo de vida ime-
diato, porm negativo no mdio ou longo prazo;
d) o resultado esperado produzido no que diz respeito a cada membro
da populao-alvo, isto , cada indivduo melhora sua situao social;
a mdio prazo, a categoria social a que estes indivduos passam a per-
tencer pora".
e) o resultado esperado no alcanado, e nenhum outro resultado pro-
duzido;
f) um resultado no esperado ocorre, sendo porm negativo.
3 Isto que Boudon (1979) chama de "efeitos perversos". Ao analisar a poltica educacio-
nal francesa, Boudon constatou que a opo por cursos proflssionalzantes, de fcil absoro
pelo mercado ou de grande prestgio social, ainda que resultasse um
dos recm-formados desses CUISOS, com o tempo, provocava o declnio do salno mdio da-
quela categoria profissional.
An61. Ccnl., B.lo Horizonte, 1 (3): 107-127, Iltt./dltz. 1986 115
Os dis primeiros resultados so, genericamente, parmetros para a aferio
do sucesso, enquanto os resultados (e) e (f) sro, respectivamente, parmetros pa-
ra a aferio do fracasso e do resultado catastrfico. O resuldado definido em (c)
servir de parmetro de aferio do sucesso ou do fracasso dependendo do escopo
da pesquisa de avaliao. O resultado (d) problemtico, paradoxal, pois ele pres-
supe um conflito entre efeitos individuais e agregados.
Cabe ainda ressaltar que esses resultados no so excludentes quando con-
siderarmos a natureza do impacto que a poltica implementada pode causar. Uma
mesma poltica pode causar impactos objetivos, gerando mudanas quantitativas
nas condies da populao-alvo, pode ainda gerar impactos subjetivos alterando
o "estado de espirto" da populao, e, finalmente, pode causar um impacto subs-
tantivo mudando qualitativamente as condies de vida da populao.
Nesse sentido, as pesquisas de avaliao de impactos de polticas ou progra-
mas podem ou no contemplar essas trs dimenses de mudana. Isto depender
dos objetivos da poltica, se estes pretendem ou no alterar esses trs aspectos das
condies de vida da populao-alvo. No entanto, do lado do analista, tambm
possvel expandir o escopo da pesquisa para captar outras mudanas no pretendi-
das. Se uma poltica pretende apenas, por exemplo, gerar impactos objetivos, po-
de-se investigar as conseqncias subjetivas ou substantivas decorrentes das mudan-
as quantitativas nas condies de vida da populao. Neste caso, se a pesquisa no
obtiver indicadores empricos capazes de aferir as mudanas subjetivas e/ou subs-
tantivas, tal argumentao no passar de conjecturas sobre possveis conseqn-
cias futuras (Bardach, 1977; Cookl e Carnpbell, 1975; Tullock, 1978).
Pelo exposto at aqui, voltamos a enfatizar o carter experimental das pol-
ticas de impacto e a inexorvel conseqncia metodolgica na sua avaliao:
pesquisas de avaliao de polticas de impacto necessariamente tm que usar m-
todos analticos experimentais, e os analistas dessas pesquisas tm que enfrentar
todos os problemas metodolgicos que estes desenhos analticos tm quando se
trata de pesquisa social.
Em se tratando de pesquisa de avaliao de polticas sociais, dificilmente
poderemos ter um desenho experimental, mas sim o que a literatura chama de de-
senhos quase-experimentais, dado que no nos possvel controlar todas as vari-
veis ambientais que atuam no experimento - um ciclo completo de implementao
da poltica (Campbell, 1969; Chapin, 1977; Cook e Campbell 1975; Lima Jr. et alii,
1978; Riecken e Boruch 1974).
Este carter experimental das polticas de impactos tem por critrios a aferi-
o do sucesso/fracasso e efetividade, a qual, por decorrncia da natureza do impac-
to pretendido, pode ser tambm objetiva, subjetiva e/ou substantiva.
A efetividade objetiva o critrio de aferio da mudana quantitativa entre
o antes e o depois da execuo do programa. O critrio de avaliao efetividade
subjetiva tm sido cada vez mais usado na medida em que o conceito de Bem-Estar
Social tem sido desdobrado em suas dimenses materiais, psicolgicas e culturais.
Nesse sentido a efetividade subjetiva torna-se o critrio de aferio de mudanas
psicolgicas, de mudanas nos sistemas de crenas e valores e, notadamente, tem a
116
"n61. Conl., B.lo Horizonte, 1 (3) i 107127, I.t./du. 1986
funo de aferir a percepo da populao sobre a adequao dos resultados obje-
tivos dos programas aos seus desejos, aspiraes e demandas. Ou seja, o nvel de
Bem-Estar Social tem de ser julgado por esta dimenso subjetiva tambm. A efe-
tividade substantiva , por sua vez, o critrio de aferio de mudanas qualitativas
nas condies sociais de vida da populao-alvo.
Os modelos analticos capazes de mensurar as mudanas - para as trs d-
menses da efetividade - so desenhos experimentais que comparam o estado dos
diversos aspectos da populao antes e depois da execuo do programa, garantin-
do-se um mnimo de controle, pelo menos analtico, sobre as variveis ambientais
que atuam sobre a populao no perodo da experimentao.
o propsito de intervir em processos sociais em andamento, sempre impl-
cito em polticas de impacto, revela uma concepo causal da histria cotidiana
que tem o seguinte argumento.
Pela lei da inrcia social, o futuro imediato tende a se reproduzir, podendo
apresentar variaes marginais decorrentes da nterao entre as variveis ambien-
tais e as trajetrias de vida com mudanas "predeterminadas" pela histria social.
Formalmente, a inrcia social tem o seguinte modelo:
Inrcia Social: Y + 1 = f(Y
to)
+f(V)
(I)
A deciso de intervir nesse processo para alterar o futuro implica introduzir
um conjunto de variveis exgenas no sistema (1), o qual passa a ser:
interveno Social: Y '
+1
(2)
Afere-se ento a efetividade da poltica medindo-se o peso relativo de
f ~ o ) sobre a determinao de Y ' + 1
O desenho analtico completa-se, ento, com a constituio de um grupo de
controle. Ou seja, formula-se um modelo de inrcia social do tipo respresentado em
(I) constitudo por ambientes sociais tao semelhantes quanto possvel aos que se-
ro objeto de interveno deliberada. Com o que obtemos os seguintes sistemas:
Interveno Social: Y' + 1
Grupo de Controle: Z t + I
=
f(Y
to
) +f(X
to)
+f(V)
f( Zto) + f( V)
(3)
Se o estado futuro y" for significativamente diferente do Z' e esta diferena
puder ser atribuda presena dos fatores em f ~ o ) ento conclui-se pela efetiv-
dade da poltica sob observao. Ademais, se o estado futuro Y" estiver dentro dos
parmetros desejados - dentro dos objetivos da poltica - conclui-se pelo sucesso
da empreitada social. Caso contrrio, conclui-se pelo fracasso.
O modelo defmido em (3) e a lgica de aferio da efetividade, tal como
mostrada, ajustam-se perfeitamente avaliao da efetividade objetiva e subjetiva.
No caso da anlise de impactos substantivos necessrio ir-se almdo modelo defi-
nitivo em (3).
Anl. Co"I., a.lo Horlzont., 1 (3)' 107-127, set.ldaz. 1986
117
A anlise de impactos substantivos tem de lanar mo de parmetros exter-
nos ao programa. Notadamente so usados princpios de justia social para avaliar
os propsitos e os resultados alcanados. Neste sentido a aferio da efetividade
substantiva de uma poltica social transita constantemente entre a avaliao poli-
tica da politica implementada e a avaliao do impacto de seus resultados. Isto ,
no basta aferir se o estado futuro Y" desejado ocorreu. necessrio avaliar se es-
ta nova situao, luz de alguns princpios de justia social minimamente aceitos,
positiva. O exame de efetividade substantiva exige, pois, uma avaliao poitica
da mudana.
3 AVALIAAO DE POLITICAS SOCIAIS NO BRASIL
A pesquisa de avaliao ainda incipiente no Brasil. A avaliao de politi-
cas sociais desenvolveu-se apenas nos anos 80 e, mesmo assim, de forma desigual
entre os diferentes tipos de polticas socass Essa assimetria revela-se no s no
nmero de estudos produzidos e o nmero de programas que so objeto de avalia-
o, como tambm no que diz respeito Sua sstematicdade, ou seja, na utiliza-
o ou no de critrios explictos de avaliao e de uma metodologia especfica e
apropriada ao critrio empregado. Entre as diferentes polticas sociais estudadas 5,
a rea de nutrio se destaca como a que apresenta uma prtica mais sistemtica
de avaliao, segundo todos os critrios anteriormente assinalados. Antes de en-
focarmos especificamente os resultados referentes a esta rea, por sua importn-
cia dentro do plano de Prioridades Sociais para 1985. resumiremos alguns resul-
tados que caracterizam, de maneira geral, o estado das artes de pesquisa de avalia-
es de polticas sociais no Brasil.
Em primeiro lugar, cabe ressaltar que, de um totai de 144 casos, apenas 6%
dos estudos avaliam como inteiramente positivos os resultados dos programas ana-
lisados. Ainda assim, detectou-se nesses resultados a influncia decisiva de fatores
institucionais, ou seja, o fato de as avaliaes terem sido encomendadas e/ou rea-
lizadas diretamente por rgos vinculados aos programas. Uma proporo de 25%
dos estudos avalia de forma inteiramente negativa os programas analisados e
l
ao
contrrio dos que avaliam positivamente, foram realizados em instituies e/ou
por pesquisadores individuais independentes, em sua maioria na universidade. A
grande maioria (69%), porm, situa-se entre estes dois extremos, ou seja, consti-
tuda de estudos que, mostrando os aspectos positivos dos programas, apresentam
restries ou problemas que, alm de numerosos, se mostram fundamentais para
o funcionamento e/ati efeitos dos programas avaliados.
O mais freqente dos problemas apontados o distanciamento do programa
em relao a seus objetivos iniciais, em decorrncia, geralmente, de distores na
4 Esta sec baseia-se nos resultados e no .material de pesquisa desenvolvido no Ncleo de
Estudos de Polticas Pblicas (NEEP) da Universidade Estadual de Campinas (UNICAMP) sob
a coordenao de um dos autores deste trabalho. Ver Figueiredo (1985),
5 As reas so: sade, previdncia, nutrio, habitao, saneamento e fundos sociais Pro-
grama de Integrao Social (PIS), Programa de Formao do Patrimnio do Servidor Pblico
(PASEP) e Fundo de Garantia por Tempo de Servio (FGTS). Ver Figueiredo (1985).
118 Anl. a Conl., B.lo Horizonte, 1 (3): 107.127, let./du. 1986
sua implementao e, em alguns casos, pela forma como os benefcios so apro-
priados pela populao. A poltica de habitao oferece exemplos desses dois tipos.
De acordo Com os objetivos enunciados em sua legislao, o que foi oficialmente
apresentado como "uma poltica de habitao de interesse social voltada para as
camadas de baixa renda" transformou-se ao longo de sua implementao (devido
lgica de financiamento da prpria poltica) em uma poltica prioritariamente
voltada para as classes mdias e altas, ou, quando muito, para as parcelas de renda
mais alta entre as camadas de baixa renda. A poltica de remoo de favelas para
conjuntos habitacionais, por sua vez, devido dificuldade do beneficirio em asse-
gurar o gasto com habitao em seu oramento, agravada pelas dificuldades de em-
prego e acesso a outras facilidades na proximidade dos novos ncleos residenciais,
contribuiu para a entrada subsidiada do favelado na especulao imobiliria, a rota-
tividade entre moradores de favela e de conjuntos habitacionais e a formao de
novos ncleos de favelas.
Trs outros problemas se destacam pela sua alta incidncia e importncia no
que diz respeito caracterizao do tipo de poltica social implementada. So eles:
a baixa cobertura dos programas, a escassez e/ou m utilizao de seus recursos
financeiros e a m qualidade dos servios prestados. A baixa cobertura dos progra-
mas apontada, principalmente, pelos estudos nas reas de Saneamento, Nutrio
e Sade, enquanto o problema de escassez e/ou m utilizao de recursos financei-
ros predominante nos estudos sobre as polticas de Previdncia e de Sade. A
m qualidade dos servios prestados, por sua vez, aparece como um problema im-
portante em todas as reas de polticas sociais estudadas, exceto nOS Fundos So-
ciais, obviamente, por suas caractersticas especficas.
Com menor grau de incidncia, h ainda cinco outros problemas. So eles:
o grau de privatizao dos programas, ou seja, sua implementao de forma a pri-
vilegiar interesses de grupos privados em detrimento do grupo supostamente be-
neficirio da poltica; a subordinao do programa poltica econmica ou a ou-
tros objetivos externos (rentabilidade, lucro, etc.); baixa participao dos benefl-
cirios, reais ou potenciais, nas diferentes fases do programa, a includa a inexis-
tncia de canais institucionais atravs dos quais a populao possa se expressar,
encaminhar sugestes e demandas ou influir no processo de deciso ou implemen-
tao; centralizao, tanto na formulao , implementao e na organizao admi-
nistrativa ou em outros aspectos relacionados ao programa, quanto no processo
poltico com repercusses diretas sobre estes, e uso poltico e/ou c1ientelstico
do programa, para fins eleitorais e/ou de apoio poltico.
Finalmente, um problema que diz respeito especificamente ao funcionamen-
to dos programas sociais e que aparece com alta incidncia nos estudos analisados
o da faltade integrao entre as agncias na implementao dos programas.
Os estudos de avaliao apontam outros problemas mais especficos, dif-
ceis de se agregar em grandes categorias. Porm, interessante observar que a
prtica de policy-recomendaton no muito utilizada, o que confirma o carter
incipiente da pesquisa de avaliao stricto sensu. So poucos os estudos que apre-
sentam de forma sistemtica as providncias necessrias para corrigir as distores
detectadas ou que apontam alternativas.
An61. a Co"I., Belo Horizonte, 1 (3): 107-127, let.fdez. 1966 119
Reswnidos os principais resultados substantivos encontrados nas pesquisas
de avaliao, resta-nos agora caracterizar o tipo de pesquisa realizada, ou seja: os
critrios e metodologia utilizados na avaliao. A este respeito o primeiro ponto a
ressaltar que a grande maioria dos estudos prope-se a analisar a eficcia dos pro-
gramas em funo das metas para eles estabelecidas. Seguem-se os estudos que ten-
tam tambm determinar o grau de adequao dos meios aos objetivos do programa
- o que chamamos eficcia funcional.
Entre as pesquisas de avaliao que utilizam critrios intrnsecos dos pr-
prios programas, muito pequena a parcela do que chamamos de avaliao de
eficincia - aquelas que relacionam os efeitos do programa (benefcios) com
os esfor-os (custos) empreendidos para obt-los. Alm disso, tomadas em sentido
estrito como anlises rigorosas de custo e benefcios, essa proporo fica ainda
mais reduzida.
As pesquisas que visam determinar o grau de efetividade do programa analisa-
do, ou seja, medir o impacto da ao governamental na populaa-o-alvo e/ou no
seu environment scio-econmico, so as mais utilizadas, depois das anlises de
eficcia, porm emescala bemmenossignificativa.
Alm dessas pesquisas, cujo principal objetivo verificar em que medida
o programa produziu efeitos sobre a situao especfica que visava corrigir, dis-
tnguem-se anlises de contextualizao, efetividade substantiva, cujos critrios
so parmetros externos ao programa, tais como justia social, igualdade social,
eqidade, desenvolvimento econmico, etc. Uma pequena porcentagem de estu-
dos dedica-se a este tipo de pesquisa. Pouco encontradas, tambm, so as pesqui-
sas que tomam por critrio de avaliao o grau de satisfao dos beneficirios,
inferido a partir de surveys ou entrevistas informais, Estas so realizadas predomi-
nantemente na anlise dos programas habitacionais.
Os diferentes tipos de anlise discriminados implicam o uso de modelos ana-
lticos com diferentes nveis de complexidade. Dessa maneira, estudos que avaliam
a efetivdade, a eficincia ou a "contextualizao" dos programas tendem a ser mais
complexos, em termos de procedimentos analticos e metodolgicos, do que estu-
dos que se restringem avaliao da eficcia da poltica, principalmente eficcia
funcional. Nos estudos de avaao das polticas sociais, como mostra o extenso
uso de critrio deieficcia funcional, predominam os modelos analticos menos
complexos. Observa-se ainda assim, no interior de cada um dos tipos de pesquisa
antes discriminados, uma grande variao no que diz respeito ao graude complexi-
dade e/ou sofisticao nos procedimentos metodolgicos, grau de preciso e di-
versidade das informaes utilizadas.
Consistentemente com o tipo de pesquisa o modelo analtico, predomina,
tambm, a utilizao de dados agregados e fontes documentais referentes ao pr-
prio programa. Entretanto, de maneira geral, as pesquisas de avaliao usam fon-
tes diversificadas, urna vez que a maioria (60%) usa trs ou mais fontes de infor-
mao. O simples uso de fontes diversas, contudo, wn indicador insuficiente da
qualidade ou complexidade do estudo. Para tanto, seria necessrio confrontar de
forma rigorosa as fontes utilizadas com o modelo analtico que serve de base
pesquisa. Isso no foi feito. Tornando-se porm a associao entre as fontes e os
120 An61. a Conj., 8elo Horizonte, 1 (3): 107127, set./dez. 1986
critrios utilizados, como indicadores do grau de adequao entre os procedimen-
tos metodolgicos e os critrios de avaliao, verificou-se que a maioria dos estu-
dos satisfazem a esta condio.
o alto grau de restries s fontes sugere que o uso de fontes diversificadas
foi a forma encontrada de suprir a precariedade das informaes disponveis. Cerca
de um tero dos autores fazem restries explcitas s informaes utilizadas na
pesquisa. Essas restries referem-se, principalmente, inexistncia, escassez, dis-
perso ou precariedade das informaes a respeito dos programas estudados. Apa-
recem tambm referncias relacionadas a problemas na coleta de informaes: a
forma como os dados so coletados pelas instituies responsveis; os procedi-
mentos utilizados pelo prprio pesquisador na produo de dados novos (co-
mo por exemplo, aplicao de questionrios); ausncia de mecanismos de acom-
panhamento dos programas; o baixo nvel de desagregao das informaes dis-
ponveis; dificultando e muitas vezes impedindo a realizao de anlises mais refi-
nadas e detalhadas.
Entre os estudos que avaliam a efetividade (impacto) do programa - a pes-
quisa tpica de avaliao - observa-se que parte considervel limita-se a medir o
alcance ou cobertura do programa avaliado, ou seja, a efetividade objetiva. Nes-
tes casos, dados agregados relativos ao programa 8;[0 comparados demanda exis-
tente, mensurada atravs de indicadores sociais. Alguns estudos procuram medir,
porm de forma pouco rigorosa, os efeitos da poitica nas condies de vida, no
aumento da renda ou do consumo da populao. Apenas nos estudos que avaliam
o impacto de programas nutricionais, so utilizados desenhos quase-experimen-
tais nos quais so especificadas ondas sucessivas de mensurao das condies
da populao-alvo, antes e depois da implementao dos programas, ou a apresen-
tao de desenhos alternativos usando grupos de controle. Estes estudos.alm de
se utilizarem de indicadores sociais, fazem uso de tcnicas de pesquisa por amos-
tragem como forma de aferio de caractersticas antropomtricas, scio-econ-
micas e demogrficas da populao-alvo dos programas avaliados com o objetivo
de avaliar o seu impacto no estado nutricional dessas populaes.
Dada a importncia da rea nutricional, faremos a seguir um breve relato
das pesquisas de avaliao dos programas voltados para essa rea.
3.1 Principais resultados das
Pesquisas de avaliao de politicas de nutrio
o piano Prioridades Sociais para 1985 derme como prioridade bsica, aten-
dendo rea identificada como de maior carncia, a poltica de alimentao. A
implementao dessa poltica prevista, no entanto, atravs de reforo e/ou ex-
panso de programas j existentes. Este fato, aliado constatao de que os pro-
gramas nessa rea foram objeto de avaliaes sistemticas, justifica o tratamento
destacado dos principais resultados substantivos 'dos estudos voltados para a an-
lise desses programas. Ademais, a poltica nutricional, tal como definida pelo Pro-
grama Nacional de Alimentao e Nutrio (PRONAN), apresenta alto grau de
homogeneidade e complementaridade entre os programas que a compem. Pro-
pe atuar conjugada e simultaneamente em duas linhas bsicas: na suplernenta-
Anl. CcnJ., Belo Horizonte, 1 (3): 107.127, nt./dez. 1986 121
o alimentar a grupos biolgicos de risco, em carter emergencial e transitrio,
e transitrio, atravs da distribuio de alimentos, e no estmulo racionalizao
do sistema de prod uoe comercializao do sistema de produo e comercializao
de alimentos bsicos. Para tanto, recomenda a distribuio de alimentos in natura
ou com um grau de processamento no sofisticado, de modo a permitir o proces-
samento primrio realizado por pequeno produtor agrcola, atravs da garantia de
um mercado institucional estvel para a produo regional.
No entanto, os estudos sobre o Programa Nacional de Alimentao e Nutri-
o (PRONAN) e sobre seus diferentes programas mostram que a sua consistn-
cia interna apenas formal. Os programas implementados no setor no guardam
correspondncia aos seus objetivos e diretrizes bsicos, seja em termos de de-
senho operacional e formato administrativo, seja em termos de cobertura da po-
pulao.
Quanto cobertura dos programas devido insuficincia e/ou imprevisibili-
dade na alocao de recursos, almde apresentar nveis inferiores s prprias metas,
j de si modestas, a sua extenso se deu, de maneira geral, em detrimento da quali-
dade dos alimentos fornecidos. Por outro lado, a distribuio de alimentos - o
exemplo conspcuo o da merenda escolar - deu-se de forma a reforar desigual-
dades existentes, uma vez que se concentrou nas reas centrais das zonas urbanas
em detrimento das populaes da zona rural e das reas perifricas urbanas.
Por sua vez, a diretriz bsica de distribuio de alimentos in natura tambm
no foi observada pelos principais programas de suplementao alimentar: Programa
de Complementao Alimentar (PCA), Programa de Nutrio e Sade, (PNS) e Pro-
grama Nacional de Alimentao Escolar (PNAE). Predominou o uso de alimentos de
sofisticado grau de processamento industrial, adquiridos nas grandes empresas in-
dustriais e nas regies produtoras do Centro-Sul do Pas. Este fato, alm de contra-
riar a diretriz de observao dos hbitos alimentares da populao, gerando a sua
no aceitao e/ou m utilizao, compromete os objetivos de estmulo e apoio aos
pequenos produtores locais de alimentos. Este resultado atribudo, em parte,
centralizao, pela Companhia Brasileira de Alimentos (COBAL), da tarefa de aqui-
sio de alimentos e abastecimento dos programas. Esta centralizao, aliada
incapacidade empresarial, apontada, tambm, como responsvel pela ineficincia
observada nesses processos que so realizados a custos altssimos, consumindo a
quase totalidade dos recursos dos programas.
Outro fator institucional que contribui para o no atendimento dos objetivos
dos programas componentes do PRONAN a diversidade de rgos envolvidos na
sua implementao e a falta de integrao entre eles. Esta se d no nvel mais ele-
mentar, comprometendo, s vezes, o prprio funcionamento do programa. Na im-
plementao do PNS, por exemplo, que tem por objetivo a suplementao alimen-
tar da populao materno-infantil, mediante distribuio de alimentos nas unidades
que integram a rede pblica de sade, foi identificado um baixo grau de integrao
do programa rotina dos servios de sade locais.
No que diz respeito ao impacto dos programas, faz-se necessria urna qualifi-
cao dos resultados disponveis. Como foi dito anteriormente, na rea da poltica
nutricional que dispomos de pesquisas mais sofisticadas e precisas, que recorrem
122 An61. a Coni., Belo Horizonte, 1 (3), 107127, l e t d e ~ 1986
a mtodos quase-experimentais de avaliao dos impactos. Estas pesquisas, contudo,
restringem-se a reas localizadas e dificilmente seus resultados so representativos
para todo o Pas. No obstante, um balano genrico desses resultados poder
ser til.
De maneira geral, os programas de suplementao alimentar atendem satisfa-
toriarnente s carncias nutricionais dos grupos biolgicos atingidos, apesar de se-
rem apontados ganhos menos significativos, em termosde valor nutricional, para os
que tm acesso a alimentos industrializados. Entretanto, apesar de abrangeremgru-
pos biolgicos diversificados e extensos (gestantes, pr-escolar, escolar), os estudos
mostram que a suplernentao alimentar 0[0 contribui de forma significativa para
o aumento da disponibilidade de alimentos do grupo domstico, representando,
porm, umacrscimo significativo de renda familiar.
Enfatizando a importncia do acesso aos alimentos fornecidos por essespro-
gramas, os estudos mostram, por exemplo, que a merenda escolar constitui a prin-
cipal, e em alguns casos (no meio rural, principalmente) a nica refeio do benefi-
ciria. Ademais, so constatados altos nveis de diluio intrafamiliar dos alimentos
distribudos a esses grupos biolgicos, ou seja, os alimentos so consumidos por
toda a famlia e no apenas pelos grupos beneficirios. Este fato pode intervir no
prprio efeito do programa sobre a populao-alvo, uma vez que as quantidades
distribudas, ao serem repartidas com os demais membros da famlia, no so sufici-
entes parao perodo de consumo previsto.
o problema, portanto, no se restringe ao grupo familiar que, a rigor, no
beneficirio do programa, mas atinge, tambm, a prpria populao-alvo. Alguns es-
tudos apontam a no-adequao dos programas suplementares s necessidades cal-
rico-proticas dos grupos de risco. Por exemplo, ao ser definido como um Programa
de Complementao Alimentar o PCA distribui alimentos com alto teor de nutrien-
tes nobres, deixando a desejar no que diz respeito quantidade de alimentos b-
sicos fornecidos. Constatou-se que tambm o PNAE baseia-se em clculo inadequa-
do da relao protena/caloria nos alimentos, o que gera um desperdcio de prote-
na., uma vez que a necessidade maior de calorias.
Os problemas de ineficcia e ineficincia afetam de maneira ainda mais aceno
tuada os programas de abastecimento popular e apoio comercializao e produo
de alimentos: Programa de Abastecimento em reas Urbanas de Baixa Renda
(PROAB) e, Projeto de Aquisio de Alimentos em Areas Rurais de Baixa Renda
(PROCAB). O impacto destes bastante reduzido, no Nordeste, nica regio, alis,
em que foram implementados.
4 AVALlAAo POLl'rICA, AVALIAO DE
POLI'rICAS E "PRIORIDADES 85":
BREVES COMENTRIOS
Neste trabalho, procuramos sistematizar os objetivos, os critrios e os mode-
los de avaliao de politicas sociais. Enfatizamos, inicialmente, a necessidade de
ampliar e sistematizar os estudos de avaliao polftica, isto , aqueles que se voltam
para a aferio do grau de consistncia entre os objetivos sociais, os princpios de
An61. Conl., a.lo Horizonte, 1 (3): 107-127, set.Il:le.z. 1986 123
justia e, claro, os meios a serem usados.v Mostramos, tambm, o "estado das ar-
tes" na rea das pesquisas de avaliao de polticas sociais.
Com base nesses trs pontos acreditamos ter montado um quadro analtico
capaz de balizar o debate sobre o "Prioridades 85" e, quem sabe, sobre a poltica
social brasileira, em termos gerais.
o "Prioridades 85" foi a primeira manifestao concreta do governo da Nova
Repblica sobre a questo social. A introduo desse documento estabelece os seus
fundamentos polticos e as seus objetivos de curto e longo prazo. Toma como pres-
suposto a necessidade premente de se estabelecer condies para o desenvolvimen-
to social e caracteriza este objetivo como sendo no um mero crescimento dos indi-
cadores sociais mas como sendo a "democratizao substantiva" da sociedade, isto
, a "extenso dos direitos sociais fundamentais a toda populao" (Brasil. Minist-
rio do Planejamento e Coordenao Geral, 1985).
Estes propsitos so ambiciosos, mas realizveis. Sua implementao requer
tempo - e o tempo um recurso escasso nas atuais condies da sociedade brasilei-
ra. No entanto, as condies polticas so inteiramente favorveis para iniciar-se
urna poltica social global, capaz de comprometer os atuais e futuros governantes.
As diretrizes do "Prioridades 85", hoje consolidadas no I Plano Nacional de
Desenvolvimento (PND) da Nova Repblica, apontam em duas drees: de um lado,
demonstram a preocupao com a moralidade social, exigindo altos nveis de efic-
cia, eficincia e efetividade dos programas que compem o plano; de outro, aponta
a sua transparncia, convocando as comunidades para participarem da sua operao.
A disposio dessa empreitada social aparece na composio e redistribuio dos
recursosoramentrios.
A estratgia de ao aponta o suprimento de demandas reprimidas na rea
social, notadamente nas reas de alimentao, emprego e sade. Do ponto de vista
da cobertura, a nfase dada aos chamados "bolses de pobreza", destacando a
regio nordestina, por razes bvias.
Operacionalmente, pode-se deduzir que a preocupao foi usar as instituies
que j atuam nessas reas, procurando superar entraves burocrticos e polticos atra-
vs da agiltao da prpria mquina governamental central.
Pela envergadura dos propsitos explicitados no "Prioridades 85" e na conso-
lidao no novo PND, podemos, nesta apreciao preliminar, adiantar que o seu
sucesso depende em parte da capacidade poltica dos seus promotores em liderar
compromissos sociais e de cobrar resultados. Que resultados devem ser cobrados?
Ou, que aspectos precisamser avaliados?
Inicialmente, necessria uma avaliao poltica do programa social da Nova
Repblica, em que o essencial ser distinguir os programas que visam to-somente
atender a demandas reprimidas - suprimindo carncias, em alguns casos absolutas -
dos que pretendem algum tipo de impacto. obvio que atender carncias to dra-
6 Referimo-nos a trabalhes tais como os realizados por Abranches (1985) entre outros.
124 Anl. Conl., Beto Horizonte, 1 ('3), 107127, nUdez. 1986
mticas certamente ter algum impacto; porm este to previsvel que certamente
dispensa estudos de avaliao.
A avaliao poltica ora proposta deve, pois, contemplar as seguintes inda-
gaes:
a) Quais so os propsitos de cada um dos programas envolvidos?
b) Em que medida esses propsitos e objetivos respondem as demandas
sociais bsicas, reprimidas nas ltimas dcadas?
c) - Que mecanismos foram acionados e qual a viabilidade funcional das
estratgias adotadas - ou seja, qual a viabilidade de sucesso funcional
desses programas?
d) - Qual o potencial de efetividade de cada um, e do conjunto, dos pro-
programas sociais declarados prioritrios?
Somente a partir de respostas a estas questes ser possvel encaminhar
sugestes especficas quanto as estratgias de avaliao e acompanhamento. No
entanto, pela natureza desses programas e do que j sabemos sobre as experincias
passadas, cremos que a prioridade avaliativa deve Ser dada ao acompanhamento de
eficcia funcional, uma vez que a complexidade das mquinas burocrticas dos go-
vernos e os conflitos e distores na implementao de programas sociais foram
a tnica no passado recente. A nfase na avaliao da eficcia e da eficincia des-
ses programas, contudo, no deve ficar restrita aos aspectos instrumental e objeti-
voo necessrio avaliar tambm, a eficcia e a eficincia poltica na gerao e
distribuio dos bens e servios que esses programas propem.
Nesta escala de prioridades, seguem-se as avaliaes de impacto objetivo pois
permitem o conhecimento preciso dos efeitos das polticas implementadas sobre as
distores que visavam corrigir. Finalmente, as avaliaes de impacto substantivo
tomam-se indispensves em uma etapa posterior quando novas metas estaro por
ser estabelecidas.
5 REFERENCIAS BIBLIOGRFICAS
ABRANCHES, Srgio. Relatrio da reuoio sobre metodologias de avalia-
o de programas sociais. Brasflia, CENDEC/IPEA, 1985. mrneog.
2 ANDERSON, Charles W. The place of principIes in policy anaIysis. Ame-
rican PoliticaI Science Review, Washington, 73(3):711-23, Sept. 1979.
3 BARDACH, Eugene. The implementation game. Cambridge, MIT, 1977.
4 BARRY, Brian & RAE, Douglas W. PoliticaI evaluation. ln: GREENSTEIN,
F. & POLSBY, N., ed. Handbook of politicai science. Reading, Addi-
son-Wesley, 1975. v.1: Politicai scence: scope and theory, p.337-40I.
5 BENETT, C.A. & LUMSDAIME, A., ed, Evallllltion and experiment. New
York, Academic Press, 1975.
An61. II Conl., B.lo Horizonte, 1 (3) 1 107 1 ~ 7 set./dez. 1986
125
6 BOOMS, Bernard H. Modelos econmicos na anlise de poltica pblica.
Revista de Administraao Pblica, Rio de Janeiro, 10(2):109-33, abr./
jun. 1976.
7 BOUNDON, Raymond. Efeitos perversos e ordem social. Rio de Janeiro,
Zahar, 1979.
8 BRASIL. Ministrio do Planejamento e Coordenao Geral. Programa de
prioridades sociais 1985. Braslia, 1985.
9 BUTTER, Willen H. Measurement of the public sector deficit and it's im-
plications for policy evaluation and designo IFMG Slaff Papers, 30(Z):
June 1983.
10 CAMPBELL, D.T. Methods for the experirnenting society. Evanston, Nor-
thwestern University, i 972.
II CAMPBELL, D.T. Reforms as experiments. American Psychologist, Wa-
shington, 24(4):409-29, Apr. 1969.
12 CHAPIN, F.C. lhe experimental methods and sociology. Scientfc Mon-
tly, New York, 4: 113-4, 1977.
13 COOK, T. & CAMPBELL, D.T. The design and conduct of quasi - expe-
riments and true experiments in field settings. ln: DUNETLE, M.D.,
ed. Handbook of industrial and organizational research. New York,
Rand McNaily, 1975. p.233-326.
14 DAHL, R. Anlise poltica moderna. Brasila, Universidade de Braslia,
1981.
15 DEUTSHER, Irwin. Social theory, social programs and social prograrn
evaluation: a metatheoretical note. The Sociological Quarterly, Car-
bondale, 20, t 1979.
16 ELSTER, Jon. Logic and society: contradictions and possible worlds.
New York, John Wiley, 1978.
17 FIGUEIREDO, Argelina M. Cheibub. Levantamento e anlise das avalia-
es de polticas sociais. Campinas, UN1CAMP/NEEP, FINEP, 1985.
18 FIGUEIREDO, Marcus F. & BALDACHEVSKY, Elizabeth. A coleta de
dados em projetos de avaliao: notas para a dscusso de alguns pro-
blemas. So Paulo, IDESP, 1983.
19 FREEMAN, H. & SHERWOOD, C.C. Social research and social policy.
Englewood Cliffs, Prentice Hall, 1970.
20 GUTTENTAG, M. & STRUENING, E.L., ed. Handbook of evaluation
research. Beverly Hills, Lage, 1975. v.3.
126 An61. Ccnj . S.lo Horlzont., 1 (3), 1 0 1 1 ~ t.Jdez. 1986
21 HARGROVE, E.C. The missing linke - the study of the implemeotatioo
ofsocialpoticy. Washiogton, The Urban Institute, 1975.
22 LIMA JR., Olavo B.; SILVA, An de Abreu; LEITE, Maria Claudia. In-
terveno planejada na realidade social: escopo e limites da pesquisa
de avatiao. Rio de Janeiro, IUPERJ, 1978.
23 NACHMIAS, David. Puhlie poliey evaluation: approaches and methuds.
NewYork, St. Martin's Press, 1979.
24 RIECKEN, H'w. & BORUCH, R.F. Social experimeotation: a method
for planning and evaluation social interveotioo. New York, Academie
Press, 1974.
25 ROSSI, P.H. et alii. Evaluation researeh: ao assesment of theory, praetice
and polities. Evaluatioo Quarte1y, BeverleyHilIs, 1(1), Feb. 1977.
26 TRIPODl, D.; FELLIN, P.; EPSTEIN, I. Avaliao de programas sociais.
2.ed. Rio de Janeiro, Francisco Alves, 1984.
27 TULLOCK, G.; WAGNER, R.E. ed. Poliey analysisand deductiv reasoning.
Lexington, Lexngton Books, 1978.
28 W'ttDAWSKY, A. The politicaI eeonomy of effieieney: cost - benefit;
analysis and program buildng, In: RANNEY, A. Politicai seieoee and
pubtie poticy. Chicago, Markhan, 1968.
An61. Co"l., a.lo Horb:ont., 1 (3): '071i7, ,et./de.J:.. 1986
127