PUBLICADO EM: RICO, Elizabeth Melo (org.) (1998). Avaliao de Polticas Sociais: Uma Questo em Debate. So Paulo, Cortez.

TENDNCIAS NO ESTUDO SOBRE AVALIAO1

Marta T. S. Arretche2

1. Introduo

Para melhor precisar o contedo desta pequena controbuio, necessrio inicialmente distinguir o que se entende por avaliao de uma dada poltica pblica, distinguindo-a de outras modalidades de avaliao: a avaliao poltica e a anlise de polticas pblicas. certo que qualquer forma de avaliao envolve necessariamente um julgamento, vale dizer, trata-se precipuamente de atribuir um valor, uma medida de aprovao ou desaprovao a uma poltica ou programa pblico particular, de analis-la a partir de uma certa concepo de justia (explcita ou implcita). Neste sentido, no existe possibilidade de que qualquer modalidade de avaliao ou anlise de polticas pblicas possa ser apenas instrumental, tcnica ou neutra. Nesta perspectiva, qualquer linha de abordagem das polticas pblicas supe, de parte do analista, um conjunto de princpios cuja demonstrao , no limite, impossvel, dado que corresponde a opes valorativas pessoais. Neste sentido, o uso adequado dos instrumentos de anlise e avaliao so fundamentais para que no se confunda opes pessoais com resultados de pesquisa. Cada uma das distintas abordagens avaliativas acima mencionadas supe distintos instrumentos de operao e, por conseqncia, abordagens e concluses de diferente natureza. Me explico: por avaliao poltica, entende-se "a anlise e elucidao do critrio ou critrios que fundamentam determinada poltica: as razes que a tornam

1. Trabalho preparado com base em exposio realizada no Seminrio "Avaliao de Polticas e de Programas Sociais", organizado pelo Instituto de Estudos Especiais da PUC-SP, de 19 a 2 de junho de 1996. 2. Profa. de Cincia Poltica na UNESP-CAr.

prefervel a qualquer outra" (Figueiredo & Figueiredo, 1986: 2). Neste sentido, a avaliao poltica pode ressaltar, quer o carter poltico do processo decisrio que implicou na adoo de uma dada poltica, quer os valores e critrios polticos nela identificveis. A avaliao poltica nesta perspectiva prescinde do exame da operacionalidade concreta ou da implementao do programa sob anlise. Ela examina os pressupostos e fundamentos polticos de um determinado curso de ao pblica, independentemente de sua engenharia institucional e de seus resultados provveis. Por anlise de polticas pblicas, entende-se o exame da engenharia institucional e dos traos constitutivos dos programas. Qualquer poltica pblica pode ser formulada e implementada de diversos modos. Digamos, as possibilidades de desenho institucional de uma poltica nacional de sade, por exemplo, so as mais diversas do ponto de vista das formas de relao entre setor pblico e setor privado, das formas de financiamento, das modalidades de prestao de servios, etc. A anlise de polticas pblicas busca reconstituir estas diversas caractersticas, de forma a apreend-las em um todo coerente e compreensvel. Ou melhor dizendo, de forma a dar sentido e entendimento ao carter errtico da ao pblica3. Ainda que a anlise de uma dada poltica pblica possa atribuir a um determinado desenho institucional alguns resultados provveis, somente a avaliao desta poltica poder atribuir uma relao de causalidade entre um programa x e um resultado y. Por exemplo, ainda que se possa esperar que a cobrana de consultas mdicas tenda a excluir a populao mais pobre do acesso a servios mdicos com base no exame do desenho institucional de uma dada poltica de sade, apenas um estudo de avaliao poder afirmar com relativa segurana quais parcelas da populao foram efetivamente excludas e qual o impacto desta medida nas condies de sade da populao. Ou, ainda que se afirme, segundo uma determinada concepo de justia e de eficincia, que a proviso privada de servios mais eficiente que a proviso pblica, somente a avaliao de programas efetivamente implementados poder estabelecer uma relao causal entre uma determinada modalidade de poltica pblica e o sucesso ou fracasso na realizao de seus propsitos, ou ainda entre esta poltica e um dado resultado ou impacto sobre a situao social prvia sua implementao.

3. Na verdade, a ao pblica caracterizada por incoerncias, ambigidades e incertezas em todos os estgios e em todos os momentos. Qualquer poltica pblica em grande parte um esforo de coordenao de foras centrfugas que operam no interior da prpria mquina estatal e na sociedade. A formulao de polticas com muita freqncia marcada pelo fato de que os decisores no sabem exatamente o que eles querem, nem o resultado possvel das politicas formuladas, bem como pelo fato de que as polticas adotadas so o resultado de um processo de negociao no qual o desenho original de um programa substancialmente modificado (Jobert & Muller, 1987).

Neste sentido, portanto, a particularidade da avaliao de polticas pblicas consiste na adoo de mtodos e tcnicas de pesquisa que permitam estabelecer uma relao de causalidade entre um programa x e um resultado y, ou ainda, que, na ausncia do programa x, no teramos o resultado y (Figueiredo & Figueiredo, 1986). Feitas estas distines, tratarei aqui exclusivamente de fazer alguns simples comentrios sobre as tendncias de avaliao de polticas pblicas, mais particularmente das polticas sociais.

2. Algumas tendncias de avaliao de polticas pblicas

A literatura de avaliao de polticas pblicas costuma distingui-las em termos de sua efetividade, eficcia e eficincia, distino esta que basicamente um recurso analtico destinado a separar aspectos distintos dos objetivos e por conseqncia, da abordagem e dos mtodos e tcnicas de avaliao.

2.1. Sobre a avaliao de efetividade

Por avaliao de efetividade, entende-se o exame da relao entre a implementao de um determinado programa e seus impactos e/ou resultados, isto , seu sucesso ou fracasso em termos de uma efetiva mudana nas condies sociais prvias da vida das populaes atingidas pelo programa sob avaliao(Figueiredo & Figueiredo, 1986). precisamente na avaliao de efetividade que a distino entre avaliao e anlise torna-se mais clara e necessria, devido necessidade j mencionada de demonstrar que os resultados encontrados na realidade social esto causalmente relacionados quela poltica particular. E, adicionalmente, da necessidade de distinguir entre os produtos de uma poltica e seus resultados. Por exemplo, um programa de vacinao pode ser muito bem sucedido, como veremos mais adiante, em termos de sua eficcia, vale dizer, da possibilidade de efetivamente atingir uma quantidade satisfatria de suas metas de vacinao, por exemplo, vacinar x crianas em um prazo dado. Neste sentido, o programa foi bem sucedido do ponto de vista da efetiva produo de determinado produtos. Isto no significa necessariamente que o programa seja bem sucedido do ponto de vista dos

resultados dele esperados, vale dizer, da possibilidade de efetivamente reduzir a incidncia da doena que se propunha a erradicar ou a diminuir substancialmente num horizonte x de tempo. Da mesma forma, espera-se que programas de saneamento bsico tenham impacto sobre as condies de sade da populao. Ora, uma coisa abastecer a populao com sistemas de gua e esgoto e, neste sentido, fornecer produtos como torneiras de gua e sistemas de eliminao de dejetos. Outra coisa bastante distinta a qualidade deste servio e, mais distinta ainda, seu impacto sobre as condies de sade da populao. Nas avaliaes de efetividade, a maior dificuldade metodolgica no consiste em distinguir produtos de resultados. De fato, a principal dificuldade metodolgica consiste precisamente em demonstrar que os resultados encontrados (sejam eles no sentido do sucesso ou do fracasso) esto causalmente relacionados aos produtos oferecidos por uma dada poltica sob anlise. Por esta razo, estudos confiveis sobre efetividade dos programas so muito difceis, e mesmo raros. E isto por vrias razes, que vo desde as aparentemente mais simples, que dizem respeito obteno de informaes sobre os programas e sobre as populaes analisadas, at as metodologicamente mais complicadas, que dizem respeito possibilidade de isolar a interferncia das variveis intervenientes em qualquer sistema aberto prprio da anlise social4, passando pelas dificuldades operacionais, que dizem respeito aos custos financeiros e organizativos envolvidos em pesquisas de campo. Na verdade, a tradio brasileira em polticas pblicas (se que podemos afirmar que j exista entre ns uma tradio nesta rea) bastante pobre em termos de estudos de avaliao da efetividade das polticas. certo que o critrio da efetividade das polticas tem estado presente em boa parte das anlises. Na medida em que este critrio est fortemente relacionado a determinados ideais de igualdade e justia social e, por esta razo, expectativa de que as polticas implementadas reduzam os brutais ndices de pobreza, desigualdade e excluso social existentes entre ns, a correlao entre polticas e seus parcos resultados tem estado presente no discurso analtico das polticas pblicas. Tais anlises no tem implicado, contudo, em significativos avanos do ponto de vista da avaliao das polticas, devido -- repito -- dificuldadade em
4. Para uma apresentao de diferentes mtodos e tcnicas de avaliao de programas, ver Deleau; Nioche; Penz; Ponsard, 1986 e Cohen & Franco, 1988.

estabelecer a relao de causalidade j mencionada. De fato, boa parte das anlises atribuem inefetividade das polticas sociais brasileiras a persistncia da aguda condio de abandono, pobreza e desproteo de nossa populao pobre. Ora, menos que resultado de avaliaes precisas, estas concluses so resultado da correlao entre ndices de pobreza e oferta de servios sociais. Se quisermos examinar os resultados das polticas sociais no Brasil apenas com base em correlaes, podemos afirmar exatamente o oposto do que as anlises correntes atestam: nas regies mais pobres do pas (do Norte e Nordeste rural), so apenas as redes pblicas de servios de educao e sade que, com toda a precariedade possvel e imaginvel, oferecem alguma modalidade de proteo s populaes pobres (Draibe & Arretche, 1995). Neste sentido, o Sistema de Proteo Social Brasileiro seria efetivo em sua capacidade de garantir nveis mnimos de proteo populao pobre. Na verdade, apenas rigorosas avaliaes de efetividade poderiam responder a esta questo.

2.2. Sobre a avaliao da eficcia

Por avaliao de eficcia, entende-se a avaliao da relao entre os objetivos e instrumentos explcitos de um dado programa e seus resultados efetivos (Figueiredo & Figueiredo, 1986). Esta avaliao pode ser feita entre, por exemplo, as metas propostas e as metas alcanadas pelo programa ou entre os instrumentos previstos para sua implementao e aqueles efetivamente empregados. A avalio de eficcia seguramente a mais usualmente aplicada nas avaliaes correntes de polticas pblicas. Isto porque ela certamente aquela mais factvel e menos custosa de ser realizada. Na verdade, o avaliador estabelece uma equao entre metas anunciadas por um programa e, com base nas informaes disponveis, as relaciona s metas alcanadas e, deste modo, conclui pelo sucesso ou fracasso da poltica. Neste tipo de avaliao, a maior dificuldade consiste na obteno e confiabilidade das informaes obtidas. Em menor medida, mas tambm usualmente aplicada a avaliao da relao entre os instrumentos previstos para implementao de uma poltica e aqueles efetivamente empregados. Na maior parte das vezes, esta avaliao consiste no exame da processualidade concreta e da adequao e coerncia dos meios e instrumentos utilizados durante a vigncia de um determinado programa.

Neste caso tambm, a maior dificuldade consiste na obteno e veracidade das informaes acerca do funcionamento concreto do programa sob anlise. Contudo, este tipo de avaliao exige pesquisas de campo capazes de aferir e reconstituir o processo de implantao e/ou implementao da poltica sob anlise.

2.3. Sobre a avaliao de eficincia

Por avaliao de eficincia, entende-se a avaliao da relao entre o esforo empregado na implementao de uma dada poltica e os resultados alcanados (Figueiredo e Figueiredo, 1986). Penso que a avaliao da eficincia possivelmente hoje a mais necessria e a mais urgente de ser desenvolvida. E, na verdade, tem sido feito um grande esforo de sofisticao dos mtodos de avaliao de eficincia nos anos mais recentes. Isto tem ocorrido sob o impulso de vrios fatores. Em primeiro lugar, porque a escassez de recursos pblicos exige maior racionalizao do gasto. Na verdade, sob o impacto da crise fiscal do Estado, medidas e programas de racionalizao da ao pblica tm buscado aumentar o volume de recursos efetivamente disponveis sem aumentar o volume de arrecadao e/ou sem aumentar rubricas de gasto. Por exemplo, um dos objetivos mais importantes do Programa Comunidade Solidria consiste na melhoria da gesto de programas prexistentes, tornando mais eficiente a prestao de servios, sem aumentar substancialmente rubricas anteriores de gasto. Independentemente da avaliao poltica que se possa fazer desta opo de poltica de combate pobreza, ela revela uma tendncia de racionalizao do gasto em que o elemento "eficincia" ganha preponderncia. Na mesma direo, as mudanas introduzidas a partir de 1989 na gesto do FGTS indicam um esforo de racionalizao da gesto dos recursos, de modo a elevar a arrecadao efetiva de recursos, sem aumentar alquotas de cobrana da contribuio e sem criar novas fontes de obteno de recursos (Arretche, 1994). Em outras palavras, limites para a obteno de recursos com base na criao de novas fontes de arrecadao, bem como um crescente estreitamento de suas fontes tradicionais, tm induzido a inovaes no campo da racionalizao da gesto e do gasto pblicos, vale dizer, no terreno especfico da eficincia, medidas estas que demandam estudos de avaliao.

Em segundo lugar, os estudos de avaliao da eficincia tornam-se cada vez mais necessrios no Brasil porque, paralelamente escassez de recursos pblicos, os "universos" populacionais a ser cobertos pelos programas sociais so de enormes propores. Quando um programa de merenda escolar deve alimentar diariamente 32 milhes de crianas, por exemplo, a eficincia do gasto se impe, dado que, vista negativamente, a ineficincia implica a virtual impossibilidade de oferta desta fonte bsica de alimentao a um exrcito de crianas dela dependentes. Mas, finalmente e de modo algum menos importante, as avaliaes de eficincia, embora bastante negligenciadas, impem-se porque a eficincia um objetivo democrtico. Na verdade, ao dispor de recursos pblicos e ao implementar polticas pblicas, o governo est gastando um dinheiro que no seu; ao faz-lo, o governo est gastando o dinheiro do contribuinte. Ora, a probidade, competncia e eficincia no uso de recursos publicamente apropriados constituem , em regimes democrticos, uma das condies para a confiana pblica (public confidente) no Estado e nas instituies democrticas. O desperdcio de recursos, a corrupo ou a incapacidade governamental so, na verdade, entraves utilizao de recursos publicamente geridos para finalidades efetivamente pblicas (Cohen, 1995:40) Isto no significa que o critrio de eficincia no setor pblico seja o mesmo da eficincia do setor privado, vale dizer, uma mera equao entre custos os mais reduzidos possveis e resultados os melhores (mensurveis) possveis. Evidentemente, o o conceito de eficincia no setor pblico distinto daquele do setor privado. Por exemplo, dado o objetivo de reduo de desigualdades, justifica-se uma poltica de subsdios, o que no est de acordo com uma concepo de eficincia que busca apenas minimizar custos. No entanto, este instrumento no elimina a necessidade de aplicar uma poltica de subsdios com o maior grau de eficincia possvel, eliminando custos desnecessrios e no condizentes com o princpio da eqidade.

3. Da avaliao como instrumento democrtico

A avaliao teoricamente uma das etapas de uma poltica. De acordo com os manuais de anlise e avaliao de politicas pblicas, a avaliao deveria ser uma etapa posterior implementao das polticas e programas, destinada a influenciar sua reformulao, seja durante sua implementao, seja posteriormente.

Ora, ns todos sabemos que, em sociedades em que o mercado eleitoral tem peso, o impacto social de uma poltica tende a ter menor peso no processo decisrio que seu impacto sobre a opinio pblica ou seu impacto eleitoral. Em outras palavras, a avaliao da eficincia, eficcia e efetividade das polticas tende a ser apenas um dos elementos -- e possivelmente de muito menor importncia -- na deciso pela adoo, reformulao ou supresso de um programa pblico, dado que as razes do mercado eleitoral tm forte influncia no processo decisrio. Uma viso precipitadamente negativa desta tendncia (que um "dado" da vida real) poderia concluir pela irrelevncia da realizao de estudos de avaliao. Na verdade, diferentemente, a produo e divulgao de avaliaes, tal como demonstrado mais acima, disponibilizam instrumentos que capacitam o eleitorado a exercer o princpio democrtico de controle sobre a eficincia da ao dos governos: a idia de que "desperdiar recursos pblicos (dinheiro que do contribuinte) eleitoralmente negativo". Neste sentido, a produo e divulgao de avaliaes rigorosas, tecnicamente bem feitas, permitem o exerccio de um importante direito democrtico: o controle sobre as aes de governo. Portanto, a criao e fortalecimento de instituies e agncias

independentes capazes de produzir estudos confiveis de avaliao de polticas pblicas crescentemente uma necessidade para o bom governo. Seja para a opinio pblica e o eleitorado, a fim de que estes possam exercer um controle democrtico sobre o uso de seus recursos; seja para o prprio governante, interessado em controlar agncias estatais executoras de polticas, agncias estas que tendem a ter autonomia em relao s diretrizes governamentais.

4. Da necessidade de avaliaes independentes

Porque destinadas a exercer controle sobre as aes pblicas, seja dos cidados sobre o governo, seja do governo sobre si mesmo, as avaliaes precisam ser realizadas por rgos independentes. Normalmente, as equipes governamentais encarregadas da execuo de uma poltica fazem "avaliaes". Estas consistem freqentemente em relatrios de acompanhamento, nos quais se descrevem as aes desenvolvidas no curso de implementao do programa em questo. muito difcil (embora obviamente no

inteiramente impossvel) que tais "avaliaes" possam ser isentas. Isto , h uma srie de incentivos para que tais avaliaes concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos de fracasso. Estas razes vo desde a manuteno dos prprios empregos at o interesse das burocracias em aumentar suas margens de poder e de gasto. Por estas razes, mais difcil que tais "avaliaes" tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa para estudos de avaliao, mais particularmente avaliaes de eficcia. Em outras palavras, a veracidade e utilidade dos estudos advm em grande parte de seu rigor metodolgico e da necessidade de no obter resultados avaliativos os mais confiveis possveis, seja para a anlise do sucesso ou do fracasso de uma dada poltica. Como espero ter demonstrado, os estudos de avaliao j so em si mesmos muito difceis. A dificuldade de isolar da realidade variveis efetivamente relevantes; a incerteza sobre os reais objetivos da poltica avaliada (dada a necessidade de distinguir entre objetivos explcitos e implcitos); as dificuldades de obteno e adequao das informaes; as dificuldades tcnicas para estabelecer relaes de causalidade entre programas e seus resultados, as dificuldades para obteno dos recursos financeiros necessrios realizao de confiveis; todos estes fatores tornam os estudos de avaliao de muito difcil execuo. Se a estes fatores acrescenta-se o partpris do avaliador, aumenta exponencialmente a possibilidade de comprometimento dos resultados da avaliao. Isto no significa que, em pesquisas de avaliao, a neutralidade administrativa e a tecnicalidade isenta sejam possveis e, que, portanto, a avaliao se caracterize pela ausncia de valores, tais como justia social, eficincia, reduo de custos, etc. Significa apenas que instituies independentes tm maiores condies e incentivos para, com base em critrios valorativos explcitos e objetivos definidos, montar instrumentos adequados para responder questo da relao entre os polticas, seus processos e seus resultados, que so condies necessrias ao bom governo.

10

5. Bibliografia Citada

ARRETCHE, Marta Teresa da Silva. Polticas de Habitao para Baixa Renda e de Saneamento Bsico. Relatrio Final. no Brasil. IESP/FUNDAP, 1994. COHEN, Joshua & ROGERS, Joel. Verso, 1993. COHEN, E. & FRANCO, R. 1988. DELEAU, M.;NIOCHE, J.P.; PENZ,P. et PONSARD, R. Evaluer les Politiques Publiques: mthodes, dontologie, organisation. Paris, La Documentation Franaise, 1986. DRAIBE, Snia Miriam & ARRETCHE, Marta T. S (coord). Programas de Combate a la Pobreza en Brasil", in: Recursos. Santiago, BID/CIEPLAN, 1995. FIGUEIREDO, Marcus Faria & FIGUEIREDO, Argelina Maria Cheibub. IDESP, no. 15, 1986, mimeo. JOBERT, Bruno & MULLER, Pierre. Corporatismes. Paris, PUF, 1987. LAMOUNIER, Bolivar. Referncia. Mimeo. Anlise de Polticas Pblicas: Quadro Terico-Metodolgico de L'tat en Action. Politiques Publiques et "Avaliao " Politicas Sociales y Evaluacin de Proyectos Sociales. Buenos Aires, GEL, Associations and Democracy. London/New York, Subprojeto "Canais de Acesso aos Fundos Pblicos na rea Social", da pesquisa "Balano e Perspectivas do Federalismo Fiscal

RACZYNSKI, Dagmar (ed.).

Estrategias para Combatir la Pobreza en America Latina: Programas, Instituciones y

Poltica e Avaliao de Polticas: Um Quadro de Referncia Terica", in: Textos