ARTIGOS INDITOS JAN/JUN 2008 7

Propostas para uma avaliao em profundidade de polticas

pblicas sociais
Proposed for a depth social public politics evaluation
Proposicin para una evaluacin en profundidad de polticas
pblicas sociales
Propos pour une valuation profond de politiques publiques
sociaux

Lea Carvalho Rodrigues*

Resumo: O artigo apresenta um conjunto
de tpicos considerados essenciais efe-
tivao de uma avaliao em profundidade
de polticas pblicas de carter social. A pro-
posta motivada pela constatao da insu-
ficincia dos modelos clssicos de anlise e
da necessidade cada vez mais premente de
se realizarem pesquisas que considerem o con-
texto social, econmico, poltico e cultural,
bem como a importncia da anlise insti-
tucional, das relaes de poder, dos interes-
ses e valores que permeiam os processos de
formulao e implementao dessas polticas.
Primeiramente, so apresentadas as princi-
pais linhas terico-metodolgicas no campo
da avaliao das polticas pblicas, em nvel
mundial e no Brasil; em seguida, apontam-se
seus limites e, por fim, apresentam-se pro-
posies para uma abordagem processual,
multidimensional e interdisciplinar. Conclui-se
que uma avaliao em profundidade precisa
dar conta de quatro dimenses analticas:
anlise de contedo, de contexto e da traje-
tria institucional de programas e polticas,
bem como do espectro temporal e territorial.
Abstract: This article presents some essential
points that enable an accurate evaluation of
social public policies. Our research is motivated
by the widely understood inadequacies of the
classic models for the evaluation of public po-
licies. It will address the urgent need to
undertake research that takes into account
the social, economic, political, and cultural
context, as well as the importance of
institutional analysis, the relations of power,
and the interests and values that permeate
the process of formulation and implementation
of those policies. First of all we presented the
main theoretical-methodological lines in public
policies evaluation, at world level and in Brazil;
then we presented your limits, and finally some
propositions for a procedural approach, multidi-
mensional and interdisciplinar. A conclusion is
that a depth evaluation needs to accomplish
three analytic dimensions: content, context
and institutional analysis of programs and
politics, and both temporality and territoriality.
Keywords: public policies, evaluation, metho-
dology.

Palavras-chave: polticas pblicas, avalia-

o, metodologia.

*Mestre em antropologia social e doutora em cincias sociais pela UNICAMP, atualmente professora do De-
partamento de Cincias Sociais da UFC (rea de antropologia) e coordenadora do Mestrado em Avalia-
o de Polticas Pblicas da mesma universidade. E-mail: lea@ufc.br
8 JAN/JUN 2008
Uma vez que a
Introduo proposta deste
artigo apresen-
tar pontos e elementos considerados funda-
mentais para uma anlise aprofundada de pro-
gramas e projetos constitutivos de polticas
pblicas de carter social, teremos que, pri-
meiramente, compreender as principais linhas
terico-metodolgicas que conformaram, ao
longo do tempo, o campo da avaliao das
polticas pblicas em nvel mundial.
Em seguida, iremos abordar a especificidade
do caso brasileiro quanto s tendncias que
tm dominado o campo da avaliao de pol-
ticas pblicas, dada a sua posio especfica
no cenrio mundial e a dependncia das exi-
gncias das agncias multilaterais no atendi-
mento avaliao dos programas por elas
financiados.
Finalmente, o ltimo tpico apresentar os
quesitos considerados essenciais para uma
avaliao mais aprofundada dessas polticas,
o que, com certeza, apresentar-se- como
um questionamento aos parmetros utilizados
pelas agncias multilaterais, bem como for-
ma como, no campo acadmico brasileiro, aca-
ba-se por reproduzir, sem uma perspectiva cr-
tica, esses modelos formulados a partir de pers-
pectivas generalizantes, tidos como aplicveis
a qualquer pas ou situao majoritariamen-
te assentados em paradigmas positivistas de
anlise e com o predomnio dos referenciais
economicistas.
Perspectivas tericas e
metodolgicas de avaliao
em retrospectiva
Como bem observa Paula (2001), a cons-
tituio de um campo acadmico especial-
mente voltado avaliao das polticas p- lista1 e uma concepo instrumental da ava-
blicas relativamente recente, mas em cons-
tante crescimento mundial, em particular nos
Estados Unidos e na Gr-Bretanha.
Na Frana, nos anos 1990, diz o autor
que esta rea cresceu consideravelmente na
esfera governamental, quando foram formu-
lados modelos de acompanhamento do de-
sempenho de programas e o prprio Con-
gresso Nacional passou a apreciar as de-
ARTIGOS INDITOS
mandas para as polticas, tendo como base
a definio de metodologias de avaliao, a
fim de aprovar polticas e programas sociais.
Assim, tanto nos Estados Unidos como na
Frana e Inglaterra, houve um crescimento
da rea no campo governamental e tambm
no campo cientfico. Surgiram associaes
de avaliadores, definindo uma modalidade,
uma subrea profissional cientfica chamada
Avaliao, dispondo de profissionais oriun-
dos das mais diferentes reas mas que es-
tavam se especializando em avaliao, crian-
do associaes cientficas, organizando even-
tos cientficos e lanando revistas cientfi-
cas (Idem, op. cit.).
No Brasil, apenas no final da dcada de
1980 e incio da dcada de 1990 que a
temtica da avaliao das polticas pblicas
intensifica-se, assumindo um papel de des-
taque nas administraes pblicas da Am-
rica Latina, no contexto da reforma do Es-
tado, e direcionada a uma agenda neoliberal,
sendo ainda reduzida a literatura sobre o
tema. Uma das mais recentes publicaes
no Brasil, que vem a suprir uma lacuna na
abordagem das metodologias clssicas de
avaliao, a obra de Holanda (2006) que
apresenta uma viso geral e didtica dos
conceitos, fundamentos, metodologias e pr-
ticas de avaliao de programas ex post,
com nfase nos programas e projetos de na-
tureza social. Vale destacar, contudo, que a
relevncia dada ao tema a partir dos anos
1990 deveu-se, principalmente, situao
de dependncia do pas frente s agncias
financiadoras internacionais, como o Banco
Internacional para a Reconstruo e o De-
senvolvimento BIRD e Banco Interamericano
de Desenvolvimento BID, que passaram a
exigir, com mais critrio, a elaborao de sis-
temas de monitoramento de avaliao dos
projetos por eles financiados. Neste contex-
to, sobressaem-se a abordagem gerencia-
liao, cuja funo medir, acompanhar e
avaliar o xito das reformas administrati-
vas norteadas pelos princpios e valores
neoliberais (Farias, 2005:2). Como enfatiza
o autor, isto era esperado em razo do ca-
rter eminentemente poltico do projeto de
modernizao do Estado vinculado revo-
luo gerencialista que se desejava implan-
tar, no qual o monitoramento e a avaliao
ARTIGOS INDITOS JAN/JUN 2008 9

de polticas ocupam um papel de destaque. e programas sociais, por exemplo, o Banco

As particularidades do caso brasileiro acima Mundial, em instrumentos de monitoramento
citadas, certamente, tm direcionado a pr- e avaliao e em palestras que organiza nos
tica da avaliao, bem como a reflexo in- pases que se utilizam de seus recursos para
telectual sobre a mesma, j que h claros a execuo desses programas, tem sido en-
constrangimentos colocados pelas agncias ftico quanto exigncia de utilizao de
multilaterais. Como condio para a conces- grupo de controle para medir os resultados.
so de financiamentos, elas traam as es- O grupo de controle utilizado como medida
tratgias para aplicao dos recursos e as- de comparao com a situao que se quer
sistncia, ou seja, constituem-se em parte estudar. Um dos exemplos citado pelo pr-
atuante na definio da agenda poltico-eco- prio banco2 refere-se avaliao de impac-
nmica e das prioridades no direcionamento tos dos programas de microcrdito em
dos recursos pblicos, e, em conseqncia, Bangladesh, quando as aldeias onde funcio-
da formulao de polticas, de seu acompa- navam os microcrditos foram comparadas
nhamento e avaliao. A chamada assis- a aldeias idnticas onde inexistiam estes pro-
tncia envolve desde a formulao de pro- gramas de crdito. Ocorre que os efeitos,
jetos, avaliao de riscos e implementao muitas vezes, podem ser nefastos. No caso
das polticas at a formulao de indicado- brasileiro, uma das sugestes dadas pelo
res (Stephanou, 2005). A importncia da pro- Banco Mundial para se medir o desempenho
posta aqui apresentada e seu carter ino- de tomadores de microcrdito em um pro-
vador frente s abordagens sobre metodo- grama dessa natureza, implementado por um
logias de avaliao desenvolvidas no banco de desenvolvimento da regio Nor-
pasficam mais claros se observarmos os cri- deste, foi que se dividissem os tomadores
trios de avaliao colocados por essas dos crditos em dois blocos, renovando, no
agncias multilaterais. mesmo perodo, os crditos do grupo A e
Stephanou (op. cit.), ao apresentar uma no renovando os do grupo B. Ora, isto no
anlise das estratgias de avaliao do BID nem mais nem menos do que a lgica de
e do BIRD, mostra que estas seguem os pa- laboratrio aplicada a grupos humanos, quan-
dres tradicionais de avaliao. No entanto, do, por exemplo, inoculam-se substncias em
sustentadas por concepes e modelos posi- cobaias para medir os resultados. Apenas
tivistas [+], reduzem o conhecimento an- que, no caso aludido, os efeitos do-se de
lise de dados coletados em formatos estan- forma indireta, sendo os indivduos afetados
dardizados, abordagens lineares, testes de pela falta do crdito que esperavam reno-
hipteses pela mensurao do objeto de es- var. Esta viso est, portanto, sendo aqui
tudo e, portanto, uma limitao da avalia- questionada, devido a seu carter instru-
o percepo dos resultados frente aos mental e sua baixa capacidade de fornecer
objetivos formulados (eficcia), relao me- resultados de avaliao abrangentes e apro-
tas-resultados, relao custos-benefcios fundados.
(eficincia) e avaliao de impactos (efe- Do ponto de vista terico-metodolgico,
tividade em relao ao proposto/previsto). os pesquisadores da rea da avaliao de
Como salienta Castro (1989), os limites co- polticas pblicas, no mbito internacional,
locados por este tipo de avaliao apre- tradicionalmente, voltaram-se mais para uma
sentam-se, principalmente, no fato de que anlise de tomada de deciso ou de resulta-
ela se volta para efeitos esperados, muitas dos, bem como de contedos e gnese de
vezes desconsiderando ou minimizando o que desenvolvimento das polticas (GAPIUNICAMP,
algumas abordagens denominam efeitos no 2002). Entretanto, ao longo do processo de
previstos, que so considerados, no mais sedimentao da rea acadmica de estu-
das vezes, como entraves a ser superados. dos sobre polticas pblicas, novas aborda-
Neste tipo de abordagem, portanto, h pou- gens passaram a enfatizar a importncia da
co espao para a crtica prpria poltica anlise de contexto social, econmico, pol-
desde sua formulao e menos ainda aos tico, cultural e da anlise organizacional
princpios nos quais ela se alicera. estrutura de funcionamento, dinmica, rela-
Para a avaliao do impacto de projetos es de poder, interesses e valores que
10 JAN/JUN 2008
permeiam as instituies envolvidas na ela-
borao e implementao de polticas como Avaliao em profundidade:
bem demonstram Shadish et al. (1991) e
Belloni et al. (2003).
A proposta de Chelimsky (1997), aps um
exame das experincias em avaliao de po-
lticas pblicas nas trs ltimas dcadas do
sculo XX, considera a avaliao um em-
preendimento ecltico que agrupa perspec-
tivas e mtodos diversos; comporta o de-
senvolvimento de estudos prospectivos e re-
trospectivos, o recurso a mtodos quanti-
tativos e qualitativos, o desenvolvimento da
interdisciplinaridade, a credibilidade (como
condio do conhecimento e da objetivida-
de) e o fortalecimento das instituies.
J o mtodo interpretativo considera que
o conhecimento produzido tem mltiplas di-
menses e construdo a partir de diferen-
tes tipos de informaes. Do ponto de vista
analtico, busca a integrao das diferentes
dimenses contempladas, permitindo uma me-
lhor apreenso do programa como um todo
(Yanow, 2003, 2004). A natureza mltipla
dos modelos experienciais expe os elemen-
tos de integrao e de articulao com a
ao (Lejano, 2006). Um modo possvel de
integrao dos dados a triangulao, de focada. A perspectiva aqui apresentada, ao
forma que estes possam ser sobrepostos e
evidenciarem-se pontos comuns sobre o fe-
nmeno. Tal opo fornece muito mais pos-
sibilidades de ao, uma vez que permite
reflexes e modificaes continuadas e uma
compreenso muito mais ampla da dinmica
da poltica em processo (Lejano, 2006; Mark,
Henry e Julnes, 2000).
Essa linha de abordagem interpretativa
vem ganhando relevncia entre os estudio-
sos do tema, sobretudo aps a dcada de
1990, e coloca uma srie de questes sobre
como os significados das polticas so co-
municados e percebidos por diferentes audi-
ncias; sobre os diferentes tipos de conhe-
cimento que orientam organizaes na sua
prtica (Yanow, 2004), bem como sobre o
carter dialgico da avaliao, entendida
esta sob uma perspectiva relacional (Greene,
2001) e com espaos necessrios de parti-
cipao (Mark e Shotland, 2003), o que, evi-
dentemente, remete ordem dos valores e
coloca as anlises qualitativas, a antropolo-
gia em especial, em posio privilegiada.
ARTIGOS INDITOS
propostas iniciais
Ainda que falar em avaliao em profundi-
dade possa expressar, num sentido metafri-
co, a imerso em uma particularidade do cam-
po de investigao, saliento que o sentido
aqui referido o de abarcar a um s tempo
as dimenses dadas tanto no sentido longi-
tudinal extenso no comprimento como
latitudinal extenso na largura, amplido.
Assim, desta perspectiva, quanto mais mer-
gulhamos na situao estudada, mais amplia-
mos o campo de investigao. Olhamos fren-
te e para os lados, acima e abaixo, porque a
compreenso focada, direcionada, certamente
a mais fcil, com certeza ser sempre limita-
da. Ou, mesmo, poderamos correr o risco de,
na busca de anlises to aprofundadas, per-
dermos o contato com a superfcie, numa alu-
so feliz observao de Geertz (1978:40)
sobre a falcia de esforos na busca inces-
sante por modelos inquestionveis e verda-
des absolutas.
Certamente no esta a proposta aqui
contrrio, de cautela e mesmo ceticismo
quanto aos modelos de anlise que buscam
avaliar polticas pblicas tomando como ques-
tes centrais, que orientam os instrumentos
de coleta de dados, aquelas que dizem res-
peito nica e exclusivamente ao que foi o fio
condutor da formulao dessas polticas.
ainda mais ctica em relao aos modelos
universais, quando aplicados a contextos par-
ticulares, com total desconsiderao das
especificidades atinentes a cada situao e
aos locais sobre os quais incidem polticas
pblicas formuladas nos longnquos centros
de deciso, o que considero a ocorrncia de
um duplo distanciamento, cujo resultado so
fortes omisses e/ou deslizes analticos.
Desta perspectiva, a proposta ora apre-
sentada considera que as cincias sociais, a
antropologia em particular, tm uma impor-
tncia especial para a rea de estudos sobre
polticas pblicas, no que se refere seja
viso crtica sobre a formulao e imple-
mentao das polticas, seja ao fornecimen-
to de instrumentais terico-metodolgicos
ARTIGOS INDITOS
para a realizao de estudos avaliativos so-
bre essas polticas. As abordagens inter-
pretativas da avaliao de polticas, por exem-
plo, tm no mtodo etnogrfico um instru-
mento privilegiado de anlise (Greene, 2001;
Lejano, 2006). Mas, bom enfatizar, existem
na antropologia um campo de discusses e
divergncias e uma vasta literatura sobre o
estatuto da etnografia, sua abrangncia ana-
ltica, formas menos ou mais legtimas de apre-
sentao dos resultados e as especificidades
da aplicao desse instrumental em situa-
es diversas daquelas que foram vivenciadas
pelos antroplogos clssicos, o que, eviden-
temente, no deve ser desconsiderado. Ou
seja, as cincias sociais, ao entrarem nesse
debate e nessa prtica relativos avaliao
de polticas pblicas, podem contribuir, no
apenas com o fornecimento de instrumentais
metodolgicos, mas tambm com a reflexo
continuada sobre tcnicas, conceitos e
paradigmas de interpretao e anlise que se
do no mbito das disciplinas que compem
este campo do conhecimento.
Concordando com a nfase dos interpreta-
tivistas no lcus emprico como fonte de co-
nhecimentos a orientar os processos de
implementao de programas, bem como sua
avaliao; na noo de processo como
balizadora de toda avaliao, em contra-
posio lgica linear presente nos modelos
positivistas de anlise; e na assertiva de que
o conhecimento produzido tem mltiplas di-
menses, conclui-se, portanto, que o esfor-
o para desenvolver uma avaliao em pro-
fundidade das polticas pblicas deve ser em-
preendido a partir de diferentes tipos de da-
dos e informaes: questionrios em novos
e variados formatos; grupos focais que ino-
vem em relao s propostas tradicionais;
entrevistas de profundidade aliadas s ob-
servaes de campo; anlise de contedo
do material institucional com ateno ao su-
porte conceitual e s formas discursivas nele
expressas3; abordagem cultural, com com-
preenso dos sentidos formulados, em dife-
rentes contextos, sobre um mesmo progra-
ma; etc.
A partir destes pressupostos, considera-
se ainda que, tomando como premissa que
toda proposta de avaliao est informada
por pressupostos e concepes sobre cin-
cia e sobre a prtica cientfica, importante
JAN/JUN 2008 11
ter clara a definio de avaliao que acom-
panha a pesquisa. As diferentes abordagens
podem ser agrupadas, basicamente, em duas
propostas distintas: uma que entende avalia-
o como medida e outra que privilegia o
sentido de avaliao como compreenso4.
Identificar-se com uma ou outra concepo
faz toda a diferena na conduo da avalia-
o.
A proposta de uma avaliao em profundi-
dade implica, ainda, consider-la como exten-
sa, detalhada, densa, ampla e multidimensional,
o que, por si s, coloca a multi e a interdis-
ciplinaridade como condio primeira da tare-
fa de pesquisa.
A seguir, discriminam-se alguns tpicos aqui
considerados essenciais para a efetivao de
uma proposta de avaliao em profundidade
de polticas pblicas de carter social, sendo
imprescindvel que os trabalhos estejam a cargo
de uma equipe multidisciplinar de pesquisa:
1. Anlise de contedo do programa
com ateno a trs aspectos:
formulao: objetivos, critrios, din-
mica de implantao, acompanhamen-
to e avaliao;
bases conceituais: paradigmas orienta-
dores e as concepes e valores que
os informam, bem como os conceitos e
noes centrais que sustentam essas
polticas;
coerncia interna: no-contradio en-
tre as bases conceituais que informam
o programa, a formulao de sua imple-
mentao e os itens priorizados para
seu acompanhamento, monitoramento
e avaliao.
Esses trs aspectos dizem respeito
anlise do material institucional sob for-
ma de leis, portarias, documentos in-
ternos, projetos, relatrios, atas de reu-
nies, fichas de acompanhamento, da-
dos estatsticos e outros.
2. Anlise de contexto da formulao
da poltica:
Levantamento de dados sobre o momen-
to poltico e as condies socioecon-
micas em que foi formulada a poltica em
estudo, com ateno para a articulao
entre as instncias local, regional, nacio-
nal internacional e transnacional.
12 JAN/JUN 2008
Apreenso do modelo poltico, econ-
mico e social que sustentou a poltica
poca de sua formulao.
Levantamento de outras polticas e pro-
gramas correlacionados poltica em
foco.
Ateno ao marco legal que ampara a
poltica, articulando-o ao contexto re-
ferido nos itens anteriores.
importante observar que o conjunto de
itens acima elencados demandar um levan-
tamento de dados primrios e secundrios cuja
extenso ser ditada pelas especificidades
contextuais e histricas da prpria poltica
em foco e das polticas a ela relacionadas.
3. Trajetria institucional de um pro-
grama:
Esta dimenso analtica pretender dar
a perceber o grau de coerncia/dis-
perso do programa ao longo do seu
trnsito pelas vias institucionais. Des-
ta perspectiva, um programa gestado
na esfera federal, para ser avaliado,
necessita a reconstituio de sua tra-
jetria5, percebendo o pesquisador as
mudanas nos sentidos dados aos ob-
jetivos do programa e sua dinmica
conforme vai adentrando espaos di-
ferenciados e, ao mesmo tempo, des-
cendo nas hierarquias institucionais at
chegar base, que corresponde ao con-
tato direto entre agentes institucionais
e sujeitos receptores da poltica.
Para a apreenso da trajetria institu-
cional fundamental a realizao de
pesquisa de campo com a realizao
de entrevistas com diferentes agentes
e representantes de instituies envol-
vidas na formulao e implementao
de uma mesma poltica. Ao recompor
esta trajetria, importante que se
atente para os aspectos culturais ine-
rentes a esses espaos institucionais
e organizacionais6.
4. Espectro temporal e territorial:
Por meio desta dimenso analtica, pro-
cura-se apreender a configurao tem-
poral e territorial do percurso da polti-
ca estudada de forma a confrontar as
propostas/objetivos gerais da poltica
ARTIGOS INDITOS
com as especificidades locais e sua
historicidade. A apreenso dessa con-
figurao coloca algumas questes em
destaque: i) as possibilidades de arti-
cular, na avaliao, as perspectivas e
objetivos de propostas generalizantes
s particularidades locais; ii) as possi-
bilidades de implementao de polticas,
de forma localizada, que levem em conta
seu percurso temporal e territorial.
Esta etapa da pesquisa corresponde a um
momento mais avanado de sistematizao
dos dados j coletados e est aberta ma-
nipulao de uma srie de instrumentos
metodolgico-analticos que possibilitem atin-
gir um maior nvel de abstrao, sntese e
criatividade. Podero ser formulados esque-
mas, desenvolvidos grficos, experimenta-
dos modelos estatsticos variados, aliados a
tcnicas qualitativas de anlise. Seria o
caso, por exemplo, de aliar o mapeamento
da distribuio espacial da populao aten-
dida por determinada poltica de acordo
com o recorte emprico formulado , aos n-
dices socioeconmicos e s redes de inte-
resses e relaes de poder detectadas na
pesquisa de campo.
Consideraes sobre a
presente proposta
Espera-se que a ateno aos pontos aci-
ma referidos permita detectar alguns mo-
mentos da trajetria de uma poltica ou pro-
grama, considerados cruciais para seu bom
desempenho e continuidade, a saber: i) mo-
mentos em que ocorrem quebras na conti-
nuidade do fluxo entre concepo e ao,
ou seja, a interrupo ou redirecionamento
daquilo que foi inicialmente planejado. De-
ter-se sobre esses momentos importante
porque, ao analis-los, pode-se compreen-
der melhor a natureza do que eu chamaria
fatores de entrave: polticos, econmicos,
sociais, culturais, burocrticos ou legais; dos
pontos de inflexo, entendidos aqui como
mudanas de direo em relao aos objeti-
vos perseguidos originalmente pela poltica;
dos fatores de interferncia, relativos, mui-
tas vezes, a aspectos imprevistos ou que
ARTIGOS INDITOS JAN/JUN 2008 13

denotam falta de coerncia entre a formula-
o e a realizao da proposta; ou, ainda,
dos pontos de fuso, referindo-me aqui, em
especial, sobreposio de programas e
dificuldade de precisar, na avaliao, os re-
sultados da poltica especfica que se quer
avaliar7; e, finalmente, e talvez o mais im-
portante, a distncia entre os sentidos atri-
budos pelos agentes institucionais s polti-
cas formuladas e aqueles percebidos pelos
supostos beneficirios, o que poderamos
classificar como discrepncias semnticas.
Mais ainda, tratar uma poltica pblica ou
programa a ela vinculado, da forma aqui pro-
posta, implica considerar que sua avaliao
s far jus ao termo se operar a abrangncia
analtica para alm da poltica em si, seu marco
legal e seu contedo, e para alm do recorte
emprico, de forma que se possam realizar
inferncias mais gerais a partir de resultados
localizados. Para tal, priorizam-se as noes
de contexto, processo, trajetria, pluralidade,
interao e multidimensionalidade.
Evidentemente, estas proposies fazem
parte de um esforo ainda inicial de obter
melhores ferramentas tericas, conceituais e
metodolgicas que orientem a avaliao de
projetos sociais de uma perspectiva mais
ampla, que possam, ao longo do tempo, com-
por um conjunto de conhecimentos renovado
e crtico em relao aos modelos dominantes
de avaliao.

Referncias bibliogrficas

BANCO MUNDIAL. Monitorizao & Avaliao. Algumas ferramentas, mtodos e abordagens. Wa-
shington, D.C., 2004.
BELLONI, Isaura et al. Metodologa de avaliao em polticas pblicas. Rio de Janeiro: Cortez,
2003.
CHELIMSKY, Eleanor. The Coming Transformations in evaluation, in Chelimsky, Eleanor e Shadish,
William (orgs.), Evaluation for the 21st Century. Califrnia: Sage Publications, 1997.
CASTRO, M.H.G. Avaliao de polticas e programas sociais, Cadernos de Pesquisa, n 12. Campi-
nas: NEPP-UNICAMP, , 1989.
COSTA, Frederico Lustosa. Por uma outra reforma do Estado: estratgias alternativas ao paradigma
gerencialista, Revista de Administrao Pblica, 34 (1) 267-70, jan.-fev. 2000.
FARIA, Wilmar. Avaliao de programas e projetos sociais. Um roteiro para formao de especialis-
tas. Campinas, NEPP-UNICAMP, 1998, indito.
_______. Polticas pblicas e governabilidade: desafios tericos e prticos, Seminrio Desenvolvi-
mento e Integrao na Amrica Latina e no Caribe: A Contribuio das Cincias Sociais.
Braslia, FLACSO, 2001, indito.
GAPI-UNICAMP. Metodologia de anlise de polticas pblicas. Disponvel em www.campus-oei.org,
2002.
GEERTZ, Clifford. A interpretao das culturas. Rio de Janeiro: Zahar, 1978.
GONALVES, Alcia. Cultura de participao no setor de telemtica. Campinas: Editora da UNICAMP,
1998.
_______. Cultura & Mercado no contexto transnacional: um olhar etnogrfico. So Paulo: CMU,
2006.
GREENE, Jennifer. Dialogue in evaluation: a relational perspective. Califrnia: Sage Publications,
2001.
GUSSI, A.F. Pedagogias da experincia no mundo do trabalho: narrativas biogrficas no contexto
de mudanas de um banco pblico estadual. Tese de doutorado, UNICAMP. Campinas, 2005.
HAM, C. e HILL, M. The policy process in the modern capitalist state. Londres,1993.
14 JAN/JUN 2008 ARTIGOS INDITOS

HENRI, G.T. e MARK, M. M. Beyond use: Understanding Evaluations influence on attitudes and
Actions, in American Journal of Evaluation. Califrnia; Sage Publications, 2003.
HOLANDA, Nilson. Avaliao de programas. Conceitos bsicos sobre a avaliao ex post de
programas e projetos. Fortaleza: ABC Editora, 2006.
LEITO, Elione M. D. O plano de desenvolvimento da Escola em Foco: uma anlise da educao no
Cear em tempos de ajustes neoliberais. Dissertao de mestrado em Avaliao de Polticas
Pblicas, MAPP-UFC. Fortaleza, 2005.
LEJANO, R. P. Frameworks for policy analisis. Mergin text and context. Nova York: Routledge,
2006.
MARK, M. M, HENRY, G. e JULNES, G. Evaluation: an integrated framework for understanding,
guiding and improving polices and programs. San Francisco: Jossey-Bass, 2000.
MARK, M. M. e SHOTLAND, R. L. Stakeholder-Based evaluation and value judgments, Evaluation
Review, vol. 9, no 5. Califrnia: Sage Publications, 1985.
MORONI, Mrcia Maria. Qualidade de vida e perfil socioeconmico dos beneficirios do Programa
Nacional de Fortalecimento da Agricultura Familiar PRONAF D na mesorregio Centro-Sul
Cearense. Dissertao de mestrado em Avaliao de Polticas Pblicas, MAPP-UFC. Fortaleza,
2006.
MUNIZ, Ctia R. As representaes sobre o trabalho a partir da genealogia de uma famlia de
operrios. Um estudo etnogrfico. Tese de doutorado, IFCH-UNICAMP. Campinas, 2006.
NETO, O. C. et al. Grupos focais e pesquisa social: o debate orientado como tcnica de investiga-
o. Rio de Janeiro: Ministrio da Sade; FIOCRUZ, 2001.
PAULA, Luis Antonio. Marco terico sobre avaliao e monitoramento. S.l., CLAD, 2001.
RODRIGUES, Lea Carvalho. Rituais na universidade. Campinas: CMU, 1997.
_______. Metforas do Brasil. Demisses voluntrias, crise e rupturas no Banco do Brasil. So
Paulo: Annablume, 2004.
ROLIM, Romildo Carneiro. Efeitos do Programa de Desenvolvimento do Turismo no Nordeste do Brasil
Prodetur NE na qualidade de vida da populao de baixa renda no distrito de Lagoinha,
municpio de Paraipaba-CE. Dissertao de mestrado em Avaliao de Polticas Pblicas, MAPP-
UFC. Fortaleza, 2005.
RUBEN, Guilhermo. Empresrios e globalizao: prolegmenos de uma metodologia antropolgica da
compreenso e ao, Revista Brasileira de Cincias Sociais, n 28, ano 10, junh. 1995.
_______. Antropologia del capitalismo, Culturas, 2 (4). Crdoba: Museo de Antropologia, Facultad
de Filosofia y Humanidades, Universidad Nacional de Crdoba, 2004.
RUBEN, Guilhermo et al. (orgs.). Informtica, organizaes e sociedade no Brasil. So Paulo:
Cortez, 2003.
SHADISH, William et al. Foundations of Program Evaluation. Theories of practice. Califrnia: Sage
Publications, 1995.
STEPHANOU, M. C. Anlise comparativa das metodologias de avaliao das agncias de fomento
internacionais BID e BIRD em financiamentos de projetos sociais no Brasil, Civitas, vol. 5, n 1.
Porto Alegre, jan.-jun. 2005, pp.127-60.
SUBITATIS, J. El anlisis de las polticas pblicas no Brasil. Braslia: IPEA, 2002.
YANOW, Dvora. Translating local knowledge at organizational peripheries, British Journal of
Management. Londres, 2004.
_______. Interpretive empirical political science: what makes this not a subfield of qualitative
methods, in Qualitative Methods Section (APSA), 2003.
ARTIGOS INDITOS JAN/JUN 2008 15

Rsum: Cet article prsente des sujets
essentiels une valuation profonde des
politiques publiques sociales. Notre travail est
motiv par linadaptation des modles
classiques dvaluation des politiques publiques
et par le besoin urgent des recherches qui
prennent en considration le contexte social,
conomique, politique et culturel, sans ngliger
limportance de lanalyse institutionnelle, des
relations de pouvoir et des intrts et valeurs
qui font partie du processus de formulation et
implmentation de ces politiques.
En premier de tout, nous avons prsenter les
principaux lignes thorique mthodologiques
dans valuation des politiques publiques,
niveau du monde et au Brsil; alors nous avons
presenter ses limites, et finalement quelques
propositions pour une approche multidimen-
sionnelle et interdisciplinaire. Une conclusion
est quune valuation profonde a besoin
daccomplir quatre dimensions analytiques:
contenu, contexte et analyse institutionnelle
de programmes et politiques, bien que les
dimensions temporelle et territorial.
Resumen: Este artculo presenta un conjun-
to de tpicos esenciales a la efetivacin de
una evaluacin en profundidad de polticas
pblicas de caracter social. La proposicin se
d por la constatacin de la insuficencia de
los modelos clasicos de analisis y de la
necesidad an ms premente de realizacin
de investigaciones que consideren el contex-
to social, econmico, poltico y cultural, as
como la importancia del analisis institucional,
de las relaciones de poder, de los intereses y
valores involucrados en los procesos de
formulacin y implementacin de esas polti-
cas. Primeramente presentamos las principa-
les lineas terico-metodologicas, al nivel mun-
dial y en Brasil; en seguida presentamos sus
limites y, por fin, algunas proposiciones para
un abordaje multidimensional y interdisicpli-
naria. Una conclusin es que una evaluacin
en profundidad necesita cumplir tres dimen-
siones analticas: contenido, contexto y el
anlisis institucional de programas y polti-
cas, as como el espectro temporal y
territorial.

Mots cls: politiques publiques, valuation, Palabras-clave: polticas publicas, evaluacin,

mthodologies metodologa.

Notas

1
O paradigma gerencialista, no contexto da reforma do Estado, representa, em sntese, a subordinao do
Estado racionalidade instrumental do mercado, sua lgica produtivista e de mensurao exclusiva-
mente econmica da relao custos/benefcios. Para uma crtica ao paradigma gerencialista, ver Costa
(2000).
2
Banco Mundial, 2004.
3
Para a apreciao de um excelente e inovador modelo de anlise de formas discursivas institucionais, ver
Leito (2005).
4
A respeito do conceito de avaliao, ver Holanda (2006) e Belloni et al. (2003).
5
Sobre a utilizao da noo de trajetria, ver Gussi (2005).
6
Sobre uma perspectiva etnogrfica de organizaes e instituies, ver Gonalves (1998, 2006); Gussi
(2005); Muniz (2006); Rodrigues (1997, 2004); Ruben (1995, 2004); Ruben et al. (2003).
7
Duas dissertaes desenvolvidas no Programa de Mestrado em Avaliao de Polticas Pblicas da MAPP-UFC
apontaram dificuldades de percepo dos efeitos de polticas pblicas sobre a qualidade de vida dos
seus beneficirios e, portanto, da avaliao de impacto, devido sobreposio de programas referentes
a diferentes polticas (federais, estaduais e municipais) como PRONAF, Bolsa Famlia, aposentadorias,
Programa So Jos, Programa Luz para todos, Programa Cisternas e outros. Ver, a este respeito, Moroni
(2006) e Rolim (2005).
16 JAN/JUN 2008 ARTIGOS INDITOS