issn

0034-7612

Avaliao de polticas pblicas: uma reviso terica

de um campo em construo*
Andrei Pittol Trevisan**
Hans Michael van Bellen***

S u m r i o : 1. Introduo; 2. Avaliao de polticas pblicas; 3. Breve histrico sobre a

avaliao de polticas pblicas; 4. Do estado de campo de avaliao de polticas pblicas; 5. Metodologia de avaliao de polticas pblicas; 6. Consideraes finais.
S u m m a ry : 1. Introduction; 2. Evaluation of public policy; 3. Brief narrative on evaluation of public policy; 4. State of the discipline of the evaluation of public policy;
5. Methodology of public policy evaluation; 6. Final remarks.
P a l av r a s - c h av e : polticas pblicas; avaliao de polticas pblicas; metodologias
de avaliao de polticas pblicas.
K e y w o r d s : public policy; evaluation of public policy; methodologies of evaluation
of public policy.
Este artigo realiza um resgate terico da literatura sobre a rea de polticas pblicas
em geral, e de avaliao de polticas pblicas especificamente. O conhecimento terico-histrico de um dado campo do conhecimento essencial para sua prxis, para
uma melhor compreenso dos seus desdobramentos, sua trajetria e perspectivas. O

* Artigo recebido em ago. 2007 e aceito em mar. 2008.

** Graduado em administrao pela Universidade Federal de Santa Catarina. Mestrando em administrao na Universidade Federal de Santa Catarina. Pesquisador e participante do Observatrio
da Realidade Organizacional (UFSC/Fundao Getulio Vargas-RJ/UFPE). Endereo: Rua Vitor
Konder, 302, Residencial Linda Koerich, ap. 1405 CEP 88015-400, Florianpolis, SC, Brasil.
E-mail: andreipt@hotmail.com.
*** Professor permanente do Curso de Ps-Graduao em Administrao e do Programa de PsGraduao em Contabilidade da Universidade Federal de Santa Catarina. Endereo: Caixa Postal
10042 CEP 88062-970, Lagoa da Conceio, Florianpolis, SC, Brasil. E-mail: hansmichael@
cse.ufsc.br.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

530

andrei pittol trevisan hans michael van bellen

artigo comea com uma explanao sobre polticas pblicas, sua origem e dimenses
conceituais. Continua com uma discusso a respeito dessa temtica no Brasil, principalmente nos ltimos anos. A avaliao de polticas pblicas observada com maior
profundidade, atravessando diversas definies conferidas pela literatura. Destaca-se
a identificao de trs fases da avaliao desde a dcada de 1960 at os dias atuais.
Posteriormente, apresentam-se metodologias de avaliao de polticas pblicas, suas
diversas classificaes, timing, posio do avaliador, critrios e estruturao. Por fim,
a possibilidade de aplicao de metaavaliaes, assim como o surgimento de novas
issues que se impem ao contexto democrtico-participativo brasileiro.
Evaluating public policies: a theoretical review of a field under construction
This article performs a theoretical recovery of the literature about public policy in
general, and evaluation of public policy specifically. The theoretical and historical
understanding of a given field of knowledge is essential for its practice, including a
better understanding of its consequences, its trajectory, and perspectives. The article begins with a general overview about public policy, its origins, and conceptual
dimensions. It then continues with a discussion about this theme in Brazil, taking
into consideration mainly the more recent years. The evaluation of public policy is
observed more deeply for it has received numerous definitions within the literature.
Three main phases of evaluation are identified since the 1960s until the present date.
Subsequently the article presents some methodologies concerning the evaluation of
public policy, including its several classifications, timing, the evaluators position,
criteria and structure. Finally, it comments on the possibility of the application of
meta-evaluations, as well as on the emergence of new issues that impose themselves
into the participative-democratic Brazilian context.

1. Introduo
No final do sculo XX, com o aprofundamento da crise do welfare state, com as
convulses econmicas, sociais e polticas enfrentadas, principalmente a partir
do final da dcada de 1970, junto com o movimento da nova administrao
pblica, o Estado fortemente questionado tanto em suas funes quanto na
real eficcia de suas aes interventoras na realidade social. Aceitando-se que
a compreenso do sucesso e do fracasso das polticas pblicas fundamental
para o melhor desempenho da administrao pblica, passa-se a algumas consideraes sobre o Estado em ao.
De acordo com Faria (2003), em seus primrdios, as polticas pblicas
eram consideradas quase exclusivamente outputs do sistema poltico, o que

Termo cunhado por Jobert e Muller, 1987.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

531

justificava o fato de a ateno dos investigadores ter se concentrado inicialmente nos inputs, isto , nas demandas e articulaes de interesse. Dessa forma,
antes que a anlise de polticas pblicas fosse reconhecida como uma subrea
da cincia poltica, os estudos recaam nos processos de formao de polticas
pblicas, o que parece refletir o status privilegiado que os processos decisrios
sempre desfrutaram junto aos profissionais da rea (Faria, 2003:21).
Nos Estados Unidos, segundo Frey (2000), pesquisas em polticas pblicas comearam a se estabelecer no incio dos anos 1950, sob a designao
de policy science, enquanto na Europa, especialmente na Alemanha, a preocupao com campos especficos de polticas somente toma fora a partir do
incio dos anos 1970. Nesse perodo a unidade de anlise torna-se a prpria
definio das polticas pblicas, o que conferiu destaque aos aspectos dinmicos do policy process e aos distintos atores, estatais e no-estatais, geralmente
envolvidos (Faria, 2003). No caso do Brasil, os estudos sobre polticas pblicas
so bem recentes. Nesses estudos dispersos, a nfase recaiu ou anlise das
estruturas e instituies ou caracterizao dos processos de negociao das
polticas setoriais especficas.
Para Faria (2003), h atualmente uma Babel de abordagens, teorizaes
incipientes e vertentes analticas que buscam dar significao diversificao
dos processos de formao e gesto das polticas pblicas, considerando um
mundo cada vez mais caracterizado pela interdependncia assimtrica, incerteza e complexidade das questes. Assim, para que se possa entender melhor
a anlise das polticas, Frey (2000) apresenta algumas categorias que tm conseguido relevncia na literatura, com nfase em policy cycle (ciclo poltico).
O agir pblico pode ser dividido em fases parciais do processo polticoadministrativo de resoluo de problemas, que correspondem a uma seqn
cia de elementos do processo. Comum a todas as propostas de divises do
ciclo poltico so as fases da formulao, da implementao e do controle dos
impactos das polticas (Frey, 2000).
Para os fins deste artigo, destaca-se a ltima fase do ciclo poltico, a
avaliao de polticas e da correo de ao (evaluation), na qual se apreciam
os programas j implementados no que diz respeito aos seus impactos efetivos. Investigam-se os dficits de impacto e os efeitos colaterais indesejados
para poder extrair conseqncias para aes e programas futuros. Nessa etapa, caso os objetivos do programa tenham sido atendidos, o ciclo poltico pode
ser suspenso ou chegar ao fim, seno iniciao de um novo ciclo, isto , a
uma nova fase de percepo e definio de problemas. Com isso, a fase da
avaliao imprescindvel para o desenvolvimento e a adaptao contnua das
formas e instrumentos de ao pblica (Frey, 2000:229).
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

532

andrei pittol trevisan hans michael van bellen

Na concepo apresentada do modelo de policy cycle o processo para

resoluo de um problema tem uma seqncia de fases. Na prtica, segundo
Frey (2000), os atores poltico-administrativos dificilmente se fixam a esse
contnuo, especialmente para programas polticos mais complexos que se baseiam em processos interativos, cuja dinmica movida por reaes mtuas
dos atores envolvidos. Assim, o policy cycle pode servir como um quadro de
referncia para a anlise processual.

Polticas pblicas no Brasil

De acordo com Melo (1998), a construo histrica da agenda de polticas
pblicas no Brasil pode ser identificada e dividida em etapas. Porm, no se
pretende um aprofundamento detalhado em cada etapa, apenas uma descrio sumria dos ltimos anos e seus destaques.
A anlise de polticas pblicas experimentou um boom na dcada de
1980, impulsionada pela transio democrtica. So trs os motivos da expanso (Melo, 1999). Em primeiro lugar, pelo deslocamento na agenda pblica.
Durante os anos 1970, a agenda pblica se estruturou em torno de questes relativas ao modelo brasileiro de desenvolvimento, onde a discusso limitava-se
aos impactos redistributivos da ao governamental e ao tipo de racionalidade
que conduzia o projeto de modernizao conservadora do regime ditatorial.
Eram centrais para essa agenda as questes de arranjo institucional: descentralizao, participao, transparncia e redefinio do mix pblico-privado
nas polticas. A essa transformao da agenda seguiu-se uma redescoberta na
agenda de pesquisas das polticas municipais e descentralizao.
Em segundo lugar, no obstante o fim do perodo autoritrio, constatouse que os obstculos consecuo de polticas sociais efetivas continuaram
existindo, o que serviu para fortalecer os estudos sobre polticas. A perplexidade e o desencantamento em relao ao Estado levaram a um maior interesse
sobre as condies de efetividade da ao pblica.
Em terceiro lugar, a difuso internacional da idia de reforma do Estado
e do aparelho de Estado passou a ser o princpio organizador da agenda pblica dos anos 1980-90, o que provocou uma proliferao de estudos de polticas
pblicas. As questes de arranjo institucional ganharam grande centralidade
na agenda: (...) ao tomar-se o modo e a qualidade da interveno pblica
na economia e na sociedade como objeto de estudo, cria-se por extenso um
programa de pesquisa de carter emprico sobre questes relativas eficincia
de polticas e programas (Melo, 1999:81). Por outro lado, se antes o encantarap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

533

mento da imaginao social brasileira era o Estado, nos anos 1990, esse apego
passa a ser direcionado, paulatinamente, para a sociedade civil.
De fato, nos ltimos anos tem-se visto um crescimento dos estudos da
rea de polticas pblicas no Brasil (Arretche, 2003; Souza, 2003). Conforme
Arretche (2003), multiplicaram-se as dissertaes e teses sobre temas relacionados s polticas governamentais; disciplinas de polticas pblicas foram
criadas ou inseridas nos programas de graduao e ps-graduao; criaramse linhas de pesquisa especialmente voltadas para essa rea; instituram-se
agncias de fomento pesquisa, assim como linhas especiais de financiamento
para a rea.
Apoiando-se em Melo (1999), Arretche (2003) confirma que a rea de
polticas pblicas no Brasil se caracteriza por uma baixa capacidade de acumulao de conhecimento, em funo da proliferao horizontal de estudos de
caso e da ausncia de pesquisa. Souza (2003) diz que esse o primeiro problema a ser superado pela rea. A soluo, felizmente, tem avanado com a
criao de fruns especficos sobre polticas pblicas em espaos acadmicos,
e com o advento da informatizao de peridicos nacionais e internacionais.
Esses fruns e instrumentos permitem-nos conhecer melhor e mais rapidamente a produo de nossos pares, embora no exista um peridico especfico
que abrigue exclusivamente a produo da rea (Souza, 2003:16).
Reis (2003) assinala que a poltica pblica no se furta ao imperativo
da utilidade social, ou seja, mesmo quando adota uma postura crtica, ela o
faz apostando na possibilidade de cursos de ao alternativos. Portanto, h
poucas dvidas quanto ao objeto de anlise de polticas pblicas. A anlise do
Estado em ao tem como objeto especfico o estudo de programas governamentais, suas condies de emergncia, mecanismos de operao e provveis
impactos sobre a ordem social e econmica (Arretche, 2003).
Por ser uma subrea muito ampla, decorre outro problema, ressaltado
por Souza (2003) e comentado por Melo (1999): a abundncia de estudos
setoriais, dotando a rea de uma diversificao de objetos empricos que se expandem horizontalmente, sem um fortalecimento vertical da produo. Conforme a autora, isso acontece porque a disciplina envolve, no mnimo, anlises
sobre a identificao do problema que vai ou no se transformar em uma poltica (agenda setting), a formulao, a legitimao, gesto, implementao e
avaliao da poltica. da essncia da rea a multidisciplinaridade, razo pela
qual estudos setoriais transitam em diversas reas do conhecimento, logo,

Ver: <www.scielo.org> e <www.periodicos.capes.gov.br>.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

534

andrei pittol trevisan hans michael van bellen

em sntese, o problema do crescimento horizontal excessivo versus a falta de

fortalecimento vertical decorre do crescimento da prpria disciplina no Brasil,
pois ela assumiu uma formao que mais gira em torno de reas temticas do
que grupo de pesquisa (Souza, 2003:16).
Souza (2003) sustenta-se em Melo (1999) novamente para apontar um
terceiro problema, que diz respeito proximidade da rea de polticas pblicas com a burocracia governamental, o que tanto pode resultar em trabalhos normativos e prescritivos, como a possibilidade desses mesmos rgos
governamentais ditarem a agenda de pesquisa acadmica. Esse ponto vlido
tambm para organismos multilaterais. Arretche (2003:8-9) afirma que o programa de pesquisa brasileiro tem estado fortemente subordinado agenda
poltica do pas:
o contedo da produo acadmica (teses, artigos e pesquisas) tem sido, em
boa medida, a avaliao dos resultados alcanados pelas polticas em voga ou a
atualizao da informao existente sobre programas j consolidados. Na verdade, a subordinao da agenda de pesquisa agenda poltica potencialmente maior na rea de polticas pblicas do que em outras reas do conhecimento
(...).

Alm da baixa capacidade de acumulao de conhecimento (Melo,

1999), Arretche (2003) e Souza (2003) destacam que os mtodos de investigao tm recebido escassa ateno no debate dessa rea de pesquisa. Nas
palavras de Souza (2003:17), a rea ainda apresenta um uso excessivo de
narrativas pouco pautadas por modelos ou tipologias de polticas pblicas, por
teorias prximas do objeto de anlise e que mantm uma leveza metodolgica
exagerada.
Com relao s pesquisas brasileiras, Souza (2003:17) diz que urge
superar a atual gerao de estudos, excessivamente concentrada nos fracassos, pouco preocupada com as questes polticas e fortemente assentada no
pressuposto de que a formulao e a implementao de polticas pblicas so
processos exclusivamente racionais e lineares, desvinculados dos processos
polticos.
Essa nova gerao de estudos deve seguir na direo do desenvolvimento de tipologias analticas, e concentrar-se na identificao das variveis que
causam impactos sobre os resultados das polticas. Isso implica na superao
da dicotomia dos estudos em se analisar sucessos ou fracassos para um estgio onde se enfatize o melhor entendimento dos prprios resultados (Souza,
2003).
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

535

No entender de Carvalho (2003:186), ao se considerar que o sistema

das polticas pblicas um processo em fluxo, por associao uma dada poltica pblica no poderia estruturar-se como seqncia linear de fases:
a abordagem que melhor expressa o quadro real das polticas pblicas a que a
considera um processo contnuo de decises que, se de um lado pode contribuir
para ajustar e melhor adequar as aes ao seu objeto, de outro, pode alterar
substancialmente uma poltica pblica

Ao final de seu balano sobre o estgio atual da disciplina de polticas

pblicas no Brasil, Souza (2003) comenta que j existe uma quantidade relevante de estudos sobre polticas pblicas nacionais e sobre polticas locais,
mas sabe-se muito pouco sobre questes cruciais na esfera estadual, como, por
exemplo, as diferenas to marcantes nas polticas formuladas e/ou implantadas pelos governos estaduais.

2. Avaliao de polticas pblicas

Avaliar significa determinar a valia de algo, atribuir um valor (Ferreira, 1999)
e outras lnguas, incluindo o espanhol e o ingls, coincidem na associao de
avaliao como atribuio de valor (Mokate, 2002; Garcia, 2001). No entanto, Ala-Harja e Helgason (2000) advertem, de incio, que no existe consenso
quanto ao que seja avaliao de polticas pblicas, pois o conceito admite mltiplas definies, algumas delas contraditrias. Esse fato se explica justamente
porque a rea de polticas pblicas perpassada por uma variedade de disciplinas, instituies e executores, abrangendo diversas questes, necessidades
e pessoas.
Ala-Harja e Helgason (2000:8) definem avaliao em termos simples,
afirmando que o termo compreende a avaliao dos resultados de um programa em relao aos objetivos propostos. Combinando contribuies de
diversos autores, Garcia (2001:31) define avaliao:
Avaliao uma operao na qual julgado o valor de uma iniciativa organizacional, a partir de um quadro referencial ou padro comparativo previa-

Segundo Silva e Costa (2002), as polticas pblicas tornam-se programas quando, por ao de
uma autoridade, as condies iniciais para sua implementao se concretizam.


rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

536

andrei pittol trevisan hans michael van bellen

mente definido. Pode ser considerada, tambm, como a operao de constatar

a presena ou a quantidade de um valor desejado nos resultados de uma ao
empreendida para obt-lo, tendo como base um quadro referencial ou critrios
de aceitabilidade pretendidos.

O Comit de Assistncia ao Desenvolvimento da OCDE assinala que o

propsito da avaliao determinar a pertinncia e alcance dos objetivos,
a eficincia, efetividade, impacto e sustentabilidade do desenvolvimento. A
avaliao deve proporcionar informao que seja crvel e til para permitir a
incorporao da experincia adquirida no processo de tomada de deciso. A
avaliao deve ser vista como um mecanismo de melhoria no processo de tomada de deciso, a fim de garantir melhores informaes, sobre as quais eles
possam fundamentar suas decises e melhor prestar contas sobre as polticas
pblicas (Ala-Harja e Helgason, 2000).
Thoenig (2000) declara que o uso da avaliao orientado para ao,
assim, a prioridade dela fornecer informao. Contudo, Mokate (2002)
acautela que diversas definies, inclusive a do comit, falham em resgatar
explicitamente o conceito de valor ou de mrito, pois se centram na verificao do cumprimento de um plano e anlise do atingimento de objetivos,
supondo que o plano e os objetivos correspondentes tm um valor j reconhecido e aceito em si.
No obstante a grande utilidade das informaes provindas da avaliao, esta muito pouco utilizada. No caso das reformas do setor pblico,
Thoenig (2000:55) observa que nenhuma iniciativa foi lanada para avaliar as
reformas; pelo contrrio, pode-se encontrar um relativo ceticismo para com
a avaliao, particularmente, entre praticantes bem-informados e experientes
em reforma da gesto pblica, alguns at mesmo expressam uma resistncia
avaliao que parece predominar no seu prprio governo.
As avaliaes podem ser um problema para os governantes, executores
e gerentes de projetos porque os resultados podem causar constrangimentos
pblicos. As informaes e resultados das avaliaes podem ser usados pelo
pblico e pela imprensa para criticar os governos, da mesma forma que, em
caso de boas notcias, os governos podem us-las para legitimar as prprias
polticas, como ganho poltico etc.

3. Breve histrico sobre a avaliao de polticas pblicas

Os esforos e estudos de avaliao de polticas pblicas se desenvolveram em
diversas fases. De acordo com a literatura sobre o assunto, Faria (2005) afirma
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

537

que existe uma diversidade de maneiras de se pensar a evoluo do papel atribudo pesquisa avaliativa, desde o boom da avaliao de polticas pblicas
nos Estados Unidos, principalmente aps a dcada de 1960.
Uma classificao fornecida por Derlien (2001). Ele parte da distino
das trs funes bsicas atribudas avaliao informao, realocao e
legitimao para dividir em trs as fases evolutivas das pesquisas de avaliao, dos anos 1960 aos anos de 1990. Nos anos 1960, a nfase poltica sobre
a avaliao de polticas pblicas preponderou sobre a funo de informao.
O foco era a melhoria dos programas, e os gerentes tinham interesse em usar
a avaliao como mecanismo de feedback. A funo (re)alocao foi predominante nos anos 1980, durante a segunda etapa de institucionalizao, a qual
estava claramente destinada a promover uma alocao racional de recursos no
processo oramentrio (Derlien, 2001; Ala-Harja e Helgason, 2000).
Durante a dcada de 1990, a tnica poltica na avaliao de polticas passa a ser a funo de legitimao. Esse deslocamento, segundo Derlien (2001)
e Faria (2005), teria sido causado por fatores poltico-econmicos especficos,
havendo tambm uma mudana dos atores dominantes. A influncia da nova
administrao pblica percebida na dcada de 1990, quando os avaliadores
se convertem em auditores que privilegiam a medio dos resultados. Assim,
a avaliao substituda (novos mercados internos surgem como avaliadores
intrnsecos), complementada (a regulamentao de monoplios privatizados
cria uma enorme demanda por avaliaes) e aplicada a novas questes (novas
ferramentas de avaliao, como os contratos) (Faria, 2005; Ala-Harja e Helgason, 2000).
A partir dos anos 1990, na Amrica Latina, ocorre um questionamento
crescente sobre o tamanho e a eficincia do setor pblico. Da surgiram novas
iniciativas para desenhar e pr em marcha processos de avaliao (Mokate,
2002). Para Faria (2005), nas dcadas de 1980 e 1990, a avaliao das polticas pblicas foi posta a servio da reforma do setor pblico, entretanto, a
avaliao no se circunscreve a um tipo especfico de Estado ou cultura administrativa.
Faria (2005:99) assinala que o desenho das reformas do setor pblico
privilegiou dois supostos bsicos:
a adoo de uma perspectiva de conteno dos gastos pblicos, de busca de
melhoria da eficincia e da produtividade, de ampliao da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximizao
da transparncia da gesto pblica e de responsabilizao dos gestores, em
um processo no qual o consumidor dos bens e servios pblicos estaria,
supostamente, em primeiro plano. O segundo propsito ou expectativa de
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

538

andrei pittol trevisan hans michael van bellen

que tais reformas pudessem contribuir para uma reavaliao da pertinncia

das organizaes governamentais preservarem todo o seu leque tradicional
de atribuies, prevalecendo um contexto de valorizao da proviso privada
de bens e servios.

Assim, a avaliao ganha centralidade porque se esperava que garantisse a credibilidade do processo de reforma e sustentabilidade poltica das diretrizes de desregulamentao e de diminuio do tamanho do governo, seja
pelo deslocamento das funes e dos servios para as esferas subnacionais,
quer pela via da privatizao (Ala-Harja e Helgason, 2000; Faria, 2005).

4. Do estado do campo de avaliao de polticas pblicas

Como j descrito, a avaliao tem um papel de destaque nas reformas do setor pblico, assim como tem estado cada vez mais presente nos processos de
anlise das polticas pblicas. Cabe destacar, contudo, que tal como no caso do
movimento da nova administrao pblica, as avaliaes de polticas passam
atualmente por uma fase de crticas ao gerencialismo de suas concepes.
Wiesner Duran (citado por Mokate, 2002:90) chama a avaliao de
proxy do mercado na administrao pblica. Tal como apontado por Misoczky (2004), Faria (2005) reconhece a hegemonia inconteste da perspectiva
gerencialista nas discusses sobre polticas pblicas (no geral) e avaliao
de polticas (em especfico). De acordo com esse autor, a nova nfase dada
avaliao de polticas pblicas passa quase que despercebida (pelo menos sem
interesse acadmico equivalente) pelas reas de sociologia e cincia poltica,
no sentido de se abrirem novos campos de pesquisa. Por outro lado, no campo da administrao pblica o tema freqente e pode ser consultado, por
exemplo, em peridicos nacionais como a Revista do Servio Pblico e Revista
de Administrao Pblica.
Apesar disso, a escassez de estudos ps-deciso (Faria, 2003, 2005)
pode ser explicada tanto pela frgil institucionalizao da rea no Brasil (o que
faz com que a anlise de polticas pblicas continue imersa nas questes analticas tradicionalmente valorizadas pela cincia poltica), quanto pela debilidade
do campo de estudos da administrao pblica no pas (Faria, 2003:22).

Outras instituies tambm tm encampado a temtica, tais como o Ipea, a Fundao Seade e
a Fundao Carlos Chagas.


rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

539

Assim, une-se crtica esposada a notria carncia de estudos dedicados

aos processos e s metodologias de avaliao, que atribuda por Faria (2003)
rara utilizao da avaliao, como instrumento de gesto, pelo setor pblico
do Brasil nas trs esferas de governo. Nessa linha, se a prpria avaliao tem
sido relegada, o papel das idias e do conhecimento no processo das polticas
pblicas tem passado praticamente em branco no pas (Faria, 2003).
Se, como reverbera na literatura em polticas pblicas, a avaliao tem o
condo de aumentar a eficincia e eficcia do setor pblico, relevante mencionar que a avaliao ainda no logrou um papel significativo ou estratgico
dentro do trabalho de desenhar e implementar estratgias, programas ou projetos (Mokate, 2002:90). Em outras palavras, apesar do reconhecimento da
avaliao como importante ferramenta, ela no se converteu em um processo
indispensvel que tome parte do processo de gesto (Cotta, 2001; Garcia,
2001; Mokate, 2002; Faria, 2005).
Conforme Ala-Harja e Helgason (2000), as avaliaes so malvistas porque representam um universo de muitas promessas e poucas realizaes. Para
alguns setores, a avaliao corresponde a um novo modismo, gerador de burocracia e poucos resultados.
Cotta (2001) reconhece que o simples fato de realizar uma avaliao
no significa, automaticamente, que as informaes produzidas sero utilizadas. Dessa forma, para essa autora, uma resposta posio apresentada
por Ala-Harja e Helgason (2000) que o principal motivo pelo qual a avaliao geralmente no atende s expectativas que cria a presuno de que
as condies para o aproveitamento desse tipo de informao esto dadas.
Ocorre justamente o contrrio: a avaliao uma atividade que, por suas
prprias caractersticas, exige que essas condies sejam intencional e meticulosamente criadas, sob pena de comprometer todo o esforo despendido
(Cotta, 2001:94).
Faria (2005:102) aponta outros possveis fatores que podem interferir
na utilizao dos resultados da avaliao: existncia de crenas e interesses
conflitantes na organizao que gerencia o programa; ocorrncia de conflitos
de interesses entre as distintas unidades do programa; mudanas no pessoal
encarregado (exemplo, novatos tm prioridades diferentes daquelas vigentes
no incio da avaliao); eventual inflexibilidade das regras e dos padres operacionais da organizao, que pode impedir a adoo das recomendaes feitas quando da avaliao; mudanas nas condies externas, tais como cortes
oramentrios e alteraes no ambiente poltico.
Uma vez superados os fatores impeditivos da utilizao da avaliao,
Faria (2005) distingue quatro tipos de uso da avaliao:
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

540

andrei pittol trevisan hans michael van bellen

instrumental depende no apenas da qualidade da avaliao, mas tambm da adequada divulgao de seus resultados, sua inteligibilidade e da
factibilidade das recomendaes propostas;

conceitual as descobertas da avaliao podem alterar a maneira como

esses tcnicos entendem a natureza, o modo de operao e o impacto do
programa que implementam. Nenhuma deciso ou ao esperada, pelo
menos no imediatamente;

instrumento de persuaso quando a avaliao utilizada para mobilizar

o apoio para a posio que os tomadores de deciso j tm sobre as mudanas necessrias na poltica ou programa;

esclarecimento acarreta, pela via do acmulo de conhecimento oriundo de diversas avaliaes, impacto sobre as redes de profissionais, sobre os
formadores de opinio e sobre as advocacy coalitions, bem como alteraes
nas crenas e na forma de ao das instituies (Faria, 2005:103), orientando a agenda governamental.

Referente aos usos da avaliao, alm dos diretamente envolvidos nos

programas, diversos outros usurios podem se valer das descobertas da avaliao: gerentes de programas similares e/ou de diferentes nveis governamentais; agentes do governo e representantes de fundaes, interessados em conhecer projetos bem-sucedidos que meream financiamento ou preocupados
em aprimorar os programas dos quais so responsveis; membros do Legislativo interessados na melhoria de programas existentes ou na elaborao de
novas propostas; cientistas sociais e outros avaliadores que buscam aprender
com as descobertas e com as metodologias empregadas (Faria, 2005).
Por fim, o interessado final o pblico em geral ou a sociedade civil, a
qual o governo deve ser accountable for. Dessa forma, os relatrios das avaliaes podem servir tanto para divulgao, quanto para fomento do debate pblico em torno das alternativas de interveno governamental em uma dada
realidade social.

5. Metodologia de avaliao de polticas pblicas

De acordo com Faria (2005), parte significativa dos estudos sobre os processos de avaliao de polticas pblicas desde a dcada de 1960 refere-se s
questes de ordem metodolgica e/ou s distintas maneiras de se classificar
a avaliao. Para Cotta (2001:91), a avaliao tem sido classificada em funrap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

541

o do seu timing (antes, durante ou depois da implementao da poltica ou

programa), da posio do avaliador em relao ao objeto avaliado (interna,
externa ou semi-independente) e da natureza do objeto avaliado (contexto,
insumos, processo e resultados).
Sem ordem de principalidade, uma das primeiras observaes remete
diferenciao entre o timing da avaliao. A avaliao antes (ex ante) sempre
foi muito estimulada e induzida nos programas financiados pelos organismos
multilaterais de financiamento, especialmente aqueles voltados infra-estrutura econmica e ao desenvolvimento urbano. Essas avaliaes consistem em
anlises de custo-benefcio, de custo-efetividade, das taxas de retorno econmico dos investimentos previstos (Lobo, 1998).
A avaliao intermediria, tambm chamada de formativa, conduzida
durante a implementao de um programa como meio de se adquirir mais
conhecimento quanto a um processo de aprendizagem para o qual se deseja
contribuir. O objetivo dar suporte e melhorar a gesto, a implementao e
o desenvolvimento do programa. A nfase dada aplicabilidade direta dos
resultados (Ala-Harja e Helgason, 2000).
As avaliaes posteriores implementao do programa so chamadas
ex post ou somativas, e visam trabalhar com impactos e processos, portanto,
estuda-se a eficcia e o julgamento do valor geral do programa. A objetividade
e a credibilidade dos achados so mais importantes que a aplicabilidade direta
dos resultados (Lobo, 1998; Ala-Harja e Helgason, 2000).
No que diz respeito posio do avaliador ante o objeto avaliado, Arretche (1998) defende que, porque destinadas a exercer controle sobre as intervenes pblicas, seja dos cidados sobre o governo, seja do governo sobre
si mesmo, as avaliaes precisam ser conduzidas por rgos independentes.
O ponto em questo a neutralidade da avaliao. Para a autora, muito
difcil que avaliaes realizadas pelas prprias equipes governamentais encarregadas da execuo de uma dada poltica sejam crveis e isentas (embora a
neutralidade absoluta seja impossvel).
H uma srie de incentivos para que tais avaliaes concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos
de fracasso. Tais razes vo desde a manuteno dos prprios empregos at o
interesse das burocracias em aumentar suas margens de poder e de gasto. Por
isso, mais difcil que tais avaliaes tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa para estudos de avaliao,
mais particularmente avaliaes de eficcia (Arretche, 1998:37-38).
impossvel prevenir erros em julgamentos ou tendncias na forma
como o homem pensa ou age. Em vista disto, Henry (2002) defende que o iderap Rio de Janeiro 42(3):529-50, maio/jun. 2008

542

andrei pittol trevisan hans michael van bellen

al tornar as decises transparentes e identificar os participantes nas decises

e suas afiliaes ideolgicas. Com essas informaes em mos as tendncias
podem ser confrontadas. O mesmo deve valer para os resultados de avaliaes
que, alm da transparncia, devem ser amplamente disponveis, com descrio do desenho do estudo e os processos.
Henry (2002) oferece pelo menos duas razes para transparncia dos
processos de avaliao de polticas pblicas. O primeiro motivo o aprendizado decorrente do trabalho de outros pesquisadores, substantiva e metodologicamente. De acordo com o autor (2002:424), evaluation reports should make
the methods for systematic inquiry transparent, as the best reports do currently.
A segunda razo apontada demonstrar mais sistematicamente os benefcios de processos especficos que podem ser usados para selecionar indicadores de sucesso, como dilogos deliberativos, negociaes com os usurios ou
stakeholders.
Nas palavras de Henry (2002:421), to stand up in the contentious environs of modern democracies, evaluation must be perceived as producing credible
information that is not unduly biased by its sponsor or by bad decisions of the
evaluator (...). Continuando com Henry (2002:425)
Without making evaluations transparent, we are forced into arguments that
can gain no traction because of information asymmetry; that is, those who have
used the approaches have complete control over what information is available
to those who are considering the use or adaptation of the approaches.

Assim, as avaliaes podem ser discutidas em uma arena pblica, onde

os cidados tm pleno acesso s informaes, metodologia empregada e aos
resultados alcanados. A avaliao torna-se, assim, um verdadeiro instrumento democrtico de controle sobre a ao dos governos (Arretche, 1998).
Arretche (1998) assevera que a literatura de avaliao de polticas pblicas costuma distingui-la em termos de sua eficcia, eficincia e efetividade,
recurso analtico destinado a separar aspectos distintos dos objetivos, da abordagem e dos mtodos e tcnicas de avaliao.
Uma postura mais abrangente sobre a metodologia de avaliao de polticas pblicas exposta por Costa e Castanhar (2003). Os autores partem do
pressuposto que se avaliao uma forma de mensurao, de julgamento de
valor, preciso estabelecer, antes de tudo, os critrios de avaliao, e nesse
ponto no h consenso sobre aspectos metodolgicos e conceituais. O que
existe um autntico emaranhado conceitual.
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

543

A lista de critrios longa e a escolha de um, ou vrios deles, depende

do que se deseja privilegiar na avaliao. Com fulcro no manual da Unicef,
Costa e Castanhar (2003:973) listam os mais comuns: eficincia, eficcia, impacto (efetividade), sustentabilidade, anlise custo-efetividade, satisfao do
usurio, eqidade.
No entanto, a aplicao dos critrios depende de operacionalizao para
identificao e quantificao dos resultados obtidos. A operacionalizao pode
ser feita, segundo Costa e Castanhar (2003), por meio de indicadores. O termo indicador derivado da palavra latina indicare, que significa tornar patente; demonstrar, revelar, denotar; expor (Ferreira, 1999). Para a OCDE, um
indicador deve ser compreendido como um parmetro, ou valor derivado de
parmetros que forneam informaes sobre o estado de um fenmeno, com
uma extenso significativa (van Bellen, 2005).
Tendo em mente os critrios e indicadores a serem utilizados, resta fazer
as comparaes com o referencial, tal como aludido por Garcia (2001). Os padres de referncia para guiar a avaliao podem ser classificados em: absolutos (as metas estabelecidas so consideradas como o padro a ser alcanado),
histricos (comparao dos resultados ao longo do tempo), normativos (comparao do desempenho com programas similares ou semelhantes), tericos
(estabelecidos na prpria elaborao do programa, sob a hiptese da obteno
dos resultados planejados), negociados ou de compromisso (baseiam-se em
algum procedimento especfico para sua fixao, normalmente decorrente de
consensos entre as partes envolvidas na gesto e os formuladores) (Costa e
Castanhar, 2003).
O desenho de um programa pblico pode ser sintetizado em uma seqncia de definies correspondentes a graus sucessivos de agregao de
objetivos. A tradio brasileira costuma organizar, segundo Costa e Castanhar
(2003), de maneira hierarquizada, a seqncia de compromissos de um programa pblico da seguinte forma: propsito > objetivo > meta > atividade.
Atualmente maior ateno tem sido dada a uma metodologia de estruturao de polticas pblicas chamada metodologia do marco lgico. Esta
metodologia parte da concepo de polticas pblicas como processos articulados e estabelece os recursos que configuram a poltica pblica, seus

The United Nations Childrens Fund (em portugus, Fundo das Naes Unidas para a Infncia).

Tambm chamada de matriz lgica (Costa e Castanhar, 2003) e marco conceitual (Mokate,
2002).


rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

544

andrei pittol trevisan hans michael van bellen

programas e projetos, e encadeiam as etapas de um mesmo programa, desde

o diagnstico da populao-alvo at a definio de critrios para interveno
(Carvalho, 2003).
A ferramenta de base se estrutura em forma de uma matriz de organizao: de um lado ficam os objetivos, indicadores, meios de aferio e fatores externos a influenciar os resultados do programa; de outro, a especificao dos objetivos geral e especficos, componentes e atividades (Carvalho,
2003).
Outra forma de se estruturar a matriz lgica dada por Costa e Castanhar (2003): comea-se pela identificao dos objetivos gerais e especficos do programa e dos indicadores pelos quais o programa ser avaliado,
assim como a identificao das fontes de dados que sero usadas para
as mensuraes, comparaes e anlises. Num segundo momento volta-se
para a identificao dos recursos (financeiros, humanos, infra-estrutura)
alocados ao programa, as atividades previstas, os resultados esperados e as
relaes causais que a teoria por trs do programa pressupe que podem
ser atingidas.
Um exemplo de modelo lgico, para primeira etapa descrita por esses
autores, relacionando objetivo do projeto, variveis operacionais, indicadores, informao necessria e forma de obteno dos dados apresentado na
tabela 1.
Ta b e l a 1

Exemplo parcial da primeira etapa do modelo lgico

Objetivo
Aumentar a
produo agrcola
dos beneficirios do
projeto

Varivel
Volume da
produo agrcola
Valor da
produo agrcola

Indicador
Quantidade
produzida por
cultura

Informao
necessria
Dados sobre
produo
Dados sobre
receita
financeira

Mtodo de
coleta
de dados
Pesquisa
secundria
(anurios de
produo)
Pesquisa de
campo

Fonte: Costa e Castanhar, 2003: 978.

A identificao de recursos do programa, as atividades e os resultados

esperados (imediatos, mdio e longo prazos) pode ser visualizada no exemplo
da tabela 2.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

545

avaliao de polticas pblicas

Ta b e l a 2

Exemplo da segunda etapa do modelo lgico em projetos de

agricultura irrigada fatores contextuais
Resultados
(impactos) de
mdio prazo

Resultados
(impactos) de
longo prazo

Mudana
nos sistemas
produtivos

Instalao de
agroindstrias e
servios correlatos

Mudana nos
padres de vida
das populaes
beneficiadas

Apoio
comercializao

Melhoria de
volume de
produo

Mudanas nos
sistemas de
comercializao da
produo

Reduo da
ingerncia do
setor pblico
na operao do
programa

Treinamento

Melhoria de
renda

Aumento nos nveis

de associao e
integrao entre os
usurios

Inputs do
programa

Atividades do
programa

Recursos
financeiros

Financiamento
produo

Pessoal
alocado ao
programa

Assistncia
tcnica

Resultados
imediatos

Apoio
comercializao
Recursos de
treinamento
(material
instrucional)

Treinamento

Infra-estrutura

Realizao
de obras de
irrigao

Equipamentos

Aquisio e
distribuio de
equipamentos
para irrigao

Manuteno de
nveis adequados
de arrecadao
x custos de
operao

Produtores
rurais elegveis
para o projeto

Cadastramento
e identificao
dos perfis dos
beneficirios

Manuteno de
nveis mnimos
de inadimplncia

Assistncia
tcnica

Manuteno
de nveis
adequados de
endividamento

Manuteno de
nveis mnimos
de transferncia
de lotes

Fonte: Costa e Castanhar, 2003: 977-978.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

546

andrei pittol trevisan hans michael van bellen

Os fatores contextuais dizem respeito aos aspectos que esto fora do

controle da equipe de planejamento e gesto do programa, porm podem
exercer impacto positivo ou negativo sobre os resultados, tais como: caractersticas empreendedoras dos beneficirios, perfis de gerentes envolvidos na
execuo do projeto, caractersticas e atuao dos lderes comunitrios.
Conforme Carvalho (2003:193), a metodologia do marco lgico se destaca pela clareza na distino dos conceitos de avaliao e das atividades necessrias para seu desenvolvimento, bem como na proposio de dimenses para
avaliao, possibilitando resultados analticos baseados em uma interpretao
integrada do comportamento dos agentes, das atribuies das instncias de implementao e da interao com as populaes potencial e beneficiria.
Diante dos diversos objetivos de uma avaliao de poltica pblica, podem-se distinguir trs modalidades de avaliao: avaliao de metas, avaliao de processos e avaliao de impacto (Garcia, 2001; Carvalho, 2003; Costa
e Castanhar, 2003).
A avaliao de metas tem como propsito mensurar o grau de xito que
um programa alcana. As metas de um programa so os resultados mais imediatos que dele decorrem (nmero de pessoas atendidas em centros de sade,
nmero de horas de aula, nmero de leitos hospitalares). Trata-se, pois, de
uma avaliao ex post facto, visto que pressupe a atribuio de valores a um
conjunto de metas, definindo-se o xito do programa em funo de que tais
metas tenham sido cumpridas. Algumas limitaes desse tipo de avaliao
so: dificuldade de especificar as metas de forma precisa; seleo de metas a
serem includas no processo de avaliao; mudanas nas metas ao longo da
prpria execuo do programa (Costa e Castanhar, 2003).
A avaliao de processo visa detectar defeitos na elaborao dos procedimentos, acompanhar e avaliar a execuo dos procedimentos de implantao dos programas, identificar barreiras e obstculos sua implementao e
gerar dados para sua reprogramao, por meio do registro de intercorrncias
e de atividades. Essa avaliao se realiza concomitantemente ao desenvolvimento do programa, portanto, o uso adequado das informaes produzidas
permite incorporar mudanas ao seu contedo (Carvalho, 2003; Costa e Castanhar, 2003).
J a avaliao de impacto, conforme Carvalho (2003:186), aquela
que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto,
para alm dos beneficirios diretos da interveno pblica, avaliando-se sua
efetividade social. Busca-se nessa avaliao detectar as mudanas que efetivamente ocorreram e em que medida as mudanas ocorreram na direo
desejada. De acordo com a autora, dois pressupostos orientam a avaliao de
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

547

impacto: o primeiro reconhece propsitos de mudana social na poltica em

anlise e, dessa forma, faz sentido configurar a investigao para mensurar
seus impactos; o segundo pressuposto o que estrutura a anlise com base em
uma relao causal entre o programa e a mudana social provocada.
No basta constatar a ocorrncia de mudana, preciso estabelecer a
relao causa-efeito entre as aes de um programa e o resultado final obtido; entre essas e a ao pblica realizada por meio da poltica (Garcia, 2001;
Carvalho, 2003; Costa e Castanhar, 2003). Por sua natureza avaliativa ela
considerada ex post facto.
Por fim, a avaliao, como instrumental de anlise, pode-se valer tambm
dos mtodos prprios da pesquisa social. A sua escolha, entretanto, no casual
nem mesmo predeterminada, pois o pressuposto que seja conforme os objetivos (explcitos ou implcitos) estabelecidos pela poltica (Carvalho, 2003).
Um ltimo comentrio merece ser prestado aos estudos de avaliao de
avaliaes, ou metaavaliaes. Segundo Henry (2001), em algum momento
os avaliadores tambm sero responsabilizados (accountable) pelas suas decises. Mais provavelmente, os avaliadores sero responsabilizados no apenas
em adotar procedimentos-padro, mas pelos seus resultados e pelos impactos
de seus achados. Para esse autor, o futuro da metaavaliao passar a focar
com mais intensidade as avaliaes individuais durante o processo, os critrios para definir o que certo nas avaliaes individuais sero melhorados,
criticados, revisados e, talvez, aceitos.
Conforme Henry (2001), o interesse em metaavaliaes pode produzir
duas linhas importantes de trabalhos para o campo. Em primeiro lugar, um
resultado muito positivo poderia ser um conjunto de estudos empricos que
examinam os impactos verdadeiros das avaliaes. A segunda contribuio
das meta avaliaes diz respeito s revises de avaliaes individuais. Henry (2001) assinala que os mtodos para testar avaliaes especficas devem
trazer luz preconceitos e inclinaes quando eles ocorrerem e devem fazer
com que esses achados sejam acessveis. Alm disso, eventually, to engender
confidence in the independence of these reviews, the methods must not only be
capable of a determination of bias, they must actually determine some instances
in which it has actually occurred (Henry, 2001:426).

6. Consideraes finais
As ltimas dcadas tm registrado o ressurgimento e crescimento do campo
de conhecimento das polticas pblicas, em especial no Brasil. Esse novo frap Rio de Janeiro 42(3):529-50, maio/jun. 2008

548

andrei pittol trevisan hans michael van bellen

lego deve-se em grande parte s alteraes histricas, polticas e econmicas

vivenciadas pela sociedade, e encaradas pelos governos como desafios, que se
traduziram em modificaes sobre a forma de compreender, formular e avaliar
as prprias polticas.
Nesse veio, conforme levantado pela literatura em avaliao de polticas pblicas, a funo de avaliao sofreu deslocamentos terico-discursivos,
tomando-se como ponto de partida a dcada de 1960. Nesse perodo, a nfase poltica sobre a avaliao concentrou-se no fornecimento de informao
para os gerentes de programas pblicos, de forma a garantir feedbacks para
correes de rumo. Na dcada de 1980, a avaliao pende para a funo de
(re)alocao, ou seja, buscava-se eficincia na alocao de recursos com base
em critrios racionais do processo oramentrio.
A dcada de 1990 marca a ltima fase evidenciada pela literatura, na
qual o deslocamento terico-discursivo fortemente marcado pelo questionamento do papel do Estado, aliado influncia da nova administrao pblica.
A avaliao assume a funo de legitimao, ao mesmo tempo em que so
exigidos resultados da administrao e das polticas pblicas.
Inovaes e refinamentos tericos com relao a metodologias de avaliao acompanharam e acompanham de perto as concepes e funes das
polticas pblicas. Nesse sentido, os esforos de pesquisa na avaliao de polticas apontam para uma maior estruturao e sistematizao dos programas,
tal como visto com a metodologia do marco lgico.
Contudo, outros questionamentos sobre a avaliao de polticas pblicas se colocam, lentamente, na agenda de pesquisas acadmicas. Assim como
o movimento da nova administrao pblica vem sofrendo presses sobre seu
carter democrtico-participativo (ou falta dele), est em aberto o debate sobre novas formas de accountability e participao social sobre a avaliao de
polticas pblicas no contexto democrtico brasileiro.

Referncias bibliogrficas
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direo s melhores prticas de
avaliao. Revista do Servio Pblico, Braslia, v. 51, n. 4, p. 5-59, out./dez. 2000.
ARRETCHE, Marta. Dossi agenda de pesquisa em polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 7-9, fev. 2003.
______. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.).
Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998.
p. 29-39.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

avaliao de polticas pblicas

549

CARVALHO, Sonia Nahas de. Avaliao de programas sociais: balano das experincias e contribuio para o debate. So Paulo em Perspectiva, So Paulo, v. 17,
n. 3-4, p. 185-197, jul./dez. 2003.
COSTA, Frederico Lustosa da; CASTANHAR, Jos Cezar. Avaliao de programas
pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica,
Rio de Janeiro, v. 37, n. 5, p. 962-969, set./out. 2003.
COTTA, Tereza Cristina. Avaliao educacional e polticas pblicas: a experincia
do Sistema Nacional de Avaliao da Educao Bsica (Saeb). Revista do Servio
Pblico, Braslia, v. 52, n. 4, p. 89-110, out./dez. 2001.
DERLIEN, Hans-Ulrich. Una comparacin internacional en la evaluacin de las
polticas pblicas. Revista do Servio Pblico, Rio de Janeiro, v. 52, n. 1, p. 105-122,
jan./mar. 2001.
FARIA, Carlos Aurlio Pimenta de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 59, p. 97-109, out. 2005.
______. Idias, conhecimento e polticas pblicas: um inventrio sucinto das principais vertentes analticas recentes. Revista Brasileira de Cincias Sociais, So Paulo,
v. 18, n. 51, p. 21-29, fev. 2003.
FERREIRA, Aurlio Buarque de Holanda. Dicionrio Aurlio Eletrnico: sculo XXI.
Rio de Janeiro: Nova Fronteira, 1999. verso 3.0. CD-ROM.
FREY, Klaus. Polticas pblicas: um debate conceitual e reflexes referentes prtica
da anlise de polticas pblicas no Brasil. Planejamento e Polticas Pblicas, Braslia,
n. 21, p. 211-259, jun. 2000.
GARCIA, Ronaldo Coutinho. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia, n. 23, p. 7-70, jan./jun. 2001.
HENRY, Gary T. How modern democracies are shaping evaluation and the emerging
challenges for evaluation. American Journal of Evaluation, v. 22, n. 3, p. 419-429,
Sept. 2001.
JOBERT, Bruno; MULLER, Pierre. LEtat en action. Paris: PUF, 1987.
LOBO, Thereza. Avaliao de processos e impactos em programas sociais: algumas
questes para reflexo. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais:
uma questo em debate. So Paulo: Cortez, 1998. p. 75-84.
MELO, Marcus Andr. As sete vidas da agenda pblica brasileira. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez, 1998. p. 11-28.
rap Rio de Janeiro 42(3):529-50, maio/jun. 2008

550

andrei pittol trevisan hans michael van bellen

______. Estado, governo e polticas pblicas. In: MICELI, Srgio (Org.). O que ler na
cincia social brasileira (1970-1995). So Paulo: Sumar, 1999. v. 3, p. 59-100.
MISOCZKY, Maria Ceci. Uma defesa da reflexo terico-crtica na pesquisa e prtica da administrao pblica. In: ENCONTRO DE ADMINISTRAO PBLICA E
GOVERNANA, 1., 2004, Rio de Janeiro. Anais... Rio de Janeiro: Anpad, 2004. p.
1-14. CD-ROM.
MOKATE, Karen Marie. Convirtiendo el monstruo en aliado: la evaluacin como
herramienta de la gerencia social. Revista do Servio Pblico, Braslia, v. 53, n. 1,
p. 89-131, jan./mar. 2002.
REIS, Elisa P. Reflexes leigas para a formulao de uma agenda de pesquisa em
polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51,
p. 11-14, fev. 2003.
SILVA, Pedro Luiz Barros; COSTA, Nilson do Rosrio. A avaliao de programas
pblicos: reflexes sobre a experincia brasileira. Braslia: Ipea, 2002.
SOUZA, Celina. Estado do campo da pesquisa em polticas pblicas no Brasil.
Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
THOENIG, Jean-Claude. A avaliao como conhecimento utilizvel para reformas
de gesto pblica. Revista do Servio Pblico, Braslia, v. 51, n. 2, p. 54-70, abr./jun.
2000.
VAN BELLEN, Hans Michael. Indicadores de sustentabilidade: uma anlise comparativa. Rio de Janeiro: FGV, 2005.

rap Rio de Janeiro 42(3):529-50, maio/jun. 2008