Você está na página 1de 62

AVALIAO DE POLTICAS

PBLICAS E PROGRAMAS
GOVERNAMENTAIS
Profa. Maria das Graas Rua
Brasilia, 2014
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
3
AVALIAO DE POLTICAS PBLICAS E
PROGRAMAS GOVERNAMENTAIS
Profa. Maria das Graas Rua
A
avaliao de polticas pblicas e de programas governamentais, bem
como o planejamento em mbito governamental, ganhou fora com
as mudanas do papel do Estado, especialmente devido ao esforo de
reconstruo dos Estados aps a II Guerra Mundial, adoo de polticas de
bem-estar social e consequente necessidade de analisar os custos e as van-
tagens de suas intervenes na realidade.
A trajetria histrica da avaliao compreende um primeiro estgio,
centrado na mensurao dos fenmenos analisados, depois avana em direo
aos testes das estratgias para atingir certos objetivos.
Por isso, no mbito do profundo processo de transformao nas rela-
es entre o Estado e a sociedade e da reforma da Administrao Pblica,
que passa da priorizao de processos para a nfase em resultados, a avalia-
o assume a condio de instrumento estratgico para toda a gesto pblica.
Dessa forma, tanto o monitoramento como a avaliao assumiram o carter
de julgamento criterioso das intervenes pblicas no somente quanto sua
efccia e efcincia, mas tambm quanto sua efetividade, sustentabilidade,
equidade, entre vrios outros critrios.
No Brasil, os estudos acadmicos e as prticas de monitoramento e ava-
liao ganharam um signifcativo impulso a partir da dcada de 1990, com a
implementao dos denominados modelos de gesto orientados para resul-
tados. A nfase em resultados trouxe a necessidade de monitorar e avaliar as
intervenes governamentais a fm de constatar se os objetivos eram atingi-
dos e de viabilizar a prestao de contas do Estado sociedade.
4
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
1 - O signifcado da avaliao como instrumento de gesto de polticas p-
blicas
O termo avaliao amplamente empregado em muitos e diversif-
cados contextos, sempre se referindo a julgamentos. Por exemplo, quando
assistimos a um jogo de futebol, formamos opinio sobre as habilidades dos
jogadores e assim por diante. Esses so julgamentos informais que efetuamos
cotidianamente sobre todos os aspectos de nossas vidas, e compem o que se-
riam as avaliaes informais. Porm, quando o foco so as intervenes go-
vernamentais, as avaliaes so muito mais rigorosas e formais, envolvendo
julgamentos detalhados e criteriosos, sobre a aplicao dos recursos pblicos
para a consecuo de metas por exemplo, de reduo da mortalidade infan-
til, ou de elevao da qualidade do ensino ou, ainda, de reduo da crimina-
lidade. Esse texto trata focaliza as avaliaes formais ou, simplesmente,
avaliaes e as atividades de monitoramento a elas associadas.
Na gesto das polticas pblicas, o monitoramento e a avaliao repre-
sentam poderosos instrumentos, principalmente quando se integram ao ciclo
da gesto, subsidiando desde a identifcao do problema, o levantamento das
alternativas, o planejamento e a formulao de uma interveno na realidade,
o acompanhamento de sua implementao, os consequentes ajustes a serem
adotados, e at as decises sobre sua manuteno, seu aperfeioamento, sua
mudana de rumo ou sua interrupo.
A avaliao no est, portanto, restrita ao momento posterior e fnal
implementao de uma poltica pblica essa seria apenas uma das modali-
dades de avaliao. Outros tipos seriam, por exemplo, as avaliaes ex-ante
e as avaliaes intermedirias alm, naturalmente, do monitoramento. Justa-
mente por essa abrangncia, a avaliao pode contribuir para a viabilizao e
fortalecimento de todas as atividades de controle interno e externo, por insti-
tuies pblicas e pela sociedade, implicando mais transparncia e accounta-
bility s aes de governo.
Alm disso, o monitoramento e a avaliao so decisivos para os
processos de aprendizagem institucional e tambm corrobora para a busca e
a obteno de ganhos nas aes governamentais em termos de satisfao dos
usurios e de legitimidade social e poltica. Por essas e outras razes, a lite-
ratura tem ressaltado a importncia dos processos avaliativos para a reforma
das polticas pblicas, a modernizao e a democratizao da gesto pblica.
Conforme Zulmira M. A. HARTZ (1999), nas democracias consolida-
das, os processos de avaliao de polticas vm se tornando crescentemente
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
5
institucionalizados. Isso exige o empenho das estruturas poltico-governa-
mentais na adoo da avaliao como prtica regular e sistemtica de suas
aes, na regulao das prticas avaliativas e no fomento de uma cultura de
avaliao integrada aos processos gerenciais.
No Brasil, a importncia da avaliao das polticas pblicas tem sido
frequentemente reconhecida em documentos ofciais e cientfcos, embora
esse reconhecimento formal ainda no se traduza em processos de avaliao
sistemticos e consistentes que subsidiem a gesto pblica. Todavia, esse apa-
rente consenso no plano do discurso, no produz automaticamente a apropria-
o dos processos de avaliao como ferramentas de gesto, pois a tendncia
perceb-los como um dever, ou at mesmo como uma ameaa, impostos por
alguma instncia governamental ou por organismos fnanciadores internacio-
nais (HARTZ; POUVOURVILLE, 1998).
Independentemente das variaes contextuais e entre as diversas socie-
dades, toda avaliao de polticas pblicas se depara com uma srie de desa-
fos. Primeiramente, deve lidar com as limitaes do fato de uma de suas prin-
cipais fontes de informaes serem os registros administrativos. Ora, como a
avaliao nem sempre concebida com o intuito de apoiar a formulao da
poltica pblica (ex-ante), os registros administrativos no so elaborados
com o propsito de prover os dados necessrios avaliao. Por esse motivo,
o avaliador sempre tem de lidar com lacunas nesses dados e tentar super-las.
Nesse sentido, o monitoramento passa a desempenhar um papel ainda mais
relevante, na medida em que permite cobrir, tempestivamente, as lacunas de
documentao e informao sobre as aes governamentais.
Em segundo lugar, outra fonte de informaes para os avaliadores so
os benefcirios, dos quais se obtm dados diretos. Isso coloca a necessida-
de de construir instrumentos fdedignos de coleta, bases de dados precisas e
confveis o sufciente para sustentar as apreciaes a serem feitas. Por isso,
embora a avaliao no se resuma aplicao de tcnicas de pesquisa na
coleta de dados, requer um slido o treinamento metodolgico do avaliador.
Em terceiro lugar, importante que a avaliao contemple os contextos
da poltica pblica (no somente seu desenho e seus produtos), pois o ambien-
te sempre oferece riscos e oportunidades que afetam tanto os processos como
os resultados. por isso que, em contextos diferentes, as mesmas estratgias,
investimentos e aes podem apresentar resultados diferentes.
Em quarto lugar, ao mesmo tempo em que a avaliao implica asso-
ciar meios e fns, preciso abrir a possibilidade de exame de resultados no
6
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
antecipados. Isso tem sido feito com mtodos de Avaliao Livre dos Re-
sultados ou Avaliao Independente dos Objetivos, descritos adiante, que
permitem questionar se outros processos podem produzir tais resultados e
se todos os resultados obtidos foram aqueles inicialmente pretendidos, ou se
as consequncias das aes governamentais foram alm do previsto para o
bem ou para o mal.
Em quinto lugar, preciso que a avaliao das policies seja capaz de
captar mudanas no decorrer do tempo, retroalimentando as polticas, os pro-
gramas e os projetos. Isso requer que, ao invs de representar uma iniciativa
pontual, a avaliao seja concebida como um processo contnuo. Novamente,
aqui reside a importncia no somente das avaliaes intermedirias mas,
principalmente, do monitoramento.
Em sexto lugar, necessrio abrir a possibilidade da avaliao de po-
lticas pblicas orientada para a inovao. Trata-se da avaliao que comea
com o incio do ciclo de vida de uma poltica, quando h pouco conhecimento
sobre ela. Esse tipo de avaliao subentende uma concepo ex-ante, ou seja,
a avaliao construda anteriormente prpria formulao, com base na
qual se realizam simulaes com a fnalidade de identifcar estratgias e pro-
por cursos de ao. Sua aplicao, evidentemente, requer o estabelecimento
de uma linha de base dos dados (baseline) e a coleta e anlise de evidncias
capazes de sugerir e sustentar novas estratgias para enfrentamento dos pro-
blemas de polticas pblicas.
Por fm, um aspecto essencial relacionado avaliao de polticas diz
respeito aos prprios avaliadores, suas habilidades e competncias, alm das
habilidades analticas, que no esto em discusso. fundamental que os
avaliadores tenham capacidade de trabalhar com policy-makers (os toma-
dores de deciso e todos aqueles envolvidos na realizao da poltica pbli-
ca), de modo a estabelecer com eles parcerias estratgicas visando o melhor
resultado das polticas pblicas. Isso exige que, sem perder a caracterstica
da independncia da avaliao, a concepo de que avaliadores e gestores
se situam em campos opostos seja superada. Tambm importante que os
avaliadores sejam capazes de atuar junto aos stakeholders, estabelecendo di-
logos, ajudando a construir consensos e a gerenciar mudanas. igualmente
necessrio que sejam capazes de verifcar a coerncia da poltica pblica e de
interpretar resultados com o distanciamento requerido. Por fm, indispen-
svel que a avaliao cause consequncias no modus operandi da policy em
questo. Esse aspecto demanda que os avaliadores sejam capazes de formular
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
7
recomendaes de alta qualidade e de elaborar planos de ao com o intui-
to de aperfeioar as polticas, os programas e os projetos. Essas habilidades
representam a base para a formao e consolidao de uma cultura de ava-
liao das polticas, na qual as falhas sejam vistas como oportunidades de
aprendizado para fazer mais e melhor em termos de polticas pblicas.
No paradigma de gesto orientada para resultados, as polticas devem
ser avaliadas pelo cumprimento de seus objetivos e seus gerentes devem
ter incentivos naturais para utilizar informao no acompanhamento de seu
desempenho em relao a esses objetivos. MOKATE (2002) aponta quatro
desafos a serem enfrentados prioritariamente para o estabelecimento de um
processo de avaliao de polticas integrado s suas atividades gerenciais:
a) a defnio de um marco conceitual da interveno que se pretende
avaliar, indicando claramente os objetivos, os resultados e as supos-
tas relaes causais que orientam a poltica pblica, pois quando no
se sabe aonde e como se quer chegar, torna-se muito difcil avaliar o
desempenho;
b) a superao da lacuna entre o quantitativo e o qualitativo na
defnio de metas e objetivos e na prpria avaliao, produzindo
complementaridade e sinergia entre eles;
c) a identifcao e a pactuao de indicadores e de informaes rele-
vantes, levando em conta o marco conceitual e as diversas perspec-
tivas e os interesses dos atores envolvidos;
d) a defnio e o manejo gerencial dos fuxos de informao gerados
pelo processo avaliativo, especialmente aplicando-os tomada de
decises, e a introduo de estratgias para sua disseminao e de
incentivos ao uso dessa informao.
2 - Conceitos Bsicos: monitoramento, avaliao, acompanhamento, pes-
quisa avaliativa. Objetivos, metas, pblico-alvo, pressupostos, insumos,
produtos, processos, efeitos, impactos
Carol WEISS (1998) adota uma defnio bastante sucinta de
avaliao: consiste em uma anlise sistemtica do processo e/ou dos
resultados de um programa ou poltica, em comparao com um
conjunto explcito ou implcito de padres, com o objetivo de contri-
buir para o seu aperfeioamento.
8
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Essa defnio pontua, com bastante preciso, as caractersticas da ava-
liao formal: a sistematicidade (ou seja: a observncia das regras metodol-
gicas da pesquisa avaliativa); o foco da avaliao: o processo de implementa-
o ou os resultados da poltica, programa ou projeto; a utilizao de critrios,
indicadores e padres que permitam comparar intenes e objetivos com as
consequncias das aes executadas; e o propsito da avaliao de contribuir
para a melhoria da qualidade das decises polticas e, por extenso, da prpria
poltica pblica.
A avaliao pode ter por objeto o contedo da poltica pblica (sua
fnalidade, seu pblico-alvo, o local em que opera, etc.), sua estrutura (a rela-
o existente entre os objetivos, as metas, os insumos e as atividades de uma
poltica), seu processo (como se organizam as atividades de implementao
daquela policy), seus produtos (as entregas de bens pblicos e de servios
sociedade), a qualidade (dos bens e servios entregues), seus efeitos e/ou im-
pactos (as consequncias da policy).
De maneira bastante sinttica, ento, possvel defnir a avaliao for-
mal de polticas, programas ou projetos
1
como o exame sistemtico de quais-
quer intervenes planejadas na realidade, baseado em critrios explcitos
e mediante procedimentos reconhecidos de coleta e anlise de informao
sobre seu contedo, sua estrutura, seu processo, seus produtos, sua qualidade
efeitos e/ou seus impactos.
Nesse enunciado destacam-se duas dimenses da avaliao. A primeira
tcnica e refere-se coleta e anlise , de acordo com procedimentos reco-
nhecidos, das informaes que podero ser utilizadas nas decises relativas a
qualquer poltica pblica, programa ou projeto. Essa dimenso diz respeito
pesquisa avaliativa, que um instrumento da avaliao.
A segunda dimenso valorativa, e consiste no exame das informaes
obtidas, luz de critrios especfcos, com a fnalidade de extrair conclu-
ses acerca do valor da poltica pblica, do programa ou do projeto. Esse
julgamento no tem por fnalidade classifcar as intervenes como boas
ou ms, exitosas ou fracassadas. Destina-se, em vez disso, a apoiar o
aprendizado contnuo, em busca de melhores decises e do amadurecimento
da gesto.
A essa altura cumpre distinguir avaliao de pesquisa avaliativa, que
diz respeito aos mtodos e s tcnicas de coleta de dados para a avaliao.
Nesse sentido, a avaliao formal pode lanar mo de um conjunto de mto-
1
Uma poltica executada por meio de programas e projetos; cada uma dessas instncias pode ser
considerada como uma unidade especfca, em seu mbito, para fns de avaliao.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
9
dos de diagnstico e anlise , de tcnicas de coleta de dados, como surveys,
observao, entrevistas em profundidade, individuais ou em grupos focais;
e de instrumentos como questionrios, formulrios, roteiros de observao,
etc., do arsenal prprio da pesquisa social.
Uma vez que compreende tanto a mensurao como a valorao, a ava-
liao no pode ser considerada uma tarefa neutra. No entanto, existe um
reconhecido grau de confabilidade nela, j que se apoia em princpios e cri-
trios, no em apreciaes ao acaso, sujeitas s variadas preferncias e inte-
resses de cada avaliador.
A avaliao formal permite julgar processos e produtos de vrios mo-
dos. Primeiro, levantando questes bsicas tais como os motivos de certos
fenmenos (por exemplo: por que, apesar dos programas de educao para o
trnsito, persistem prticas de risco entre parte da populao brasileira?). Esse
tipo de avaliao pode focalizar relaes de causa e efeito com a fnalidade
de recomendar mudanas nas medidas adotadas para lidar com um problema.
Em segundo lugar, a avaliao formal pode ser usada para acompanhar
polticas pblicas ou programas de longo prazo. Nesses casos so realizadas
diversas avaliaes em estgios-chave da poltica ou do programa, a fm de
prover dados confveis sobre os seus impactos e sobre como podem ser eles
mitigados ou mais bem explorados.
Em terceiro lugar, ao fnal de um programa ou de um projeto, a avalia-
o pode indicar o seu sucesso na consecuo dos seus objetivos, bem como
permitir avaliar a sua sustentabilidade, isto , a possibilidade da permanncia
dos resultados obtidos no decorrer do tempo.
A avaliao formal pode contribuir para aperfeioar a formulao de
polticas pblicas e de projetos e, sobretudo, tornar mais responsvel o es-
tabelecimento de metas, ao apontar em que medida os governos se mostram
responsivos frente s necessidades dos cidados. Pode tambm: mostrar se
as polticas e os programas esto sendo concebidos de modo coordenado ou
articulado e em que medida esto sendo adotadas abordagens inovadoras na
resoluo de problemas que antes pareciam intratveis; sinalizar como vo
sendo construdas as parcerias entre os governos central e local, entre os seto-
res pblico e privado; identifcar as condies de sucesso ou fracasso dessas
parcerias; e indicar como elas podem ser aperfeioadas, com a inteno de
ganharem abrangncia e se tornarem estratgias nacionais das polticas de
desenvolvimento.
10
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
A despeito dos progressos realizados, a atividade de avaliao formal
ainda recente em muitos pases, a depender do grau de modernizao dos
seus modelos de administrao e at mesmo do grau de democratizao po-
ltica e social. O fato de a avaliao ser ainda uma prtica recente permite
entender os motivos para ainda no ter ocorrido a consolidao conceitual
dessa rea. Na verdade, muitos conceitos so adotados de maneira vaga e
imprecisa, provocando difculdades ao dilogo, transparncia e ao fortaleci-
mento da prpria avaliao.
Uma primeira distino til a que se pode estabelecer entre avalia-
o, monitoramento e acompanhamento. A literatura traz algumas defnies
bastante precisas do monitoramento. Ele pode ser conceituado como o pro-
cedimento mediante o qual se verifca a efcincia e a efccia da execuo
de um projeto, por meio da identifcao de seus xitos e suas debilidades e,
em consequncia, recomenda medidas corretivas para otimizar os resultados
esperados do projeto. Sob outra tica, o monitoramento consiste no acompa-
nhamento contnuo, cotidiano, por parte de gestores e gerentes, do desenvol-
vimento dos programas e polticas em relao a seus objetivos e suas metas.
(VAITSMAN; RODRIGUES; PAES-SOUSA, 2006, p. 21)
Talvez por ser menos frequente que a avaliao, o monitoramento de
programas e de projetos geralmente tem sido confundido, em nosso pas, tan-
to com a avaliao quanto com o acompanhamento.
O monitoramento diferencia-se da avaliao sob vrios aspectos. Entre
eles, o mais importante estabelece que, enquanto a avaliao o exame dis-
creto de processos, produtos, qualidade, efeitos e impactos das aes realiza-
das, o monitoramento o exame contnuo de insumos, atividades, processos,
produtos, efeitos e impactos das aes realizadas, com a fnalidade de otimi-
zar a sua gesto
2
.
Essa caracterstica tem consequncias claras em termos das diferenas
entre avaliao monitoramento: ao passo que a avaliao deve explorar em pro-
fundidade os aspectos sobre os quais incide, o monitoramento no tem como al-
canar tal profundidade, devido sua necessidade de privilegiar a celeridade dos
achados, para que possa subsidiar, tempestivamente, decises sobre a conduo
das polticas, dos programas e dos projetos. Tambm pela mesma razo, enquanto
a avaliao produz relatrios mais complexos e densos, o monitoramento produz
2
A literatura traz algumas defnies bastante precisas do monitoramento. Ele pode ser conceituado como
o procedimento mediante o qual se verifca a efcincia e a efccia da execuo de um projeto, por meio
da identifcao de seus xitos e suas debilidades e, em consequncia, recomenda medidas corretivas para
otimizar os resultados esperados do projeto. Sob outra tica, o monitoramento consiste no acompanhamen-
to contnuo, cotidiano, por parte de gestores e gerentes, do desenvolvimento dos programas e polticas em
relao a seus objetivos e suas metas. (VAITSMAN; RODRIGUES; PAES-SOUSA, 2006, p. 21)
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
11
pequenos sumrios de dados parciais, aos quais se costuma incorporar uma aju-
da memria ou uma ata de decises tomadas com base nos achados. Em quarto
lugar, enquanto a avaliao pode ser usada, ou no, para subsidiar a tomada de
decises, o monitoramento sempre precisa ter essa aplicao. Por isso, diferen-
temente da avaliao, todo monitoramento tem de incluir os procedimentos para
a imediata apropriao dos achados produzidos e deve ser inserido no processo
da gesto da poltica pblica. Em quinto lugar, mesmo sendo possvel monitorar
atividades, processos, produtos, efeitos e impactos, em regra, o monitoramento se
concentra em atividades, processos e produtos, tendo como referncia o desenho
da poltica, do programa ou do projeto. J a avaliao no necessariamente possui
essa relao com o desenho da interveno, sendo, inclusive, recomendvel o uso
de metodologias de Avaliao Independente de Objetivos.
O monitoramento uma funo inerente gesto dos programas, de-
vendo ser capaz de prover informaes tempestivas sobre o programa de
modo a viabilizar a adoo, pelos seus gestores, de medidas necessrias para
melhorar sua operacionalizao. Os resultados do monitoramento so aplica-
dos no aperfeioamento do trabalho de equipe e na tomada de decises, e ele
deve propiciar a aprendizagem organizacional.
O acompanhamento corresponde s atividades de registro e de docu-
mentao do processo de implementao da poltica pblica, com a fnalida-
de de assegurar o cumprimento do Plano de Atividades ou Plano de Ao,
sem questionar a sua pertinncia frente ao problema a ser solucionado. O
acompanhamento caracteriza-se pelas atividades de superviso, fscalizao
e controle, no tendo natureza interativa, nem proativa. As informaes que o
acompanhamento prov geralmente se limitam a ser registradas e comunica-
das, nem sempre sendo analisadas. Os resultados do acompanhamento rara-
mente so compartilhados e so pouco utilizados como ferramenta de gesto
da poltica pblica. Porm, o acompanhamento pode e deve ser tratado como
um elemento de apoio tanto ao monitoramento como avaliao.
Alguns conceitos muito presentes s falas dos interessados em moni-
toramento e avaliao assumem uma importncia singular, uma vez que de-
fnem o recorte do objeto a ser avaliado. Infelizmente, tais conceitos no so
to precisos quanto deveriam. O primeiro deles resultado, que vem sendo
empregado em oposio a processo, principalmente no mbito do debate
sobre os novos modelos de gesto da Administrao Pblica. O debate, no
caso, estabelece a diferena o que se obtm com a ao e os procedi-
mentos adotados na ao, ou, em outras palavras: fns e meios. A palavra
resultado, porm, genericamente usada para denotar coisas to diferentes
quanto produtos preliminares e intermedirios, produtos fnais, efeitos e at
12
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
impactos. Logo, deve-se ou especifcar a que se refere o termo, ou procurar
uma palavra mais precisa.
Outro conceito muito presente no monitoramento e na avaliao expresso
pela palavra produto. O termo tornou-se comum na linguagem administrativa,
principalmente devido infuncia dos organismos internacionais e s metodo-
logias de planejamento nas quais os produtos funcionavam como referncias
de concluso das etapas de trabalho. Na realidade, produto uma traduo da
palavra inglesa output expressa uma sada (bens ou servios) de um sistema
que processou inputs ou insumos. Ordinariamente, os produtos so designados
como objetivos ou, quando se defne uma quantidade de um produto (objeto)
em um espao de tempo, so chamados de metas.
A palavra output, portanto, refere-se a produtos de diferentes nveis de
elaborao ou de complexidade que um sistema pode originar, cada um dos
quais signifca, ao mesmo tempo, uma sada, mas tambm um insumo para as
atividades que iro determinar os produtos subsequentes, de maiores comple-
xidade e elaborao. Ento, quando nos referimos a produtos, til estabele-
cer uma hierarquia de complexidade, identifcando produtos preliminares ou
iniciais, que sero insumos necessrios gerao de produtos intermedirios,
os quais, por seu turno, sero insumos para os produtos fnais.
O produto fnal sempre uma sada direta, objetivamente identifcvel,
da operao de um sistema: bens ou servios como vacinas aplicadas, livros
distribudos, refeies servidas, alunos certifcados, reas reforestadas, etc.
Nesse sentido, o produto fnal diferencia-se do efeito, que a sua conse-
quncia: a mudana desencadeada na realidade pelo produto fnal. Vacinas
aplicadas podem ter como efeito a imunizao e reduo da incidncia de
uma doena; livros distribudos podem ter como efeito uma melhoria da capa-
cidade de leitura; refeies servidas podem ter como efeito uma melhoria da
relao estatura/idade das crianas ou uma reduo da incidncia das doenas
nutricionais; alunos certifcados podem ter como efeito um aumento relativo
da escolaridade geral da populao; reas reforestadas podem ter como efeito
uma reduo dos processos de eroso da terra, etc. O termo em lngua inglesa
para efeito outcome
3
, que guarda clara diferena de output.
3
Outcome pode ser traduzido como resultado, tendo como sinnimos result, effect, fruit, afterma-
ch, end; pode ser traduzido tambm como efeito, tendo como sinnimos effect, result, action, side,
consequente; pode ser traduzido como desenlace, tendo como sinnimos conclusion, issue, upshot;
pode ser traduzido como consequncia, tendo como sinnimos consequence, result, effect, afterma-
ch, conclusion; e pode ser traduzido como xito, tendo como sinnimos success, hit, triumph, speed,
accident. Em nenhuma das acepes, outcome signifca o mesmo que output, cujos sinnimos so
product, produce, goods, result.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
13
O efeito est diretamente relacionado ao produto fnal de uma inter-
veno (poltica pblica, programa ou projeto) e sempre exprime uma mu-
dana em uma situao pr-existente. Por isso, os efeitos pretendidos devem
ser apresentados, sempre, como objetivos gerais, ou seja na forma de uma
descrio clara de uma situao-problema resolvida
4
. Toda a atividade de
gesto, nos novos modelos de administrao, destina-se obteno de deter-
minados efeitos
5
. Por defnio, os gestores executam processos destinados
a gerar produtos com a fnalidade de produzir efeitos, ou seja, transformar a
realidade. Relacionada obteno dos efeitos, a palavra efetividade ganhou
especial destaque nos ltimos tempos, referindo-se a um dos mais importan-
tes critrios de avaliao.
Outro conceito pouco preciso, embora igualmente relevante, impac-
to, que tem sido frequentemente usado como sinnimo de efeito. Enquanto
efeito defnido no dicionrio da lngua portuguesa como resultado neces-
srio ou fortuito de uma causa portanto, guarda conexo direta com a causa
, o signifcado de impacto outro: o choque, impresso ou abalo forte ou
profundo produzido por efeitos diversos.
Assim, o impacto provocado pelo efeito (outcome), que, por sua
vez, resulta de uma causa que - em se tratando de intervenes planejadas na
realidade - um produto (output)
6
. Esse entendimento encontra amparo no
somente na literatura especializada (ver E.COHEN & R. FRANCO, 1993, p.
92), mas tambm a Organizao das Naes Unidas (ONU) defne impacto
como um resultado dos efeitos de um projeto (ONU, 1984 apud E.COHEN
& R. FRANCO, 1993). De qualquer forma, vale assinalar que, apesar da im-
portncia do conceito, no existe no Brasil um consenso a seu respeito.
Aqui cabem algumas consideraes. Primeiramente, os efeitos so, por
defnio, previsveis, devido sua relao direta com os produtos. Podem
ser efeitos positivos (que se pretende desencadear) ou negativos (que se deve
mitigar), mas representam sempre o propsito da interveno.
4
Objetivo a descrio clara e precisa de uma situao-problema resolvida. Os objetivos podem ser
hierarquizados em objetivos superiores, que devero ser atingidos mediante a consecuo dos ob-
jetivos de projeto (ou gerais), os quais, por sua vez, sero alcanados como resultado da consecuo
dos objetivos especfcos, que podem ser expressos como metas.
5
Segundo COHEN e FRANCO (1993, p.92), os efeitos podem ser procurados ou no-procu-
rados. Os efeitos procurados tem que ser previstos, pois no se pode procurar o desejar o que se
desconhece; e tm que ser positivos, pois no seria lgico ter resultantes negativos como objetivo de
uma interveno. Os efeitos no-procurados podem ter sido previstos e dividem-se em positivos
ou negativos, e estes ltimos requerem medida de mitigao. A ocorrncia de efeitos imprevistos (po-
sitivos ou negativos) possvel, mas resulta sempre de falhas do conhecimento e do planejamento.
6
Para COHEN e FRANCO (1993p.93), os efeitos resultam da utilizao dos produtos do projeto. Os
produtos so resultados concretos das atividades desenvolvidas a partir dos insumos disponveis e
compreendem bens produzidos ou servios prestados.
14
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
J os impactos podem ser previsveis ou no. Isso advm do fato de
que no se relacionam diretamente com o produto ou a causa: sua relao
mediada pelos efeitos e pode sofrer mltiplas intervenincias do ambiente em
que se realizou a interveno. Tanto os impactos previsveis como os impre-
visveis podem ser positivos ou negativos.
Em decorrncia dessa relao indireta, mediada e suscetvel a inter-
venincias diversas, os impactos podem variar no tempo e na intensidade e
podem se espraiar por reas muito distintas daquela em que ocorreu a inter-
veno. Por exemplo, vacinas aplicadas, que podem ter como efeito crianas
imunizadas, podem ter como impactos uma reduo dos gastos do sistema
de sade com o tratamento das doenas (que foram evitadas), uma reduo
da repetncia e da evaso escolar por ter sido evitada a perda de dias letivos
pelas crianas, uma reduo das faltas das mes ao trabalho evitando a perda
de renda das famlias, etc.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
15
Quadro 1 Sntese dos Principais Conceitos
Pblico-alvo
o conjunto de pessoas ao qual se destina uma interveno.
Tambm pode ser designado como populao-objetivo, popula-
o-meta ou grupo focal.
Insumo
So os diversos recursos alocados a uma interveno, a fm de
realizar as metas e objetivos pretendidos: dinheiro, instalaes
fsicas, equipamentos, pessoas, conhecimento, tecnologia, etc.
Produto
a traduo da palavra inglesa output expressa uma sada
(bens ou servios) de um sistema que processou inputs ou in-
sumos. Os produtos podem ser preliminares, intermedirios ou
fnais.
Meta
So produtos expressos quantitativamente, contendo, no mnimo,
informao sobre que quantidade de qual produto a ser produzida
em que prazo.
As metas podem ser, elas prprias, objetivos especfcos. Porm,
mais corretamente, seriam desdobramentos ou partes dos objeti-
vos especfcos.
Objetivo
Objetivo a descrio clara e precisa de uma situao-problema
resolvida.
Objetivo superior corresponde aos impactos pretendidos (outco-
mes), que devero ser atingidos mediante a consecuo dos ob-
jetivos de projeto (ou gerais).
Objetivo geral corresponde aos efeitos pretendidos (outcomes),
que devero ser alcanados mediante a consecuo dos objeti-
vos especfcos.
Objetivos especfcos correspondem aos produtos (outputs).
Efeito
a mudana (positiva ou negativa) provocada por uma interven-
o na realidade. Os efeitos guardam relao direta com os pro-
dutos fnais de uma interveno.
Impacto
a mudana positiva ou negativa, prevista ou imprevista, decor-
rente dos efeitos de uma interveno. Usualmente os impactos
so observados no mdio ou longo prazo e no se limitam r-
bita restrita da interveno, podendo atingir outras esferas. Ex.
Aumento da escolaridade materna, que leva reduo da morta-
lidade infantil.
Pressuposto
So condies essenciais consecuo dos objetivos e metas
de uma interveno que tem como caracterstica distintiva o fato
de no se encontrarem sob o controle do projeto ou dos seus
gestores.
Fonte: Elaborao de Maria das Graas Rua
16
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Essas caractersticas dos impactos conduzem seguinte refexo: uma
interveno pode ter como expectativa certos impactos, no entanto, no pode
assumi-los como seu objetivo direto, devido ao baixo grau de governabilida-
de que qualquer gestor tem sobre eles; devido s difculdades de evidenciao
da cadeia causal entre a interveno, seu(s) produto(s), seu(s) efeito(s) e os
impactos; e devido a fatores que difcultam uma identifcao e mensurao
clara dos impactos. Naturalmente, tudo isso impe grandes desafos s Ava-
liaes de Impacto (que sero tratadas adiante)
De acordo com o argumento aqui apresentado, os impactos so conse-
quncias dos efeitos e esses so gerados pelos produtos. Para que os produtos
(de todos os nveis) sejam originados, so necessrios insumos, capacidades
e atividades. Isso, porm, no sufciente: os produtos dependem, muitas ve-
zes, de condies externas governabilidade da poltica, do programa ou do
projeto. Por exemplo: a aprovao de um diploma legal pelo Legislativo, um
ambiente de estabilidade da moeda, etc.
Essas condies externas, essenciais para o xito na obteno de um
produto, chamam-se pressupostos ou supostos ou condies, ou, mes-
mo, hipteses. Os pressupostos se diferenciam de pr-requisitos, pois
esses so os produtos prvios (preliminares ou intermedirios), obtidos nas
etapas hierarquizadas da execuo de uma interveno, os quais se encontram
sob a governabilidade da poltica, do programa ou do projeto e de seus gesto-
res. A anlise dos pressupostos constitui o ncleo da Avaliao de Risco.
Vale, por fm, elucidar o conceito de qualidade: consiste na capaci-
dade de um bem ou servio atender s expectativas do seu pblico-alvo. O
problema, nesse caso, confundir a Avaliao da Satisfao do Usurio/
Benefcirio com a Avaliao de Qualidade. A primeira tem por funda-
mento um conjunto de consultas aos usurios/benefcirios, que pode ser for-
temente afetada por fatores contextuais e subjetivos, como a prpria situao
do usurio previamente ao acesso quele bem ou servio. J a Avaliao de
Qualidade se baseia em critrios relativos a cada tipo de bem ou servio; um
desses critrios pode ser a satisfao dos usurios, mas no o nico possvel,
nem o mais importante.
3 - Tipologias de Avaliao: ex-ante, ex-post, intermediria; de conformi-
dade, formativa, somativa; interna, externa, mista; centrada em objeti-
vos, independente de objetivos; por pares ou especialistas, adversrios ou
participantes.
Desde o surgimento das prticas avaliativas pioneiras, nas dcadas de
1960 a 1990, ocorreram signifcativos avanos na rea de avaliao, tornan-
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
17
do-se os conceitos mais precisos, as estratgias e as tcnicas mais adequadas
e os instrumentos de coleta mais acurados. Ademais, foram caracterizados e
diferenciados os diversos tipos de avaliao.
Hoje existem diversas tipologias, que permitem discriminar as avalia-
es conforme o ponto do ciclo da poltica, do programa ou do projeto em que
se realizam (classifcam-se em: ex-ante, intermediria ou de meio-termo e
ex-post); conforme a funo a ser cumprida pela avaliao (classifcam-se
em: avaliao de conformidade, somativa ou formativa); conforme a origem
dos avaliadores (classifcam-se em: externa, interna ou mista); conforme o
foco ou objeto (classifcam-se em: avaliao centrada em objetivos versus
independente de objetivos; centrada na administrao versus avaliao de
desempenho; centradas em usurios ou consumidores, etc.); conforme os en-
volvidos na avaliao (classifcam-se em: avaliao por pares ou especialis-
tas, por adversrios, por participantes ou avaliao participativa); conforme a
lgica que orienta sua concepo (baseada na Teoria do Programa, na Teoria
da Implementao ou na Teoria da Mudana do Programa), a nfase metodo-
lgica (classifcam-se em: avaliao quantitativa ou qualitativa), etc.
Os mais importantes desses tipos so descritos a seguir. As categorias
explicitadas provm das obras Avaliao de Programas: concepes e pr-
ticas, da autoria de Blaine R. WORTHEN, Jody L. FITZPATRICK e James
R. SANDERS (2004) e Evaluation: methods for studying programs and pol-
icies, de Carol WEISS (1998).
Inicialmente, tomando como critrio o momento em que a avaliao
acontece, cabe esclarecer os conceitos de avaliao ex-ante, avaliao de
meio-termo e avaliao ex-post.
Numa acepo mais generalizada, a avaliao ex-ante subentende uma
perspectiva holstica, interativa e iterativa, segundo a qual a avaliao se ini-
cia no momento em que se defne o problema ou a necessidade que justifca a
poltica pblica, o programa ou o projeto.
Sendo um instrumento de apoio ao processo decisrio, a avaliao
ex-ante ocorre antes da deciso sobre como ser feita uma interveno, ao
longo da formulao da policy, e no antes de a implementao, de fato, tor-
nar-se realidade. Esse tipo de avaliao tem natureza formativa; integra as
discusses em torno da formulao das alternativas de soluo; e envolve a
tomada de deciso, informando sobre os seus riscos e as suas limitaes, as
vantagens a maximizar, a consistncia entre objetivos e meios, a viabilidade
e sufcincia dos insumos, a pertinncia das solues esfera de atuao das
18
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
organizaes abarcadas na interveno pretendida, entre outros. H alguns
tipos de avaliao ex-ante, a depender, mais uma vez, do critrio adotado. Ela
pode focalizar, por exemplo, a situao-problema que a poltica pblica dese-
ja solucionar (avaliao ex-ante de situao), ou o desenho e as articulaes
do projeto da poltica pblica (avaliao ex-ante de projeto ou de estrutura),
entre muitas outras categorias.
Numa outra acepo, mais restrita, a avaliao ex-ante consiste na esti-
mativa prvia de efcincia e de impacto do desenho de determinada interven-
o. A avaliao ex-ante de efcincia corresponde, especifcamente, ao cl-
culo de custos de cada alternativa. Alm das categorias bsicas
7
, os projetos
podem envolver ainda custos adicionais do usurio e custos de oportunidade
8
.
Essa modalidade de avaliao ex-ante diz respeito construo de uma ma-
triz de custos, que contm todos os custos que se espera que uma interveno
requeira em cada perodo de execuo, divididos entre as diversas categorias
acima citadas. J a avaliao ex-ante de impacto relaciona-se estimao
do impacto de cada alternativa, derivado dos objetivos propostos. Essa esti-
mao pode basear-se no Mtodo Delphi
9
ou pode envolver o clculo do
custo por unidade de impacto, que equivale ao custo de realizao de 1% do
impacto para um determinado objetivo, usando uma determinada alternativa,
em um perodo de um ano (por exemplo, a reduo do ndice de mortalidade
infantil). Em ambos os casos, a matriz de custos empregada para a tomada
de deciso, o monitoramento e a avaliao.
A avaliao ex-post tem por fundamento outra lgica. Em se tratan-
do da perspectiva generalizada, refere-se, primeiramente, avaliao que
concebida sem relao com o planejamento e nem mesmo com o processo de
implementao, sendo adotada quando a poltica pblica, o programa ou o
projeto se encontra consolidado ou em fase fnal. Uma segunda acepo gen-
rica alude estritamente ao momento do tempo em que realizada a avaliao
e, portanto, ao estgio da interveno que submetido avaliao. Nesse
sentido, a avaliao ex-post compreende tanto as avaliaes intermedirias ou
7
Os projetos podem envolver apenas trs categorias bsicas: custos de capital (aquisio de bens que
um projeto utiliza por um ano ou mais), custos de manuteno (compra de servios e materiais para
manuteno de bens de capital) e custos operacionais (compra de bens e servios com vida til menor
que um ano, podendo ser ou custos diretos, quando so indispensveis; ou custos indiretos, quando
no so indispensveis, mas condicionam a efcincia das aes).
8
O custo adicional do usurio aquele que incide sobre a populao-alvo. Por exemplo, no acesso a
um servio escolar pode haver um custo de deslocamento que, alm do transporte, inclui o custo do
tempo gasto esperando o transporte e viajando. O custo de oportunidade refere-se s oportunidades
de ganho s quais se renuncia para investir em uma atividade. Por exemplo, pode-se investir o capital
em qualquer atividade lucrativa em vez de aloc-lo a um projeto social; essa renncia representa o
custo de oportunidade.
9
Em termos bastante simplifcados, o Mtodo Delphi se trata de um painel de especialistas que con-
duzido na construo de um consenso por intermdio de um processo de aproximaes sucessivas.
Essa tcnica largamente utilizada, mas pode ser questionada, especialmente quando o conhecimen-
to cientfco acumulado pelos especialistas pouco, porque no tero outra base para julgamento
que no suas prprias experincias.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
19
de meio-termo (quando se trata de intervenes que esto sendo realizadas h
tempo sufciente para que sejam reconhecidos tanto os seus processos como
os seus produtos: bens e servios de produo ou prestao continuada
10
)
como as avaliaes fnais, de efeitos e de impactos.
Na acepo restrita, a avaliao ex-post no diz respeito ao momento
em que se pensa ou se planeja a avaliao. O foco, nessa hiptese, recai sobre
o que calculado: o custo efetivo de cada alternativa, pelo mesmo processo
de anlise de custos da avaliao ex-ante, porm tendo como referncia os
valores efetivamente despendidos. Embora usando os mesmos procedimen-
tos de clculo, na avaliao ex-post, os impactos so mensurados por meio
da comparao entre a situao inicial da populao-alvo (baseline) e a sua
situao ao fnal de um perodo determinado de tempo. possvel tambm
comparar os impactos observados com os impactos estimados na avaliao ex
-ante, a fm de verifcar se a seleo de alternativas de interveno foi tima.
Quando o foco de interesse se transfere para a fnalidade da avaliao
ou a funo desempenhada por ela, pode-se distinguir alguns tipos relevantes:
Primeiramente, h a avaliao de conformidade, que corresponde ao
exame da aderncia lei dos atos normativos da poltica pblica, do programa
ou do projeto e tambm dos atos do gestor na conduo das suas atividades,
inclusive, na gesto da coisa pblica. Tambm conhecida como avaliao
de accountability, tendo por fnalidade averiguar em que medida um pro-
grama observa as diretrizes, regulamentos, padres legais ou qualquer ou-
tra expectativa formal. Uma abordagem comumente utilizada nesse tipo de
avaliao a anlise de indicadores de desempenho. Esse tipo de avaliao
predomina nas instituies de controle interno e externo, sendo seu objeto,
precipuamente, o processo e no os resultados das polticas pblicas.
Em uma concepo alternativa, pode-se entender conformidade como
a aderncia da implementao da policy sua concepo original, tanto em
termos de procedimentos quanto em termos de orientao para os resultados
previstos, pblico-alvo, etc.
A avaliao formativa, tambm conhecida como retroalimentadora,
tem por funo proporcionar informaes teis equipe gestora da poltica
pblica, do programa ou do projeto, com o propsito de aperfeio-los duran-
te o ciclo da execuo; ou aos planejadores, com vistas a poderem realizar a
atualizao contnua dos programas ou projetos, de sorte a maximizar seus
objetivos.
10
A avaliao de meio-termo ocorre quando j existe algum tempo aps a implementao de uma
interveno qualquer e seu intuito verifcar se a interveno est caminhando na direo desejada.
Ela pode incorrer sobre processos, produtos intermedirios, qualidade ou satisfao.
20
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
A avaliao formativa pode ocorrer como avaliao ex-ante ou como
avaliao intermediria. Sua fnalidade subsidiar a tomada de deciso que
sucede durante o processo da poltica pblica, em relao estrutura ou ao
desenho do programa ou projeto, aos ajustes necessrios, s melhorias da ges-
to, etc. Tem a natureza de diagnstico parcial e contextual e leva a decises
sobre o desenvolvimento do programa ou projeto, inclusive, modifcaes e
revises deles. Com a realizao da avaliao formativa, o programa ou pro-
jeto passa constantemente por reformulaes. Seus usurios so as equipes
gestoras. E costuma ser realizada por avaliadores internos. Esse exame s ve-
zes utiliza medidas ou dados informais em frequentes coletas de dados. Suas
perguntas so do tipo: O que tem funcionado? O que deve ser melhorado?
Como podem ser realizados aperfeioamentos?
A avaliao somativa tem por funo subsidiar decises fnais sobre a continui-
dade ou no de um programa ou um projeto associado determinada poltica pblica,
como redimensionamento do pblico-alvo, mitigao de efeitos colaterais, etc. Pode
ocorrer tanto como avaliao intermediria, desde que em estgios avanados, quan-
to na modalidade de avaliao fnal, ex-post, e costuma adotar a avaliao externa
ou mista. Representa tanto um instrumento de gesto como de responsabilizao e,
especialmente, de aprendizagem organizacional. Leva a decises terminativas sobre
a execuo, a continuidade ou o encerramento de um programa ou um projeto. Seus
usurios so os administradores, os benefcirios, os fnanciadores e os supervisores,
alm da equipe gestora. Esse tipo de verifcao adota medidas vlidas e confveis
em coletas de dados pouco frequentes. As perguntas s quais a avaliao somativa
deve responder so: Quais foram os resultados obtidos? Quanto custou? Quem foi
benefciado? Quais os ndices de efetividade? Houve consequncias inesperadas? Po-
sitivas ou negativas? Que lies podem ser extradas?
As avaliaes se diferenciam ainda quanto origem da equipe que as
realiza, podendo ser internas, externas ou mistas.
As avaliaes internas so aquelas em que a interveno (poltica p-
blica, programa ou projeto) avaliada por uma equipe envolvida com sua im-
plementao. No se trata de auto-avaliao, que ocorre quando o objeto ava-
liado o desempenho da equipe ou de seus membros. Na avaliao interna, o
objeto avaliado a interveno, seus processos e seus produtos, a consecuo
dos objetivos e das metas, etc. A grande difculdade da avaliao interna resi-
de na distoro da perspectiva do avaliador devido excessiva proximidade
com o objeto, alm de todos os possveis vcios resultantes da endogeneidade.
Em contrapartida, h familiaridade profunda dos avaliadores com o universo
relacionado gesto daquela temtica ou rea setorial.
As avaliaes externas so aquelas realizadas por uma equipe que no
possui envolvimento com a implementao da poltica pblica, do programa
ou do projeto. Podem ser consultores externos (independentes), agentes do
controle interno (como, por exemplo, a Controladoria Geral da Unio) ou do
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
21
controle externo (como, por exemplo, o Tribunal de Contas da Unio) e at
mesmo equipes do prprio rgo responsvel pela interveno, desde que no
estejam diretamente atuantes na implementao
11
. No obstante as vantagens
do distanciamento do objeto examinado, a desvantagem principal desse tipo
de avaliao est no fato de que quanto mais distantes da realidade da gesto,
mais difculdades tm os avaliadores externos para compreender em profun-
didade o objeto avaliado.
As avaliaes mistas so aquelas conduzidas por uma equipe interna em
parceria com outra, externa. As duas formulam o plano de avaliao e cons-
troem em conjunto os instrumentos avaliativos. Em seguida, se separam para
aplicar os instrumentos e analisar os dados. Depois, se unem novamente para
comparar suas concluses e chegar a um termo comum, mesmo que existam
discrepncias em seus achados. Esse tipo permite superar tanto as distores
prprias da avaliao interna quanto as difculdades derivadas do excessivo
distanciamento que prprio da avaliao externa. As vantagens da avaliao
mista esto na combinao de diferentes pontos de vista, na aprendizagem
que ambas as equipes ganham e no relatrio de avaliao ser bastante preciso.
Todavia, ela s se aplica em situaes nas quais seja necessria uma grande
exatido das concluses, devido ao seu elevado custo de execuo.
Quadro 2 Tipologias e Tipos de Avaliao
CRITRIO TIPO DE AVALIAO
Segundo o
Momento em
que se Realiza
Avaliao ex-ante (de situao e de projeto ou estrutura)
Avaliao de meio-termo (de processos, de produtos, de
qualidade)
Avaliao ex-post (de efeitos e de impactos)
Segundo a
Procedncia dos
Avaliadores
Avaliao interna
Avaliao externa
Avaliao mista
Segundo o Foco
da Avaliao
Avaliao centrada em objetivos versus Avaliao indepen-
dente de objetivos, entre outras.
Segundo os
Envolvidos na
Avaliao
Avaliao centrada em especialistas ou por pares
Avaliao centrada em adversrios (equipes opostas)
Avaliao centrada nos participantes ou avaliao partici-
pativa
Segundo a Fun-
o da Avaliao
Avaliao de conformidade ou de accountability
Avaliao somativa
Avaliao formativa
Fonte: adaptado de WORTHEN, SANDERS e FITZPATRICK, 2004.
11 Um exemplo so as avaliaes feitas pela Secretaria de Avaliao e Gesto da Informao SAGI
dos programas do MDS.
22
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
H tambm a tipifcao segundo o foco ou objetivo da avaliao. Nes-
se caso, a avaliao pode ser, entre outras: centrada no cliente, centrada na
utilizao, centrada na deciso, centrada em objetivos, independente de obje-
tivos, centrada no consumidor, de custo-benefcio.
Nessa classifcao, importante ressaltar a avaliao centrada em ob-
jetivos, por ser a mais praticada no Brasil. Ela qualifca-se por possuir como
ponto de partida a especifcao dos objetivos e das metas da poltica pbli-
ca, do programa ou do projeto, de maneira a apreciar se eles foram ou no
atingidos e em que medida. Seu escopo pode ser to pequeno quanto uma
reunio de trabalho ou to amplo quanto o plano estratgico de uma organiza-
o ou um plano plurianual de governo. Apesar de ser muito utilizada, desde
a dcada de 1980 a academia comeou a discutir as defcincias desse tipo
avaliativo, uma vez que buscava ativamente os objetivos e ignorava todos os
elementos de uma policy que no se expressassem como objetivos ou metas,
que poderiam ser de grande signifcncia.
Com base nessa crtica, originou-se a avaliao independente de obje-
tivos, que se concentra em buscar os produtos, os efeitos e os impactos das
intervenes, com base em uma metodologia que intencionalmente procura
ignorar os objetivos da interveno. Nesse tipo, o exame da poltica pblica,
do programa ou do projeto no se inicia pela apreciao dos objetivos, mas
sim pelas percepes de mudana produzidas pela interveno na realidade
nas vidas de stakeholders, agentes pblicos, benefcirios ou usurios, e no
-benefcirios ou no-usurios. Portanto, muito mais ampla que a avaliao
centrada em objetivos: pode observar externalidades (consequncias impre-
vistas) negativas e positivas da interveno. Ao chegar a um estgio no qual
isso foi sufcientemente explorado, elaboram-se indicadores e comparam-se
as alteraes diagnosticadas pelos stakeholders aos objetivos da poltica p-
blica.
Por fm, em relao ao critrio de quem est envolvido na avaliao,
possvel identifcar trs tipos.
Na avaliao por pares ou por especialistas, os avaliadores fazem parte
do mesmo universo do grupo encarregado pela implementao de uma pol-
tica pblica, um programa ou um projeto. Um exemplo so os comits ava-
liadores dos programas de ps-graduao, que so compostos por professores
doutores pertencentes a esses prprios programas de ps-graduao.
A avaliao centrada em adversrios consiste na modalidade em que as
equipes avaliadoras se dividem em dois grupos um deles busca aspectos po-
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
23
sitivos da interveno e o outro procura aspectos negativos. Posteriormente,
os dados confitantes so contrastados e as equipes devem alcanar um acordo
sobre a avaliao.
E a avaliao por participantes ou participativa, uma espcie avaliativa
de mais complexidade. Ao contrrio do que s vezes se imagina, no se trata
simplesmente de incorporar os benefcirios ao processo de coleta de dados
(pesquisa avaliativa). A avaliao participativa diferencia-se por ser aquela
em que os diversos stakeholders de uma poltica pblica so atores ativos
desde o planejamento da avaliao. Dessa maneira, eles defnem, em con-
junto com a equipe avaliadora, os critrios a serem utilizados, a dimenso da
poltica a ser avaliada e os instrumentos de verifcao a serem adotados, para
citar alguns exemplos. Embora os stakeholders no participem da coleta e da
anlise dos dados, eles so chamados a debater os resultados com a equipe
avaliadora, validando ou no suas concluses.
4 - A Escala da Avaliao
Alm dessas tipologias, E. COHEN & R.FRANCO (1993, p.115-117)
chamam a ateno para a possibilidade de tipifcar as avaliaes segundo a
escala da poltica, programa ou projeto. Assim, tomando por base o nmero
de pessoas afetadas e a magnitude dos recursos investidos, os autores distin-
guem entre a avaliao de projetos grandes e a avaliao de projetos peque-
nos, sustentando haver algumas diferenas fundamentais entre os dois tipos.
A primeira distino a ser enfatizada tem a ver com a estratgia da
avaliao. Nos grandes projetos adota-se uma estratgia analtica e objetiva,
sendo a avaliao decomposta nas vrias dimenses do projeto. Os autores
mencionam a possibilidade de efetuar anlises transversais, mediante avalia-
es parciais das diversas etapas, cujo foco seria a consecuo dos objetivos
intermedirios. E mencionam tambm os cortes longitudinais, que permi-
tiriam apreciar o avano na busca de objetivos especfcos, assim como a
articulao e encadeamento dos processos de diagnstico, programao e im-
plementao e o grau de adequao administrativa aos objetivos do projeto e
os fuxos de e para o projeto.
J os pequenos projetos so avaliados a partir de uma estratgia quali-
tativa, cuja nfase recai sobre a compreenso do conjunto e dos casos indivi-
duais que o integram. Apesar de ser possvel operar mediante cortes transver-
sais, a anlise dimensional no aplicvel aos pequenos projetos.
24
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
A segunda distino importante consiste na lgica da avaliao, que
dedutiva para os grandes projetos e indutiva para os pequenos. Ou seja, na
avaliao de grandes projetos parte-se de um modelo causal a fm de verifcar
em que medida o projeto modifcou a realidade em relao aos seus objetivos.
J a avaliao dos pequenos projetos parte da observao da realidade para
chegar ao julgamento do projeto como um todo, sem desagrega-lo em dimen-
ses ou componentes.
A terceira diferena reside no roteiro de avaliao que assume, para
os grandes projetos, caracterstica dos modelos experimentais (grupo experi-
mental versus grupo de controle), enquanto nos pequenos projetos o ponto de
partida a realidade global, a fm de que o programa ou projeto seja entendido
mediante as articulaes que os indivduos estabelecem na comunidade.
Variam tambm as tcnicas de anlise que tendem a ser quantitativas
ou quanti-qualitativas quando se avaliam os grandes projetos; e inclinam-se
a serem qualitativas e aproximadas das abordagens da antropologia, quando a
avaliao tem como objeto pequenos projetos.
Do mesmo modo, os resultados das avaliaes so diferentes: as avalia-
es dos grandes projetos desagregam etapas, dimenses, processos ou nveis
e cabe estabelecer concluses sobre suas particularidades. Os stakeholders,
por sua vez, so tratados como categorias e no como indivduos. J as ava-
liaes dos pequenos projetos analisam as individualidades, tanto no que
possvel generalizar, quanto nos casos desviantes.
Por fm, os avaliadores so distintos. Nas avaliaes dos grandes proje-
tos tem-se equipes centralizadas que operam mediante a anlise de informa-
es agregadas, sem necessariamente interagir com os envolvidos no projeto.
J nas avaliaes de pequenos projetos o avaliador sem envolve diretamente
com o projeto, interagindo diretamente e s vezes, de modo prolongado
com o grupo que objeto da avaliao
Nas Cincias Sociais, em geral, existe uma percepo do signifcado da
escala em termos de complexidade. Ou seja, interaes que so relativamente
simples em contextos de pequena escala, assumem confguraes completa-
mente distintas em contextos de larga escala porque as interaes dos seus
componentes no so simplesmente lineares e cumulativas, mas estruturais e
complexas. Nesse sentido, fca evidente que as estratgias, tcnicas, objetivos
e procedimentos aplicados em avaliaes de larga escala, so diferenciados
frente s avaliaes de pequenas populaes.
As avaliaes em larga escala servem para um grande conjunto de pro-
cessos avaliativos, com diferentes formas, instrumentos, indicadores, etc. Ge-
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
25
ralmente so organizadas a partir de um sistema de avaliao baseado em
instrumentos padronizados, aplicados e um grande nmero de informantes,
geralmente diferenciados quanto aos seus papis sociais e institucionais. Sua
lgica comparativa e longitudinal. Geralmente so feitas com amostras ex-
tensas (com subestratos). No Brasil, um exemplo de avaliao em larga escala
o SAEB Sistema nacional de Avaliao da Educao Bsica.
5 - Modelos ou Concepes de Avaliao: Teoria do Programa; Teoria da
Implementao, Teoria da Mudana do Programa
A avaliao formal de polticas pblicas no se limita a uma abordagem
ou um modelo nico ou especfco, podendo adotar um entre vrios, a ser
selecionado de acordo com o foco e o objetivo da avaliao, a natureza do ob-
jeto avaliado, as restries de tempo e custo, entre outros critrios. Em lugar
disso, essas estratgias de avaliao referem-se forma pela qual o objeto a
ser examinado entendido.
O primeiro modelo - ou estratgia - a ser estudado a Teoria do Progra-
ma. Seu ponto de partida a proposio de que por trs de toda interveno
na realidade existe uma teoria a respeito das causas dos problemas e de quais
os meios para solucion-los. A Teoria do Programa busca, ento, identifcar
recursos, atividades e possveis resultados desejados por um programa, e es-
pecifcar a cadeia causal de premissas ligando tais elementos. A pergunta cen-
tral que essa estratgia pretende responder : Em que medida as atividades
desencadeadas por uma poltica pblica provocam um conjunto especfco de
resultados para seus atores e benefcirios? Desse modo, enfatiza a anlise
dos mecanismos que levam mudana (e no das atividades de funcionamen-
to da policy) e como essas atividades tendem a gerar benefcios ou no para o
pblico-alvo daquela interveno.
A Teoria do Programa procura identifcar a concepo lgica que pre-
side a interveno a ser avaliada e os resultados que podem ser dela espe-
rados. Por exemplo, existe uma tese de que a causa da evaso escolar a
necessidade de as crianas trabalharem precocemente para compor a renda de
famlias empobrecidas. Nessa hiptese, a interveno ter a confgurao de
um programa para retirada da criana do trabalho e sua reinsero na escola,
e para isso sero defnidos determinados incentivos e adotados determinados
procedimentos.
A avaliao segundo a Teoria do Programa examina a consistncia en-
tre a teoria identifcada, os procedimentos adotados e os resultados obtidos.
26
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Compreende tanto as teorias normativas (que descrevem o programa segundo
a fnalidade ou funo que ele deve cumprir) quanto as teorias causais (que
afrmam haver uma relao de causalidade direta entre um fenmeno e outro,
de maneira que o programa deve ser elaborado com a fnalidade de eliminar
a causa do problema).
Outra estratgia de avaliao presente na literatura conhecida como
Teoria da Implementao. Trata-se de uma abordagem de avaliao na qual
no se questiona a racionalidade do desenho da interveno, mas sim a lgica
que preside a sua implementao e a consistncia entre essa e os resultados
pretendidos, medida pela distncia entre os objetivo propostos, os procedi-
mentos adotados e os resultados obtidos. A Teoria da Implementao baseia-
se na premissa de que se as atividades do programa funcionarem como foram
planejadas, com sufciente qualidade, intensidade, e fdelidade ao plano, os
resultados desejados sero integralmente alcanados. Sua pergunta central
visa responder o que necessrio para transformar os objetivos programti-
cos em entregas sociedade, isto , como se d o processo de implementao.
A Teoria da Implementao, que a estratgia de avaliao mais apli-
cada no Brasil, no lida com a anlise dos processos intermedirios entre os
servios do programa e os resultados alcanados, como a Teoria do Programa,
porm, com a oferta de servios pela poltica pblica. Seu foco recai sobre as
atividades especfcas geradas pelo programa quando do seu funcionamento e
em que medida cada uma delas funciona como planejado. Alm disso, foca-
liza a distncia entre os resultados obtidos com essas atividades e certos va-
lores de referncia (parmetros externos) relativos ao objeto da interveno.
Por fm, a autora Carol WEISS (1998) props que a avaliao fos-
se conduzida segundo uma perspectiva de maior complexidade, a Teoria da
Mudana do Programa. Essa teoria nada mais que a conjugao das duas
estratgias anteriores. Ela procura entender como os mecanismos de mudana
(aspecto proveniente da Teoria do Programa) e as atividades do programa (as-
pecto oriundo da Teoria da Implementao) se articulam, formando uma se-
quncia causal. A pergunta central dessa abordagem : como e em que medi-
da as diversas etapas do programa em funcionamento se aproximam daquilo
que foi originalmente planejado e trazem os resultados esperados. Portanto,
a Teoria da Mudana do Programa sugere que, se as etapas ocorrerem como
almejado, a avaliao possibilitar esclarecer como o programa funcionou
em sua implementao, atingindo os seus objetivos. Entretanto, se a anlise
revelar que a implementao do programa se desviou em algum grau das in-
tenes originais, a avaliao possibilitar explicar em que ponto, etapa, ou
processo o programa destoou do planejado e as consequncias disso.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
27
6 - Avaliao de Efetividade, Avaliao Custo-Benefcio (ACB) e Avalia-
o Custo-Efetividade (ACE)
A discusso acima chama a ateno para a possvel disjuntiva entre, de
um lado, a concepo e os objetivos de uma poltica, programa ou projeto; e,
de outro, tanto a sua implementao como, principalmente, as consequncias
da interveno sobre o mundo real. Esse no um questionamento recente. J
no debate entre os modelos de implementao, o desenvolvimento do Modelo
Bottom-Up resultou exatamente da constatao de que no parecia haver re-
lao entre a poltica pblica como tinha sido formulada, sua implementao
e o que realmente ocorreu na vida real da sociedade. A Avaliao de Efetivi-
dade expressa a tentativa de sistematizar esse questionamento.
O Guia Referencial para Medio do Desempenho e Manual para a
Construo de Indicadores do GESPBLICA, defne Efetividade como os
impactos gerados pelos produtos/servios, processos ou projetos. A efeti-
vidade est vinculada ao grau de satisfao ou ainda ao valor agregado, a
transformao produzida no contexto em geral.(MPOG, 2009, p.19)
Segundo Jorge Abraho de CASTRO
12
, a Avaliao de Efetividade tem
como objetivo avaliar se uma poltica est realizando aquilo que deveria,
comparando s metas estabelecidas inicialmente para determinar se o progra-
ma est atingindo os objetivos e/ou se os objetivos precisam ser revistos em
funo dos resultados concretos. O autor sustenta que esse tipo de avaliao
mais til ao processo de produo de polticas, mas igualmente mais difcil
de ser realizada pois requer um nvel mais alto de sofsticao do que os go-
vernos geralmente dispem.
Para Marta ARRETCHE(1998), a avaliao de efetividade busca esta-
belecer a relao entre a implementao das polticas e/ou programas sociais
e seus impactos e resultados, ou seja, busca averiguar seu sucesso ou fracasso
em relao a uma efetiva mudana nas condies de vida da populao aten-
dida pela poltica avaliada.
Este tipo de avaliao busca estabelecer uma relao de causalidade en-
tre o tipo e contedo da poltica e as mudanas provocadas na realidade. Nas
avaliaes de efetividade, a maior difculdade metodolgica consiste em dis-
tinguir produtos de resultados, e assim demonstrar que os resultados encon-
trados (seja do sucesso ou do fracasso) esto causalmente relacionados aos
12
Apresentao ppt, disponvel em www.fee.rs.gov.br/sitefee/download/publicacoes/cota_base.../02.
pdf, consultado em 16 mai.2013. No datado, no paginado.
28
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
produtos oferecidos por uma determinada poltica pblica. Essa difculdade
ocorre por trs ordens de motivos: 1) difculdade operacional na obteno
de informaes sobre programas e populao que permitam mostrar a situa-
o anterior e posterior execuo da poltica social avaliada; 2) difculda-
de metodolgica devido impossibilidade de tratar a realidade social como
associao de fenmenos dissociveis, o que impede o avaliador de isolar a
interferncia das variveis e estabelecer relao de causa e efeito; 3) difcul-
dade fnanceira e organizativa na realizao de pesquisa avaliativa de campo,
pois a realizao de estudos de caso difculta generalizao e pesquisas com
grandes amostras demandam longo tempo de observao, o que encarece e
difculta a realizao da avaliao (ARRETCHE, 1998, p. 32-33).
Jorge Abraho de CASTRO sustenta que Considerando que as ava-
liaes de efetividade so difceis de serem realizadas, as avaliaes de ef-
cincia fguram como a segunda melhor alternativa para os formuladores de
polticas
Talvez a mais importante metodologia de avaliao de efcincia seja a
avaliao de custo-benefcio (ACB), que consiste na aplicao de uma regra
muito simples: com base em valores monetarizados, comparar os custos e
os benefcios de uma proposta especfca, a fm de verifcar se os benefcios
so maiores que os custos. Se existirem propostas alternativas, a ACB per-
mitir hierarquiz-las racionalmente, proporcionando ao gestor um critrio
de tomada de deciso: a efcincia. Se os projetos j esto em andamento, a
ACB permitir ao gestor estimar se os custos incorridos esto conduzindo
aos resultados pretendidos, quando estes podem ser traduzidos a unidades
monetrias. Assim, a ACB permite calcular a rentabilidade de um projeto,
programa ou poltica, comparando os fuxos atualizados de benefcios e cus-
tos previstos em sua implementao. Nesse caso, proporcionar ao gestor um
instrumento para rever suas decises iniciais, efetuar ajustes, etc.(COHEN &
FRANCO, 1993, P. 168)
Na ACB, aps serem identifcados, tantos os custos como os benefcios
devem ser transformados em uma medida comum, geralmente uma unidade
monetria. Evidentemente, h custos que so imensurveis do ponto de vista
tico. Porm, ainda assim possvel tentar transform-los em medidas. Por
exemplo, sempre vlido o esforo de estimar o custo da violncia e/ou o
custo da misria, em termos objetivos, de forma a mostrar como so vantajo-
sas as medidas para sua mitigao.
COHEN & FRANCO ensinam que a ACB pode ser realizada a partir
de duas diferentes ticas: a avaliao privada e a avaliao social. A primeira
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
29
examina o fuxo dos custos e receitas gerado por um projeto atribuindo-lhes
valor em preos de mercado, ou seja, sem nenhuma correo. A avaliao
social ir valorar os custos e os benefcios a preos-sombra, ou seja: preos
sociais.
O conceito de preo-sombra
13
estabelece o custo de oportunida-
de de uma atividade como sendo o seu verdadeiro preo econmico. O
custo de oportunidade signifca o quanto se poderia ganhar com os mesmos
recursos, caso fossem aplicados em outro investimento alternativo.
Os autores sustentam que existem dois elementos bsicos da avaliao
social de projetos que revelam a sua importncia:
(i) seu objetivo maximizar a rentabilidade, a fm de incrementar o
potencial de investimento futuro.
(ii) ao buscar o mximo de benefcios para o conjunto da comunidade,
avalia os bens e servios produzidos e os insumos de um modo
diferente do realizado pelo mercado.
A avaliao social focaliza o fuxo dos bens e servios (recursos reais)
utilizados e produzidos por um projeto, examinando a situao da sociedade
qual se refere aquele projeto com versus sem a execuo do projeto.
A avaliao social considera os impostos e subsdios como pagamentos
de transferncia (o projeto transfere sociedade para que o governo invista
conforme prioridades nacionais) e os juros de capital no so deduzidos do
rendimento bruto porque so parte da rentabilidade global do capital. Na
avaliao privada todos esses fatores so considerados custos, exceto os sub-
sdios que so considerados receitas.
Alm disso a avaliao social considera tambm os custos e benefcios
indiretos ou externalidades - que podem ser positivos ou negativos porque,
embora sejam produzidos fora do mbito do projeto, podem alterar decisiva-
mente a vida da populao.
COHEN & FRANCO (1993, p.187-191) lembram em qualquer projeto,
os custos e os benefcios no acontecem ao mesmo tempo. Para avalia-los
ser preciso traduzir os custos de hoje e os benefcios futuros mesma uni-
dade de medida. A taxa de desconto fxada sobre a base do custo de
oportunidade e tem por objetivo traduzir a um valor presente os custos e os
benefcios que resultaro do projeto no futuro. Nesse aspecto no h diferen-
13
COHEN e FRANCO (1993, p.182) citam que o preo-sombra pode ser defnido como o preo que
prevaleceria na economia se esta estivesse em perfeito equilbrio em circunstncias de competio.
30
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
a entre a avaliao privada e a avaliao social, porque a lgica a mesma:
aplicar os recursos disponveis em um determinado projeto signifcar no
aplica-los em outro projeto.
Para comparar custos e benefcios existem diversas formas de clculo.
As mais utilizadas so o valor atual lquido (VAL), a taxa interna de retor-
no(TIR) e a relao custo-benefcio.
De acordo com os autores, o VAL mostra que um projeto rentvel se o
valor atual do fuxo de receitas for maior que o valor atual do fuxo de custos
ou sadas, utilizando a mesma taxa de desconto. Se VAL for >zero, o projeto
aceitvel e vice-versa. O VAL, porm, no permite hierarquizar as alterna-
tivas (diferentes projetos).
A taxa interna de retorno(TIR) representa a rentabilidade mdia do
dinheiro aplicado no projeto durante toda a sua durao.
A relao custo-benefcio calculada pela diviso do valor atual dos
benefcios (VAB) pelo valor atual dos custos (VAC), devendo o resultado ser
igual ou maior que 1 para que o projeto seja aceitvel.
Uma variante da ACB a avaliao de custo-efetividade (ACE), na
qual somente os custos so estimados em unidades monetrias. A ACE pos-
sui a mesma lgica da ACB, mas diferencia-se por comparar os custos (em
moeda) com objetivos no expressveis em unidades de moeda, mas apenas
em unidades naturais. Ou seja: os benefcios so expressos de alguma outra
forma quantitativa. Por exemplo: num programa de distribuio de renda a
famlias com crianas carentes, o custo-efetividade pode ser expresso da se-
guinte forma cada R$ 1.000,00 dispendidos pelo programa aumentam os
nveis de escolaridade, na mdia, em 1 ano para cada 100 crianas.
importante levar em considerao, nessa modalidade, que no se
pode comparar alternativas que produzem resultados diferentes, mas apenas
as que levam a resultados da mesma natureza. Por exemplo: entre duas alter-
nativas de investimento em segurana pblica, a primeira consistindo em ar-
mas e equipamentos custando 30 (milhes de reais) e levando a uma reduo
de 15% do ndice de mortes violentas; e a segunda consistindo em re-quali-
fcao profssional, custando 50 (milhes de reais) e levando a uma reduo
de 40% do ndice de mortes violentas ponto, qual ser mais vantajosa? Na
primeira alternativa, cada ponto percentual reduzido custar 2 unidades de
valor; na segunda, cada ponto percentual reduzido custar 1,25 unidades de
valor. Ento, a melhor relao custo-efetividade estar na segunda e no na
primeira alternativa.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
31
Apesar do nome referir-se efetividade, a ACE tambm compara a ef-
cincia das propostas alternativas quanto relao entre custo e resultado.
Para isso, as alternativas so analisadas conforme a mesma base de compa-
rao. Exemplo: Para cada pessoa alfabetizada, qual dos projetos de alfabe-
tizao (X ou Y) exige menor aplicao de dinheiro? Ou: Quanto custa cada
pessoa alfabetizada em cada projeto?
Constata-se, ento, que tanto a anlise custo-benefcio (ACB) quanto a
anlise custo-efetividade (ACE) se baseiam na mensurao da efcincia de
diferentes alternativas. Portanto, ambas so procedimentos de comparao:
primeiro, entre o custo e o resultado (benefcio) de cada alternativa; depois
entre custo e resultado (benefcio) de diferentes alternativas de policy. E am-
bas destinam-se a subsidiar as decises sobre um projeto, programa ou po-
ltica mediante a comparao dos custos estimados de cada alternativa com
respectivos os benefcios esperados.
7 - Avaliao de Impacto das Polticas Pblicas: Mtodo Experimental e
Mtodo Quasi-Experimental

importante ter claro que todo programa ou projeto pode apresentar
resultados colaterais ou externalidades, que so consequncias pretendidas
ou no, e que podem ser benfcos ou prejudiciais. Esses correspondem aos
impactos, e so objeto de interesse da avaliao.
De acordo com Jorge Abraho de CASTRO
14
, Avaliao de impacto
aquela que procura constatar os efeitos ou impactos produzidos sobre a
sociedade e, portanto, para alm dos benefcirios diretos da interveno p-
blica. Dois pressupostos orientam a avaliao de impacto: (i)Existe propsito
de mudana social na poltica em anlise
15
; e (ii)Existe uma relao causal
entre a poltica e a mudana social provocada. Neste caso, deve-se constatar
empiricamente mudanas, proceder sua diferenciao, sua quantifcao
e estabelecer a relao causaefeito entre estas e a ao pblica realizada por
meio da poltica.
Um pouco da histria da avaliao facilita o entendimento do que
avaliao de impacto. Segundo BURDGE (1998), muitos dos princpios e
14
Apresentao ppt, disponvel em www.fee.rs.gov.br/sitefee/download/publicacoes/cota_base.../02.
pdf, consultado em 16 mai.2013. No paginado.
15
Naturalmente, pode-se questionar a defnio do autor, por apresentar efeitos e impactos como ca-
tegorias idnticas; e por assumir que existe propsito de mudana social na poltica em anlise,
porque, como a expresso mudana social possui uma conotao especfca, talvez fosse mais
adequado dizer mudana na sociedade.
32
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
mtodos da avaliao formal foram desenvolvidos nos EUA no fnal dos anos
1960 e incio da dcada de 1970, especialmente a partir do desenvolvimento
das avaliaes na rea da educao pblica. Um papel igualmente importante
coube s Avaliaes de Impacto Ambiental (AIA). Em 1969, observou-se,
num caso especfco da rea ambiental ocorrido nos EUA, que embora fosse
possvel prever as mudanas fsicas no meio ambiente, advindas da constru-
o de um oleoduto no Alaska, no foram previstas as transformaes sociais
trazidas por tais mudanas fsicas e nem o modo como ambas poderiam in-
teragir e suscitar novas mudanas fsicas
16
. Ento, em 1973, pela primeira
vez, foi usado o termo impacto social para relatar as mudanas na cultura
indgena nativa do Alaska em consequncia da construo deste oleoduto.
O desenvolvimento da avaliao formal, especialmente da chamada
Avaliao de Impacto, mudou a maneira pela qual os governantes e a socie-
dade encaravam o planejamento e o desenvolvimento em geral, introduzindo
a ideia-chave de que as mudanas podem ser tanto positivas quanto negativas
e de que todas elas devem ser antevistas, acompanhadas e conduzidas. A prin-
cipal ferramenta metodolgica para isso foi emprestada das cincias naturais:
o mtodo experimental.
Destinado a identifcar as relaes causais entre um estmulo e uma res-
posta, o mtodo experimental baseia-se na comparao dos resultados obtidos
em um grupo experimental (que recebeu o estmulo ou a interveno) e um
grupo de controle (que no os recebeu, mas no est ciente disso), sendo am-
bos os grupos equivalentes em todos os aspectos relevantes. Trata-se de um
mtodo de difcil aplicao nas cincias humanas e, ainda mais, nas polticas
pblicas, devido aos obstculos aplicao de procedimentos rigorosos de
seleo aleatria. Na impossibilidade de adoo dos procedimentos aleatrios
prprios do mtodo experimental, adotaram-se procedimentos aproximados,
que so conhecidos como mtodo quasi-experimental.
Um dos grandes desafos da Avaliao de Impacto conseguir isolar,
em uma situao especfca, as mudanas naturais por assim dizer das
mudanas provocadas, ou seja: i) resultantes de uma determinada interven-
o, cujo impacto se pretende avaliar; e ii) resultantes de outras intervenes.
Na tentativa de responder a esse desafo, podem ser adotados trs procedi-
mentos quasi-experimentais para avaliar impactos.
16
A construo do oleoduto em questo no somente provocou mudanas que afetaram os animais da
regio, como tambm afetou a atividade de caa dos nativos, alterando seu modo de vida e sua cul-
tura. As construtoras do oleoduto levaram seus trabalhadores para realizar as obras, e esses tinham
cultura, lngua e modo de vida diferentes dos nativos. Alm disso, muitos nativos acabaram precisan-
do trabalhar na construo do oleoduto para sobreviver, j que a caa tinha se tornado escassa. Tudo
isso gerou uma bola de neve de novas mudanas ambientais e sociais.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
33
O primeiro fundamenta-se numa abordagem sincrnica. Signifca, ba-
sicamente, identifcar num mesmo horizonte temporal - um conjunto de
situaes reais comparveis (S), dotadas de caractersticas similares ou equi-
valentes, de acordo com as variveis selecionadas para a anlise de impacto.
Em seguida, separam-se dois subconjuntos: o primeiro (S1), composto por
situaes nas quais so realizadas as intervenes, correspondente ao grupo
experimental; e o segundo (S2), constitudo por situaes nas quais isso no
ocorre, correspondente ao grupo de controle. A seguir, tendo incio as inter-
venes (X), compara-se, nos dois subconjuntos, o comportamento das vari-
veis selecionadas. Esse procedimento, de lgica sincrnico-comparativa,
tambm denominado acompanhamento de impactos.
Figura 1 - Anlise Sincrnico-Comparativa:
Acompanhamento de Impactos
S1: T1 ...X...Tn --------------------------- S2: T1...Tn
Fonte: adaptado de BURDGE, 1998.
Outro procedimento envolve a abordagem diacrnica. Ela pressupe
identifcar uma ou mais situaes-objeto de intervenes. Realiza-se uma
descrio/mensurao/ caracterizao de cada uma das situaes (diagnsti-
co) no momento imediatamente anterior interveno (Tzero), com base nas
variveis selecionadas para a anlise de impacto. Esse diagnstico equivale
caracterizao da situao como controle ou linha de base (baseline) ou
marco zero ou tempo zero.
Figura 2 - Anlise Diacrnica: Diagnstico de Impactos
X
Tzero----------------------------T1
Fonte: adaptado de BURDGE, 1998.
Em seguida, examinam-se os diversos aspectos da interveno (X). E,
por fm, compara-se o comportamento das variveis em Tzero (para fns de
controle) com o seu comportamento em vrios momentos diferentes , aps a
interveno (T1, ...Tn). Nesse caso, preciso capacidade de isolar outras in-
tervenes que no aquela cujos impactos se pretende medir, de modo a evitar
intervenincias. Esse procedimento conhecido como diagnstico de im-
34
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
pactos. Destaca-se que a abordagem diacrnica, diferentemente das demais
aqui expostas, no utiliza os grupos experimental e de controle, uma vez que
o prprio grupo o mesmo, variando apenas a sua situao (descrita mediante
indicadores) em Tzero, T1, Tn. A abordagem diacrnica bastante adotada
em avaliaes realizadas no Brasil, em contraste com a anlise sincrnica.
O terceiro procedimento quasi-experimental para avaliao de impactos
consiste em uma combinao dos dois anteriores. Permite comparar situaes
similares para realizar previses para o futuro. Se as situaes examinadas
compem reas relativamente prximas ou contguas, possibilita avaliar o
alcance (extenso no espao) dos impactos. Possibilita, ainda, reexaminar
situaes de interveno para avaliar quais foram os impactos efetivos, me-
dindo a consistncia entre o impacto previsto e o impacto efetivo. o que se
intitula anlise de controle de impactos e anlise prospectiva.
Figura 3 - Anlise Prospectiva: Controle e Previso de Impactos
X X X
S1:Tzero---------------- T1 ---------------- T2---------------- T3
S2:Tzero---------------- T1 ---------------- T2---------------- T3
(passado) (presente) (futuro) (futuro distante)
Fonte: adaptado de BURDGE, 1998.
A fm de obter maior preciso com a aplicao do mtodo quasi-expe-
rimental nas avaliaes de impacto, pode-se empregar o instrumento deno-
minado mtodo da diferena em diferena (ou dif-in-dif) (GERTLER;
MARTINEZ; PREMAND; RAWLINGS; VERMEERSCH, 2010). Esse ori-
ginou-se da tentativa de solucionar algumas difculdades relativas ao acompa-
nhamento e comparao de variveis no mtodo quasi-experimental.
O mtodo da diferena em diferena caracteriza-se por efetuar observa-
es do grupos experimental e do grupo de controle nos momentos anterior
e posterior a uma interveno. Alm de registrar os comportamentos notados
nessas fases nos dois grupos, como as anlises quasi-experimentais sincrni-
ca e prospectiva fazem, esse mtodo distingue as diferenas verifcadas em
cada grupo em T0 (antes da interveno), T1 e Tn (aps a interveno).
Calculadas essas diferenas no interior de S1 (grupo experimental) e
de S2 (grupo de controle), chamadas aqui de diferenas A e B; so ento
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
35
computadas as diferenas de S1 com S2, nos perodos anterior e posterior
interveno, so as denominadas, abaixo, diferenas C e D. Nas diferenas
A e B congelam-se os grupos, ao passo que nas diferenas C e D
congela-se o tempo da anlise .
Como resultante desse processo sequencial, emerge o produto de todas
as diferenas dentro de cada grupo e entre ambos os grupos, em ambos
os tempos verifcados. Da seu nome: diferena em diferena (GERTLER;
MARTINEZ; PREMAND; RAWLINGS; VERMEERSCH, 2010).
. Qualquer que seja o procedimento adotado para a Avaliao de Im-
pacto de polticas pblicas, a primeira tarefa, para os mtodos experimental
e quasi-experimental de avaliao, , sempre, selecionar as situaes a serem
examinadas. Os critrios bsicos de seleo so a similaridade e a compa-
rabilidade. Esses critrios abrangem algumas dimenses essenciais a serem
contempladas:
a) unidade socioespacial de anlise (como municpio, assentamento,
etc.), pois cada uma dessas unidades possui diversas caractersticas
prprias; por exemplo, o grau de autonomia e de complexidade de
um municpio muito distinto do de um bairro, e assim por diante.
Isso no signifca que s se possa analisar um tipo de unidade, mas
que devem ser selecionados vrios exemplares de cada tipo, permi-
tindo a comparao intra-tipos e entre-tipos;
b) caractersticas geogrfcas e socioculturais similares. Vale a mesma
observao feita quanto s unidades de anlise ;
c) projetos de magnitude, metodologia, tipo e fnalidades (resultados)
similares. Nota-se que se deve compatibilizar essa dimenso c
com as dimenses a e b. Como princpio metodolgico, deve-
se compor grupos homogneos tanto quanto possvel de situa-
es a serem analisadas, combinando-se essas trs dimenses, que
se referem natureza da comunidade e do projeto.
As duas outras dimenses referem-se aos dados disponveis para anli-
se , sendo autoexplicativas:
d) bases de dados com datas similares (horizonte de tempo coberto);
e) fontes de dados comparveis (variveis e categorias compatveis).
A segunda tarefa, na Avaliao de Impacto, selecionar a(s) perspecti-
va(s) de anlise , porque ela(s) estabelece(m) a referncia para a elaborao e
a seleo dos indicadores. Cabe assinalar que a clara defnio da perspectiva
36
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
de anlise fundamental, na medida em que os impactos sociais podem variar
de acordo com diversas dimenses.
Nesse sentido, os impactos podem variar quanto escala. Por exemplo,
uma determinada interveno pode gerar 50 ou 1000 empregos; pode alterar
a produtividade de um certo tipo de cultivo em 1% ou em 500%, etc. Isso
exemplifca a variao de escala do impacto obtido.
Os impactos igualmente podem variar em intensidade. Por exemplo,
uma interveno pode transformar radicalmente os padres de vida, os hbi-
tos e os comportamentos de um grupo ou uma populao, ou mud-los apenas
marginalmente.
Os impactos variam, tambm, conforme a extenso no espao. Ou seja,
determinadas intervenes tm impacto localizado, outras tm desdobramen-
tos sobre reas contguas, mais ou menos amplas, alterando a distribuio da
populao, provocando migraes, etc.
Ademais, os impactos variam quanto durao no tempo. Uma inter-
veno pode gerar empregos em uma rea durante curto perodo de tempo,
podendo atrair trabalhadores temporrios, etc., at se esgotar. J outras tm
impacto de maior durao, pois geraram atividades econmicas dotadas de
sustentabilidade, de maneira que, quando a interveno se esgota, particular-
mente seus efeitos, produzem-se novos impactos, e assim por diante. Essa di-
menso sobremaneira delicada para a anlise de impacto social em polticas
pblicas, havendo analistas que afrmam somente poderem ser efetivamente
avaliados os impactos de curta durao, porquanto impossvel isolar os de-
mais.
Os impactos variam, ainda, segundo a cumulatividade. Isso signifca
que podem expressar mudanas que se reforam mutuamente ou, distinta-
mente, que se neutralizam umas s outras. Por exemplo, sabe-se que renda
e sade interagem e geram impactos cumulativos sobre a qualidade de vida.
Mas tambm se sabe que determinados programas de gerao de emprego
neutralizam os ganhos em sade, haja vista conterem externalidades como
atividades de risco, deteriorao ambiental, etc., que geram efeitos negativos
sobre a qualidade de vida.
Finalmente, os impactos variam de acordo com sua racionalidade. Nes-
se caso, inclui-se um componente de valor que a desejabilidade de um im-
pacto frente aos seus custos, s suas possveis consequncias e capacidade
do planejador de prever essas ltimas. Assim, existem as seguintes possibili-
dades:
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
37
Quadro 3 - Tipos de Impactos
IMPACTOS Desejveis Indesejveis
Previstos Atendem aos objetivos.
Custos e renncias para atingir
os objetivos.
No Previstos
Ganhos em escala (excedem
positivamente os objetivos).
Externalidades e efeitos
perversos.
Fonte: elaborao de Maria das Graas Rua.
8 - Os Componentes do Processo de Avaliao
Como ocorre com vrias temticas das polticas pblicas - entre elas os
critrios de avaliao de polticas, programas e projetos com relao aos quais
ainda no se estabeleceu no Brasil um consenso conceitual - o entendimento
quanto aos componentes da avaliao tambm no uma rea pacifcada.
Existe uma perspectiva sinttica, que reconhece, na avaliao, quatro
grandes componentes: 1-Concepo, que compreenderia a identifcao de
stakeholders; defnio dos usurios da avaliao; estabelecimento dos ob-
jetivos da avaliao; seleo das perguntas avaliativas, dos critrios, dos
indicadores e seus padres ou referncias. 2-Planejamento, que consistiria
na escolha das estratgias e tcnicas de pesquisa avaliativa; elaborao da
amostra e dos instrumentos de coleta de dados; teste e reviso das estratgias
e instrumentos de coleta de dados. 3-Execuo, envolvendo a coleta, anlise e
interpretao dos dados primrios e secundrios e a elaborao dos informes
e relatrios. 4-Apropriao, que reuniria o conjunto de atividades relativas
discusso e validao das concluses e disseminao e aplicao dos re-
sultados.
Outros adotam uma concepo extensa: consideram que cada atividade
dentro de cada um dos quatro componentes acima seria um componente em
si, sendo necessrio o seu detalhamento. Outros, ainda, preferem uma posio
intermediria. Por exemplo, uma recente obra, publicada por dois grandes
especialistas
17
em monitoramento e avaliao de polticas, programas e pro-
jetos, com o patrocnio do PNUD e da Confederao Nacional dos Munic-
pios apresenta seis componentes da avaliao, como se observa na Figura 5,
abaixo:
17
JOPPERT, Mrcia Paterno e SILVA, Rogrio Renato. Guia Metodolgico para Monitoramento e
Avaliao Participativa de Aes Municipais / Confederao Nacional de Municpios CNM e Pro-
grama das Naes Unidas para o Desenvolvimento PNUD/Brasil Braslia: CNM/Pnud, 2012
38
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Figura 5 - Componentes da Avaliao
Fonte: JOPPERT, M.P. & SILVA, R.R., 2012.
Cada poltica pblica, programa ou projeto dispe de uma estrutura
poltica e social composta por indivduos e grupos com funes e papis de-
fnidos: so os stakeholders. Para efetuar a defnio dos usurios de uma
avaliao, ser necessrio identifcar quem so os stakeholders. Estes sero
no apenas os benefcirios ou usurios, mas tambm os no-benefcirios e
at os que so percebidos como prejudicados por uma poltica. Alm destes,
incluem-se como stakeholders diversos outros atores como: gerentes, admi-
nistradores, prestadores de servios, fornecedores, fnanciadores, implemen-
tadores, comunidades polticas, membros do Legislativo, entidades pblicas e
privadas interessadas, etc. Alm disso, os atores presentes em uma avaliao
possuem vnculos sociais e polticos que, por sua natureza, devem atrair a
ateno dos avaliadores, uma vez que defnem os interesses no processo de
avaliao e nos resultados dela. A relao do avaliador com os stakeholders,
usurios e patrocinadores fundamental, pois a partir da que sero levan-
tados os objetivos da avaliao, seus critrios, seus mtodos, e se defnir o
acesso dos avaliadores s informaes necessrias.
A avaliao de uma poltica pblica comea pela identifcao dos seus
usurios (frise-se: no os usurios do programa, mas os da prpria avaliao).
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
39
preciso saber a quem interessa a avaliao. Uma mesma avaliao pode ter
de produzir diversos relatrios especifcamente voltados para as demandas, as
necessidades e os objetivos de usurios diferenciados. Evidentemente, quanto
maior o nmero de usurios da avaliao, mais complexa e mais onerosa (e
talvez mais confituosa) ela se torna. Os usurios da avaliao podem ser to-
dos os stakeholders ou apenas alguns deles.
O objetivo da avaliao no deve se confundir com o objetivo da po-
ltica pblica, do programa ou do projeto. Toda avaliao apresenta um ou
vrios objetivos prprios, a depender dos interesses dos usurios, do estgio
de implementao da interveno, do contexto poltico e social, etc. Formular
os objetivos de uma avaliao de poltica pblica, programa ou projeto no
constitui tarefa simples e, muitas vezes, os objetivos enunciados no tradu-
zem a verdadeira inteno da avaliao. O avaliador deve buscar saber quem
quer a avaliao, o para qu e o porqu da avaliao. No h receita pronta
para tanto, contudo, recomenda-se examinar a origem dos documentos, entre-
vistar informantes-chave, entre outros procedimentos.
Os objetivos comuns a qualquer avaliao compreendem a melhoria
da poltica, do programa ou do projeto, a transparncia e a gerao de conhe-
cimentos. Porm, devem ser estabelecidos, claramente, os objetivos de cada
avaliao especfca. O objetivo de uma avaliao defne quais sero as per-
guntas avaliativas, bem como o tipo de avaliao e o seu mtodo especfco:
somativa, formativa, Teoria do Programa, Teoria da Implementao, centrada
em objetivos, experimental/quasi-experimental, etc.
Se a avaliao possui o intuito de aperfeioar a poltica pblica, o pro-
grama ou o projeto, dever ser formativa. Se tiver como destino a prestao
de contas, a responsabilizao e mesmo as decises sobre a continuidade ou
a interrupo do programa, dever ser realizada uma avaliao somativa, que
fornecer bases confveis para a validao dos resultados. Se o resultado
pretendido for a gerao de conhecimento e a aprendizagem organizacional,
talvez o mtodo a ser adotado deva ser a avaliao segundo a Teoria do Pro-
grama.
Na defnio dos objetivos da avaliao, deve-se levar em conta a estru-
tura conceitual da poltica pblica, do programa ou do projeto. Os programas,
tomados como unidades de implementao genricas, so sempre diferentes,
mesmo que se comparem aqueles que fornecem um mesmo servio. Nessa
fase de preparao da avaliao, trs aspectos devem ser considerados pelos
avaliadores:
40
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
a) o estgio do desenvolvimento do programa: quando um programa
qualquer est no seu incio, os avaliadores devem examinar com
exatido os objetivos, o pblico-alvo e os resultados esperados do
programa. Devem decidir se o estgio no qual se encontra o pro-
grama admite a avaliao e de que tipo ela poder ser. A avaliao
de situao dos novos programas, por exemplo, dedica-se a propor-
cionar informaes que contribuam para a sua melhor implementa-
o, podendo ser muito bem-vinda. No caso de programas sociais,
percebe-se que eles admitem abordagens muito distintas e, por isso,
diferentes tipos de avaliao no decorrer da sua existncia. Quando
um programa novo, no se tem muito claro qual ser o seu resulta-
do e, aps algum tempo, h a necessidade de se fazer uma avaliao
formativa para eventuais ajustes;
b) o contexto poltico e administrativo: o avaliador deve trabalhar
em consonncia com os patrocinadores, os tomadores de deciso e
os demais stakeholders. Como esses atores confguram diferentes
grupos, com diferentes expectativas, costumam surgir confitos de
interesse entre eles. Os avaliadores devem, ento, mediar e inter-
pretar o dilogo entre os stakeholders, de maneira a tentar focar as
principais questes para a avaliao;
c) a concepo e sua estrutura organizacional: a concepo do pro-
grama deve incluir o plano de operaes, a lgica das atividades
que vo fornecer os resultados o porqu e o para qu da interven-
o. Muitas vezes isso no est documentado e ser necessrio aos
avaliadores levantar as informaes a respeito, por meio do exame
de documentos e de entrevistas preliminares com os gestores. Por
vezes, quando um programa est em andamento, as aes rotineiras
e operacionais distanciam os stakeholders da lgica e do objetivo
do programa. Os avaliadores devem sempre trazer a concepo do
programa discusso e considerar sua estrutura organizacional (p-
blico-alvo, distribuio de servios, parcerias, etc.), j que elas in-
fuem na avaliao. Se a estrutura organizacional for, por exemplo,
mais complexa e descentralizada, ser necessrio ter uma equipe de
avaliadores, o que se refete em mais recursos e tempo. Alm disso,
torna-se mais fcil avaliar programas que compreendem atividades
mais concretas com resultados diretos passveis de interpretao.
Em contraposio, as intervenes de natureza mais difusa e de
longo prazo causam ambiguidades nos resultados e difculdades na
operacionalizao tanto do programa quanto da avaliao.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
41
Outro fator a ser ponderado na defnio dos objetivos da avaliao so
os recursos disponveis. Mais objetivos impem a necessidade de mais recur-
sos. Na conduo de uma avaliao, deve-se pensar no apenas em termos de
seus recursos humanos e materiais, como tambm em recursos como o tempo
disponvel e aceitvel da avaliao. O fator tempo se revela crucial, porque a
avaliao deve ser empreendida no espao temporal necessrio para subsidiar
a tomada de deciso. Muitas vezes, o cliente deseja adiantar os resultados de
uma avaliao, o que pode prejudicar seu desenvolvimento. Isso sugere que
os objetivos da avaliao tero de ser negociados, com o claro estabeleci-
mento dos limites da anlise. recomendvel, nas avaliaes, separar as suas
atividades e detalh-las por etapas (de pessoal; material necessrio e recursos
fnanceiros; conhecimento e expertise dos avaliadores, pesquisadores, amos-
tristas, analistas e de toda a equipe necessria).
Estando defnidos os usurios e os objetivos da avaliao, deve-se passar
formulao das perguntas avaliativas. Como ser visto a seguir, juntamente
com os critrios, so elas que direcionam e fundamentam a avaliao. Sem as
perguntas avaliativas, a avaliao perde seu foco. Por isso preciso grande
cuidado em sua formulao. Se perguntas importantes forem desprezadas ou
se forem formuladas perguntas triviais, o tempo e os recursos fnanceiros se-
ro gastos sem que a avaliao tenha cumprido sua funo. O principal guia
para a formulao das perguntas avaliativas so os objetivos da avaliao.
Uma vez formuladas as perguntas avaliativas, deve-se passar negocia-
o dos critrios de avaliao, um dos temas mais delicados no momento de
avaliao. Os critrios so as lentes ou os valores por meio dos quais se en-
xergam os objetos avaliados. As concluses de uma avaliao podem mostrar
diferenas radicais, a depender dos critrios adotados pelos avaliadores.
8.1 - O desafo conceitual dos critrios de avaliao
Uma das difculdades mais recorrentes na avaliao de polticas pbli-
cas, programas e projetos tem sido a falta de um consenso conceitual mnimo
sobre os critrios a serem adotados. Em especial, os conceitos de efccia,
efcincia e efetividade suscitam dvidas diversas, sendo-lhes aplicadas
defnies que nem sempre possuem poder discriminatrio sufciente. Entre
esses trs conceitos, a maior impreciso refere-se linha demarcatria entre
efccia e efetividade. H incerteza tambm sobre a possvel relao existente
entre os trs conceitos ou sobre a sua total independncia. Algumas dessas
questes so tratadas a seguir.
42
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Em trabalho sobre metodologias de avaliao de programas e proje-
tos sociais, Tereza COTTA (1998) discutiu a avaliao baseada na efcincia
(avaliao de custos) e na efccia (avaliao de resultados e impactos), con-
frontando resultados previstos com resultados efetivamente obtidos. A autora
tratou o conceito de efcincia como sendo a relao entre os resultados e os
custos envolvidos na execuo de um projeto. Quando ambos pudessem ser
traduzidos em unidades monetrias, caberia a avaliao de custo-benefcio.
Existe uma zona de consenso bem estabelecida quanto ao conceito de efci-
ncia.
A efccia
18
, a seu turno, segundo alguns autores, diz respeito anlise
da contribuio de um evento para o cumprimento dos objetivos almejados
do projeto ou da organizao. A viso de efccia est vinculada no ao custo,
mas sim ao alcance dos resultados pretendidos com um projeto, independen-
temente dos custos implicados. Em alguns casos, a efccia equivale ao re-
sultado imediato, relativamente esperado. Os outros efeitos de espectro mais
amplo chamados de secundrios ou imprevistos ou colaterais (spillovers)
tocariam efetividade. A maior impreciso conceitual relaciona-se a esse
termo.
Das discusses sobre esses conceitos emerge o entendimento de que
uma organizao ou uma poltica pblica efcaz quando gera os produtos
e os resultados alinhados com sua misso, e efciente quando o faz com o
menor custo possvel. De acordo com Marta ARRETCHE (2001), essa dife-
renciao basicamente um recurso analtico, proposto para separar aspectos
distintos dos objetivos. A delimitao dos conceitos de efccia e efcincia
serve para caracterizar o que so as metas e/ou produtos propostos para uma
poltica e discrimin-los dos resultados alcanados em termos de uma efetiva
mudana nas condies prvias (efeitos e impactos nas populaes atingidas
pelo programa sob avaliao). ARRETCHE (2001, p. 100) expe um exem-
plo para esclarecer a distino entre efccia e efetividade Um programa
de vacinao muito bem sucedido em termos de efccia, vale dizer, da possi-
bilidade de atingir uma quantidade satisfatria de suas metas de vacinao,
por ex., vacinar x crianas num prazo dado (...). Isso no signifca necessa-
riamente que o programa seja bem sucedido do ponto de vista (...) de efetiva-
mente reduzir a incidncia da doena que se propunha erradicar ou diminuir
substancialmente num horizonte de tempo.
18
Em lngua inglesa, pouco se usa a palavra effcacious, que defnida como: power to produce
desired result. Na literatura estrangeira, em geral, so mais empregadas as palavras effciency e
effectiveness, pouco se utiliza efcacious.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
43
Assim, se presume que a efetividade refere-se aos efeitos fnais e gerais
de uma interveno qualquer na realidade.
Resumindo e atualizando o debate, possvel averiguar que, enquanto
critrios de avaliao de polticas pblicas, programas e projetos:
a) efccia: a capacidade de gerar os produtos iniciais, intermedirios
e fnais esperados (metas e objetivos). Signifca cumprir aquilo que
se promete. um critrio bastante simples, pois apura apenas se
o produto pactuado foi entregue. Por exemplo: a meta de 100.000
crianas vacinadas em uma localidade em determinado perodo;
b) efcincia: a relao entre custos (como: custos fnanceiros, re-
cursos humanos, tempo) e benefcios, que sempre se procura ma-
ximizar. Por exemplo: num determinado momento, o custo de cada
criana vacinada era R$ 20,00, porm aps a adoo de uma nova
tecnologia na rea de sade e a melhoria do processo de vacinao,
o custo da mesma criana vacinada passou a ser R$ 15,00.
c) efetividade: diz respeito capacidade de produzir ou maximizar
efeitos e impactos na realidade que se quer transformar, ou seja,
mudanas reais e permanentes na sociedade. Por exemplo: 100.000
crianas no apenas vacinadas, mas tambm imunizadas, tm como
efeito uma reduo da prevalncia da doena contra a qual se re-
alizou a vacinao. Isso, por sua vez, produz diversas outras con-
sequncias sobre a educao das crianas, a renda das famlias e a
qualidade de vida delas.
Pode-se acrescentar a esses critrios outros requisitos como equida-
de, sustentabilidade, etc. A equidade supe a capacidade de contribuir para
a reduo de assimetrias comuns da sociedade, como desigualdades e exclu-
so social. E a sustentabilidade ressalta a capacidade de uma interveno de
desencadear mudanas permanentes, que persistem alm dos investimentos
realizados e que alteram o perfl da prpria demanda por polticas pblicas,
de forma a retroalimentar o sistema poltico. Em poucas palavras, sustenta-
bilidade a capacidade de manter e/ou expandir os ganhos obtidos com uma
interveno, para alm dela. exemplo de poltica pblica cuja concepo se
rege pelo critrio da sustentabilidade: a transferncia de renda com condicio-
nalidades, na qual a alocao da renda induz os benefcirios ao cumprimento
das condicionalidades, por intermdio das quais possvel que no longo
prazo se rompa o ciclo da pobreza.
44
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
As avaliaes de polticas pblicas podem empregar ainda outros cri-
trios, agora atinentes a processos, como: economicidade, celeridade, tem-
pestividade, etc. A economicidade pode ser interpretada como a capacidade
de reduzir custos de um processo de forma racional, sem desperdcios. So
exemplos de economicidade: reciclagem de materiais, gesto do consumo de
energia eltrica, gesto de recursos naturais, manuteno predial, manuteno
de frotas, etc.
A celeridade denota que o ritmo dos processos ocasionados por deter-
minado programa deve ter a durao razovel exigida por cada interveno,
sem demoras inexplicveis e sem pretenses de resoluo instantnea de pro-
blemas. Por exemplo: o atendimento de emergncia de hospitais deve ser
rpido; processos judiciais devem ser geis.
A tempestividade estabelece que as intervenes devem ser realizadas a
tempo de servirem de insumo para o produto seguinte a ser originado pelo sis-
tema poltico. Para isso, a interveno precisa ocorrer no momento exato em
que deve suceder, nem antes, nem depois. So exemplos de tempestividade:
livros didticos que chegam s escolas antes do incio do ano letivo; crditos
agrcolas concedidos na fase do plantio; etc.
O GESPBLICA, programa de qualidade do governo federal, refere-se
aos SEIS Es do Desempenho, que correspondem a alguns dos critrios aci-
ma mencionados
19
.Nessa obra, diferenciam-se duas dimenses: Resultados e
Esforo. Na primeira situam-se os primeiros trs Es, que correspondem aos
critrios de Efcincia (relao insumo-produto), Efccia (entrega dos produ-
tos ou outputs) e Efetividade (impactos ou outcomes). Na dimenso Esforo
situam-se os critrios de: Execuo (realizao dos processos, projetos e pla-
nos de ao conforme estabelecidos); Economicidade (obteno e utilizao
racional dos insumos ou seja: com o menor custo possvel, mantidos os re-
quisitos de qualidade e quantidade necessrios) e Excelncia(observncia de
padres de qualidade/excelncia para a realizao dos processos, atividades e
projetos na busca da melhor execuo e economicidade)
Os critrios podem ser identifcados tanto tendo por base os objetivos
da avaliao, quanto podem provir da literatura da rea, das normas legais da
sociedade, da orientao governamental, entre outros. Eles devem ser nego-
ciados com os usurios e, eventualmente, com outros stakeholders. `
19
BRASIL:MPOG. GUIA REFERENCIAL PARA MEDIO DE DESEMPENHO E MANUAL
PARA CONSTRUO DE INDICADORES (2009) disponvel em: http://www.gespublica.gov.br/
Tecnologias/pasta.2010-05-24.1806203210/guia_indicadores_jun2010.pdf, consultado 16 mai.2013.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
45
8.2 - Indicadores, linha de base, padres (ou parmetros ou referncias)
A tentativa de responder s perguntas avaliativas e a aplicao dos cri-
trios requerem o uso de indicadores, que so unidades de medida e funcio-
nam como sinais de alguma tendncia, caracterstica, resultado ou compor-
tamento. Segundo PINHO (2011, slide 27), Indicadores so instrumentos
que permitem identifcar e medir aspectos relacionados a um determinado
conceito, fenmeno, problema ou resultado de uma interveno na realida-
de. A principal fnalidade traduzir, de forma mensurvel, aspectos de uma
realidade dada (situao social) ou construda (ao de governo), a fm de
tornar operacional a sua observao e avaliao.
De acordo com FERREIRA, CASSIOLATO E GONZALES (2009)
indicador uma medida, de ordem quantitativa ou qualitativa, dotada de
signifcado particular e utilizada para organizar e captar as informaes re-
levantes dos elementos que compem o objeto da observao. um recurso
metodolgico que informa empiricamente sobre a evoluo do aspecto ob-
servado.
Para que a utilizao dos indicadores permita chegar s concluses ne-
cessrias, devem ser estabelecidos padres a serem aplicados aos indicadores
de cada critrio. O padro designa o valor que o indicador deve atingir para
que se possa considerar que o critrio correspondente foi satisfeito. Ou seja:
aponta um valor de referncia aceitvel prximo s metas ou objetivos do
programa, permitindo ao avaliador julgar o resultado obtido Por exemplo, se
numa avaliao for empregado o critrio da equidade de gnero, pode-se usar
como indicador o percentual de mulheres com remunerao equivalente aos
homens no exerccio da mesma funo. O padro para concluir que a existn-
cia da equidade de gnero seria, por hiptese, 50%.
Os critrios e os padres ambos devem ser negociados com os usu-
rios e stakeholders. Muitas vezes essa negociao se d a partir de padres
pr-existentes ou externamente defnidos, que podem ser aceitos ou no. Po-
dem se basear, tambm, nas expectativas dos stakeholders quanto a resulta-
dos. Ou podem, simplesmente se referir linha de base dos indicadores e ao
planejamento das metas do programa.
Muitas vezes, as polticas pblicas e os programas j contam com indi-
cadores, porm, nem sempre eles so adequados avaliao. Esse fato deve
46
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
ser, inclusive, uma das preocupaes do avaliador. Na acepo de PINHO
(2011, slide 25), os indicadores servem para:
Mensurar os resultados e gerir o desempenho.
Atestar (ou no) o alcance de objetivos.
Embasar a anlise crtica dos resultados e do processo de tomada
deciso.
Contribuir para a melhoria contnua de planos, programas, processos
e projetos.
Facilitar o planejamento e o controle do desempenho.
Viabilizar a anlise comparativa do desempenho em reas ou am-
bientes semelhantes.

H diversos conceitos de indicadores, expressando perspectivas sutil-
mente diferenciadas. Existem diferentes adjetivos adotados para caracterizar
os indicadores: econmicos, sociais, gerenciais, de desempenho, de processo,
de produto, de qualidade, de impacto, etc. a depender do tipo de interven-
o, do aspecto a ser avaliado, da metodologia de avaliao e do foco dela,
entre outros elementos. No entanto, h um consenso na literatura de que todo
tipo de monitoramento e de avaliao deve estar alicerado no exame de in-
dicadores.
De uma maneira simplifcada, pode-se dizer que os indicadores so uni-
dades de medida
20
que representam ou quantifcam um insumo, um resultado,
uma caracterstica ou o desempenho de um processo, de um servio, de um
produto ou de uma organizao como um todo. Como dito anteriormente, eles
so capazes de sinalizar uma tendncia, uma caracterstica, um resultado ou
um comportamento. Os indicadores quantitativos atribuem nmeros a obje-
tos, acontecimentos ou situaes, de acordo com certas regras.
20
PINHO (2011, slide 33) estabelece as seguintes distines: Estatsticas Pblicas: representam
ocorrncias ou eventos da realidade social, so produzidas e disseminadas pelas instituies que
compem o Sistema Estatstico Nacional e servem de insumos para a construo de indicadores.
Indicadores de Desempenho: dentro de uma fnalidade programtica, permitem uma anlise contex-
tualizada e comparativa dos registros e estatsticas, no tempo e no espao. Sistema de Indicadores:
conjunto de indicadores que se referem a um determinado tema ou fnalidade programtica. So
exemplos o sistema de indicadores do mercado de trabalho (MTE) e o sistema de indicadores urba-
nos (Naes Unidas).
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
47
Enquanto unidades de medidas, eles referem-se s informaes que, em
termos conceituais, so mensurveis, independentemente de sua coleta obe-
decer a tcnicas ou abordagens qualitativas ou quantitativas. Privilegiam-se
tcnicas quantitativas quando importa mostrar a magnitude de um fenmeno
e a informao se revela por intermdio de nmeros. As tcnicas qualitati-
vas so escolhidas quando se pretende abordar fatores outros, que no sejam
quantifcveis, como percepes, sentimentos e julgamentos subjetivos, para
interpretar e atribuir signifcado ao carter de um fenmeno.
Indicadores sempre so variveis, j que podem assumir diferentes va-
lores. Todavia, nem todas as variveis so indicadores. Os indicadores devem
ser defnidos em termos operacionais, ou seja, mediante as categorias pelas
quais se manifestam e podem ser medidos.
Existem vrias tipologias de indicadores. Um indicador pode ser sim-
ples (decorrente de uma nica medio) ou composto (decorrente da reunio
de vrias medies); direto ou indireto em relao caracterstica mensu-
rada; especfco (atividades ou processos especfcos) ou global (resultados
pretendidos pela organizao como um todo); e direcionadores (indicam que
algo pode ocorrer) ou resultantes (indicam o que aconteceu). Podem variar
tambm conforme os critrios a que se relacionam: indicadores de efccia,
de efetividade, de efcincia, de celeridade, de tempestividade, de sustentabi-
lidade, de equidade, etc
21
.
PINHO (2011, slides 38-39 e 46) distingue os indicadores de acordo
com alguns parmetros relevantes. Para o autor, em relao sua natureza,
os indicadores podem ser:
a) Econmicos: primeiros a serem produzidos, possuem uma teoria
geral mais consolidada e refetem o comportamento da economia.
No setor governamental so utilizados na gesto das polticas fscal,
monetria, cambial, comrcio exterior, desenvolvimento etc. No se-
tor privado subsidiam decises de planejamento estratgico, inves-
timentos, contrataes, concorrncia, entrada/sada de mercados.
21
PINHO (2011, slide 42) divide os Indicadores Analticos em Simples: so valores numricos que
uma varivel pode assumir e geralmente representam a quantidade de determinado produto ou ser-
vio entregue sociedade.
Exemplos: nmero de crianas vacinadas e nmero de alunos matriculados no ensino fundamental.
Compostos: expressam a relao entre duas ou mais variveis e podem ser: a) Razo: o resultado
da diviso de uma varivel A por outra varivel B, diferente e distinta de A. Exemplo: Densidade
demogrfca (populao/superfcie); b) Proporo (ou coefciente): um tipo especial de Razo
em que A e B pertencem mesma categoria. Exprime a relao entre determinado nmero de ocor-
rncias e o total dessas ocorrncias. Exemplo: coefciente de mortalidade (nmero de bitos/total
da populao); c) Taxa: so coefcientes multiplicados por uma potncia de 10 para melhorar a
compreenso do indicador. Exemplo: taxa de mortalidade infantil (bitos/1.000 habitantes); d) Por-
centagem: tipo especial de taxa em que o coefciente multiplicado por 100.
48
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
b) Sociais: so aqueles que apontam o nvel de bem-estar geral e de
qualidade de vida da populao, principalmente em relao sa-
de, educao, trabalho, renda, segurana, habitao, transporte,
aspectos demogrfcos e outros.
c) Ambientais: demonstram o progresso alcanado na direo do de-
senvolvimento sustentvel, que compreende, segundo as Naes
Unidas, quatro dimenses: ambiental, social, econmica e institu-
cional.
Quanto rea temtica, os indicadores classifcam-se, segundo PINHO
(idem) em: sade, educao, mercado de trabalho, demogrfcos, habita-
cionais, segurana pblica, infraestrutura, renda, pobreza etc..
Em relao complexidade, PINHO observa que: indicadores sim-
ples podem ser combinados de forma a obter uma viso ponderada e multidi-
mensional da realidade. Podem ser:
a) Analticos: retratam dimenses sociais especfcas como as taxas de
promoo, repetncia e evaso escolar;
b) Sintticos: ou ndices, sintetizam diferentes conceitos da realidade
emprica, ou seja, derivam de operaes realizadas com indicadores
analticos e tendem a retratar o comportamento mdio das dimen-
ses consideradas. Diversas instituies nacionais e internacionais
divulgam indicadores sintticos; Exemplos: IDH ndice de Desen-
volvimento Humano (multidimensional); IDEB ndice de Desen-
volvimento da Educao Bsica (Unidimensional); IPRS ndice
Paulista de Responsabilidade Social; IQVU ndice de Qualidade
de Vida Urbano.
A ltima categoria tipifcada por esse autor remete objetividade: de-
nota o carter quantitativo ou qualitativo de um indicador. Desse modo, os
indicadores dividem-se em:
a) Objetivos: referem-se a eventos concretos da realidade social, so
indicadores em geral quantitativos, construdos a partir de estatsti-
cas pblicas ou registros administrativos;
b) Subjetivos: so indicadores qualitativos utilizados para captar per-
cepes, sensaes ou opinies, utilizam tcnicas do tipo pesquisas
de opinio, grupos focais ou grupos de discusso.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
49
Entre os indicadores, especial destaque atribudo aos ndices. Eles
consistem, na realidade, em relaes observveis entre duas ou mais variveis
ou entre uma varivel e uma constante, que assumem um formato padroniza-
do, permitindo indexar os valores obtidos. Por exemplo, o nmero de analfa-
betos por grupos de 100 indivduos uma relao entre uma varivel e uma
constante; ou o nmero de leitos hospitalares por grupo de 1.000 habitantes;
e assim por diante. A informao proporcionada por esse tipo de ndice mos-
tra-se mais til quando possvel estabelecer comparaes. J os ndices que
expressam relaes entre variveis contm, em si mesmos, informaes re-
levantes, ainda que a comparao possa enriquecer a anlise. Por exemplo, a
proporo de alunos aprovados sobre alunos matriculados expressa a relao
entre duas variveis e traz informao sobre o desempenho de uma classe,
uma escola, um professor, uma metodologia, etc.; outro exemplo: o ndice
de prevalncia de sarampo no ano x dividido pelo ndice de prevalncia de
sarampo no ano anterior, etc.
Alguns dos trabalhos mais signifcativos no campo da avaliao de
mudanas na situao social mundial foram empreendidos por agncias da
Organizao das Naes Unidas (ONU), acarretando importantes avanos na
construo de ndices. O ndice de Desenvolvimento Humano (IDH), criado
por uma das agncias especializadas da ONU, o Programa das Naes Unidas
para o Desenvolvimento (PNUD), possui componentes referentes sade,
educao e ao poder aquisitivo, que so ponderados e conjugados com o
propsito de possibilitar a comparao do nvel de desenvolvimento dos indi-
vduos nos diversos pases.
A maior parte dos ndices multidimensionais enfrenta vrias difcul-
dades. Uma delas estabelecer a ponderao para cada uma das dimenses.
Sintetizar a informao sobre vrios aspectos da vida humana em um nico
ndice (isto , criar um indicador sinttico) exige a defnio de uma regra
que atribua peso especfco a cada uma dessas dimenses. Um ndice sintti-
co como o IDH, por exemplo, deve combinar indicadores de escolarizao,
Renda Nacional Bruta (RNB) e expectativa de vida para gerar um resultado
(nmero) nico. Inevitavelmente, a aplicao da frmula a situaes com-
plexas pode resultar em distores mais ou menos graves. Entretanto, dada a
sua facilidade de alimentao e a possibilidade de estabelecer comparaes
sincrnicas e diacrnicas indexando ou ordenando os resultados numa se-
quncia , o IDH enseja um instrumento bastante til.
Vale esclarecer que PINHO (2011, slide 49) elenca as seguintes vanta-
gens dos Indicadores Sintticos: Simplicidade de entendimento. Sumarizam
50
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
questes complexas facilitando a mobilizao e priorizao de recursos. Per-
mitam estabelecimento de ranking entre regies, estados, pases etc. Facili-
tam a comparao de performance.
O mesmo autor enumera as seguintes desvantagens da aplicao des-
ses indicadores: Mitifcao do ndice em detrimento do conceito original.
Requer constructos conceitual e empiricamente consistentes (dimenses em
geral tm dinmicas e tratamentos prprios). Subjetividade na defnio dos
critrios de seleo e ponderao das dimenses envolvidas, pode assim ter
a sua validade questionada. A simplifcao pode induzir a decises erradas.
nfase demasiada no ranking.
Os indicadores constituem elemento essencial ao monitoramento e
avaliao. por intermdio dos indicadores que se torna possvel reconhecer
quando uma meta ou um objetivo so atingidos, ou no. Na linguagem co-
tidiana fala-se muito em indicadores de resultados ou de desempenho. Eles
se referem aos objetivos e s metas. Um indicador de resultado exprime uma
unidade de medida numrica especfca capaz de apontar o progresso de uma
interveno em direo ao resultado a ser atingido. Um indicador de resultado
no idntico ao prprio resultado, por isso, cada resultado que se pretenda
aferir requer um ou mais indicadores. Por esse motivo, o processo de seleo
dos indicadores inspira cuidados.
Idealmente, os indicadores deveriam apresentar as seguintes proprie-
dades:
a) validade ou fdedignidade: capacidade de representar, com a maior
proximidade possvel, a realidade que se deseja mensurar e analisar.
Um indicador deve ser preciso em relao ao est sendo medido e
deve manter essa preciso ao longo do tempo;
b) confabilidade: indicadores devem ser alimentados por fontes con-
fveis, que adotem metodologias reconhecidas e transparentes de
coleta e processamento de dados;
c) mensurabilidade: capacidade de alcance (periodicidade) e mensura-
o o mais atualizadas possvel, com a maior preciso e acurcia
possveis;
d) sensibilidade: capacidade que um indicador possui de refetir tem-
pestivamente as mudanas na realidade, provenientes de uma inter-
veno, ou no;
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
51
e) desagregabilidade: capacidade de representao segmentada por
grupos sociais, regionais, demogrfcos, etc.;
f) economicidade: possibilidade de o indicador ser obtido a custos m-
dicos; a relao entre os custos de obteno e os benefcios advindos
deve ser a mais favorvel possvel;
g) estabilidade: capacidade de estabelecimento de sries histricas, que
permitam monitoramento e comparaes (rastreabilidade);
h) simplicidade: indicadores devem ser de fcil obteno, construo,
manuteno, comunicao, entendimento e reconhecimento pelo p-
blico em geral, interno ou externo;
i) auditabilidade ou transparncia: signifca que a sua composio e
sua estrutura lgica devem ser abertas ao pblico, sem frmulas obs-
curas ou sujeitas manipulao.
Muito raramente um indicador apresenta todas essas propriedades. As-
sim, segundo Paulo JANNUZZI (2005), a seleo deve fundamentar-se numa
apreciao crtica das propriedades, pesando principalmente a validade, a
confabilidade e a mensurabilidade do indicador.
Em regra, particularmente no monitoramento, deve-se buscar indicado-
res que tenham a caracterstica da rastreabilidade, isto , que sejam passveis
de fcil acompanhamento no passado e no futuro. Porm, diante da precarie-
dade dos registros administrativos, pode-se trabalhar com indicadores provi-
srios at que se tenha elaborado bases de dados que permitam operar com
indicadores permanentes.
Alm disso, na maior parte das vezes, no possvel obter indicadores
com a preciso desejvel. Nesses casos, costuma-se usar indicadores indire-
tos ou proxies. Esses so unidades de medida que expressam indiretamente
a caracterstica mensurada e so utilizados quando houver disponibilidade
dos dados destinados a alimentar o indicador direto, ou quando no for pos-
svel coletar tais dados a intervalos regulares. exemplo de proxi: o nmero
de televisores (ou outro eletrodomstico) ou de banheiros na residncia como
medida da renda familiar.
Em algumas reas de interveno, alm dos indicadores especfcos
para uma determinada poltica pblica, um programa ou um projeto, podem
ser adotados indicadores pr-defnidos. So os indicadores estabelecidos in-
dependentemente do contexto de qualquer pas ou de qualquer organizao
52
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
e que se emprega como parmetro para avaliar o desempenho. Por exemplo:
mortalidade infantil, nmero de leitos por 1.000 habitantes, nmero de mor-
tes violentas por 100.000 habitantes, etc. Muitos deles so ndices sintticos
como o IDH, e a maioria provm de agncias de cooperao multilateral:
PNUD, BIRD, FMI, etc.
Os indicadores pr-determinados conferem diversas vantagens: po-
dem ser utilizados em programas ou projetos de natureza similar; auxiliam
a reduzir os custos de construo de mltiplos sistemas de monitoramento e
de avaliao; padronizam a discusso dos resultados, permitindo comparar
concluses; favorecem o dilogo com fnanciadores, etc. Possuem desvanta-
gens tambm: no se prestam ao exame de metas especfcas de um pas, no
admitem desagregao em microunidades, no admitem a participao dos
stakeholders na sua construo e, com frequncia, agregam tantas variveis
com um sistema de ponderao to complexo que a maioria das pessoas no
sabe muito bem o que que eles representam.
Com a fnalidade de que o monitoramento e a avaliao possam extrair
dos indicadores as informaes necessrias, cumpre estabelecer sua linha de
base (baseline). Uma linha de base um dado quantitativo ou qualitativo que
fornece informaes acerca de uma situao no princpio do processo de uma
interveno ou imediatamente antes que ela se inicie, ou, ainda, no princpio
do monitoramento. Pode ser defnida como o ponto de partida de uma sria
histrica.
Adota-se a linha de base para: a) aprender sobre o desempenho prvio
do indicador, inclusive seus padres, caso haja sries de dados; b) planejar
ou revisar metas; e c) medir o desempenho de uma poltica, um programa ou
um projeto. Ao se tratar de indicadores novos, o desafo repousa sobre pensar
como obter dados para compor a linha de base dos indicadores selecionados
com vistas a expressar cada resultado ou desempenho.
8.3 - Defnio ou desenho da pesquisa avaliativa: censo, amostragem,
amostra, instrumentos. Seu teste e reviso.
Vencidas todas essas etapas defnio dos usurios, dos objetivos e
da metodologia; formulao das perguntas orientadoras da avaliao; esta-
belecimento de critrios e padres; seleo ou formulao dos indicadores ,
inicia-se a fase de defnio ou concepo da pesquisa avaliativa, coleta de
dados primrios e/ou secundrios. Para responder as perguntas avaliativas,
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
53
alimentar indicadores, aplicar critrios, so precisos dados, que podem ser
primrios ou secundrios.
As fontes de dados so as pessoas, as instituies, os documentos ou os
repositrios (bases de dados) que oferecem os dados ao pesquisador. Essas
fontes podem ser primrias ou secundrias.
As fontes primrias referem-se aos dados coletados diretamente pelos
interessados (a equipe de avaliadores, no caso) com o intuito especfco de ali-
mentar aqueles indicadores ou de obter informao para o monitoramento ou
a avaliao. O uso de fontes primrias requer pesquisa de campo: por meio de
levantamentos, observao direta ou entrevistas. Os informantes podem ser
os stakeholders em geral, o pblico mais amplo, os observadores treinados,
entre outros.
Nem sempre necessria a coleta de dados primrios. Existem situa-
es em que possvel utilizar dados coletados por outras pessoas ou institui-
es para outras fnalidades. As fontes secundrias compreendem bancos de
dados de instituies de pesquisa, sistemas corporativos, registros adminis-
trativos (dados de atendimento ao pblico, atas de reunies, correspondncias
internas, estatsticas internas, etc.). Podem ser dados escritos em papel ou em
meio eletrnico, documentos ofciais, medidas e testes, etc.
Recomenda-se, sempre, muito cuidado com o manuseio de dados se-
cundrios: o enunciado das perguntas que deram origem s estatsticas deve
ser conhecido; os procedimentos de coleta devem ser descritos; se houver
procedimento amostral, deve-se conhecer o tamanho da amostra, as margens
de erro e o mtodo de seleo das unidades de informao. Ou seja: impor-
tante efetuar a crtica dos dados secundrios antes de sua utilizao.
Na adoo de fontes primrias, a equipe avaliadora pode ter mais con-
trole sobre os dados. Os instrumentos e os procedimentos de coleta deles
devem ser rigorosos, mas resta ntido que a pesquisa avaliativa no possui a
mesma natureza das pesquisas bsica, nem se destina a produzir conhecimen-
to cientfco. O objetivo da pesquisa avaliativa proporcionar informao
tempestiva para apoiar a gesto das polticas pblicas, dos programas e dos
projetos e subsidiar a tomada de deciso poltica.
medida que o universo dos informantes (ou populao) se estender,
pode ser til o emprego de amostras uma poro retirada de um universo
analisado. Em raciocnio contrrio ao das amostras, o censo, outra forma de
se examinar componentes de um universo, supe que a totalidade das unida-
des do universo foram consultadas, e no apenas parcelas dele.
54
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
Quanto s amostras, dividem-se em duas classes: amostras probabils-
ticas e amostras no probabilsticas. Uma amostra probabilstica quando se
calcula seu tamanho de modo a representar felmente a populao envolvida e
a seleo dos seus integrantes aleatria, ou seja: realizada segundo proces-
sos pelos quais cada elemento do universo tem a mesma chance dos demais
de ser inserido na amostra. As amostras probabilsticas compreendem diver-
sas modalidades, entre as quais sobressaem as amostras aleatrias simples,
amostras estratifcadas e amostras por cluster.
Uma amostra no probabilstica aquela que ou no possui tamanho
representativo, ou no adota seleo aleatria, ou ambos os fatores. Entre as
amostras no probabilsticas, para fns de avaliao, aceita-se estritamente o
uso de amostras intencionais, quando a natureza das fontes justifcar essa
seu uso (por exemplo: grupos de elite, ou grupos desviantes, entre outros); e/
ou amostras por quotas.
Muitas vezes, a fm de reduzir os custos da pesquisa avaliativa, os res-
ponsveis por uma avaliao usam estratgias de coleta de dados que podem
prejudicar os resultados: a aplicao de instrumentos de livre retorno sem
controle da devoluo. So os chamados questionrios auto-aplicados, cuja
devoluo atinge, no mximo, 30%. Frequentemente os pesquisadores tratam
os dados assim obtidos como se fossem resultantes de uma amostra. Nesse
caso, ser uma amostra no-probabilstica, porque no h como estimar com
preciso a sua margem de erro
22
.
A lgica da pesquisa quantitativa, por amostragem ou por censo implica
a anlise de magnitudes. Para tanto, a complexidade dos fenmenos deve ser
reduzida a padres uniformizados. Isso se faz mediante a utilizao de recur-
sos que padronizam as perguntas e as respostas possveis: os questionrios,
que so caracterizados por terem perguntas fechadas (com alternativas pr-
determinadas). Podem ser questionrios autoaplicveis (enviados por correio,
e-mail, ou ainda na modalidade clinical research quando todos os res-
pondentes so reunidos em um s local para preencher os questionrios) ou
aplicados por um entrevistador (pessoalmente ou por telefone).
Em se tratando de pesquisa qualitativa, a lgica diverge: buscam-se re-
gularidades dentro de contextos que admitem as manifestaes das diferenas
entre os informantes. Nesses casos, o que interessa aprofundar as informa-
22
Muitos pesquisadores utilizam clculos estatsticos de ajustamento para argumentar que seria pos-
svel fazer inferncia a partir desses dados. Mas h um problema: o fato de ningum ter como sa-
ber sobre que caractersticas especiais teriam esses 30% que fzeram com que eles devolvessem os
questionrios - e no os demais 70% e qual a relevncia dessas caractersticas para o resultado da
pesquisa. Na realidade, esses dados teriam a caracterstica de dados censitrios incompletos e no de
dados amostrais.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
55
es, no estimar a magnitude dos eventos. Assim, os procedimentos aplica-
dos so as entrevistas em profundidade, podendo ser no-estruturadas (sem
perguntas previamente formuladas, tendo apenas a indicao de um tema a
ser explorado), semi-estruturadas (reunindo perguntas amplas, que podem dar
origem a questes outras no momento da entrevista) ou estruturadas (com
todas as perguntas elaboradas com antecedncia; no se indaga nada alm do
que est registrado no roteiro de entrevista). As entrevistas no estruturadas
e estruturadas somente so realizadas individualmente. J as entrevistas semi
-estruturadas podero ser realizadas individualmente ou em grupo, inclusive
em grupos focais.
Pode-se mencionar alguns instrumentos de coleta de dados bastante
utilizados no monitoramento e na avaliao: avaliao rpida (rapid assess-
ment), grupos focais, estudos de caso, surveys pr e ps-interveno, etc. As
tcnicas de coleta de dados podem ser inmeras, a depender da natureza do
que se avalia. Quaisquer que sejam as tcnicas selecionadas, o rigor com os
resultados da avaliao recomenda que nunca se permitam concluses base-
adas em uma s tcnica. Elas devem ser combinadas e as concluses devem
ser submetidas a um processo de triangulao
23
.
O componente seguinte o teste e reviso dos instrumentos e da estra-
tgia de coleta de dados, que deve ser realizado numa situao emprica real,
to similar quanto possvel s situaes que sero objeto de avaliao.
8.4 - Execuo e Apropriao dos Resultados da Avaliao
Seguem-se as atividades relativas Execuo: a coleta, anlise e in-
terpretao dos dados primrios e secundrios e a elaborao dos informes
23 Nas Cincias Exatas, triangulao refere-se a um mtodo para determinar a posio de um ponto
C, atravs da observao de dois pontos, A e B. Nas Cincias Sociais, desde a dcada de 1950-1960
passou-se a usar o conceito de triangulao para se referir obteno de dados de diferentes fontes e
processos e sua anlise mediante estratgias distintas, a fm de melhorar a validade dos resultados.
Segundo Norman DENZIN (1970), uma hiptese testada com o recurso a diferentes mtodos pode
ser considerada mais vlida do que uma hiptese testada com o uso de um nico mtodo. DENZIN
(1989) estabeleceu quatro protocolos ou categorias de triangulao: (1)Triangulao das fontes de
dados: permite verifcar se o que estamos estudando se mantm inalterado em circunstncias di-
ferentes. O autor prope que se estude o fenmeno em tempos (datas explorando as diferenas
temporais), espaos (locais tomando a forma de investigao comparativa) e com indivduos di-
ferentes. (2) Triangulao do investigador: consiste em outros investigadores observarem o mesmo
fenmeno e apresentarem as observaes (com ou sem a sua interpretao) proporcionando, atravs
das interpretaes alternativas, o debate. (3) Triangulao da teoria: consiste na utilizao de ml-
tiplas perspectivas, em vez de uma perspectiva simples em relao ao mesmo conjunto de objetos.
Diferentes interpretaes e signifcados alternativos podem ajudar a compreender o objeto de estudo.
(4)Triangulao metodolgica: consiste em utilizar vrias abordagens, que permitem realar ou inva-
lidar algumas infuncias exteriores.
56
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
e relatrios, que se regem pelas prescries da academia para a prtica da
pesquisa avaliativa.
Finalmente, tem-se o que seria o componente mais negligenciado no
Brasil: a discusso e validao das concluses e recomendaes, a incorpo-
rao dos achados da avaliao ao processo de deciso e gesto das polticas,
programas e projetos e a disseminao das lies aprendidas.
Independentemente do tipo de avaliao que tenha sido realizado, as
descobertas da advindas devem ser disseminadas aos patrocinadores, aos to-
madores de deciso, academia, mdia; devem fornecer informaes para
outras pesquisas, e assim por diante. O alcance da divulgao e o escopo das
informaes a serem anunciadas, evidentemente, esto sujeitos a decises de
natureza tica e poltica
24
.
De acordo com Mrcia JOPPERT (2009), malgrado o pas concentre
muitos conhecimentos a respeito da rea de avaliao de polticas pblicas,
grande parcela das experincias realizadas est restrita a universidades, ins-
titutos de pesquisa e consultores individuais. Devido a esse fato, o conhe-
cimento sobre os resultados das avaliaes nem sempre chega sociedade.
Com efeito, ainda hoje, muito do que se realiza como avaliao de polticas,
programas e projetos fca restrito s gavetas nos gabinetes governamentais ou
limita-se discusso acadmica.
9 - A Qualidade da Avaliao
A experincia vem ensinando que a avaliao ganha preciso ao recor-
rer a dados quantitativos e qualitativos, combinando abordagens em extenso
e em profundidade. Por outro lado, a mesma experincia tem mostrado que h
alguns cuidados imprescindveis qualidade das avaliaes:
a) incorporao da avaliao ao processo regular de planejamento da
poltica pblica, sendo assumida com disciplina pelos gestores;
b) anlise prvia de avaliabilidade ou exame de avaliabilidade. Essa
sugesto foi elaborada por WHOLEY (1977). Trata-se de um estu-
do exploratrio a ser efetuado antes de comear a avaliao e parte
do pressuposto de que nem todos os programas ou projetos esto
prontos para ser avaliados. O objetivo desse estudo decidir se uma
24
Algumas vezes, o propsito de uma avaliao apenas impressionar fnanciadores ou tomadores de
deciso. Outras vezes, ela contratada para justifcar uma deciso j tomada ou o trmino de um pro-
grama, ou, ainda, para protelao ttica, de forma a satisfazer os crticos e postergar decises difceis.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
57
poltica pblica, um programa ou um projeto possui condies de
ser avaliado; determinar o que precisa ser mudado para preparar o
programa para ser avaliado; identifcar os aspectos ou as questes
que requerem ateno; e especifcar se a avaliao poder contribuir
para melhorar o desempenho do programa;
c) defnio dos objetivos da avaliao, claramente, de acordo com os
usurios dela;
d) seleo do tipo e do mtodo de avaliao adequados aos seus objeti-
vos;
e) defnio dos critrios de avaliao e dos indicadores consistente-
mente com os objetivos da avaliao;
f) identifcao e incluso dos stakeholders quem afetado pela po-
ltica pblica ou pelo programa, desde os gestores at os usurios
fnais como interlocutores;
g) identifcao da teoria que orienta a poltica pblica ou o programa a
ser examinado, e que indica as condies e as aes necessrias para
a poltica ou o programa serem implementados adequadamente;
h) identifcao e teste dos mtodos de pesquisa avaliativa, que devem
ser consistentes com os objetivos e com o tipo e o mtodo de avalia-
o a ser realizada;
i) apresentao de recomendaes prticas, ntidas, exequveis; con-
sistentes com os custos e benefcios esperados e com o nvel e a
esfera de autoridade dos usurios.
58
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
REFERNCIAS BIBLIOGRFICAS
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em Direo s Melhores
Prticas de Avaliao. Revista do Servio Pblico, Braslia, v. 51, n. 4, p.
5-59, out/dez. 2000.
ARRETCHE, Marta. TENDNCIAS NO ESTUDO SOBRE AVALIAO
IN RICO, Elizabeth Melo (org.). Avaliao de Polticas Sociais: Uma Ques-
to em Debate. So Paulo, Cortez, 1998
BOZZI, Sonia Ospina. Evaluacin de la Gestin Pblica: conceptos y aplica-
ciones en el caso latinoamericano. Revista do Servio Pblico, Braslia, v. 52,
n. 1, p. 25-55, jan./mar. 2001.
BURDGE. Rabel J. (Org.). A Conceptual Approach to Social Impact Assess-
ment: collection of writings by Rabel J. Burdge and colleagues. Middleton,
Wisconsin: Social Ecology Press, 1998.
BRASIL, MPOG. Guia Referencial para Medio do Desempenho e Manual
para a Construo de Indicadores do GESPBLICA, 2009.
CASTRO, Jorge Abraho de. Avaliao de Polticas Pblicas. Apresentao
ppt, disponvel em www.fee.rs.gov.br/sitefee/download/publicacoes/cota_
base.../02.pdf, consultado em 16 mai.2013. No paginado.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de Projetos Sociais. Petr-
polis, RJ: Vozes, 1993.
COTTA, Tereza Cristina. Metodologias de Avaliao de Programas e Projetos
Sociais: anlise de resultados e impacto. Revista do Servio Pblico, Braslia,
v. 49, n. 2, p. 103-124, abr./jun. 1998.
DENZIN, N. K. (1989). The Research Act. Englewood Cliffs N. J.: Prentice
Hall.
FERREIRA ,Helder ; CASSIOLATO , Martha & GONZALES, Roberto.
Uma experincia de desenvolvimento metodolgico para avaliao de pro-
gramas: o modelo lgico do Programa Segundo Tempo .Texto para Discusso
No 1369. Braslia: IPEA, 2009
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
59
GERTLER, P. J.; MARTINEZ, S.; PREMAND, P.; RAWLINGS, L. B.; VER-
MEERSCH, Christel M. J. Impact Evaluation in Practice: ancillary material.
The World Bank, Washington, DC, 2010. Disponvel em: <www.worldbank.
org/ieinpractice>. Acesso em: 28 mai. 2013.
HARTZ, Zulmira M. A. Avaliao em Sade: dos modelos conceituais pr-
tica na anlise da implantao de programas. Rio de Janeiro: Fiocruz, 1997.
HARTZ, Zulmira M. A. Institucionalizando a Avaliao de Programas e Po-
lticas de Sade: culinria e corte-costura nas lies francesas. Cadernos de
Sade Pblica, Rio de Janeiro, v. 15, n. 2, p. 229-260, abr./jun. 1999.
HARTZ, Zulmira M. A.; POUVOURVILLE, Grard de. Avaliao da Efci-
ncia em Sade: a efcincia em questo. Cincia & Sade Coletiva, Rio de
Janeiro, v. 3, n. 1, p. 68-82, 1998.
JANNUZZI, Paulo de Martino. Indicadores para Diagnstico, Monitoramen-
to e Avaliao de Programas Sociais no Brasil. Revista do Servio Pblico,
Braslia, v. 56, n. 2, p. 137-160 abr/jun. 2005. Disponvel em: <http://www.
cedeps.com.br/wp-content/uploads/2011/02/INDI CADORES-SOCIAIS-
JANUZZI.pdf>. Acesso em: 28 mai. 2013.
JOPPERT, Mrcia Paterno. Novas Institucionalidades em Avaliao de Po-
lticas Pblicas: o papel da sociedade civil. XIV Congreso Internacional del
CLAD sobre la Reforma del Estado y de la Administracin Pblica. Salvador,
Bahia, 27 a 30 out. 2009.
JOPPERT, Mrcia Paterno e SILVA, Rogrio Renato. Guia Metodolgico
para Monitoramento e Avaliao Participativa de Aes Municipais / Confe-
derao Nacional de Municpios CNM e Programa das Naes Unidas para
o Desenvolvimento PNUD/Brasil Braslia: CNM/Pnud, 2012
KLIKSBERG, Bernardo. Gerenciamento Social: dilemas gerenciais e experi-
ncias inovadoras. In: KLIKSBERG, Bernardo. (Org.). Pobreza: uma questo
inadivel: novas respostas a nvel mundial. Braslia: ENAP, 1994, p. 127-146.
MERIGO, Janice; ANDRADE, Marlene Muniz de. Questes Iniciais para
a Discusso do Monitoramento e Avaliao de Polticas Pblicas. Slides.
Curso Ps-Graduao em Gesto Social de Polticas Pblicas, 2010. Dis-
ciplina: Monitoramento, informao e avaliao de polticas sociais. No
paginado. Disponvel em: <http://www.egem.org.br/arquivosbd/basico/
0.131488001256814614_2._politicas_publicas.pdf>. Acesso em: 23 abr.
2013.
60
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
Maria das Graas Rua
MCCUBBINS, Mathew D.; SCHWARTZ, Thomas. Congressional Oversight
Overlooked: police patrols versus fre alarms. American Journal of Political
Science, v. 28, n. 1, p. 165-179, fev. 1984.
MOKATE, Karen Marie. Convirtiendo el Monstruo en Aliado: la evaluaci-
n como herramienta de la gerencia social. Revista do Servio Pblico, Bra-
slia, v. 53, n. 1, p. 89-134, jan/mar. 2002.
PINHO, Carlos Tadeu Assumpo. O Desafo da Informao para Formula-
o, Monitoramento e Avaliao de Polticas Pblicas. Ofcina 12. VIII Sema-
na de Administrao Oramentria, Financeira e de Contrataes Pblicas.
Braslia: ESAF, mar. 2011.
RUA, Maria das Graas; ABRAMOVAY, Miriam. Evaluation of Preventive
Actions against STDs/AIDS and Drug Abuse in Elementary and High Schools
in Brazilian Capitals. Braslia: UNESCO/UNDCP, 2001.
RUA, Maria das Graas. O Uso dos Indicadores para o Monitoramento e
Avaliao de Polticas, Programas e Projetos Pblicos. In: SMAAS Secre-
taria Municipal de Assistncia Social de Belo Horizonte. Monitoramento e
Avaliao da Poltica de Assistncia Social de Belo Horizonte: sistema de
indicadores. Belo Horizonte, 2007.
SANTOS, Maria Helena de C. Avaliao Poltico-Institucional do Prolcool:
grupos de interesse e confito interburocrtico. Planejamento e Polticas P-
blicas, n. 1, jun. 1989.
SILVA, Maria Ozanira . Avaliao de Polticas e Programas Sociais: teoria
e prtica (org). So Paulo: Veras Editora, 2001.
SILVA, Pedro Luiz Barros e MELO, Marcos Andr B. de. O Processo de Im-
plementao de Polticas Pblicas no Brasil: caractersticas e determinantes
da avaliao de programas e projetos. In: Caderno n 48 do Ncleo de Estu-
dos de Polticas Pblicas (NEPP) da UNICAMP. Campinas, 2000.
THOENIG, Jean-Claude. A Avaliao Como Conhecimento Utilizvel Para
Reformas de Gesto Pblica. Revista do Servio Pblico. Braslia, v. 51, n. 2,
p. 54-70, abr/jun. 2000.
VAITSMAN; Jeni; RODRIGUES, Roberto W. S.; PAES-SOUSA, Rmulo. O
Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a
experincia do Ministrio do Desenvolvimento Social e Combate Fome do
Brasil. Policy Papers 17. Braslia: UNESCO, 2006.
Maria das Graas Rua
AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS
61
WALKER, Robert K. Impacting Social Problems writing and evaluating
international development projects. Braslia: EMAD, 2000.
WEISS, Carol H. Evaluation: methods for studying programs and policies.
New Jersey: Prentice Hall, 1998. Reedio da verso de 1972.
WHOLEY, J. S. Evaluability Assessment. In: RUTMAN, L. (Ed.). Evalua-
tion Research Methods: a base guide. Beverly Hills, California: SAGE, 1977.
p. 41-56.
WORTHEN, Blaine R.; FITZPATRICK, Jody L.; SANDERS, James R. Ava-
liao de Programas: concepes e prticas. So Paulo: Editora Gente, 2004.