Avaliao de programas sociais em ONGs: Discutindo aspectos

Ttulo do tema:
conceituais e levantando algumas orientaes metodolgicas sobre
avaliao de impacto

Por: Amanda Farias Camplo*

Verso para download: Tema do ms de maro de 2007

Diante do cenrio histrico de diversos problemas sociais, inclusive a misria e a

fome, a sociedade tem atuado na busca de alternativas que solucionem ou, ao
menos, minimizem essas questes. As comunidades vm se mobilizando, tanto
para cobrar aes do Poder Pblico como para desenvolver e implementar suas
prprias alternativas.

Nos anos 50 e 70, nasceram organizaes perifricas e marginais conjuntura

poltica vigente. A expanso do sindicalismo e a oposio ditadura fortaleceram a
idia de organizao comunitria. Nos anos 80 e 90, consolidou-se o conceito de
ONGs, essas organizaes ganharam uma imensa legitimidade e deixaram de ser
oposio ao sistema, para tornarem-se parceiras na execuo de polticas pblicas.
(VOIGT, 2002)

A ampliao da visibilidade de seus trabalhos vem gerando s ONGs uma crescente

presso para que demonstrem as mudanas provocadas no cenrio social em
decorrncia de suas intervenes (ROCHE, 2002). Demonstrar essas mudanas,
portanto, vem sendo um grande desafio.

A avaliao de suas aes e do impacto decorrente consiste num instrumento capaz

de proporcionar a compreenso das efetivas modificaes provocadas no panorama
social. importante, sem dvida, que se tenha conhecimento dessas mudanas,
visto que, mesmo originadas com as melhores intenes, determinadas medidas e
aes podem gerar impacto imprevisto e, at mesmo, indesejvel.

Os modelos tradicionalmente utilizados para avaliar programas sociais, seja de

entes governamentais, seja de ONGs, vm sofrendo fortes crticas, principalmente
pelo baixo grau de relevncia e de utilidade das informaes geradas, que,
normalmente, no respondem satisfatoriamente s necessidades dos agentes
sociais envolvidos. A avaliao deve gerar informaes no apenas quanto aos
insumos utilizados, ao custo, eficincia e eficcia dos programas sociais, mas
tambm, e principalmente, quanto a informaes referentes s verdadeiras
mudanas provocadas pela interveno, ou seja, informaes quanto sua
efetividade e seu impacto.

Carvalho (2001, p. 88) afirma que preciso uma concepo totalizante da

avaliao que busque apreender a ao desde a sua formulao, implementao,
execuo, resultados e impactos. Destaca ainda que a avaliao para atingir essa
concepo totalizante precisa captar a multidimensionalidade sinalizada pelas
especificidades do quadro social. Isto , na avaliao, deve-se analisar o contexto
na sua diversidade de dimenses uma vez que o desenvolvimento e as mudanas
nunca so produtos isolados de uma determinada interveno.

Nesse sentido, Roche (2002), referindo-se avaliao de impacto, levanta sua

preocupao com dois problemas, que considera centrais:

a. agregao como, ento, sintetizar e sumarizar todas as informaes

relevantes?
 b. atribuio como descobrir at que ponto as mudanas observadas
resultaram de suas aes?

Assim, j possvel perceber que desenvolver uma avaliao concebida em um

modelo no convencional, mais abrangente - que busque identificar o impacto da
interveno e seu contexto -no se trata de algo elementar. As dificuldades
inerentes avaliao de impacto, para alguns, fazem aumentar a freqncia de
outros tipos de avaliao,1 por exemplo, a avaliao de processo (CANO, 2002).

Riddell et al. (1997), estudando o impacto do trabalho realizado por ONGs em

que revisou relatrios cobrindo 240 projetos em 26 pases , concluiu que o
verdadeiro impacto do trabalho das ONGs era pouco claro e havia pouco consenso
quanto s ferramentas e aos mtodos apropriados para sua determinao.

A falta de consenso, tanto em aspectos conceituais como em aspectos

metodolgicos, vem acompanhada no Brasil de outro fator agravante: a escassez
de textos em lngua portuguesa sobre a avaliao de programas sociais (CANO,
2002). Essa escassez de publicaes brasileiras demonstra, portanto, que se trata
de teoria e prtica ainda pouco disseminadas. Assim, tal fato corresponde a mais
um obstculo enfrentado pelas ONGs para o uso de uma ferramenta estratgica
importante, geradora de informaes substantivas, que podem incrementar a
atuao de seus programas sociais melhorando a qualidade da interveno e,
principalmente, do impacto por elas produzido.

Deste modo, atravs de uma reviso terica sobre essa temtica, esse artigo
apresenta, a seguir, uma discusso sobre alguns aspectos conceituais referentes a
avaliao de programas sociais e a tipologia existente, bem como, trs algumas
consideraes metodolgicas acerca da avaliao de impacto. Esse artigo, assim,
tem o intuito de contribuir para o debate e evoluo desse tema na perspectiva da
ampliao de sua aplicabilidade.

AVALIAO: DISCUTINDO ASPECTOS CONCEITUAIS

No sentido lato, avaliar consiste em emitir um juzo de valor sobre algo objeto,
situao ou processo , baseando-se em determinados critrios de valor. A ao de
avaliar consiste uma prtica freqente no cotidiano de muitas pessoas. Vrias
decises pessoais e profissionais so tomadas com base em avaliaes
espontneas, informais. No entanto, nem sempre a avaliao informal
suficiente, principalmente quando se pretende maior grau de objetividade, de
preciso e defundamento da avaliao quanto ao julgamento realizado. Nesse caso,
deve-se recorrer avaliao em sentido estrito: a avaliao sistemtica.
(AGUILAR; ANDER-EGG, 1994)

Segundo esses autores, a principal diferena entre a avaliao informal e a

avaliao sistemtica no est nos seus propsitos, e sim nos mtodos utilizados,
visto que a avaliao denominada pelos autores de sistemtica trata-se da
pesquisa avaliativa, que se baseia no uso do mtodo cientfico.

A avaliao de programas sociais consiste em uma pesquisa avaliativa, ou seja,

baseia-se no uso do mtodo cientfico, e tem como objeto de estudo programas
sociais implementados por entes governamentais e no-governamentais.

Essa avaliao surgiu inicialmente na rea da Educao, quando, pela primeira vez
em 1932, um estudo de Ralph Tyler, professor da Ohio State University, buscou ir
alm das tradicionais avaliaes de desempenho de alunos a fim de medir a
qualidade do ensino mediante uma nova concepo de avaliao. Em 1960, a
avaliao de programas sociais desenvolveu-se como disciplina e como profisso,
inclusive com a criao de associaes profissionais de avaliadores. Muitos pases
estabeleceram, como exigncia legal, que todo programa pblico de certa dimenso
fosse submetido a avaliao. Tal fato redundou em grande impulso rea, que
conta com associaes de avaliadores nos Estados Unidos, Canad, Europa,
Australsia e Amrica Central. Infelizmente, a Amrica do Sul ainda no dispe de
nenhuma (CANO, 2002).

A maior parte da escassa literatura que trata desse tema em lngua portuguesa
direciona-se, principalmente, para a avaliao de programas governamentais,
sendo muitos da rea de Educao.

O termo programas sociais freqentemente empregado para tratar da

interveno governamental. No obstante, com bem menos freqncia, utiliza-se
esse termo para tratar da interveno de ONGs. Com base no conceito apresentado
por Cano (2002),2 emprega-se, neste artigo, o aludido termo para referir-se a
intervenes implementadas, seja por ONGs, seja por entes governamentais.

Aguilar e Ander-Egg (1994), quando definem avaliao de programas sociais,

incluem na definio os principais traos caractersticos desse processo. Para
melhor entendimento dessa definio, vale, inicialmente, partir da compreenso da
importncia de seus principais componentes, como detalham os autores:

a. processo sistemtico - consiste no estabelecimento dos procedimentos e

estratgia, baseados nas exigncias do mtodo cientfico, visando ao claro
direcionamento dos objetivos e atividades que envolvero a avaliao;
b. validade e confiabilidade - durante o processo de coleta e sistematizao dos
dados, necessrio o cumprimento de determinados requisitos de validade
e confiabilidade, tendo em vista maior preciso da avaliao. Tal
preocupao deve estar presente desde o processo de escolha e
delineamento da metodologia e das tcnicas de coleta de dados;
c. informaes suficientes e relevantes - indispensvel o cuidado com as
informaes colhidas, tanto quanto a sua relevncia (pertinncia) como sua
suficincia, tendo em vista a realizao de uma valorao ou um julgamento
adequadamente fundamentado;
d. fase do programa - a avaliao pode ser desenvolvida em diversas fases do
programa: diagnstico, programao, execuo e, at mesmo, aps a
concluso do programa;
e. tomada de deciso - o sentido principal de se realizar uma avaliao consiste
no fato de que ela seja til a uma determinada tomada de deciso, seja para
a melhoria da ao desenvolvida, seja para a melhoria de aes futuras.

Assim, com base nessas consideraes, Aguilar e Ander-Egg (1994, p. 31-32)

apresentam a seguinte definio: A avaliao uma forma de pesquisa social
aplicada, sistemtica, planejada e dirigida; destinada a identificar, obter e
proporcionar de maneira vlida e confivel dados e informaes suficientes e
relevantes para apoiar um juzo sobre o mrito e o valor de diferentes componentes
de um programa (tanto na fase de diagnstico, programao e execuo) ou de um
conjunto de atividades especficas que se realizam, foram realizadas ou se
realizaro, com o propsito de produzir efeitos e resultados concretos;
comprovando a extenso e o grau em que se deram estas conquistas, de tal forma
que sirva de base ou para a tomada de decises racional e inteligente entre cursos
de ao, ou para solucionar problemas e promover o conhecimento e acompreenso
dos fatores associados ao xito ou fracasso de seus resultados.
Para Belloni, Magalhes e Sousa (2001, p. 15), avaliar consiste num processo
sistemtico de anlise de uma atividade, fatos ou coisas que permite compreender,
de forma contextualizada, todas as suas dimenses e implicaes, com vistas a
estimular seu aperfeioamento [grifos nossos]. Essa definio mais concisa,
ressalta o processo sistemtico e o uso da avaliao para a tomada de deciso,
mas, sobretudo, destaca a importncia da contextualizao do programa ou de suas
atividades para que a avaliao possa atingir, com xito, seus objetivos. Contudo,
os autores, ao pretenderem que uma avaliao abranja todas as dimenses e
implicaes do seu objeto, podem estar levantando uma postura que inviabiliza a
realizao de avaliaes, uma vez que importante que sejam consideradas as
dimenses e implicaes relevantes e suficientes para atingir os objetivos da
avaliao, e no necessariamente todas, como mencionado anteriormente.

Costa e Castanhar (1998, p. 2) apresentam o seguinte conceito de avaliao

utilizado pela Unicef:3

Trata-se do exame sistemtico e objetivo de um projeto ou programa, finalizado ou

em curso, que contemple o seu desenho, implementao e resultados, com vistas
determinao de sua eficincia, efetividade, impacto e sustentabilidade e a
relevncia de seus objetivos.

Nesse conceito afirma-se que a avaliao deve determinar eficincia, efetividade,

impacto e sustentabilidade do programa, bem como a relevncia de seus objetivos.
Contudo, importante salientar que tais determinaes podem ser realizadas por
processos distintos de avaliao, ou seja, no necessariamente deve haver um
processo avaliativo nico e abrangente. Na seo a seguir, apresentam-se
diferentes tipos de avaliao.

COMPREENDENDO A MULTIPLICIDADE DA AVALIAO

Diferentes autores agrupam os tipos de avaliao considerando ticas e critrios

distintos. No h consenso quanto a uma tipologia ou classificao da avaliao.
H, muitas vezes, entendimentos bastante diferenciados, o que gera dificuldade na
sumarizao e at mesmo na compreenso mais ampla dessa multiplicidade da
avaliao.

Apresenta-se abaixo a classificao dada por alguns autores.

Para Cohen e Franco (2002), a avaliao pode ser agrupada principalmente em

funo:

a. do momento em que se realiza e dos objetivos que perseguem;

a.1 avaliao ex-ante realizada antes da implementao do projeto, tem

como objetivoresponder seguinte questo: o projeto deve ou no ser
implementado?

a.2 avaliao ex-post pode ser:

a. avaliao de processos realizada durante a implementao, tem

como objetivo medir a eficincia de operao do projeto para realizar
correes e adequaes caso necessrias;
b. avaliao de impacto realizada aps a concluso do projeto,
objetiva medir se o projeto atingiu seus objetivos, bem como
 identificar os efeitos (previstos e no previstos) provocados pela
interveno.
b. quem realiza a avaliao:

b.1 avaliao externa realizada por pessoas alheias organizao-

agente;

b.2 avaliao interna realizada dentro da organizao gestora do

projeto;

b.3 avaliao mista procura combinar avaliadores externos e pessoas da

organizao-agente;

b.4 avaliao participativa inclui a participao ativa dos beneficirios no

processo avaliativo. Aguilar e Ander-Egg (1994), quando agrupam a
avaliao segundo o momento, o ciclo do programa classificam-na da
seguinte forma: a) avaliao antes (ou ex-ante);

c. avaliao durante (ou avaliao da gesto);

d. avaliao ex-post.

Para esses autores, tanto a avaliao durante como a avaliao ex-post tm dupla
finalidade: a) avaliar o ganho dos resultados gerais em termos de eficincia,
produtos, efeitos e impactos; b) adquirir conhecimento e experincias para
programas futuros.

A Figura 1 apresenta a distino entre eficincia, eficcia, consistncia e impacto,

dada por Roche (2002). Em sntese, observa-se na figura que:

a. a eficincia refere-se relao dos recursos utilizados nos programas

(inputs) com os resultados alcanados (outcomes);
 b. a consistncia refere-se relao das atividades e processos existentes nos
programas com os resultados alcanados (outcomes);
c. a eficcia consiste na relao dos resultados produtos gerados pelos
programas (outputs) com os resultados alcanados (outcomes);
d. o impacto consiste na relao dos resultados alcanados e efeitos produzidos
(outcomes) com a mudana na vida das pessoas.

Existem, ainda, diversas formas de classificao de avaliao, que se diferenciam

entre vrios autores, mas no sero detalhadas neste artigo.

A reviso terica levantada sobre essa temtica reflete a falta de consenso

conceitual existente no campo da avaliao de programas sociais, dando lugar ao
que Costa e Castanhar (1998) denominam de um autntico emaranhado
conceitual, que, para eles, representa um obstculo ao uso mais freqente dessa
ferramenta gerencial.

A AVALIAO DE IMPACTO

Entre os tipos de avaliao apresentados na seo anterior, h a avaliao de

impacto, que tem como escopo o conhecimento acerca das mudanas ocasionadas
na vida das pessoas em decorrncia da interveno de programas sociais. Esse
tipo de avaliao representa um avano, porque torna disponveis informaes
sobre o que est alm dos resultados alcanados pelo programa. Hulme (1997)
destaca que os estudos de avaliao de impacto vm se tornando mais populares
para as agncias financiadoras, uma vez que vem ocorrendo nas avaliaes um
maior enfoque nos efeitos (outcomes) e impacto das intervenes do que nas
entradas (inputs) e sadas (outputs). Conseqentemente, surgem presses para
que os programas financiados por essas agncias sejam avaliados na perspectiva
da avaliao de impacto.

Diante da falta de consenso conceitual, citada anteriormente, para melhor

entendimento do impacto de uma interveno social, necessria a compreenso
da cadeia de impacto e de seus componentes, apresentados na Figura 2.
Em sntese, observa-se na figura que:

a. os insumos (inputs) iniciam a cadeia; podem ser materiais, financeiros,

humanos, etc. e devem ser disponibilizados em quantidade e qualidade
adequadas s atividades e aes a serem realizadas;
b. a implementao do programa relaciona-se com as atividades e aes
realizadas, que devem ser coerentes com o propsito almejado;
c. dessa implementao, so gerados produtos, que normalmente no
correspondem a bens materiais, e sim a servios prestados; os produtos
(outputs) esperados so mensurados em metas a ser atingidas;
d. as metas estabelecidas esto relacionadas com os propsitos, objetivos da
interveno, que, se atingidos, representam os resultados (outcomes) da
interveno;
e. o impacto, por sua vez, representa as mudanas provocadas pelos
resultados da interveno; nota-se, assim, que cada componente influencia
o conseguinte, que tem por fim a mudana na vida das pessoas: o impacto.

Roche (2002, p.37) define impacto como mudanas duradouras ou significativas

positivas ou negativas, planejadas ou no nas vidas das pessoas e ocasionadas
por determinada ao ou srie de aes. O impacto, portanto, avaliado ao se
analisar at onde o resultado de uma interveno conduziram s mudanas, seja na
vida daqueles que se pretendia beneficiar, seja na vida de outros que no estavam
envolvidos diretamente no programa.

Na Figura 2, destaca-se, ainda, o contexto como um importante agente na cadeia,

influenciando desde a disponibilidade dos insumos at o impacto. Com isso, nota-se
que as mudanas no ocorrem como um produto isolado da interveno de um
determinado programa. importante, portanto, a compreenso do contexto para
avaliar essas mudanas.

A Figura 3 mostra essa relao em que as aes e o contexto se combinam para

produzir as mudanas. De acordo com Roche (2002, p. 42), o grau at onde o
contexto de um projeto influencia a mudana aumentar quanto mais elevarmos na
cadeia de impacto.

Vale salientar que a compreenso do contexto no se refere apenas aos aspectos

sociais, mas tambm aos aspectos econmicos, polticos, histricos, ambientais,
multidimensionalidade sinalizada pelas especificidades do social.

Na anlise do contexto, bem como nas outras fases do processo avaliativo, deve-se
reconhecer, com humildade, a contradio, que uma caracterstica fundamental
do real uma vez que este se apresenta multifacetado e exige um esforo de
abrangncia para seu conhecimento (RIOS, 2001).

ALGUMAS CONSIDERAES METODOLGICAS

O processo de delineamento da avaliao de impacto, segundo Cano (2002),

consiste no momento mais peculiar da pesquisa. Roche (2002), com o intuito de
orientar sobre esse processo, apresenta suas principais etapas, relacionadas no
Quadro 1.

Quadro 1 Etapas do delineamento de uma avaliao de impacto

ETAPAS PREPARATRIAS
Definio do objetivo da avaliao de impacto
Modelos de mudana (suposies): o que mudou e por qu
Definio das reas de mudana e dos indicadores que devem ser avaliados
Definio das unidades de mudana
Identificao das informaes existentes
Definio dos envolvidos na avaliao
Definio da equipe de avaliao
Definio de questes de treinamento e apoio
Amostragem
Definio do tempo da avaliao
Definio de estratgias para lidar com a atribuio
Definio do uso da checagem com referncia cruzada
Definio das ferramentas e tcnicas de coleta de dados

Fonte: Autoria prpria, com base em Roche (2002)

Objetivo da avaliao de impacto

Conforme mencionado anteriormente, a avaliao de impacto ex-ante tem como

objetivo identificar antecipadamente o impacto que se espera obter com
determinado programa e, com isso, responder ao seguinte questionamento: o
programa deve ou no ser implementado? J a avaliao de impacto ex-post, que
realizada durante a implementao do programa ou aps sua concluso, em geral
tem como finalidade demonstrar o impacto ocorrido e melhorar as prticas futuras.

Contudo, Roche (2002) alerta que pode haver tenses quanto ao entendimento
desses objetivos quando diferentes grupos esto envolvidos no processo com
interesses distintos. Portanto, o esclarecimento das expectativas e do que
diferentes grupos participantes do processo avaliativo interpretam como impacto
podem auxiliar a criar a compreenso partilhada do processo, proporcionando
empenho no sentido convergente para atingir os objetivos da avaliao.

Modelo de mudana

As suposies que levam a uma interveno social devem ser explicitadas tendo em
vista a definio de um modelo de mudana que indique o que e por que
mudou. A definio desse modelo um importante guia para o direcionamento da
avaliao de impacto a algumas supostas mudanas.

As mudanas ocasionadas pelas intervenes, muitas vezes, so vistas pelo

planejamento como fenmenos lineares, ou seja, uma ao A conduz a um
resultado B, que gera um efeito ou impacto esperado C. Todavia, o modelo no-
linear parece melhor explicar as mudanas provocadas pelas intervenes uma vez
que reconhecem uma possvel influncia de B sobre A, bem como um efeito ou
impacto inesperado E, conforme demonstram as Figuras 4 e 5.
Lidando com a atribuio

O problema da atribuio inerente avaliao de impacto uma vez que se

preocupa com a identificao da causalidade das mudanas, ou seja, importante
identificar se uma determinada mudana pode ser considerada como impacto de
certa interveno.

Visando minimizar a questo da atribuio, Roche (2002) sugere que, na avaliao,

se utilizem grupos de controle; entrevistas com no-integrantes do projeto; dados
secundrios e entrevistas com outros informantes-chave tentando identificar
efeitos de interferncia.4

Unidades de avaliao

necessrio determinar quais so as unidades-chave que se pretende avaliar, ou

seja, deve-se definir se ser avaliada a mudana nos indivduos, nas comunidades,
nas organizaes ou em todos eles. Essa deciso depende do tipo de programa em
questo e do tipo de impacto a ser avaliado.

Equipe de avaliao

A composio da equipe de avaliao de impacto uma questo polmica, tendo

em vista as vantagens e desvantagens da avaliao ser realizada por sujeitos
externos ou internos ao programa. Alguns autores consideram importante a
participao de pessoas ligadas ao programa; outros acreditam que o sucesso da
avaliao relaciona-se com o fato de ser realizada por pessoas externas ao
programa.

Para Arretche (2001), por exemplo, a avaliao deve ser realizada por instituies
independentes da gestora do programa; considera que, assim, h maiores
condies e incentivos para, com base em critrios explcitos e objetivos definidos,
montar instrumentos adequados para responder questo da relao entre as
polticas, seus processos e resultados. No entanto, para Belloni, Magalhes e Sousa
(2001) a forma mais apropriada parece ser uma combinao, ou seja, uma
estratgia de desenvolver uma avaliao externa e independente sobre uma
avaliao interna, incorporando os achados deste processo.

Checagem de referncia cruzada

O julgamento inerente avaliao traz consigo a contradio. Desse modo,

importante que o processo avaliativo disponibilize mecanismos para expor as
tendncias, os interesses especficos e as relaes de poder, visando explicitar os
diferentes pontos de vista da grande variedade de pessoas. Tais mecanismos
devem comparar as informaes advindas de diferentes fontes.

CONSIDERAES FINAIS

Falar sobre avaliao de programas sociais, convencer as pessoas de sua

importncia no parece ser tarefa difcil. Conhecer o impacto de intervenes
sociais parece algo lgico e necessrio diante dos esforos e recursos empreendidos
para mudar uma realidade social, em que, muitas vezes, pouco se conhece sobre as
efetivas mudanas ocasionadas.

Contudo, quando se trata de operacionalizar essa avaliao... surgem normalmente

dvidas, receios, insegurana, curiosidade, principalmente naqueles que
desconhecem esse instrumento na prtica. Pode-se dizer que gera-se um impacto
nessas pessoas.

Entende-se, portanto, que esse impacto causado pelo escasso referencial

terico disponvel em Lngua Portuguesa; a incipiente prtica desse tipo de
avaliao no Brasil, principalmente no campo das ONGs, pelo mito da avaliao
como um instrumento meramente fiscalizador, e ainda pela complexidade inerente
ao processo avaliativo.

A avaliao de impacto entendida na completude de seus propsitos apresentase

como um instrumento de alta complexidade. Sua operacionalizao passa tambm
pela capacidade de identificar as dimenses existentes no contexto a ser avaliado.
Ser que a perspectiva da completude deve ser considerada fundamental para esse
processo?

Compreendendo-se a necessidade de se ampliar e de consolidar a realizao e a

utilizao da avaliao de impacto de programas sociais no Brasil, observa-se
portanto a importncia de se desmistificar esse processo avaliativo para que sejam
reconhecidas suas limitaes operacionais; principalmente, que seja reconhecido
como um processo uma vez que etapas devem ser cumpridas e o ciclo avaliativo
deve ser mantido para possibilitar os avanos.

Assim, entende-se que avanos podero ser dados, ao passo que, com humildade,
se reconheam os esforos empreendidos e as limitaes identificadas, e seja
incorporada a dinmica da avaliao.

* Amanda Farias Camplo Mestre em Administrao e Bacharel em Administrao pela Universidade

Federal de Pernambuco.
[ voltar ]

1
A tipologia das avaliaes ser abordada na seo que trata sobre a multiplicidade da avaliao. [ voltar ]
2
Segundo Cano (2002), programas sociais so intervenes sistemticas, planejadas com o objetivo de atingir
uma mudana na realidade social. [ voltar ]

3
Fundo das Naes Unidas para a Infncia. [ voltar ]

4
Fatores que revelam por que o impacto de um programa em uma comunidade variou em relao a outra. [
voltar ]

Referncias Bibliogrficas

AGUILAR, Maria Jos; ANDER-EGG, Ezequiel. Avaliao de servios e programas sociais. Petrpolis: Vozes,
1994.

ARRETCHE, Marta T. S. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth M. Et al. (Org.). Avaliao
de polticas sociais: uma questo em debate. 3. ed. So Paulo: Cortez, 2001.

BELLONI, Isaura; MAGALHES, Heitor de; SOUSA, Luzia Costa de. Metodologia de avaliao em polticas
pblicas. 2. ed. So Paulo: Cortez, 2001.

CANO, Ignacio. Introduo avaliao de programas sociais. Rio de Janeiro: FGV, 2002.

CARVALHO, Maria do Carmo Brant. Avaliao participativa: uma escolha metodolgica. In: RICO, Elizabeth M.
et al. (Org.). Avaliao de polticas sociais: uma questo em debate. 3. ed. So Paulo: Cortez, 2001.

COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. 5. ed. Petrpolis, Vozes, 2002.

COSTA, Frederico L. C.; CASTANHAR, Jos Cezar. Avaliao social de projetos: limitaes e possibilidades. In:
ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguau. Anais... Foz do Iguau: ANPAD, 1998. 1 CD-ROM.

HULME, David. Impact assessment methodologies for microfinance: a review. Paper prepared for the
Virtual Meeting of the CGAP Working Group. 1997. Disponvel em: www.idpm.man.ac.uk/publications. Acesso
em: 15 mar. 2003.

RIOS, Terezinha Azeredo. Avaliar: ver mais claro para caminhar mais longe. In: RICO, Elizabeth M. et al. (Org.).
Avaliao de polticas sociais: uma questo em debate. 3. ed. So Paulo: Cortez, 2001.

RIDDELL, R. et al. Searching for impact and methods: NGO evalution synthesis study. [S. l.]: OECD,
1997. Disponvel em: www.valt.helsinki.fi/ids/ngo. Acesso em: 20 mar. 2004.

ROCHE, Chris. Avaliao de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanas. 2.
ed. So Paulo: Cortez, 2002.

VOIGT, Lo. Afinal, o que uma ONG? In: ONG: identidade em mutao. 3. ed. So Paulo: CENPEC,
2002.