Escolar Documentos
Profissional Documentos
Cultura Documentos
rumo
certo
Guia para
Monitoramento
e Avaliação de
Projetos Baseados
em Comunidades
A gente
não deve
monitorar
e avaliar
só porque
o doador
pediu.
© Julie Smith
Publicado pela UNESCO
7, place de Fontenoy, 75352 Paris 07 SP, France
© UNESCO 2010
Todos os direitos reservados
Versão original
Publicada em 2009 pela UNESCO
© UNESCO 2009
O autor responsabiliza-se pela escolha e apresentação dos factos contidos no presente trabalho,
bem como pelas opiniões que nele são manifestadas, as quais não são necessariamente
compartilhadas pela Organização das Nações Unidas para a Educação, Ciência e Cultura
(UNESCO) e não vinculam a Organização.
Impresso na França
3
Agradecimentos
Este guia foi produzido sob a direção da Divisão da Educação Básica da UNESCO.
O presente trabalho só pôde ser realizado graças aos esforços e ao apoio de um grande número de
pessoas e organizações envolvidas na iniciativa “Another Way to Learn” da UNESCO. Em primeiro
lugar, a equipe do projeto gostaria de expressar o seu agradecimento à valiosa assistência de
Rhiannon Barker na redação do documento de apoio para pesquisa e avaliação de uma série de
programas no âmbito da referida iniciativa, destinado aos integrantes de projetos.
A UNESCO não poderia deixar de demonstrar a sua gratidão às ONGs que colaboraram com a
UNESCO, fornecendo suporte para a concepção desta publicação e compartilhando experiências e
lições. Sem a parceria da sociedade civil este manual não teria sido possível.
A UNESCO é igualmente grata a Rosalind David por seu apoio e seus comentários. A UNESCO não
poderia deixar de agradecer a Julie Smith pelos seus desenhos repletos de humor, que destacam o
espírito e a dedicação necessários para garantir o aprendizado de questões de extrema relevância.
Convém salientar que as informações sobre o Modelo Lógico de Programa provêm do excelente
“Program Development and Evaluation”, desenvolvido pela Universidade de Wisconsin, disponível
em www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html (Copyright 1996 Conselho de
Administração do University of Wisconsin System, com o nome fantasia Division of Cooperative
Extension of the University of Wisconsin-Extension).
Por fim, a UNESCO agradece o apoio financeiro essencial para a realização deste guia recebido da
Comissão Europeia e da UNAIDS.
Marcel Proust
4
Prefácio
O valor e a importância de monitorar e avaliar com qualidade vem recebendo cada vez mais
reconhecimento de um grande número de partes interessadas – planejadores, financiadores,
formuladores de políticas e comunidades que dão apoio a intervenções. Quando é demonstrado até
que ponto um projeto pôde cumprir as suas metas, fica mais fácil garantir que os recursos sejam
utilizados da maneira mais efetiva, eficiente e adequada possível. O nosso intuito é que este guia de
monitoramento e avaliação (M&A) dê mais confiança e habilidades àqueles que possuem experiência
limitada para que possam lidar com todo o ciclo do projeto, tanto no planejamento como nas atividades
relativas ao M&A. Este guia contempla os seguintes temas:
• como garantir que as informações provenientes do M&A repercutam na concepção dos projetos em
andamento e nos planejamentos futuros;
Esta publicação teve origem em um trabalho de apoio a uma série de projetos de capacitação
vocacional e empresarial realizados por meio de educação não formal na África, no Sul da Ásia,
no Caribe e na América Latina. O cerne de todos os projetos do programa são os métodos criativos
inovadores empregados para se comunicar de uma maneira significativa e estimular a participação
da população. Todos os projetos focalizam-se na capacitação, na autonomização e na criação de
oportunidades de aprendizagem. A conceptualização desses projetos está alicerçada nos quatro
pilares da educação apresentados em 1996 pela Força-Tarefa para a Educação no Século XXI da
UNESCO: “aprender a aprender”, “aprender a fazer”, “aprender a conviver” e “aprender a ser”. O
Quadro de Ação de Dacar (2000), que sela o compromisso coletivo da comunidade internacional para
com à Educação para Todos (EPT), lembra-nos que a educação deve valorizar o talento e o potencial
de cada indivíduo.
UNESCO
Divisão da Educação Básica
5
Acrônimos
AIDS Síndrome da Imunodeficiência Adquirida
UE União Europeia
6
Resumo
Este guia foi desenvolvido como um recurso para “obras em andamento” que pode ser utilizado para
auxiliar no monitoramento e na avaliação de iniciativas de desenvolvimento comunitário. Espera-se
que os participantes de projetos compreendam que há uma considerável melhora da qualidade e
da adequação do produto final quando as comunidades se envolvem completamente no processo
e o trabalho é criteriosamente planejado, monitorado e avaliado. Apesar de ter sido desenvolvido
com base na experiência e nas lições tiradas de um programa de projetos específico voltado para
um meio de vida sustentável e aspectos da educação sanitária, praticamente todo o seu conteúdo
é genérico, podendo, portanto, ser aplicável a uma enorme gama de iniciativas comunitárias. Os
principais objetivos deste guia são:
• proporcionar uma visão geral das principais características da pesquisa qualitativa que podem
auxiliar os participantes do projeto nas suas próprias avaliações internas;
• fornecer orientação prática sobre como adaptar e utilizar o modelo lógico em projetos;
7
1
Seção 1 Introdução
1.1 Antecedentes 10
1.2 Como usar este guia 10
1.3 A quem se dirige este guia? 10
A pesquisa em contexto 10
1.4 Por que monitorar e avaliar? 10
1.5 Quais são os principais aspectos da avaliação
de iniciativas comunitárias? 11
1.6 Técnicas participativas 13
1.7 O que se deve esperar de uma avaliação? 14
1.8 Qual é a utilidade dos modelos e arcabouços teóricos? 14
1.9 O que determina o sucesso de uma avaliação? 14
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
9
“Avaliar é como observar por uma lente grande-angular que permite ver
a floresta inteira, e não só o galho da árvore sobre o qual se está.”
Doc Childre
10
que trabalham no projeto ou lhe dão apoio 1.5 Quais são os
1
reconheçam a importância do monitoramento
e da avaliação contínuos e os utilizem para principais aspectos da
melhorar a efetividade e a qualidade dos
programas.
avaliação de iniciativas
comunitárias?
O monitoramento deve ser realizado
constantemente para verificar se as metas e As iniciativas comunitárias não são fáceis
os objetivos do projeto estão sendo cumpridos de avaliar! Não existe uma técnica objetiva
e reajustar a programação com base nas e conclusiva que possa ser retirada de um
lições aprendidas até então. As avaliações
internas são importantes não só para medir
a efetividade, a eficiência e o andamento “Quando tentamos selecionar algo
do projeto, mas também para desenvolver por si só, descobrimos que está ligado
um sentido de apropriação do projeto, tanto
por parte do pessoal que nele trabalha a tudo mais no universo.”
como daqueles que dele se beneficiam. As
avaliações externas, apesar de onerosas e, por John Muir
conseguinte, geralmente impraticáveis nas
pequenas comunidades, ainda assim oferecem
uma análise independente que pode vir bem a
calhar. manual já pronto e adaptada a todos os
projetos. Por essa razão, os integrantes da
equipe devem ser criativos, utilizar o bom-
senso e valer-se do conhecimento que têm da
população, do meio e dos contextos político
“Os homens tropeçam por vezes na e cultural para fazerem as perguntas de
verdade, mas a maior parte torna a levantar- maneira acertada.
se e continua depressa o seu caminho,
As iniciativas comunitárias costumam
como se nada tivesse acontecido.” compor-se de múltiplas intervenções
complexas, efetuadas em vários níveis,
Winston Churchill geralmente concebidas com o intuito de
produzir diversos resultados. Existe uma gama
S
GA
DRO
ÀS LANÇAMENTO
ÃO
A N
DIG Paixão sem
drogas
Mas como você pode garantir
que foi o seu flipchart que reduziu
o consumo de drogas?
Nã
o
dro use
gas
RA
EXT
ÃO
PRIS R
DROGAS PO AS
G
DRO
SEM
DROGAS
11
de estratégias centradas tanto no indivíduo Esquemas sofisticados e custosos correm o
como na comunidade. As iniciativas vão desde risco de desperdiçar recursos, se for possível
a tentativa de mudar o comportamento por solucionar a questão com meios mais simples.
via da educação e da autonomização até Se os avaliadores utilizarem ferramentas
projetos mais abrangentes focalizados na demasiado complicadas que não conhecem
equidade, na justiça social e em intervenções muito bem, certamente não produzirão
intersetoriais. O uso de modelos e arcabouços resultados úteis e válidos.
teóricos tem procurado conferir um maior
rigor à maneira como as variáveis são
coletadas e interpretadas. Ao mesmo tempo, “A simplicidade é o suprassumo
novas ideias sobre avaliação reconhecem
cada vez mais a multiplicidade de interações
da sofisticação.”
que ocorrem no seio da maior parte das
comunidades, colocando em questão a Leonardo da Vinci
relação linear mais simplista de causa e
efeito. Dada a complexidade com que se
realizam as intervenções, as perguntas que Atualmente quase todos concordam que tanto
devem ser feitas para avaliar a sua efetividade a abordagem quantitativa como a qualitativa
precisam ser bem estruturadas e testadas. É desempenham um papel importante nos
imprescindível ter em mente que os resultados programas de avaliação. Sugere-se, inclusive,
nem sempre são previsíveis e às vezes podem com frequência que a “avaliação pluralista”,
não ser benéficos à comunidade. Os envolvidos isto é, que emprega igualmente métodos
no monitoramento e na avaliação do projeto quantitativos e qualitativos, constitui a
devem ter coragem e convicção suficientes estratégia mais apropriada para tratar
para apontar tanto os resultados positivos questões complexas sobre o que conta como
como os negativos do projeto. um resultado bem-sucedido (Beattie,1995).
OMS (2006). Evaluation in health promotion. Principles and perspectives. Editado por Rootman, I.;
Goodstadt, M; Hyndman, B; McQueen; Potvin, L; Springett, J. & Ziglio, E. Escritório regional para
a Europa da OMS.
12
• o processo de implementação do programa facilitação cuidadosa, os próprios participantes
1
(avaliação processual); definirão os critérios para determinar como as
• a medição dos resultados e do impacto mudanças ocorreram. Com a ajuda da equipe
(avaliação somativa). do projeto, poderão também desenvolver
parâmetros que permitirão atentar para o que
de fato mudou em virtude das intervenções.
GRUPOS DE DISCUSSÃO
SONDAGEM
EXTREMAMENTE
SATISFEITO 100%
NEM UM
POUQUINHO
DESCONTENTE 0%
A minha avaliação
do seu projeto
mostra que…
13
Exemplos de técnicas participativas são e atividades, tornando o processo de avaliação
fornecidos na Seção 7. mais efetivo, transparente e equilibrado.
14
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
15
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
16
2
Scriar,eçãoplanejar
2 Etapas para
e avaliar
um projeto
17
2.1 O ciclo de 2.2 A redação da
planejamento do projeto proposta para obtenção
É importante ter em mente as fases que
de financiamento
compõem o ciclo de um projeto, cada qual Uma vez identificados os objetivos e as metas,
com o seu impacto e as suas influências nas o próximo passo é redigir uma proposta
fases subsequentes. Esse esquema está para conseguir financiamento. Este guia
representado na figura abaixo. não fornece uma lista exaustiva de fontes
de financiamento potenciais. No entanto,
O ciclo do projeto convém, antes de tudo, fazer uma busca
na internet, consultar sites de agências
Quando se pretende monitorar e avaliar um e contatar os decisores do governo local,
projeto, é imprescindível que haja um feedback grupos comunitários e organismos nacionais
dos resultados no ciclo do projeto e que essas e internacionais. Em alguns casos, talvez
informações sejam utilizadas para moldar, seja mais conveniente focalizar a obtenção
adaptar e aprimorar o trabalho no futuro. O do financiamento para a avaliação das
feedback e o aprendizado devem ocorrer ao necessidades antes de pleitear um montante
longo de todo o projeto. maior para a totalidade da intervenção.
Avaliação das
necessidades
Feedback
Avaliação do aprendizado
Planejamento
do projeto para melhorar
do projeto
a efetividade do
projeto
Implementação
e monitoramento
do projeto
18
2.3 Como neste tipo de situação é importante avaliar
os pontos positivos da comunidade e, se ela
proceder à avaliação for coesa e tiver um alto nível de integração
das necessidades e envolvimento, valerá a pena aproveitar as
redes preexistentes;
2
Em geral, caso ainda não tenha sido realizada, • verificar a percepção, a interpretação e a
a avaliação das necessidades serve para aceitação dos materiais promocionais, das
revisar as metas e os objetivos do programa mensagens e demais intervenções;
e os métodos de trabalho propostos antes da • testar a adequação das abordagens e
implementação do projeto. Ao planejar esse procedimentos de implementação.
tipo de avaliação, é muito importante incluir
no processo as várias partes interessadas da Nessa fase, a prioridade é criar um referencial
comunidade. Na medida do possível, convém a partir do qual as mudanças possam
evitar que os membros da comunidade mais ser medidas. Os métodos qualitativos de
poderosos e eloquentes dominem a discussão. coleta de dados sobre a comunidade devem
A avaliação das necessidades também compreender:
propicia, já desde o início, o envolvimento da • entrevistas em profundidade com os
comunidade por meio de consultas. principais membros da comunidade alvo, com
o cuidado de identificar e incluir os líderes
A avaliação das necessidades deve ser capaz de quaisquer grupos de interesses e facções
de: rivais. Essas entrevistas podem ser filmadas
• permitir que as metas e os objetivos e é importante que os beneficiários sintam
do programa a serem cumpridos sejam prazer em realizá-las e participar delas;
claramente especificados; • grupos de discussão com profissionais
• garantir que o programa trate os que trabalham na comunidade e com a
problemas e as prioridades identificados pela população local, que podem ser realizados
comunidade; em clubes, associações, instituições, escolas,
• averiguar desde o princípio se os centros comunitários, grupos de mulheres,
problemas considerados importantes pelos reuniões de agricultores num mercado, etc.;
atores externos correspondem de fato às • a participação da população, com o auxílio
prioridades da comunidade; dos meios de comunicação, por exemplo, num
• definir quais problemas da comunidade fórum ou num debate sobre os objetivos do
identificados pelo grupo requerem mais programa;
atenção; • a observação participante em eventos e
• fornecer informações sobre as principais grupos locais, em conversas informais que
partes interessadas da comunidade; podem ser complementadas com notas de
• indicar até que ponto a comunidade campo;
pode ser mobilizada e uma abordagem de • a coleta sistemática de opiniões de
desenvolvimento comunitário, se for o caso, grandes amostras da população a partir
pode ser adotada – convém lembrar que de questionários semiestruturados com
19
perguntas abertas que permitam que os ou não ser realizado, o que pode fazer com
entrevistados se expressem livremente. que muito trabalho positivo e benéfico seja
perdido devido à má definição dos objetivos,
Ver também a Seção 7. além de ocasionar uma sensação de fracasso
posteriormente (ver Seção 5.6).
O teatrinho de fantoches
O que
dela não teve nenhum
é que
há com a impacto nos níveis de
Maria? violência doméstica
da aldeia.
20
v. Selecionar as ferramentas
de pesquisa
Escolha as ferramentas adequadas para a
coleta de dados necessários (ver Seção 6).
Doador
ONG
Doador
21
Resumo: Lista de controle para uma avaliação completa
A que se destina?
– Qual é o propósito da avaliação?
– A avaliação condiz com a iniciativa que está sendo posta em prática em campo?
– A avaliação está sendo usada como uma ferramenta para ajudar na autonomização dos
indivíduos e comunidades que ela serve?
Realismo
– Os avaliadores têm a devida formação e o domínio das técnicas necessários para desempenhar
as suas funções? (Esta pergunta tem particular relevância no caso das avaliações internas, isto
é, quando a própria equipe do projeto realiza a maior parte da avaliação.)
– Todos os envolvidos compartilham mais ou menos as mesmas ideias no que diz respeito aos
objetivos da avaliação a serem atingidos?
– O que tem sido feito para garantir que os financiadores e os profissionais tenham uma visão
realista das comunidades com as quais estão trabalhando e da sua capacidade de lidar e
comprometer-se com os vários tipos de atividades do processo de avaliação?
– O que tem sido feito para garantir que os objetivos do projeto propostos sejam compatíveis com
os prazos estipulados para que as mudanças ocorram?
– A avaliação leva em conta os contextos histórico, político e social (locais e nacionais) em que o
programa está sendo realizado?
- Quais são as forças políticas em jogo? Quanto poder político está sendo exercido?
– Quem considerou as dimensões éticas do projeto e como as políticas éticas serão postas em
prática?
22
Métodos
– A avaliação é participativa?
2
Measurable: mensuráveis; Achievable: viáveis; Realistic: realistas; Time-bound: com prazo)?
– O planejamento da avaliação foi tratado com a mesma importância que a coleta de dados?
– A metodologia escolhida é a mais adequada às intervenções do projeto? Explique bem por quê.
– Como se garante a qualidade da prática/aplicação dos métodos? (Será preciso fazer perguntas
diferentes, conforme a pesquisa tenha sido comissionada ou realizada internamente.)
– Os prazos da avaliação (alguns dos quais podem ser longos) são suficientes para medir os
resultados potenciais?
Divulgação
– Como se podem incentivar ainda mais os avaliadores a dar informações mais
detalhadas sobre as suas atividades de avaliação?
23
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
24
SLógico
eção 3 O Modelo
de Programa 3 3
3 A descrição deste guia baseia-se num excelente curso interativo desenvolvido pela Universidade do
Wisconsin: o “Program Development and Evaluation”, disponível em
www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html.
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
25
3.1 O que vem a ser
um modelo lógico?
Os modelos lógicos já foram descritos O modelo estabelece um elo entre os
de diferentes maneiras e com diversas resultados de curto e longo prazos com
denominações: as atividades e processos do programa,
bem como com os pressupostos teóricos
“marco lógico”, subjacentes. Ele fornece um arcabouço de
“matriz lógica”, planejamento que destaca como o programa
“ferramenta de planejamento”, deve desenvolver, define em que ordem as
“um arcabouço que ajuda a explicar e registrar atividades são realizadas e mostra como os
o funcionamento do programa e as teorias e resultados almejados são atingidos. Inclui
hipóteses subjacentes”, uma análise dos insumos necessários para
“um modelo sensato que mostra como o pôr o projeto em funcionamento e ajuda a
projeto deve funcionar”, desenvolver indicadores para o monitoramento
“um modelo que mostra as relações lógicas do andamento do projeto com vista à realização
entre os diferentes componentes do projeto e dos objetivos e resultados predefinidos.
traça um esboço simplificado da intervenção
completa”. Os componentes típicos de um modelo lógico
são mostrados no diagrama a seguir.
Prioridades O que O que Quem O que são os O que são os O que são os
Situação: Considerar: investimos fazemos alcançamos resultados resultados de resultados
Missão Pessoal Oficinas Participantes de curto médio prazo de longo
Necessidades Visão Reuniões Clientes prazo prazo
Voluntários Entrega de Ação
e ativos Valores Agências
Tempo serviços Aprendizagem Comporta- Condições
Sintomas Mandatos
Desenvolvi- Decisores Conscientização mento Sociais
versus Recursos Dinheiro mento de
Dinâmica local Consumidores Conhecimento Prática Econômicas
problemas Pesquisas produtos,
Colaboradores currículos, Atitudes Tomada de Cívicas
Compromisso Concorrentes Materiais recursos decisão
das partes Satisfação Habilidades Ambientais
Equipamentos Treinamentos Políticas
interessadas Resultados Aconselha- Opiniões
almejados Tecnologia Ação social
mento Aspirações
Parceiros Facilitação Motivações
Parceria
Trabalho com
a mídia
Avaliação
Focar – Coletar dados – Analisar e interpretar - Reportar
Linha do tempo
Quando cada estágio da avaliação deve ocorrer?
26
3.2 Quais são as
vantagens de utilizar
um modelo lógico?
O que é preciso para
Este sistema oferece várias vantagens
capturar o tigre que está
que vão além do desenvolvimento de um
arcabouço de pesquisa coerente, por atormentando a aldeia Um bom
exemplo: da sua tia? planejamento!
• Planejamento e concepção do Uma boa
programa estratégia!
3
O desenvolvimento de um modelo lógico
ajuda a clarificar o pensamento e a revisar
as atividades e os resultados em função
das metas e objetivos do projeto. Quando o
projeto já estiver em andamento, o modelo
poderá ser utilizado continuamente como
uma ferramenta para garantir que as
atividades estejam no rumo certo e fazer as
modificações necessárias.
27
• Os pressupostos do seu projeto estão corretos?
Os programas voltados para o HIV/AIDS, em parte inspirados em teorias e modelos de mudança
comportamental, costumam partir do princípio de que o conhecimento sobre os modos de
transmissão do HIV acarreta diretamente uma mudança de comportamento. Obviamente, na
prática a questão é mais complexa. As sofisticadas engrenagens da mente humana ponderam as
vantagens relativas da mudança comportamental com base numa análise de custo e benefício.
Se uma trabalhadora sexual, por exemplo, correr o risco de perder clientes por insistir no uso
de preservativo, isso desestimulará a adoção de comportamentos seguros e acabará tendo um
peso considerável em qualquer análise de custo e benefício. Por outro lado, um alto nível de
autoestima constitui um fator capaz de aumentar as probabilidades de uma negociação bem-
sucedida quanto ao uso de preservativo.
Uma análise detalhada, que explore todos os melhorias necessárias ao longo do caminho,
aspectos da atividade e o impacto projetado, com base nas novas informações que forem
resultará em intervenções mais efetivas surgindo.
e com enfoque mais preciso. Essa fase
constitui igualmente uma boa oportunidade • Participação
para esclarecer noções importantes que O desenvolvimento do modelo apoia-se em
possam suscitar polêmicas ou problemas de técnicas participativas que requerem que os
interpretação, tais como autonomização e envolvidos atuem em conjunto para definirem
participação. (Ver Anexo 3 – Glossário) os princípios que nortearão o programa
e as melhores condições de obter êxito.
• Avaliação contínua Desta forma, as mudanças tenderão mais a
O modelo ajuda a direcionar a atenção para ser efetuadas com base em um consenso,
cada um dos componentes da atividade. num processo aberto e transparente, do
Alguns podem inclusive ser subdivididos em que em função de personalidades, políticas
atividades e vinculados a resultados que, por e ideologias. Isso reforça nos envolvidos o
sua vez, podem ser avaliados separadamente sentimento de apropriação do projeto.
em gráficos que mostrem os progressos
num período determinado ou os resultados
no longo prazo. Assim são desenvolvidos
mecanismos robustos de medida de
resultados. O que acontece? O que funciona? 3.3 Com que se parece
Para quem? O modelo permite que a equipe
identifique os obstáculos que impedem o
um modelo lógico?
projeto de funcionar a contento e já tenha Existem modelos lógicos que se apresentam
uma ideia de como ficará fácil mensurar os em numerosos formatos e tamanhos, que são
indicadores que tiver selecionado. desenvolvidos em função das necessidades
específicas de cada projeto. Alguns modelos
Ademais, o processo deve ajudar na começam com ligações estruturais bastante
identificação de formas de mensurar simples entre os componentes do projeto, mas
resultados temporários mais intangíveis (por evoluem com o passar do tempo de acordo
exemplo, o nível de participação, o grau de com a criatividade da equipe. Os modelos são
autonomização, a coesão dos grupos, etc.). representados em diagramas que oferecem
Assim fica mais fácil mapear o andamento de um panorama das ligações entre os diferentes
iniciativas mais complexas e implementar as componentes e processos de todo o projeto.
28
Insumos Produtos Resultados Alguns modelos lógicos são descritos em tabelas com itens
1 1a listados nas colunas Insumos, Produtos e Resultados. (Ver mais
b
adiante nesta seção a definição destes termos.) O modelo pode
2 2a
conter flechas que têm a finalidade de ilustrar as conexões e as
b
3 c relações. As listas podem ser numeradas para explicitar a ordem
4 3a no interior da coluna ou facilitar as conexões de uma coluna com
b a outra.
29
Se o objetivo de um pesquisador é focalizar – educação
a medição dos resultados, a cadeia de
resultados pode ser mais bem explicitada dos – emprego e condições de trabalho
que os insumos e produtos, por exemplo.
– ambiente físico
Pontos primordiais
• Tenha sempre em mente quem utilizará – saúde pessoal e capacidade de superação
o modelo lógico. Quem precisa entender a
importância e a finalidade do modelo? Você, a – desenvolvimento infantil
sua equipe, a comunidade, os financiadores,
os gestores ou o Governo? – serviços de saúde
30
3.4.2 Insumos Os insumos são flexíveis e variam em função
do tipo de projeto. Por exemplo, um projeto
Os insumos nada mais são do que os recursos educativo sobre drogas necessitará de
e contribuições que entram na composição do insumos diferentes em função do local onde
trabalho, a saber: tempo, pessoas (integrantes será realizado: num ambiente formal, como
da equipe, voluntários e beneficiários – se escolas e associações de jovens, ou nas ruas,
envolvidos), a comunidade, dinheiro, materiais, com crianças, imigrantes e trabalhadores
equipamentos, parcerias, pesquisas, sazonais.
tecnologias, entre outros.
É impossível afirmar que um insumo é
Insumos mais importante que outro. No entanto, às
vezes uma área é negligenciada devido a
pressões de atividades mais tangíveis, como
3
O que
investimos
a construção e a manutenção de parcerias
fortes e apropriadas. Os parceiros podem
Pessoal
Voluntários ser organizações locais envolvidas direta ou
Tempo indiretamente com as atividades do projeto,
Dinheiro
Pesquisas prestadores de serviços, financiadores
Materiais
Equipamen-
(nacionais e internacionais), empresas e até
tos mesmo o governo.
Tecnologia
Parceiros
3.4.3 Produtos
Produtos
Atividades Participação
Em outras palavras, os produtos são aquilo que fazemos ou oferecemos, podendo incluir oficinas,
conferências, sondagens, auxílios, aconselhamentos in-house, etc.
31
Todos os produtos levam a resultados específicos.
Resultados – Impacto
Curto prazo Médio prazo Longo prazo
Neste modelo, o impacto, que ocupa a última posição à direita no gráfico do modelo lógico, se
refere aos últimos efeitos ou consequências do programa, por exemplo, aumento da segurança
econômica, redução das taxas de tabagismo entre a população jovem ou a melhora da qualidade do
ar. Os termos resultado e impacto muitas vezes são empregados indistintamente, mas aqui impacto
é sinônimo de resultado de longo prazo, correspondendo a mudanças muito significativas das
condições sociais, cívicas, econômicas ou ambientais.
Convém frisar a importância de atentar não só para os impactos esperados, mas também para
os inesperados. Um exemplo seriam os projetos baseados na questão do gênero, cujo foco é o
aumento da autoestima e a melhora das oportunidades das mulheres. Um impacto de longo
prazo deste tipo de projeto seria a melhora do status socioeconômico da população feminina.
As ramificações, como a autonomização e o fortalecimento da posição da mulher, podem ser
significativas para o reequilíbrio do poder e a reconsideração dos papéis no seio da família, mas
correm o risco de entrar em choque com o status quo e as práticas locais.
Em um projeto financiado pela UNESCO no Sul da Ásia, as jovens pobres atingiram um ponto
de autonomização tal que começaram a reivindicar o direito de escolherem o próprio marido
e, por conseguinte, acabaram sendo banidas por terem desobedecido a códigos de conduta
tradicionais. Se este tipo de eventualidade for considerado no início do projeto, talvez possam ser
moderadas quaisquer eventuais repercussões negativas e dar o devido apoio a todos os membros
da comunidade durante a subsequente transição.
32
3.4.5 Pressupostos ser realizado no princípio do projeto e ser
submetido a revisões periódicas, ocasiões em
que os pressupostos iniciais passariam por
uma reavaliação e as razões das eventuais
mudanças seriam analisadas.
3.4.6 Ligações
As flechas são utilizadas para explicitar
como as várias partes do modelo se inter-
relacionam. As conexões podem ser verticais
ou horizontais, unidirecionais ou bidirecionais;
Pressupostos e mostrar laços de feedback.
33
são realistas e legítimos? Existem evidências e • os participantes e os beneficiários;
pesquisas que sustentam os pressupostos? • a equipe e os recursos disponíveis.
Os produtos são aquilo que fazemos, já os resultados e o impacto são as consequências que advêm
daí.
Resultados – Impacto
Produtos Curto prazo Médio prazo Longo prazo
Atividades Participação
O que são os O que são os O que são os
O que fazemos Quem resultados de resultados de resultados de
Oficinas alcançamos curto prazo médio prazo longo prazo
Reuniões Participantes
Entrega de Aprendizagem Ação Condições
Clientes
serviços Agências Conscientização Comportamento Sociais
Desenvolvimento Decisores
de produtos, Conhecimento Prática Econômicas
Consumidores
currículos, Atitudes Tomada de Cívicas
recursos decisão
Treinamentos Habilidades Ambientais
Aconselhamento Opiniões Políticas
Facilitação Ação social
Parceria Aspirações
Trabalho com a Motivações
mídia
34
Alguns modelos lógicos separam as atividades 3.4.10 Exemplo de ligações de
dos produtos, colocando-as antes deles. um programa educativo para a
Nesses casos, os produtos costumam ser redução do uso de drogas:
designados como realização da atividade, por
exemplo, as oficinas que foram organizadas
ou os indivíduos que ouviram uma mensagem INSUMOS
num meio de comunicação. O pressuposto
é que a atividade deve ser executada como Formação de pessoal sobre o problema
planejado antes de ocorrerem os resultados das drogas
esperados.
Oficinas para o pessoal e o grupo alvo
3.4.9 Teoria da Ação para concluir o programa e o conteúdo
da formação
3
Um modelo lógico mostra as conexões ou
relações que devem levar aos resultados
pretendidos com o passar do tempo. Trata-
se basicamente de um arcabouço ou de uma
ferramenta de planejamento, mas que conta
com uma série de pressupostos lógicos que PRODUTOS
constituem a base do trabalho. Esse quadro é
designado como Teoria da Ação (Patton, 1997) Realização de oficinas para os envolvidos
ou Teoria da Mudança (Weiss, 1998).
35
Exemplos de fatores que podem influenciar o comportamento
de consumo de drogas
Quando se estabelece esse tipo de conexões, que mostram claramente os fatores que podem
influenciar os resultados (muito dos quais podem fugir ao controle imediato do processo), fica mais
fácil inserir o projeto num contexto realista.
Baixa
autoestima
Nível Acesso a
de atividades
conhecimento sociais e
de lazer
Comportamento
de consumo
de drogas
Nível do
Comportamento auxílio
dos pares social
Facilidade
do acesso às
drogas
36
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
37
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
38
Sumeçãomodelo
4 Como criar
lógico
4
1o passo: Defina o propósito do modelo 40
2o passo: Envolva outras pessoas 40
3o passo: Estabeleça os limites 40
4o passo: Entenda a situação 40
5o passo: Faça um relatório da situação 40
6o passo: Consulte pesquisas e estudos existentes 42
7o passo: Comece a preencher as caixas de texto 42
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
39
O desenvolvimento do modelo lógico é um 2o passo: Envolva
processo.
outras pessoas
• São necessários tempo e treino para usar
modelos lógicos de modo eficaz. A melhor • Quem deve participar?
maneira de aprender é praticar, por
exemplo, neste site interativo (em inglês) • Quem pode contribuir?
que propõe ótimos exercícios: www.uwex.
edu/ces/lmcourse. O módulo de autoestudo
é bastante útil e apresenta o método passo
a passo e de modo claro, além de propor
várias atividades práticas. 3o passo: Estabeleça os
• A elaboração do modelo lógico – e não o
limites
produto acabado – é a fase mais importante • O que o modelo lógico retratará? Uma
de todo o processo, pois é ela que dá o atividade simples e bem especificada (por
entendimento, o consenso e a clareza que exemplo, um espetáculo de fantoches
são imprescindíveis para o sucesso do para ensinar sobre a AIDS num ambiente
programa. específico)? Ou uma iniciativa mais abrangente
que envolve várias atividades distintas, mas
• O modelo lógico pode ser ajustado e complementares (por exemplo, uma série de
modificado várias vezes, por isso convém espetáculos de fantoches paralelamente à
que ele fique exposto num lugar visível, por distribuição de panfletos e a programas de
exemplo, pregado numa parede, para que se apoio junto à comunidade durante alguns
façam as devidas alterações e correções à meses)?
medida que o projeto avança. Modificando-
se o modelo já desde o início da dinâmica do • Qual é o nível de detalhamento necessário?
projeto, aprende-se muito sobre o programa.
• Quem utilizará o modelo? De que maneira?
Guia rápido
4o passo: Entenda a
situação
1o passo: Defina o As informações necessárias podem ser
propósito do modelo obtidas na avaliação das necessidades
descrita na Seção 2.3.
• Por que você quer elaborar um modelo
lógico?
• Certifique-se de que todos os que • Por que é um problema? Quais são as suas
trabalham no modelo entendem a sua causas?
importância.
• Quem (indivíduos, famílias, grupos,
comunidade, sociedade em geral) é afetado
pelo problema e em que nível?
40
• Quem se importa com o problema? Quem se importa se ele será resolvido ou não?
• O que se sabe sobre o problema e as pessoas envolvidas? Você tem experiência e dispõe de
material (pesquisas, estudos) sobre a questão?
– Por que os jovens estão consumindo drogas? Quais são os benefícios percebidos de tal
comportamento? (Por exemplo, os benefícios percebidos podem ser o sentimento de vinculação a
um grupo ou a prazerosa sensação proporcionada pelas drogas.)
– Quais grupos (jovens, pais, família, atendentes, escola) são afetados pelas drogas? (Isso
ajudará a saber quem são aqueles que têm interesse na mudança do comportamento e que
poderão eventualmente se envolver no programa.)
4
– Considere o impacto sob diferentes perspectivas: social, psicológica, econômica.
– Para que todas essas questões sejam respondidas por completo, é importante falar
diretamente com as partes interessadas da comunidade, inclusive com o grupo alvo, que no
caso são os jovens consumidores de drogas, assim como reunir evidências de outras fontes.
Os métodos de coleta de dados compreendem discussões com coordenadores de programas
semelhantes, contatos com outros profissionais, revisões de artigos publicados ou de relatórios
de avaliação, etc.
41
6o passo: Consulte • Qual é o seu objetivo final?
P
S R De que O que temos Quem Quais são os Quais são os Qual é o
I I recursos de fazer deve ser prerrequisitos prerrequisitos principal
O
T R precisamos? para que os alcançado para que os para que objetivo final?
U I indivíduos/ para que os resultados o principal
A D grupos resultados de médio objetivo seja
Ç A consigam de curto prazo sejam atingido?
D
à E atingir os prazo sejam atingidos?
O S resultados de atingidos?
curto prazo?
“Implementar à frente”
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
42
Convém prever um ou mais dias para Lembre-se!
encontrar o maior número possível de
participantes do projeto, assim como outros • Não há uma maneira certa e uma errada
interessados. Esse processo toma tempo, de fazer um modelo lógico. Tente encontrar o
mas vale a pena. É importante munir-se de processo que melhor atenda às suas próprias
uma grande folha de papel, alguns pedaços necessidades e às do grupo.
pequenos de papel para anotações, canetas
marcadoras de texto de cores variadas, fita • O ponto recomendado para começar um
adesiva e clipes para prender as listas e planejamento é pelo final.
os diagramas à medida que as ideias vão
surgindo. Faça círculos grandes na página • O modelo lógico é dinâmico e deve mudar
e nomeie cada um deles com os principais em função das mudanças do programa, do
componentes do projeto que você deseja ambiente e das pessoas.
explorar. Aqui estão algumas ideias:
• Defina “ciclos de reflexão” periódicos para a
1. visão/intenções revisão do modelo lógico.
5. resultados
que devem trabalhar em conjunto para
debater os pressupostos subjacentes, as
expectativas e as condições que conduzirão
ao sucesso. Nunca se esqueça de que
4
6. avaliações dentre todos os envolvidos no projeto – os
financiadores, a equipe de trabalho, as
7. pressupostos ONGs locais, organizações, o governo local,
a população alvo – é esta última a mais
Todos os círculos deverão ser conectados importante.
direta ou indiretamente com todos os demais.
Cabe a você estabelecer essas conexões. À
medida que for refletindo e discutindo, anote
as informações no diagrama.
43
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
44
Se defi
eção 5 Como estruturar
nir a sua avaliação
5.1
5.2
5.3
Onde a avaliação se encaixa no modelo?
Como os modelos lógicos ajudam na avaliação?
O que é avaliar?
46
46
46
5
5.4 A que a avaliação tenta responder? 47
5.5 Exemplo de um modelo lógico com perguntas 49
5.6 Como saber se os objetivos foram cumpridos? 49
5.7 Timing, agendamento e coleta de dados 51
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
45
5.1 Onde a avaliação se 5.2 Como os modelos
encaixa no modelo? lógicos ajudam na
O modelo lógico descreve o seu programa ou a
avaliação?
sua iniciativa, o que se espera atingir e como. Talvez você esteja se questionando: “por que
A avaliação ajuda a saber de que maneira o perder tanto tempo com os modelos lógicos,
programa ou a iniciativa realmente trabalham. se tudo o que eu quero é avaliar, medir
O que funcionou, o que não funcionou e por resultados e contar a minha história?” Neste
quê? O que se pode fazer para melhorar? caso, pense no seguinte:
Pense como a avaliação pode ser integrada a • Para organizar uma avaliação capaz de
todo o seu modelo lógico como descrito acima. testar a teoria do programa, é preciso ter uma
ideia clara do pensamento teórico subjacente
à iniciativa (Weiss, 1998). O modelo lógico
estimula esse tipo de questionamento.
O que exatamente você quer avaliar? O foco da avaliação é o programa inteiro ou um componente
do programa? Pode ser, por exemplo, que você queira focalizar uma campanha de mídia do seu
programa ou um grupo alvo específico.
Os programas costumam ser complexos. É perfeitamente normal que você não disponha de meios
ou até mesmo que nem tenha a necessidade de examinar tudo. Use o modelo lógico para selecionar
um aspecto, um componente ou partes específicas, ou mesmo a profundidade com que deseja
avaliar.
46
O que é importante medir? Em que
5.4 A que a avaliação se deve gastar tempo e recursos?
tenta responder? Principais aspectos a considerar nos
questionários de avaliação:
“O importante não é parar de fazer • Não raro a avaliação assume vida própria.
perguntas. A curiosidade tem Há sempre a tentação de pensar que
precisamos cada vez mais de dados. Convém,
a sua própria razão de ser.” entretanto, manter a avaliação focalizada e o
mais simples possível para não correr o risco
Albert Einstein de levantar informações demais e não saber
o que fazer com elas no final. Por exemplo, se
você estiver avaliando um programa educativo
sobre a AIDS, certifique-se de que os dados
que você coletar estejam de fato relacionados
Avaliar nada mais é do que levantar com um conjunto de objetivos bem específicos
questionamentos que nos ajudarão a aprender sobre o conhecimento, as atitudes e os
e a tornar-nos responsáveis. A identificação comportamentos ligados à doença. É tentador
das perguntas pertinentes é um importante querer incluir, por exemplo, informações
aspecto da criação de avaliações eficazes. sobre dieta, consumo de drogas e participação
em grupos, mas isso só tenderá a complicar a
análise final.
5
O doador sugere medir as mudanças
nas redes comunitárias em 40 regiões e
cruzar as informações com a participação
dos homens no nosso projeto de geração
de renda. Assim teremos uma medida
perfeita.
ta...
de bicicle
com o meu
salariozinho
...
M&A
47
• A decisão do que medir depende de quem focalizar os seus esforços. Perguntas
usará os resultados e para qual finalidade, demasiadamente amplas ou vagas tendem
sem contar a influência de fatores como a gerar respostas igualmente vagas difíceis
tempo, dinheiro e perícia. de interpretar ou de pouca utilidade para
as futuras tomadas de decisão. “Você
• Além dos resultados que você almeja teve alguma vantagem por ter assistido à
alcançar, lembre-se que também apresentação sobre o uso inadequado de
é fundamental medir os resultados drogas?” é um exemplo de pergunta ampla.
inesperados, isto é, coisas que não esperamos Essa pergunta pode ser subdividida em
acontecerem. Às vezes ocorrem mudanças perguntas menores e mais específicas, como,
que não são vistas como positivas. É tão por exemplo:
importante identificar essas mudanças quanto
as que foram benéficas (ver a Seção 3.4.4). “A percepção que você tinha das pessoas que
consomem drogas mudou? Como?”
Não se esqueça de que a avaliação deve
se adequar à fase de desenvolvimento do “Você acha que um indivíduo deve ser
programa. Por exemplo: culpabilizado por consumir drogas?”
• Talvez não seja apropriado avaliar “O seu comportamento mudou ou vai mudar
mudanças comportamentais quando o por ter assistido ao curso?”
programa só consiste em uma simples
oficina ou uma pequena campanha nos meios “Você aprendeu novas estratégias para
de comunicação. Não faria sentido tentar conseguir mudar de comportamento?”
medir mudanças de autoestima em quem só
participou de uma sessão de orientação para “Você aprendeu algo mais nesse curso?” (Isso
pais ou só assistiu a uma única apresentação pode não estar relacionado com curso sobre
educativa de teatro de fantoches. drogas.)
48
5.5 Exemplo de um modelo lógico com perguntas
O modelo lógico pode ajudar a determinar as questões adequadas à sua avaliação.
Os pais
Definir o aumentam
currículo do seus conheci-
S P mentos sobre
R curso para pais desenvolvi-
I I mento infantil
Pessoal Taxas reduzidas
T O de abusos e
U R Os pais usam maus tratos a
Dinheiro Os pais alvo
A
I as habilidades crianças dentre
D participam os participan-
Ç Ministrar seis aprimoradas
A Parceiros tes
D sessões de
Ã
E treinamento
O S interativas com Os pais
apostilas aprendem
novas maneiras
de disciplina
Os pressupostos estão corretos? Houve eventos locais dos quais os pais não
• Os pais estão participando como previsto? puderam participar?
• A mudança de conhecimento levou a uma
mudança de comportamento?
5
5.6 Como saber se os objetivos foram cumpridos?
O indicador é a evidência ou informação que representa o fenômeno sobre o qual se está
questionando. Por exemplo:
Os indicadores podem ajudar tanto a avaliar avaliações devem sempre utilizar uma
o progresso em andamento do projeto combinação de indicadores de processo e
(indicadores de processo) como a verificar indicadores de resultado.
se os resultados esperados foram ou não
alcançados (indicadores de resultado). Os Os indicadores de processo referem-se ao
indicadores definem os dados que serão andamento do projeto e podem incluir:
coletados e devem estar diretamente
relacionados com os principais objetivos do • o número de pessoas que participam dos
projeto. Eles podem ser vistos (observação), eventos do projeto;
ouvidos (resposta de um participante), lidos
(registros de uma agência), sentidos (clima da • a conclusão de infraestruturas relacionadas
reunião) ou mesmo percebidos pelo tato ou com o projeto (prédios, publicações,
pelo olfato. São as evidências que respondem espetáculos, treinamentos, etc.);
as perguntas.
• o nível de conscientização da comunidade e
Alguns indicadores são bastante óbvios a resposta às iniciativas em andamento.
e fáceis de medir, outros nem tanto. As
49
Exemplos de indicadores de resultados de • aumento do conhecimento sobre os efeitos
curto prazo de um programa educativo para colaterais das drogas;
a redução do uso de drogas:
• mudanças no comportamento informado de
• aumento do conhecimento do impacto do consumo de drogas;
consumo de drogas na saúde;
• maior participação de atividades sociais,
• aumento da confiança para encontrar econômicas e educativas devido à redução do
estratégias alternativas ao consumo de consumo de drogas.
drogas.
Os indicadores de envolvimento da
Exemplos de indicadores de resultados de comunidade podem incluir medidas tais como
longo prazo: o número de grupos de autoajuda na área,
o número de participantes de uma reunião
• redução do comportamento de consumo de comunitária, etc.
drogas;
Convém salientar que os indicadores só
• melhoria das condições de saúde; devem ser coletados se tiverem relevância
para o projeto. Por exemplo, só vale a pena
• maior integração na comunidade. contar o número de pessoas que assistem a
uma apresentação de teatro de fantoches se
Essas mesmas considerações aplicam- esse evento tiver algum impacto significativo,
se quando se lida com a transmissão do como uma mudança de conhecimento ou de
HIV, daí a importância de estabelecer a comportamento dos indivíduos contados. A
distinção entre indicadores de curto prazo coleta de dados cuja importância é ignorada
e indicadores de longo prazo. As mudanças acaba transformando-se em um fardo que
de indicadores de longo prazo, tais como a poderá levar a complicações.
incidência de infecção por HIV, não ficam
evidentes na escala temporal de intervenções No que diz respeito a indicadores mais
comunitárias de curto prazo – sem contar abstratos, tais como autonomização e
que são extremamente difíceis de medir. É de liberdade de escolha, deve-se procurar
suma relevância monitorar não só a incidência estabelecer parâmetros em vez de medidas
do HIV, mas também é preciso estar ciente científicas mais bem definidas. Por exemplo,
do possível impacto da intervenção planejada. para avaliar o nível de autonomização,
Por essa razão, a identificação de indicadores talvez seja melhor começar investigando
de curto prazo realistas é crucial para uma o porquê da relevância da autonomização
avaliação eficaz. No caso de projetos que em relação aos objetivos do projeto. Em um
visem à redução da transmissão do HIV, os projeto educativo antidrogas, seria o caso de
possíveis indicadores de curto e médio prazos incluir o poder de decisão dos indivíduos de
podem incluir: participarem de outras atividades de lazer,
de evitarem encontrar-se com consumidores
• mudanças da percepção em relação a de drogas ou de mudarem os hábitos de
pessoas com o HIV; consumo, optando por substâncias menos
nocivas. Quando se determinam o nível de
• aumento do conhecimento sobre a confiança e a frequência de mudanças de
transmissão do HIV; comportamento como essas, obtém-se
uma medição adequada da autonomização.
• número de pessoas que realizam testes de É preciso acima de tudo ser realista com
HIV nas clínicas locais; relação ao que se deseja fazer! Várias
técnicas podem ser empregadas para cruzar
• número de pessoas que usam preservativo informações (triangulação) para descobrir que
nas relações sexuais. diferença o projeto fez para as vidas dos seus
beneficiários.
Além disso, há outros exemplos de indicadores
de curto e médio prazos: Em suma, os indicadores devem ser:
50
TRE RE
AUTONOINAMENTO SOB
MIZAÇÃO DO GÊNERO
• adequados,
• culturalmente apropriados e
levantamento, se no meio do programa ou em
algum momento após a sua conclusão.
Para efeito de treino, com referência ao conteúdo e à estrutura da sua avaliação, você pode
começar a preencher o plano de avaliação disponível no Anexo 5.
51
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
52
Sferramentas
eção 6 Técnicas e
de pesquisa
53
“Até seria possível explicar tudo cientificamente, mas não faria o menor sentido;
seria como descrever uma sinfonia de Beethoven
como variações de ondas de pressão.”
Albert Einstein
54
6.3 Formulários de coleta de dados
6
– grupos de discussão
Ensaios controlados
Texto escrito: – aleatórios
– diários – quase experimentais
– arquivos (por exemplo, dos serviços
de saúde) Dados de arquivos
(secundários)
Análise da mídia: – análise mais aprofundada
– imprensa das estatísticas disponíveis
– imagens e fotografias
– vídeos Observações
– contagens (por exemplo, de
Observações: pacientes)
– participantes
– não participantes
Técnicas:
– respostas aos estímulos
apresentados
– associação de palavras
– jogos de interpretação de
personagens
55
6.4 Pesquisa entre grupos que provavelmente não tenham
ocorrido por acaso.
quantitativa
No entanto, os resultados dependem da
A pesquisa quantitativa envolve a coleta própria definição das categorias de respostas
sistemática de evidências que podem ser estabelecidas pelo pesquisador, não havendo,
contadas e codificadas numericamente. portanto, margem para desvendar detalhes
O método explora teorias e hipóteses das vidas das pessoas ou captar informações
de relações entre fenômenos naturais. inesperadas. Por exemplo, uma sondagem
As técnicas quantitativas tendem a usar sobre o consumo de drogas pode formular
instrumentos estruturados, facilitando a a pergunta “quantas vezes por semana você
coleta, a análise e a replicação das pesquisas. consome drogas ilegais?”, que fornecerá
Com um grande número de observações dados quantitativos básicos, mas não dará
é possível levantar dados estatísticos que qualquer tipo de insight mais profundo sobre
permitem generalizações. as pressões culturais, sociais ou psicológicas
que levam ao uso de entorpecentes. Neste
Tradicionalmente a pesquisa quantitativa é contexto, nem sempre é fácil lidar com
considerada mais científica e objetiva do que conceitos ambíguos ou mesmo compreender
a qualitativa, gozando assim de mais prestígio certos termos – por exemplo, “o que vem a
perante as agências de financiamento. A ser uma droga ilegal?”
tendência de exigir evidências quantitativas
para demonstrar eficiência tem colocado uma
pressão enorme nas pequenas organizações,
que nem sempre dispõem dos meios técnicos
para reunir as evidências necessárias. 6.5 Amostras
A pesquisa quantitativa também costuma Em vez de consultar toda a população, é
requerer recursos (financeiros e humanos) mais eficiente interrogar uma amostra
que vão além da capacidade dos pequenos representativa das pessoas afetadas pelo
projetos comunitários. Em alguns casos, projeto. Desde que os números sejam
dados já existentes de sondagens nacionais suficientemente elevados (neste caso,
ou regionais podem ser de grande valia aconselha-se consultar um profissional de
para o desenvolvimento do projeto. Além estatística para saber dos critérios), é possível
disso, dados levantados sobre a AIDS junto fazer generalizações que cubram toda a
a famílias, sondagens comportamentais ou população do projeto.
órgãos de vigilância podem, por exemplo,
destacar variações por área geográfica ou por As decisões neste caso dependerão do
grupos de população mais em risco. propósito da avaliação, das perguntas
formuladas e do tamanho da população
utilizada para a coleta de informações.4
O que é pesquisa quantitativa
e quando deve ser utilizada?
Os dados quantitativos são ideais para
dar um panorama geral de uma situação, 6.6 Pesquisa
principalmente quando há uma amostra
relativamente grande de pessoas. A pergunta
qualitativa
chave é “quanto?”. Os exemplos mais comuns Esta modalidade envolve a análise de dados
de métodos de pesquisa quantitativa são os não numéricos, tais como transcrições
estudos experimentais, tais como sondagens de entrevistas, artigos da imprensa ou
e ensaios controlados de maneira aleatória. observações de pesquisadores, e formula
Todas as respostas são números absolutos, perguntas do tipo “o quê?”, “como?” e “por
como unidades de álcool consumidas, ou quê?”. O método costuma ser empregado
códigos numéricos, em que, por exemplo,
“sim” e “não” são codificados como 1 e 2,
respectivamente. A partir daí é possível 4 Para mais informações sobre como selecionar uma
calcular porcentagens para cada resposta e, amostra adequada, consulte estes links: www.mis.
no caso de a amostra ser suficientemente coventry.ac.uk/~nhunt/meths
www.socialresearchmethods.net/kb/sampprob
grande, determinar se existem diferenças
56
quando o pesquisador deseja ir além da superfície e explorar respostas que não são previsíveis nem
fáceis de categorizar. A pesquisa qualitativa interessa-se menos pela maneira que as pessoas são
classificadas em grupos e mais pelas respostas “espontâneas”, que, após análise, podem revelar
padrões ou até mesmo contradições nos dados. A participação dos beneficiários é primordial, tanto
na coleta como na análise dos dados. É interessante explorar métodos inovadores que possam ser
utilizados para colher dados e interpretar as conclusões.
O
CEN
6
Qual foi a porcentagem de aumento de
cenouras que você trouxe no mercado
este ano em relação ao ano anterior?
OURAS
CEN
57
6.7 Técnicas • Oficinas de avaliação e reuniões de
revisão: Trata-se de reuniões especiais para
de pesquisa qualitativa estimular o feedback dos participantes do
projeto em que se podem utilizar técnicas
• Entrevistas em profundidade: Podem semelhantes às empregadas nos grupos de
ser realizadas por pessoas que tiveram discussão.
um envolvimento próximo com o projeto e
têm bons insights: componentes da equipe,
membros das organizações parceiras ou
participantes do projeto. O Anexo 6 dá mais
informações sobre como realizar entrevistas 6.8 Ferramentas
em profundidade. de pesquisa
• Grupos de discussão e mesas-redondas: Em geral, para efetuar uma coleta de dados,
Os grupos de discussão reúnem entre costuma-se utilizar alguma espécie de
quatro e oito pessoas que em geral têm uma formulário ou instrumento para compilar
característica em comum (por exemplo, as informações, como folha de registro,
podem ser todos usuários de drogas ou pais questionário, protocolo de observação,
de usuários, conforme o enfoque do projeto). filmadora ou gravador. Pense no método de
O grupo costuma debater sobre temas de coleta de dados escolhido e decida o que
relevância para a avaliação. Técnicas para é necessário para registrar a informação.
provocar discussão (fotos, imagens, gravações, Na medida do possível, use somente
etc.) podem ser úteis. instrumentos testados e validados.
• Estudos de caso: Exploram alguns Caso você tenha desenvolvido o seu próprio
exemplos em detalhe. Escolha aqueles que instrumento, certifique-se de que é:
melhor ilustrem os seus principais objetivos.
• capaz de salvaguardar as suas informações;
• Observações: Observe, por exemplo, a • bem compreendido pelo respondente e pela
dinâmica dos grupos. Quem frequenta as pessoa que irá efetuar o registro;
reuniões? Que tipo de pergunta é feito? Quem • simples e fácil de usar;
está envolvido? Há uma boa representação da • culturalmente sensível e de acordo com as
comunidade? normas éticas vigentes;
• suscetível de reduzir os problemas
• Portfólios: Veja exemplos de trabalhos que potenciais.
foram produzidos.
Antes de utilizar o instrumento no projeto,
• Informes jornalísticos: Reúna e revise teste-o com pessoas semelhantes aos
informes jornalísticos relevantes. respondentes e àqueles que efetuarão o
registro. Esta operação é conhecida como
• Diários: Peça às pessoas que mantenham “piloto”.
diários sobre as atividades relativas ao projeto
e seu envolvimento nelas.
58
6.9 Resumo: um plano de avaliação completa
I II III IV
Foco da avaliação Coleta de Análise das Reflexão sobre como
informações informações usar as informações
Perguntas:
O que você quer Reflita sobre: análise Divulgar e
saber? interpretação compartilhar as
fontes lições aprendidas
Indicadores métodos (qualitativos, (não só as boas, mas
Como você saberá? quantitativos, as más também)
participativos)
Quem fará a timing Para quem? Quando?
avaliação? Torne-a amostras Como?
participativa! instrumentos
Não complique!
• A avaliação deve ser simples e direta. Focalize em “o que eu preciso saber?”, “quem usará as
informações?” e “para quê?”
• Esta discussão é meramente introdutória. Nossa intenção é mostrar como o modelo lógico ajuda
no processo de avaliação. Existem muitas outras fontes que aprofundam a questão e abordam os
aspectos técnicos da avaliação (ver bibliografia na Seção 9).
• O modelo lógico não é um modelo de avaliação, mas sim uma ferramenta que fornece um
arcabouço coerente que serve de guia para o processo de avaliação. Este modelo facilita uma
avaliação eficaz ajudando-nos a:
– saber quais informações coletar para responder as perguntas da avaliação (os indicadores);
6
– decidir quando coletar os dados;
59
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
60
Sparticipativa
eção 7 Avaliação
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
61
É óbvio que...
se distribuirmos ... a gente vai poder fazer
preservativos balões de água!!!
gratuitamente...
62
• Diagramas de Venn: Estes diagramas 7.2 Aspectos relevantes
constituem uma maneira bastante eficaz de
mostrar as relações entre grupos, indivíduos e • Os métodos participativos não excluem
instituições. outros tipos de metodologia. Na verdade,
os melhores resultados costumam ser
• Fluxogramas: Os fluxogramas associam as alcançados quando se aplicam diferentes
mudanças a uma causa percebida, além de técnicas de avaliação.
demonstrarem o impacto dessas mudanças.
• Nem todos os beneficiários e demais
• Diários: Se atualizados com a devida partes interessadas vão querer se envolver no
regularidade, os diários constituem uma processo de M&AP. Para participar, é preciso
ferramenta útil para descrever as mudanças nas dedicar tempo e energia e nem todos têm o
vidas dos indivíduos e dos grupos. preparo ou as condições para tal.
• Fotografias: São excelentes para iniciar • O processo de M&AP pode ser associado
discussões e uma ótima maneira de documentar à Teoria da Construção do Conhecimento,
as mudanças com o passar do tempo. É segundo a qual a aprendizagem não se
importante pensar em também tirar fotos antes limita a afetar os indivíduos, mas sim toda
do início do projeto e após a sua conclusão. a comunidade. Scardamalia (2002) descreve
como o processo de investigação coletiva
• Arte: A arte é uma maneira natural e sobre um determinado tema pode resultar
espontânea de revelar as preocupações e em uma compreensão mais aprofundada
prioridades dos indivíduos e da comunidade. por meio de questões interativas, diálogos e
Alguns métodos, como jogos de interpretação de desenvolvimento contínuo de ideias. As ideias
personagens (role playing) e teatro de fantoches, são, portanto, o meio de operar em ambientes
costumam funcionar muito bem com crianças e de construção de conhecimento. O professor
jovens. assume o papel de orientador, e não de
condutor, e permite que os alunos assumam
A sequência das fases de um M&AP é bastante uma parte considerável da responsabilidade
similar à de outros métodos de pesquisa pela própria aprendizagem, participando
convencionais. O diagrama a seguir destaca as inclusive dos processos de planejamento,
etapas principais: execução e avaliação (Scardamalia, 2002).
7
informações necessárias deu uma contribuição (em geral modesta)
Definir os
métodos, as para um plano de pesquisa mais abrangente.
Coletar as responsa-
informações bilidades e os Em muitos casos, consultar os beneficiários
prazos da coleta
de informações e envolvê-los no processo de pesquisa é
uma reação espontânea que ocorre sem
Extraído do IDS Policy Briefing no 12, de novembro de 1998, p.3. planejamento prévio, podendo, portanto,
Disponível em www.ids.ac.uk/ids/bookshop/briefs/PB12.pdf realizar-se sem muitas formalidades.
Bertrand Russell
63
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
64
Se divulgação
eção 8 Análise
de dados
8
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
65
“Se você tiver uma maçã e eu tiver outra maçã, e nós as trocarmos,
cada um continuará com uma maçã. Mas, se você tiver uma ideia e eu tiver outra ideia,
e nós as trocarmos, aí cada um ficará com duas ideias.”
Uma vez coletados, os dados precisam ser um número considerável de dados, talvez
claramente tabulados para que as evidências convenha procurar orientação sobre a melhor
de fontes diversas possam ser reunidas maneira de armazená-los e tratá-los.
e comparadas. Ao examinar os dados as
principais questões a serem levantadas são as Em geral a análise de dados qualitativos
seguintes: costuma ser considerada mais subjetiva
do que a de dados quantitativos. O material
– As informações mostram que os objetivos coletado é rapidamente examinado e os pontos
foram atingidos? (Seja o mais específico chave são identificados. A seguir, os dados são
possível ao descrever como os resultados classificados de um modo mais rigoroso de
foram alcançados.) acordo com categorias predefinidas. A análise
do conteúdo consiste em revisar documentos
– Quais são os resultados do projeto? escritos (jornais, notas de observação,
(Considere tanto os resultados esperados sondagens com perguntas abertas) ou
como os inesperados, e da mesma forma os transcrições de gravações (de entrevistas ou
desejados e os indesejados.) grupos de discussão). À medida que o texto
é lido, atribui-se um código às áreas que
– Os dados destacam algum sucesso? representam conceitos relevantes, padrões
comuns entre os informantes ou respostas
– Existem áreas problemáticas que requeiram distintas dos diferentes subgrupos. Feito isso,
atenção particular? o texto é então classificado por categoria. As
categorias são definidas previamente, podendo
– Houve algum obstáculo à realização dos também surgir no decorrer do processo de
objetivos preestabelecidos? análise. A tecnologia ou os equipamentos
empregados não precisam ser sofisticados;
Se a avaliação tiver sido bem planejada e basta que eles consigam separar trechos de
a pesquisa tiver sido conduzida de modo textos, separá-los de acordo com o tema e a
apropriado, com objetivos claros, indicadores seguir dispô-los de uma maneira que facilite a
confiáveis e uma coleta de dados rigorosa, sua visualização.
a fase da análise poderá transcorrer sem
problemas. É preciso ter cautela ao lidar com dados
qualitativos, para não se fazerem afirmações
A análise de dados quantitativos tem de ser que contenham informações numéricas
precisa e estruturada. Se a quantidade de enganosas. Nem sempre é fácil resistir à
dados a serem tratados for considerável, a tentação de fazer afirmações do tipo “80%
perícia de um estatístico (em geral difícil de das pessoas pensam que as vacas se deitam
encontrar!) pode ser necessária. Mesmo que antes de uma tempestade”. Efetivamente, se
os dados demonstrem uma relação entre o a amostra total for pequena, por exemplo,
serviço prestado e um resultado particular, a dez pessoas, 80% equivale a somente oito
menos que o projeto tenha sido objeto de um pessoas, um número pouco significativo para
estudo experimental (com a comparação com que se possa inferir que o mesmo se verifica
outro local que não tenha recebido intervenção em amostras maiores. Como um número
e, portanto, sirva de controle), não se pode pequeno de respondentes em pesquisas
afirmar que o programa foi a causa direta dos qualitativas não tem significância estatística
resultados. para permitir inferências, convém evitar as
porcentagens, devendo-se preferir afirmações
Existem softwares especializados que podem menos comprometedoras, do estilo “na nossa
ajudar na análise tanto de dados quantitativos amostra, a maioria dos respondentes (8 de um
como qualitativos. Se a avaliação abranger total de 10) acha que….”
66
Quando se coletam dados de várias fontes Divulgação
distintas, não se deve deixar de atribuir o
devido peso a todas as evidências. Ademais, Após os resultados terem sido coletados e
os resultados devem registrar claramente analisados, é importante compartilhá-los com
o tamanho da amostra de entrevistados. Da o maior número de pessoas. Os participantes
mesma forma, os instrumentos utilizados e os financiadores do projeto têm grande
(questionários, formulários, etc.) devem ser interesse nessa informação e cabe aos
incluídos no relatório final do projeto. avaliadores transmitir-lhes os resultados
da maneira mais aberta e direta possível.
Dados quantitativos Efetivamente, é imprescindível fornecer
continuamente feedback sobre o andamento
Para obter informações sobre como efetuar do projeto, para que se façam melhorias em
sondagens e questionários quantitativos, todas as fases do ciclo do projeto (ver Seção
consulte: 2.1). Sejam eles positivos ou negativos, esses
resultados têm de ser divulgados para que as
International Fund for Agriculture and lições possam ser aprendidas e as adaptações
Development (IFAD). “A Guide for Project necessárias sejam efetuadas para aprimorar
Monitoring and Evaluation.” A parte mais o desempenho no futuro. Oficinas e reuniões
relevante é o Anexo D: “Methods for monitoring podem constituir um âmbito particularmente
and evaluation”. Disponível para download em: apropriado para a comunicação dos
www.ifad.org/evaluation/guide/index.htm resultados. Os websites, que constituem uma
ferramenta de enorme abrangência, também
Veja mais referências na bibliografia vêm sendo cada vez mais empregados nesse
comentada da Seção 9. sentido.
Re
PROJETO su
lta
do
S
LIÇÕES
S
do
ulta
Res
Re
su
lta
S
do
do
S
lta
8
su
Re
C o mCompartilhe
p a r t i l h e a so que
a p r eaprendeu.
ndizagems
67
Notas:
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
68
Sbibliografi
eção 9 Referências,
a comentada
e anexos
Referências 70
Bibliografia comentada 72
Anexo 1 – Ficha de comentários 76
Anexo 2 – Tipos de avaliação 77
Anexo 3 – Glossário 79
Anexo 4 – Gabarito do Modelo Lógico de Projeto 81
Anexo 5 – Plano de avaliação 82
Anexo 6 – Guia para entrevistas em profundidade 83
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
69 9
Referências
Beattie, A. (1995), Evaluation in community Scardamalia, M. (2002). Collective cognitive
development for health: An opportunity responsibility for the advancement of
for dialogue, Health Education Journal, knowledge. In B. Smith (Ed.), Liberal
vol. 54: 465–72. education in a knowledge society (pp. 67-
98). Chicago: Open Court.
Boyce, W. (1993), Evaluating participation in www.ikit.org/fulltext/2002CollectiveCog.pdf
community programs: An empowerment
paradigm, The Canadian Journal of Sinkler, P. (1999), Qualitative health promotion
Program Evaluation, 8:1, 89-102. research in context, não publicado, Health
Development Agency, Londres.
Bruce, N., Springett, J., Hotchkiss, J., Scott-
Samuel, A. (eds) (1995), Research and Springett (1998), Practical guidance on
Change in Urban Community Health, evaluating health promotion, Copenhague,
Avebury. World Health Organisation.
Core Initiative (maio de 2006), Project Cycle Taylor, J. (2000), So now they are going to
Management: Community Based measure empowerment, Community
Organisation (CBO) Training Toolkit. Development Resource Association.
www.cdra.org.za/articles/So%20
Institute of Development Studies (1998), now%20they%20are%20going%20to%20
Participatory monitoring and evaluation: measure%20empowerment!%20-%20
Learning from change, Policy Briefing 12. by%20James%20Taylor.htm
www.ids.ac.uk/ids/bookshop/brief12.html
Monitoring the Declaration of Commitment on
J. Rowntree Foundation (2005), Evaluating HIV and AIDS: Guidelines on Construction
community projects. A practical guide. of Core Indicators. Relatório de 2008.
The Joseph Rowntree Foundation. Genebra, UNAIDS (2007)
www.jrf.org.uk
National AIDS Programmes: A Guide to
Ottawa Charter for Health Promotion. First Monitoring and Evaluation. Genebra,
International Conference on Health UNAIDS (2000)
Promotion (1986), WHO/HER/HEP.
www.who.int/hpr/NPH/docs/ottawa_ Responding to HIV and AIDS. Measuring
charter_hp.pdf Results: The Answer Lies Within. Nova
York: UNDP. (2005).
Patton, M. (1997), Utilization-focused
evaluation (3ª edição), Thousand Oaks, A participatory handbook for youth drug abuse
CA, Sage. prevention programmes. A guide for
development and improvement, Nova York,
Rehle,T., Saidel, T., Mganani, R. (eds) (2006) United Nations. UNODC Viena. (2002).
Evaluating programs for HIV and AIDS www.unodc.org/pdf/youthnet/handbook.pdf
prevention and care in developing
countries. Family Health International United Nations Office for Drug Control
www.fhi.org and Crime Prevention, WHO (2006)
- Monitoring and Evaluating - Youth
Rootman, I., Goodstadt, M., Potvin, L., Substance Abuse Prevention Programmes
Springett, J. (1997), Toward a framework Viena www.unodc.org/pdf/youthnet/action/
for health promotion evaluation, planning/m&e_E.pdf
Copenhague, World Health Organization.
University of Wisconsin, “Program
Save the Children Fund (UK), (2003), Toolkits: Development and Evaluation”.
A practical guide to monitoring, evaluation www.uwex.edu/ces/pdande/evaluation/
and impact assessment, Gosling, L. evallogicmodel.html
70
Evaluation handbook. W. K. Kellogg Foundation Wallace, T (2006) Evaluating Stepping Stones:
USA (1998). A review of existing evaluations and
ideas for future M&E work Action Aid
Logic model development guide, Kellogg International.
Foundation, USA. (2003), www.comminit.com/en/node/265544
Evaluation in health promotion. Principles Webb, D., Elliott, L (2002) Learning to Live:
and perspectives Edited by Rootman, .I., Monitoring and evaluation in HIV/AIDS
Goodstadt, M., Hyndman,.B., McQueen, programmes for young people. Londres:
D., Potvin,.L. Springett,.J. e Ziglio,E. WHO Save the Children Fund.
Regional Office for Europe WHO (2006).
Weiss, C. (1998), Evaluation: Methods
WHO et al (2006) Monitoring and Evaluation for studying programs and policies.
Toolkit: HIV and AIDS, Tuberculosis and Englewood Cliffs, NJ, Prentice-Hall.
Malaria, 2a ed. Genebra.
www.who.int/hiv/pub/epidemiology/en/
me_toolkit_en.pdf
71 9
Bibliografia comentada
A lista a seguir focaliza a avaliação de Rehle,T., Saidel, T., Mganani, R. (eds)
programas comunitários de pequena escala, (2005). FHI - Evaluation Handbook. Evaluating
com ênfase nos métodos qualitativos e programs for HIV/AIDS prevention and care
participativos para avaliações internas. Não in developing countries. Este documento traz
é exaustiva. A maior parte das referências informações sobre como avaliar programas
citadas foram incluídas por serem claras e de prevenção da AIDS em países em
acessíveis por internet. Todos os websites desenvolvimento. www.fhi.org/en/HIVAIDS/
mencionados estavam em funcionamento pub/Archive/evalchap/
em outubro de 2010. A bibliografia deve ser
considerada como uma “obra em andamento” Green, L.W. and Kreuter, M.
que pode ser revista e ampliada. PRECEDE-PROCEED Model for health
promotion. Baseado na epidemiologia, na
administração de saúde e nas ciências
1. Recursos para avaliações sociais comportamentais e educacionais,
comunitárias de pequena o modelo enfatiza duas premissas: (1) a
saúde e os riscos de saúde apresentam
escala múltiplos fatores e, (2) por conseguinte,
os esforços para realizar mudanças
Action Aid. UK. Wallace, T. (2006), comportamentais, ambientais e sociais devem
Evaluating Stepping Stones: A review of ser multidimensionais, multissetoriais e
existing evaluations and ideas for future M&E participativos. www.lgreen.net/precede.htm
work Action Aid International. www.comminit.
com/en/node/265544 Horizon Research, Inc. Taking stock:
A practical guide to evaluating your own
Americorps. Project STAR. Disponibiliza programs (1997). Um guia prático de avaliação
para download capítulos que cobrem todas de programas dirigido a OBCs (organizações
as etapas de um projeto: planejamento, baseadas na comunidade), com informações
avaliação, análise e divulgação. O objetivo que podem ser aplicadas para auxiliar nas
do site é melhorar a qualidade e a coesão intervenções. O manual fornece informações
das avaliações, bem como aprimorar a úteis para melhorar o trabalho de concepção
capacidade de avaliação promovendo o uso de e realização de avaliações, sobretudo internas.
listas de controle para tarefas e abordagens As 97 páginas do guia estão disponíveis para
específicas. http://nationalserviceresources. download em www.horizon-research.com/
org/ publications/stock.pdf
72
necessários; logo, é melhor fazer um esforço de treinamento em M&A disponível somente
médio para realizar uma avaliação do que não em inglês. O site da UNDP também oferece
fazer avaliação alguma. Este documento dá uma série de outros recursos, além de links
orientações sobre a natureza do processo de para sites de parceiros. www.undp.org/eo/
avaliação e explica como realizar avaliações documents/HandBook/ME-HandBook.pdf
de um modo prático e realista. www.
managementhelp.org/evaluatn/fnl_eval. United Nations Office for Drug Control and
htm#anchor1575679YBrowser.HTML\Shell\ Crime Prevention (2002). Viena. A participatory
Open\Command handbook for youth drug abuse prevention
programmes. A guide for development and
Mc Namara, C. (1999). Basic guide to improvement, United Nations, Nova York.
outcomes-based evaluation for non-profit www.unodc.org/pdf/youthnet/handbook.pdf
organizations with very limited resources.
Este documento dá orientação básica sobre United States Aid Interventions Department
planejamento e implementação de um (USAID). Traz uma lista de vários recursos
processo de avaliação baseada em resultados para avaliações. www.dec.org/partners/
em ONGs. evalweb/
73 9
publicação traz explicações claras sobre obtenção, conversão e manipulação de dados,
os principais métodos de avaliação e seus além de fornecer sugestões de bibliografia
modelos teóricos subjacentes, enfatizando a sobre análise de dados. As entradas são
avaliação contextual e participativa baseada na acompanhadas de anotações sucintas. http://
comunidade. www.wkkf.org maltman.hmdc.harvard.edu/socsci.shtml
74
Este website tem excelentes informações trabalhos que podem ser lidos integralmente
sobre avaliações participativas: http://blds.ids. online. http://gsociology.icaap.org/methods/
ac.uk/
UK Evaluation Society. Divulga a teoria,
a prática, a compreensão e a utilização de
4. Sites de avaliação genérica avaliações, contribuindo para a popularização
do conhecimento e promovendo diálogos e
African Evaluation Society. Orientação debates intersetoriais e interdisciplinares.
para avaliações na África. Inclui normas www.evaluation.org.uk/
de qualidade, ética e outros valores, bem
como informações sobre conferências e Muitos países têm também sites sobre
treinamentos. www.afrea.org/home/index.cfm avaliação. Para obter informações locais,
utilize um mecanismo de busca como por
American Evaluation Association. exemplo, o Google, para pesquisa.
Organização internacional dedicada à
aplicação de tecnologias e avaliação de
programas e pessoal, entre outros.
www.eval.org
75 9
Anexo 1 – Ficha de comentários
Este guia é uma obra em andamento. Gostaríamos muito que você nos enviasse os seus
comentários para podermos melhorar a qualidade e a eficiência deste produto. Por favor, responda
este questionário e envie as suas respostas pelo correio para o endereço que aparece no final desta
página.
– Este guia foi útil para você? a) Sim, muito útil. b) Sim, relativamente útil. c) Não, não foi útil.
– Como você utilizou este guia? Favor especificar se utilizou somente algumas seções.
– Você utiliza outros materiais de apoio para monitorar e avaliar? Favor especificar.
– Você encontrou algo inadequado, absurdo ou difícil de entender? Em caso afirmativo, favor
informar o que e por quê?
– Outros comentários:
76
Anexo 2 – Tipos de avaliação
Tradicionalmente, os seguintes tipos de avaliação técnica são empregados, sozinhos ou em
combinação:
1. AVALIAÇÃO FINAL
A avaliação final é efetuada após a conclusão do programa, por exemplo, mediante uma
sondagem ou um questionário. É uma prática comum, mas é a menos confiável, pois não
há como saber quais eram as circunstâncias antes da aplicação do programa. Este tipo de
avaliação tende a focalizar os resultados e impactos da intervenção.
2. AVALIAÇÃO RETROSPECTIVA
Solicita-se aos participantes que relembrem ou ponderem a sua situação, os seus
conhecimentos, as suas atitudes, o seu comportamento, etc., anteriores ao programa.
Costuma ser utilizada no ensino e em programas de atendimento comunitário, mas
apresenta um caráter enviesado, pois está sujeita aos enganos de memória (vieses de
recordação).
4. AVALIAÇÃO IN PROCESSU
A coleta de informações ao longo do programa é uma maneira de identificar a associação
entre os eventos e os resultados. Podem-se coletar dados sobre as atividades e serviços,
assim como sobre o progresso dos participantes. Esta modalidade não costuma ser
empregada em projetos baseados em comunidades, talvez em razão do tempo e dos recursos
necessários para colher as informações.
6. ESTUDO DE CASO
O estudo de caso utiliza múltiplos recursos e métodos para dar uma compreensão
aprofundada e abrangente do programa. Os seus principais pontos positivos são justamente a
sua abrangência e a exploração das causas dos efeitos observados.
7. AVALIAÇÃO FORMATIVA
A avaliação formativa é realizada durante a fase de planejamento de uma intervenção
com o intuito de detectar e resolver problemas antes que o programa esteja totalmente
implementado, garantindo assim que este atenda às necessidades identificadas.
77 9
Os grupos de comparação referem-se àqueles que não são escolhidos aleatoriamente e pertencem
à mesma população. Quando a seleção é aleatória, esse tipo de grupo é denominado grupo de
controle. O propósito de um grupo de comparação é conferir segurança ao programa e garantir que
não foi outro fator que causou os efeitos observados. É fundamental que o grupo de comparação
seja similar ao grupo beneficiário do programa. No entanto, convém salientar que na vida real
isso é MUITO difícil de conseguir! Ademais, esse tipo de metodologia pode ser refutada por razões
éticas, pelo fato de poder aumentar as desigualdades e gerar rivalidades entre os grupos.
78
Anexo 3 – Glossário
Análise Trata-se da verificação de dados coletados que podem ser utilizados para
dar uma ideia do impacto e dos resultados do projeto. A análise deve
fornecer entendimento dos princípios em que o projeto operou, levar em
conta dados de diversas fontes e atribuir o devido peso às evidências.
79 9
elaboração de uma visão de conjunto coletando e analisando informações
de diferentes fontes.
Pesquisa quantitativa Esta modalidade baseia-se numa tradição mais positivista e empírica. Os
métodos de pesquisa costumam depender de medições precisas em geral
realizadas com sistemas de coleta de informações altamente estruturados
e controlados. A análise e a interpretação dos dados emprega técnicas
estatísticas para testar hipóteses de como as principais variáveis se
relacionam.
80
Anexo 4 – Gabarito do Modelo
Lógico de Projeto
(Mude as flechas e caixas de texto ou acrescente novas conforme a necessidade.)
Longo prazo
RESULTADOS
Médio prazo
Curto prazo
Participação
PRODUTOS
Atividades
INSUMOS
81 9
Anexo 5
Plano de avaliação
Foco
O que será avaliado? (Escolha o projeto inteiro ou um aspecto em particular.).
1. 1.a
2. 2. a
82
Anexo 6 – Guia para entrevistas
em profundidade
Os grupos de discussão e as entrevistas em profundidade devem criar um ambiente descontraído,
proporcionando o conforto necessário para criar o clima ideal. É preciso considerar como
as pessoas estão acomodadas, reduzir as perturbações potenciais e dispor a mobília e os
equipamentos com atenção.
Em vez de questionários, a pesquisa qualitativa emprega um guia de tópicos, que funciona como
um pequeno roteiro para a condução das discussões. O papel do pesquisador deve ser dirigir a
conversa, permitindo que os participantes falem livremente sobre o assunto, mas trazendo o debate
de volta ao tema em questão, se as conversas começarem a divagar muito. É sempre melhor
começar com perguntas que o entrevistado possa responder facilmente e a seguir ir introduzindo
tópicos mais complexos e delicados.
As pessoas em geral vêm para a entrevista sentindo-se um pouco ansiosas em relação àquilo que
as espera. É importante explicar claramente já no início quais são os objetivos da entrevista, que
tipo de informação se está buscando e que uso será feito dela. Também é preciso deixar claro que
não existem respostas certas ou erradas. Todo participante deve ter oportunidade de falar durante
os primeiros minutos da discussão para evitar que a ansiedade aumente.
Convém também que o entrevistador deixe claro que é imparcial e que não tem qualquer tipo de
interesse nos resultados. Os entrevistados costumam apresentar mais dificuldade em expressar os
seus verdadeiros sentimentos sobre um determinado serviço ou produto se, por exemplo, estiverem
sendo entrevistados por um representante da empresa que os fornece.
É quase sempre preferível gravar e transcrever as entrevistas. Isso permite que o moderador se
concentre em coordenar a entrevista e não em ficar tomando notas; assim, nada será perdido
e todos os detalhes poderão ser acompanhados. Obviamente, os participantes devem dar o seu
consentimento para que a entrevista possa ser gravada. Em geral as pessoas concordam se tiverem
a certeza de que a gravação só será utilizada para efeito de análise por parte dos pesquisadores
e que não correrão o risco de acordar no dia seguinte e ouvir as suas vozes num programa de
rádio matinal. É de vital importância utilizar equipamentos previamente testados e com os quais o
entrevistador esteja familiarizado. Recomenda-se usar pilhas ou baterias novas, pois nem sempre
é possível perceber quando o aparelho para de funcionar no meio da entrevista. Além disso, se
o entrevistador tiver de ficar verificando o tempo todo se o gravador está funcionando, isso pode
distrair os participantes. Convém lembrar que a transcrição pode tomar muito tempo.
Material de estímulo
Um material de estímulo é qualquer material introduzido no decorrer (ou antes) da entrevista, com
o intuito de gerar discussão. Pode ser, por exemplo, uma foto, um artigo de jornal, um objeto ou até
mesmo uma história.
Uma prática bastante comum costuma ser apresentar aos entrevistados uma série de frases
impressas em cartões grandes. A seguir, pede-se que classifiquem os cartões em pilhas diferentes
em função de quanto concordam ou discordam com o ponto de vista ali expresso ou de acordo com
a importância que atribuem a um determinado aspecto do serviço. Esse tipo de exercício força
os participantes a explicarem as suas diferentes perspectivas. O importante não é a estrutura do
exercício em si, mas sim a discussão que ele gera.
83 9
Para mais amplas informações ou exemplares adicionais, queira
dirigir-se à
UNESCO
Setor de Educação
Divisão da Educação Básica
7, place de Fontenoy, 75352 Paris 07 SP, França
http://www.unesco.org/en/education