Escolar Documentos
Profissional Documentos
Cultura Documentos
O que são? Por que fazê‐las?
Quando fazê‐las?
(Nome professor)
(Universidade)
Abdul Latif Jameel Poverty Action Lab
www.povertyactionlab.org
Contexto do curso
1 – Monitoramento
e Avaliação
2 - Avaliação
de programas
3 – Avaliação
de impacto
4 - Avaliação
Aleatória
Programa do curso
1. Avaliações de impacto: O que são? Por que
fazê‐las? Quando fazê‐las?
2. Teoria da Mudança, indicadores e medição
de impacto
3. Por que aleatorizar?
4. Como aleatorizar?
5. O tamanho da amostra
6. Implementar uma avaliação
7. Análise e inferência
Programa da apresentação
I. Introdução
II. Por que avaliar impacto?
III. O que é uma avaliação de impacto?
IV. Quando realizar uma avaliação de impacto?
I ‐ Introdução
Pergunta nº1
• Pense em um programa social no qual você
esteja envolvido e indique:
– Nome do programa
– É um bom programa?
– Como você sabe que é um bom programa?
A grande pergunta: Como decidimos quais
programas implementar?
Ideologia
• Própria
• Externa
Conhecimento
• Evidência Apoio
• Experiência • Orçamento
• Pessoal • Político
• Coletiva • Capacidade
Programas/
Políticas
Dois objetivos fundamentais da
Avaliação
1. Responsabilidade
2. Aprendizagem
Contexto do Curso
1 - Monitoramento
e Avaliação
2 – Avaliação
de programas
3 – Avaliação
de impacto
4 - Avaliação
Aleatória
Tipos de Avaliação
• Rossi (1999) classifica as avaliações em 5 tipos:
a) Necessidades
b) Design
c) Implementação
d) Impacto
e) Eficiência
• Neste curso nos focamos nas avaliações de impacto
Avaliações de Impacto
• Procuram responder a seguinte pergunta: qual é o
efeito de um programa social sobre os beneficiários?
• Exemplos:
– Qual é o efeito de um programa de formação profissional
sobre a renda dos beneficiários?
– Qual é o efeito de um programa de bolsas sobre a taxa de
matrícula dos beneficiários?
II ‐ Por que avaliar impacto?
Por que avaliar impacto?
• Premissa: A maioria dos programas sociais
tem a intenção genuína de melhorar as
condições de vida dos beneficiários
• Realidade: Das palavras à ação, há um trecho
a percorrer.
Pergunta nº2
• Qual das seguintes intervenções é mais custo‐
efetiva para aumentar a assistência às aulas
nos povoados rurais do Quênia?
A – Programa de
alimentação escolar
B – Remédios contra vermes
intestinais
C – Bolsas de estudos para
meninas
D – Distribuição de
uniformes escolares
Pergunta nº3
• Qual das seguintes intervenções é menos custo‐
efetiva para aumentar a assistência às aulas nos
povoados rurais do Quênia?
A – Programa de
alimentação escolar
B – Remédios contra vermes
intestinais
C – Bolsas de estudos para
meninas
D – Distribuição de
uniformes escolares
Por que avaliar impacto? (cont.)
• Uma boa avaliação de impacto pode ajudar a:
– Identificar programas que estão funcionando bem
– Identificar aspectos de um programa que podem ser
melhorados
– Identificar programas que não estão funcionando bem
• Resumindo: as avaliações podem contribuir para
um uso mais racional dos recursos dedicados aos
programas sociais
III ‐ O que é uma avaliação de
impacto?
Impacto
2. Os resultados que esses mesmos participantes teriam
obtido no mesmo momento, se não tivessem
participado no programa
Impacto
• Fazemos a diferença entre
O que aconteceu (com o programa) e
‐ O que teria acontecido (sem o programa)
= IMPACTO do programa
• Este último cenário é chamado de
contrafatual
19
Impacto: o que é?
Resultado primário
Intervenção
Impacto
Tempo
Como avaliar Impacto?
Intervenção
Impacto
Resultado primário
Tempo
Como avaliar Impacto?
Intervenção
Resultado primário
Impacto
Tempo
Contrafatual
• Avaliação Aleatória:
– Faz uma alocação aleatória do programa para criar um
grupo de controle.
• Avaliação Não Aleatória:
– Argumenta que um certo grupo excluído do programa
é uma réplica do contrafatual.
24
De que maneira as avaliações de impacto
diferem das de processo?
• Processo: Descrevemos o que aconteceu
• Impacto: Comparamos o que aconteceu, com
o que teria acontecido na ausência do
programa
25
Análise Custo‐Benefício
• Avaliação de necessidades: nos dá a métrica
para medir o impacto
• Avaliação de processo: nos dá os custos
• Avaliação de impacto: nos dá os benefícios
26
Exemplo 1: Comparação de custo‐efetividade
1. Quando existe uma pergunta importante
para a qual se deseja/necessita uma resposta
2. O programa a ser avaliado é representativo
3. Prazo: nem muito cedo nem muito tarde
4. Tempo, experiência e dinheiro para fazê‐lo
bem
30
Quando NÃO se deve realizar uma
avaliação aleatória?
• Quando o programa é prematuro e ainda requer
mudanças consideráveis antes de ser ampliado ou
repetido
• Quando o programa é muito pequeno em escala
para aleatorizar
• Se foi demonstrado um impacto positivo a través de
uma metodologia rigorosa e se há recursos
suficientes para cobrir a todos
• Depois que o programa já começou
Aprendizagem a partir das avaliações
de impacto
• Aprendizagem a partir de um único estudo
• Aprendizagem a partir de um acúmulo de
estudos
• Aprendemos mais se colocarmos cada
avaliação dentro de uma estratégia geral de
aprendizagem e se existe uma teoria por trás
32
Desenvolvendo uma estratégia de
avaliação
1. Determinar quais são as perguntas‐chave para sua
organização
– Quantas já podem ser respondidas?
2. Escolher as perguntas de alta prioridade para a
avaliação de impacto
3. Estabelecer um plano para respondê‐las
33
Estratégia de avaliação: dois princípios
1. Poucos estudos de impacto de alta qualidade
valem mais do que vários estudos de má qualidade
2. Se for feita a pergunta certa, é mais provável que
os resultados da avaliação sejam usados
34
FIM
(Nome professor)
(Email professor)
Abdul Latif Jameel Poverty Action Lab
www.povertyactionlab.org