Escolar Documentos
Profissional Documentos
Cultura Documentos
PowerPoint Presentation
PowerPoint Presentation
públicas?
Claudio Ferraz
Professor da PUC-Rio
Pesquisador afiliado do J-PAL
Objetivos
2
Questão central em políticas públicas
3
Como aumentar a participação escolar? Fonte:
J-PAL
Informação sobre
Transferências
Novas retornos à
monetárias
escolas educação
5
Estrutura
1. Tipos de avaliação
4. Conclusão
6
Tipos de avaliação
O que é avaliação?
9
O que é avaliação?
Avaliação
Avaliação
de
programas
Avaliação
de impacto
10
Tipos de avaliação de programas
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
10
Avaliação de necessidades
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
11
Avaliação de necessidades
Fonte: Techo 14
Número de domicílios em favelas (assentamentos
irregulares) no Brasil
3.500.000
3.000.000
2.500.000
2.000.000
1.500.000
1.000.000
500.000
0
1980 1991 2000 2010
Fonte: Censos de 1991, 2000 e 2010, em Pasternak e D’Otaviano (2016), “Favelas no Brasil e em São Paulo:
Avanços nas Análises a Partir da Leitura Territorial do Censo de 2010”. Cad. Metrop São Paulo, Vol 18, n° 35, p.79.
15
Avaliação teórica
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
16
Avaliação teórica
18
Teoria da Mudança do TECHO
Problema / Altos níveis de pobreza em
necessidade assentamentos precários
Insumos / Material de
Voluntários construção
atividades
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
20
Da teoria à prática
21
Perguntas que requerem uma avaliação de processos
O programa está sendo implementado corretamente?
• Segundo o planejado?
• Cumpre com os padrões relevantes?
• Permite alcançar os objetivos?
80%
70%
60%
50%
40%
30%
20%
10%
0%
Tutorias Fomento Assessorias Oficinas Plano de Bibliotecas Oficinas
educativas produtivo jurídicas optativas saúde populares
Fonte: CIS 2009, Processos de intervenção social de UTP CH em acampamentos em que se formaram comités na região metropolitana.
23
Avaliação de processos do TECHO
Aspectos em que se deve melhorar o trabalho dos
voluntários nas comunidades
40%
35%
30%
25%
20%
15%
10%
5%
0%
Coordenação com Participação nas Constância da Compromisso com Relação com as
o escritório atividades de atividade a comunidade familias
campo além da sua
atribuição
24
Avaliação de impacto
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
25
O que é impacto?
26
O que é impacto?
IMPACTO
Contrafactual
27
Perguntas que requerem uma avaliação de impacto
• Alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?
28
Avaliação de impacto - TECHO
Avaliação de impacto
das casas emergenciais
em comunidades
vulneráveis de três países
• El Salvador
• Uruguai
• México Fonte:
Techo
Qual foi o impacto?
30
Processos Avaliação de Processos
Como? Por que?
Avaliação de Impacto
Quanto?
vs.
Impacto Mede o progresso em
Mede quanto do progresso em
relação aos objetivos é
relação aos objetivos causado pelo programa
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos
Avaliação de Impacto
Impact Evaluation
Cost-Effectiveness
Avaliação Analysis
de Eficiência
32
Avaliação de eficiência
33
Perguntas que requerem uma avaliação de eficiência
34
Análise custo-benefício em casas emergenciais
Custo do
programa
35
Em resumo
38
A importância de se avaliar impacto
Por que avaliar impacto?
Existem vários motivos pelos quais estamos interessados em avaliar um programa:
1. Melhorar o programa
41
1. Melhorar o programa
42
2. Tornar o gasto público mais eficiente
43
3. Responder perguntas de relevância geral
44
Exemplo: Programas de transferência de renda
(ex. Bolsa Família)
Relevância global de
Fonte: Fiszbein y Schady, Banco Mundial; 2009
se conhecer o impacto
desta política
O exemplo do programa no México
47
Exemplo: programa de transferência de renda no México
48
Exemplo: programa de transferência de renda no
México
Qual foi o papel da evidência?
49
Avaliações de impacto e o uso de seus
resultados
Como decidimos quais programas implementar?
Ideologia
Própria
Externa
Conhecimento
Apoio
Evidência
Orçamento
Experiência
Político
pessoal ou
coletiva Capacidade
Programas/
Políticas
48
Como decidimos quais programas implementar?
Fonte: Brandon Reynolds, apoiado pela University of Cape Town Graduate School of Development Policy and Practice
49
Precisamos de mais evidência e de um
maior uso da evidência existente
50
Crescimento de avaliações aleatorizadas
Número de avaliações aleatorizadas publicadas na área de desenvolvimento internacional
Ano de publicação
Fonte: Cameron et al (2016)
51
Mas ainda há muito trabalho a ser feito
Evidência em medicina
234.107 estudos clínicos
Fonte: https://ClinicalTrials.gov
11 de janeiro de 2017
Por que existe tão pouca evidência?
53
Por que existe tão pouca evidência?
3. Incentivos
• Governos querem respostas rápidas, mas avaliações bem
feitas tomam tempo
• Conhecimento sobre políticas públicas é um bem público
54
Uso de evidência
Mesmo quando existe evidência rigorosa, muitas vezes ela não é usada
sistematicamente para o desenho de programas
• Quando o programa não está maduro e seu desenho está sujeito a alterações
60
Quando avaliar impacto?
61
Conclusões
Em resumo
59