Uso de evidência para informar

políticas públicas
Anna Mortara
Consultora do J-PAL no Brasil
Objetivos

• Identificar fatores-chave e desenvolver estratégias para o uso da evidência

como insumo para a tomada de decisões em políticas públicas

• Entender os aspectos principais a serem levados em conta ao utilizar os

resultados de avaliações

• Identificar oportunidades para melhorar políticas públicas ou programas

sociais, e aumentar a escala daqueles identificados como efetivos

1
Estrutura
• Importância e diferentes usos da evidência

• Uso direto de evidência

• Transferência de renda condicionada no México e na Colômbia

• Uso indireto de evidência

• Proteção da pesca no Chile (uso direto e indireto)
• Educação por nível de aprendizado no Peru
• Programa de vacinação na Índia

• Conclusões

2
Importância e diferentes usos de
uma avaliação de impacto
Por que avaliar impacto?
Existem vários motivos pelos quais estamos interessados em avaliar um programa

• Melhorar o programa

• Tornar o gasto público mais eficiente

• Responder perguntas de relevância geral, e gerar conhecimento sobre efeitos

de programas ou políticas públicas

4
Desafios relativos ao uso dos resultados de avaliações
de impacto

Acesso
• Conhecimento gerado em meios acadêmicos precisa ser acessível ao restante da
população – governos, atores legislativos e de controle, mídia, financiadores,
sociedade civil

Complexidade
• É importante que haja meios de simplificar complexas avaliações para que seus
resultados sejam tangíveis

Linguagem
• Além de simplificar, adaptar a linguagem à audiência é um procedimento
fundamental para a disseminação do conhecimento gerado 5
Diferentes usos de uma avaliação

Decisões informadas a partir dos resultados de uma avaliação

• Continuar, terminar, redesenhar ou ampliar um programa piloto?

• Direto: usar evidência para informar decisões sobre o programa avaliado

• Indireto: usar evidência para informar decisões sobre outro programa ou novo
contexto

6
Ciclo de aprendizado do uso de evidência
PROGRAMA OU
Redesenho ou INOVAÇÃO
encerramento
Rediseño de
o cierre
deprograma
programa

Diagnóstico
Diagnóstico

Expansióndo
Expansão del
programa
programa

Revisãode
Revisión da evidência
Análisis de CICLO DE existente
Literatura
Análise de
Resultados APRENDIZADO
Resultados

Diseño y
Implementación Evaluación
Implementação Desenho e
Avaliação

7
Uso de evidências e amostragem
• Uma questão central na discussão do uso de resultados é a amostra usada
em uma avaliação e sua alocação

• Como vimos, as avaliações devem levar em conta a validade interna e

externa

• Para isso, vamos rever o processo de amostragem e aleatorização

8
Como aleatorizar?

Definição da amostra Alocação

aleatória / não aleatória (ou designação)
aleatória

Tratamento
População de
Amostra
interesse
Controle

Validade Validade
externa interna

9
Uso direto da evidência
Uso direto da evidência

• Usar evidência para tomar uma decisão sobre o programa avaliado

1. Manutenção de programas
2. Expansão de programas
3. Melhoria de programas

• Exemplo de programas de transferência de renda condicionada

11
 Início

Fonte: Fiszbein e Schady, Banco Mundial; 2009

 Interesse global em dez anos

Fonte: Fiszbein e Schady, Banco Mundial; 2009

Exemplos do uso direto de evidências
1. Continuidade de um programa

Fonte: Levy, S. (2006)

15
2. Aumentar escala de um programa

Exemplo: programa de transferência

de renda condicionada (México)

1997 2006
1996 300.000 famílias +5 milhões de famílias
31.000 famílias Programa federal Programa federal chegando a
Piloto em Campeche concentrado em quase todos os grupos em
zonas rurais condição de extrema pobreza

Fonte: PNUD, 2011

16
3. Melhorar o desenho do programa
• Exemplo: programa de
transferência de renda
condicionada na
Colômbia

• Baixas taxas de matrícula

no ensino secundário e
na universidade

• Para abordar o
problema, foram
testadas distintas
combinações de entrega
do valor do programa
17
Fonte: Barrera-Osorio et al 2011
Combinações do programa e resultado em matrículas
Transferência Contrapartida Transferência adicional
mensal
Tradicional 15 dólares
80% de frequência 50 dólares na matrícula no
Secundário 10 dólares na escola
(12 a 17 anos) ano seguinte da escola

Universidade 10 dólares 80% de frequência 300 dólares pela matrícula

na escola em educação superior
+ Graduação do
ensino médio

Fonte: Barrera-Osorio et al 2011

• Política ajudou a incrementar significativamente a matrícula no ensino

secundário sem reduzir a frequência nas aulas
• Também aumentou a probabilidade de matrícula na universidade
18
Uso indireto da evidência
Desafios de se usar evidência

• Houve um crescimento no número de avaliações de impacto nos últimos 20

anos

• É pouco provável, porém, que exista uma avaliação de impacto específica

sobre o programa a ser introduzido em um dado contexto local

20
O que devemos fazer, então?

• Esperar que exista mais evidência?

• Sempre fazer uma nova avaliação antes de ir para um novo contexto?
• Usar evidência local, mas menos rigorosa?
• Usar resultados de um estudo em outro contexto?
• Usar evidência de outros contextos se existir um número mínimo de réplicas,
ou se a avaliação tiver sido feita em contextos similares?
• O que define se o contexto é “novo” ou “similar”?

21
Desafios de se usar evidência
• As avaliações de impacto são difíceis de serem realizadas, e subutilizamos
seu potencial se aprendemos apenas sobre um determinado programa em
um só contexto

• Entender necessidades locais e como funcionam instituições formais e

informais são condições críticas para uma boa política pública

• É necessário replicar mais vezes avaliações rigorosas de programas similares,

mas existem limitações
- Não podemos esperar anos para uma nova avaliação
- Não é sempre custo efetivo fazer uma nova avaliação
- Responsáveis por políticas públicas lidam com todo tipo de incerteza

22
Forma estruturada de se pensar o uso de evidência

1. Evidência existente é apenas uma parte do quebra-cabeças

• Além de ser necessário fazer uma boa revisão da literatura, é necessário

também fazer ponderações em relação à qualidade da evidência e as
premissas adequadas para usá-la

23
Forma estruturada de se pensar o uso de evidência

2. Combinar teoria econômica, evidência descritiva e resultados de

avaliações de impacto rigorosas para responder às perguntas:

• Os resultados de um contexto são replicáveis em outro?

• Quando é necessário fazer uma nova avaliação de impacto, e quando
não o é?

24
Importância da teoria da mudança
Problema /
Necessidade
• Existe um problema igual?
• A população-alvo e as condições locais são comparáveis?
Insumo /
Atividade

• O quão similar é o programa que se quer

implementar?
Produto Produto
• O quão similar é a organização implementadora?

Resultado Resultado Resultado

• O programa funciona por meio dos Intermediário
Intermediário Intermediário
mesmos mecanismos?
• Existe mais evidência sobre as
mudanças de conduta necessárias
para produzir o resultado final? Resultado Resultado
final final
25
Uso direto e indireto de evidência:
Proteção à pesca no Chile
 Duas intervenções para reduzir a venda de merluza
capturada ilegalmente

X
Informação Fiscalização
Fonte: Gonzalez & Mobarak, em curso 27
As intervenções reduziram a venda de merluza fresca
Porcentagem de lojas vendendo merluza
35%

30%
Porcentagem de lojas

25% -10pp
-15pp
20%

15% 30%

10% 20%
15%
5%

0%
Sem intervenção Campanha informativa Fiscalização

Fonte: Gonzalez & Mobarak, em curso 28

A intervenção mais efetiva não foi a mais custo-efetiva

Mudança em porcentagem de lojas Custo para “salvar” uma merluza

ofertando merluza fresca $5
0
USD 4,30
-2
$4
USD 3,70
-4
Pontos percentuais (pp)

-6 $3

Dólares
-8

$2
-10
-10
-12
$1
-14

-16 -15
$0
Fiscalização Campanha
informativa Fiscalização Campanha
informativa
29
 Interpretação dos resultados
• Embora a fiscalização seja mais efetiva do que a campanha, ela também tem
maior custo
– A estratégia de comunicação foi mais custo-efetiva
• A agência responsável, a partir dos resultados da avaliação, decidiu aumentar o
uso de campanhas de informação como ferramenta adicional para reduzir a
venda e o consumo de peixe obtido ilegalmente

Uso direto
• A agência repetiu a campanha de informação quando a pesca da merluza foi
banida em 2016
Uso indireto
• Além disso, também estendeu a campanha a outros peixes marinhos e
crustáceos
30
 Uso de evidência

Os valores dedicados a salvar cada unidade do peixe podem parecer grandes

• Especialmente em comparação com o preço de mercado (~US$ 1,50)
• Mas esta não é a comparação apropriada...

Como medimos os benefícios futuros de se reduzir a exploração excessiva da

merluza, e proteger sua reprodução?
• Cada merluza “salva” significa muitas outras no futuro, contribuindo para o objetivo
de restaurar a população

31
 Teoria da Mudança
Problema /
Alta demanda de merluza Dificuldades de regulação
Necessidade
Altas taxas de pesca ilegal
Condições necessárias:
• Os consumidores são capazes Insumo /
de reconhecer a merluza Atividade
Campanha de informação ao
• A proibição da pesca é por um consumidor
período limitado

Consumidores recebem informação acerca da proibição da pesca

Produto

Consumidores tomam consciência da importância da proteção às espécies

Resultado
Intermediário
Diminuição da demanda Diminuição da oferta de merluza
durante a proibição ilegal em feiras livres

Resultado
Diminuição da pesca ilegal
final
de merluza
Uso indireto de evidência:
Ensino por nível de aprendizado no Peru
 O nível de aprendizado das crianças peruanas
avança rapidamente...
% de estudantes do ensino secundário (12 a 17
anos) que atingem nível requerido em exames
nacionais - Evaluación Censal de Estudiantes
60

50
50

40
31
30 27
23
20
14 13
10

0
Reading
Leitura Math
Matemática Reading
Leitura Math
Matemática Leitura
Reading Matemática
Math
2009 2012 2015
34
Fonte: Percentuais baseados em dados do Ministério da Educação do Peru, 2017
 ...mas, crescimento é muito menor em áreas rurais

% de estudantes do ensino secundário que

atingem o nível requerido nos exames
nacionais - Evaluación Censal de Estudiantes
60
Nacional
National Rural
50
50

40
31
30 27
23
19
20
14 13
12 12
10 7 7
4

0
Reading
Leitura Math
Matemática Reading
Leitura Math
Matemática Leitura
Reading Matemática
Math
2009 2012 2015

35
Fonte: Percentuais baseados em dados do Ministério da Educação do Peru, 2017
Já tratamos do fomento à
participação no sistema de ensino

Maior frequência não necessariamente implica

maior aprendizado. O que podemos fazer para
melhorar o aprendizado? Fonte:
J-PAL
O desafio
• Salas de aula de escolas em zonas rurais do Peru
geralmente têm crianças de diferentes idades e
níveis de conhecimento e aprendizado

• Em média, são 30 estudantes e 2 professores por

escola

• Conhecimento existente sobre a Índia

37
Teoria da mudança
Altos níveis de Baixo desempenho escolar
heterogeneidade na sala rural

Reagrupar os estudantes de acordo

com seu nível de aprendizado

Estudantes recebem aulas de

desenvolvimento de habilidades básicas
de acordo com seu nível de aprendizado

Estudantes são capazes de absorver conteúdo das aulas

Melhora do desempenho
escolar em escolas rurais
38
Teoria da mudança
Altos níveis de Baixo desempenho escolar
heterogeneidade na sala rural

Reagrupar os estudantes de acordo Reservar um mês para aulas de

a seu nível de aprendizado desenvolvimento de habilidades
básicas
Estudantes recebem aulas de
desenvolvimento de habilidades básicas
de acordo com seu nível de aprendizado

Estudantes são capazes de absorver conteúdo das aulas

Melhora do desempenho
escolar em escolas rurais
39
Uso indireto de evidência:
Incentivos para a vacinação na Índia
Fonte: J-PAL

Programa de vacinação na Índia

41
Programa de vacinação na Índia
• Problema: apenas 1% das crianças estavam completamente vacinadas,
apesar de vacinas estarem disponíveis
• Por que?
– Altos preços de vacinas?
– Falta de acesso à saúde? Grandes filas de espera?
– Falta de conhecimento sobre os efeitos de vacinas?
– Dificuldade em passar da intenção à ação?

• Diagnóstico levantou os problemas:

– Absenteísmo entre enfermeiros nas clínicas de vacinação comprometia sua
operação
– Procrastinação por parte dos pais
Fonte: Banerjee, Duflo, Glennerster, Kothari, 2010 42
Incentivos para a vacinação

Intervenção 1: facilitar o processo de vacinação

(ou melhorar a oferta de vacinação)
Postos móveis de vacinação, uma vez ao mês em cada região, com
uma enfermeira presente

Intervenção 2: facilitar o processo de vacinação + dar um

incentivo para não se postergar a decisão
(ou melhorar a oferta e a demanda de vacinação)
Postos móveis de vacinação + Incentivos
• 1kg de lentilha por vacinação e um jogo de louça simples uma vez
completo o cronograma de imunização

Fonte: Banerjee, Duflo, Glennerster, Kothari, 2010

43
 Poucas crianças totalmente vacinadas
Teoria da
Pais querem vacinar seus filhos mas têm
mudança dificuldade em passar da intenção à ação
Centros de vacinação passavam parte do ano
sem operar por falta de enfermeiros

Postos móveis para a disponibilização Incentivos alimentícios para o

de vacinas com enfermeiros programa de vacinação

Famílias passam a frequentar postos Incentivos entregues ao

móveis de vacinação centro de saúde e aos pais

Aumentam taxas de
vacinação

Melhora a imunização

Melhora a saúde 44
Impacto dos tratamentos no número de vacinas
recebidas Grupo de controle
Postos móveis de vacinação
Postos móveis + incentivos

% de crianças com vacinas

Número de vacinas recebidas

Fonte: Banerjee, Duflo, Glennerster, and Kothari, 2010.

45
Como aplicamos estes resultados?

Serra Leoa quer melhorar suas taxas de vacinação

Deveria basear-se no programa da Índia?

• Uma só avaliação aleatorizada no sul-asiático

• Nenhuma na África
• Programa dirigido por ONG, e não pelo governo

46
Teoria da Poucas crianças totalmente vacinadas
Pais querem vacinar seus filhos mas têm
mudança dificuldade em passar da intenção à ação
Centros de vacinação passavam parte do ano
sem operar por falta de enfermeiros

Postos móveis para a disponibilização Incentivos alimentícios para o

de vacinas com enfermeiros programa de vacinação

Famílias passam a frequentar Incentivos entregues ao

postos móveis de vacinação centro de saúde e aos pais
Condições locais Comportamento

Pais acessam centros

Aumentam taxas de Pequenos incentivos
de saúde? Lá vacinação podem diminuir a
conseguem ter procrastinação?
acesso às vacinas?
Melhora a imunização

Melhora a saúde 47
Modelo de teoria da mudança

Visto assim, já não há apenas uma

avaliação: há muita evidência que
pode ser usada para cada elemento
da teoria da mudança…

48
1. Condições locais básicas

Condições locais da Índia

• As clínicas indianas têm apenas um trabalhador. Assim, quando esse se ausenta,
a clínica deixa de abrir
• No contexto local, existe um problema de oferta de imunização

Condições locais de Serra Leoa

• 84% recebem ao menos a vacina tríplice bacteriana
• 54% das casas estão a menos de 1 hora a pé de uma clínica
• Absenteísmo de funcionários de saúde é de 44%
• Conhecimento institucional: vários trabalhadores por centro  apenas 12% de
centros fecham

Condições locais
49
Teoria da
mudança Pais querem vacinar seus filhos mas têm
dificuldade em passar da intenção à ação
Poucas crianças totalmente
vacinadas

Incentivos alimentícios para o

programa de vacinação

Incentivos entregues ao centro de saúde e aos pais

Comportamento
Aumenta a taxa de vacinação Pequenos incentivos
podem diminuir a
procrastinação?

Melhora a imunização

Melhora a saúde 50
 Comportamento
• Pessoas procrastinam: difícil manter condutas que creem benéficas para elas e
seus filhos

• Evidências comprovam que incentivos pequenos podem provocar grandes

impactos no comportamento
- Mais de 9 avaliações aleatorizadas mostram que pequenas mudanças no preço
de produtos de saúde preventiva reduz sua adoção
- Mais de 30 avaliações aleatorizadas mostram que transferências monetárias
condicionadas podem ser efetivas

Comportamento

Fonte: Baird et al., 2010; Thornton, 2008; Field et al. 51

Teoria da mudança
Pais querem vacinar seus filhos mas têm
dificuldade em passar da intenção à ação
Poucas crianças totalmente
vacinadas

Incentivos alimentícios para o

programa de vacinação

Incentivos entregues ao centro de saúde e aos pais

Premissa
Comportamento
Pais acessam centros Aumenta a taxa de vacinação Pequenos incentivos
de saúde e lá
podem diminuir a
conseguem ter
procrastinação
acesso às vacinas
Melhora a imunização

Melhora a saúde 52
Conclusões
Em resumo
• O contexto e a quantidade de evidência que respalde a efetividade de um
programa importam, mas é pouco provável que haja uma avaliação
rigorosa de um programa em contexto similar àquele em que queremos
aplicar, ou múltiplos estudos sobre o mesmo programa em diferentes
contextos

• Uso direto busca incorporar possíveis aprendizados no programa avaliado,

enquanto o uso indireto toma evidências de uma avaliação como subsídio
para outro programa

• Para usar os resultados de uma avaliação de impacto, devemos considerar

– Teoria da mudança, condições locais, evidência de que o processo de
implementação foi levado a cabo corretamente, e se a evidência indica uma
mudança de conduta geral
54