Avaliação Econômica

de Políticas Públicas
2020.1
 Capítulo 1

Por que avaliar?

Políticas baseadas em evidências

Aumentar a renda
Pergunta:

programas e Essas mudanças são

Melhorar o aprendizado
políticas de desenvolvimento realmente alcançadas ou não?

Reduzir doenças

Resultados
As avaliações de impacto fazem parte de uma agenda mais
ampla da formulação de políticas baseadas em evidências.

3
Políticas baseadas em evidências
Gestão do programa
É necessário compreender
quais as opções de desenho
de programas que são mais
custo-efetivos ou demonstrar,
junto aos tomadores de
decisões, que os programas
estão atingindo os resultados
pretendidos de forma a obter
alocações orçamentárias para
mantê-los ou expandi-los.
Nacional
Os governos são responsáveis
por prestar contas a seus
cidadãos sobre o
desempenho dos programas
públicos. As evidências
podem constituir uma base
sólida para a promoção da
transparência
e da prestação de contas.
Global
As avaliações de impacto são
fundamentais para a
construção de conhecimento
sobre a efetividade dos
programas, pois esclarecem o
que funciona e o que não
funciona na redução da
pobreza e na promoção do
bem-estar.
4
Políticas baseadas em evidências
★ Uma avaliação de impacto estima as mudanças no bem-estar dos indivíduos que
podem ser atribuídas a um projeto, política pública ou programa específico.

Relação Causal

Exemplos de perguntas:

Será que um programa de água e saneamento básico aumentou o acesso à água potável e melhorou a saúde
da população?

Será que um currículo alternativo aumentou as notas dos estudantes nos testes?

Será que a inovação de incluir as habilidades não cognitivas como parte de um programa de treinamento para
jovens foi bem-sucedida na promoção do empreendedorismo e no aumento da renda?
5
Políticas baseadas em evidências

Abordam a efetividade de um programa em

Avaliação de impacto
comparação com a ausência do programa

Ex.: Programa de transferência condicional de renda do

México (Progresa/Oportunidades/Prospera).

Testar explicitamente diferentes formas de

implementação ou inovações no desenho dos programas

Ex.: Comparar o desempenho de um programa de treinamento ao de uma

campanha publicitária e verificar qual deles é mais eficaz para melhorar os
conhecimentos financeiros

6
O que é avaliação de impacto?
Monitoramento → Processo contínuo, que fornece subsídios para a gestão e tomada
de decisões no dia a dia.

Avaliação → análise periódica e objetiva de um programa planejado, em

andamento ou concluído.

As avaliações de impacto são um tipo particular de avaliação que procura responder a

uma pergunta específica de causa e efeito:

Qual é o impacto (ou efeito causal) de um

programa sobre um resultado de interesse?

7
O que é avaliação de impacto?
Para poder estimar o efeito causal de um programa nos resultados, qualquer método de
avaliação de impacto escolhido deve estimar o chamado contrafactual.

Grupo de tratamento Grupo de controle

(o contrafactual)

8
O que é avaliação de impacto?
A escolha de um método de avaliação de impacto depende das características
operacionais do programa que está sendo avaliado.

➔ recursos disponíveis
➔ pelos critérios de elegibilidade para a seleção dos beneficiários
➔ pelo cronograma de implementação do programa

Ter regras claras e bem definidas sobre as operações do programa é essencial para a
construção de bons grupos de comparação.

9
Avaliação de impacto prospectiva versus retrospectiva
Avaliação prospectiva: é desenvolvida ao mesmo tempo em que o programa está
sendo elaborado e é integrada à implementação do programa.

Os dados de linha de base são coletados antes da implementação do

programa, tanto para o grupo que receberá a intervenção quanto para o
grupo usado como comparação, que não receberá a intervenção.

Avaliação retrospectiva: avalia o impacto do programa após sua implementação,

gerando grupos de tratamento e de comparação a posteriori.

10
Estudos de eficácia e de efetividade
Estudos de eficácia Avaliam se um programa pode funcionar em condições ideais

➔ Condições muito específicas

➔ Generalização limitada

Estudos de efetividade Avaliam se um programa funciona em condições normais.

➔ Validade externa

11
Abordagens complementares
As avaliações de impacto respondem perguntas específicas de causa e efeito. Outras
abordagens podem servir como complementos valiosos para avaliações de impacto.

➔ Monitoramento
➔ Simulações ex-ante
➔ Análise de métodos mistos baseada em dados qualitativos e quantitativos
➔ Avaliações de processos
➔ Análises de custo-benefício e de custo-efetividade

Ajudam a fornecer insights sobre os canais pelos quais a política ou

programa afetou os resultados observados.

12
Considerações éticas relativas à avaliação de impacto

Seleção dos beneficiários dos

A realização de intervenções com
programas benefícios conhecidos não deve ser
negada ou adiada apenas em função da
Métodos usados para estudar os avaliação.
Ética participantes

Transparência na documentação A avaliação de impacto deve ser objetiva,

dos dados, planos de pesquisa e
resultados
transparente e reproduzível.

As informações sobre a eficácia dos programas geradas pelas avaliações de impacto

podem levar a um investimento mais eficaz e ético dos recursos públicos.

13
Avaliação de impacto para decisões de políticas públicas
As avaliações de impacto são necessárias para orientar os formuladores de políticas
públicas a respeito de uma série de decisões

➔ Cortes em programas ineficazes;

➔ Ampliação das intervenções que funcionam;
➔ Ajustes dos benefícios;
➔ Seleção entre várias alternativas de programas.

Progresa → a adoção e expansão do programa, tanto em nível nacional quanto

internacional, foram fortemente influenciadas pelos resultados de sua avaliação.

14
Avaliação de impacto para decisões de políticas públicas
Validade externa

A amostra da avaliação é elaborada para representar

estatisticamente a população de unidades elegíveis
das quais se extraiu a amostra.

Se os resultados são consistentes em múltiplas configurações, há maior confiança na

viabilidade dos programas em uma variedade de contextos e grupos populacionais.

A efetividade e a escalabilidade de determinado programa dependerão da capacidade de

replicar seus resultados em outros contextos.
15
A decisão sobre realizar ou não uma avaliação de impacto
Algumas perguntas básicas podem ajudar
nessa decisão.

O que está em jogo? Inovadora

Existe alguma evidência de que o Replicável

programa funciona? Estrategicamente
Não testada
relevante
Dispomos dos recursos necessários
Influente
para fazer uma avaliação de impacto
de qualidade?

16
 Capítulo 2

Preparando-se para uma avaliação

Etapas iniciais
I. Construção de uma teoria da mudança que detalhe como o projeto deve alcançar os
resultados pretendidos;
II. O desenvolvimento de uma cadeia de resultados como uma ferramenta útil para
descrever a teoria da mudança;
III. A especificação da(s) pergunta(s) da pesquisa; e
IV. A seleção de indicadores para avaliar o desempenho.

18
A construção de uma teoria da mudança
As teorias da mudança retratam uma sequência de eventos que leva aos resultados.

Como uma intervenção é pensada para gerar os

resultados desejados.

Qual o melhor momento para desenvolver uma teoria da mudança para um programa?

No início do processo de concepção.

19
Desenvolver uma cadeia de resultados

Insumos Atividades Produtos Resultados Resultados

Finais

Recursos financeiros, Ações tomadas ou Produtos resultantes Uso dos produtos pelo Os objetivos finais
humanos, entre trabalho desenvolvido da conversão de público-alvo. dos programas.
outros, mobilizados para converter insumos em produtos
para apoiar as insumos em produtos tangíveis. Metas de longo prazo.
atividades específicos.

Orçamento, pessoal e Série de atividades Bens e serviços Não está Mudanças nos
outros recursos desenvolvidas para produzidos e completamente sob resultados
disponíveis produzir bens e distribuídos, sob o o controle da afetados por
serviços controle da agência agência de múltiplos fatores.
de implementação. implementação.

Implementação Resultados
(LADO DA OFERTA) (LADO DA DEMANDA + LADO DA OFERTA)

20
Desenvolver uma cadeia de resultados
Exemplo: Subsídios a verdureiros em bairros pobres para reduzir a obesidade.

Insumos Atividades Produtos Resultados Resultados

Finais

⇒ Fundos. ⇒ Subsídios a ⇒ Maior número de ⇒ Moradores de ⇒ Menor prevalência

verdureiros. mercados/barracas bairros pobres de obesidade entre
que vendem frutas e ingerem alimentos moradores de bairros
verduras. mais nutritivos. pobres.

⇒ Maior oferta de
alimentos nutritivos
em bairros pobres.

Implementação Resultados
(LADO DA OFERTA) (LADO DA DEMANDA + LADO DA OFERTA)
21
Especificar as perguntas de avaliação
A pergunta da avaliação deve ser clara e estruturada como uma hipótese bem definida e
testável.

A pergunta deve ser formulada de tal forma que se possa quantificar a diferença dos
resultados obtidos entre os grupos de tratamento e de comparação.

O foco está no impacto.

Qual é o impacto de um programa sobre um resultado de interesse?

22
Seleção de indicadores de resultado e desempenho
Os indicadores de resultado selecionados serão usados para determinar se certo
programa ou reforma é bem-sucedido ou não.

Uma vez selecionados os principais indicadores de interesse, é necessário estabelecer

objetivos claros para o programa, isto é, o tamanho dos efeitos esperados.

Importante para determinar o tamanho

das amostras necessárias para a avaliação

23
Seleção de indicadores de resultado e desempenho
Bons indicadores são:
➔ Específicos
➔ Mensuráveis
➔ Atribuíveis
➔ Realistas
➔ Direcionados

Os indicadores devem ser demarcados ao longo de toda cadeia de resultados, caso contrário a
avaliação de impacto corre o risco de produzir uma “caixa preta” ⎯ identifica se os resultados
previstos se concretizaram ou não, mas não é capaz de explicar o porquê dos resultados obtidos.
24
Lista de verificação: obter dados para seus indicadores
1. Os indicadores (produtos e resultados) estão claramente especificados?
2. Os indicadores são específicos, mensuráveis, atribuíveis, realistas e direcionados?
3. Qual é a fonte de dados de cada um dos indicadores?
4. Com que frequência os dados serão coletados?
5. Quem é o responsável pela coleta dos dados?
6. Quem é o responsável pela análise e elaboração de relatórios?
7. Que recursos são necessários para gerar os dados?
8. Existe documentação apropriada?
9. Quais são os riscos envolvidos?

25
Avaliação Econômica
de Políticas Públicas
2020.1