Fichamento 1: Avaliação de Impacto na Prática

Disciplina: Avaliação de Políticas Públicas

Docentes: Ana Carolina Giuberti e Mariana Fialho Ferreira

Aluna: Amanda Pena

Referência: BID (2018) Avaliação de Impacto na Prática - Cap. 1

Resumo do Capítulo:
O capítulo visa trazer uma explicação da importância da avaliação de políticas
públicas. Para isso, os autores iniciam explicando que as políticas públicas tem por
objetivo resolver um “problema social” e a avaliação de impacto se torna
fundamental para avaliar se esses problemas de fato foram solucionados pela
política implementada, e sendo assim, o foco deve estar no resultado que se
pretende alcançar, e não nos insumos.
Como saber se uma política gerou impacto? Avaliando o que teria acontecido na
ausência dela por meio da estimação de um contrafactual. Ou seja, a avaliação de
impacto busca estabelecer uma relação de causalidade entre a política
implementada e o resultado obtido, e para isso existem diferentes métodos de
avaliação, e para cada método existe um tipo de pergunta a ser respondida.
Existem três tipos de perguntas, as descritivas, normativas e pergunta de causa e
efeito. As perguntas descritivas se concentram no ritmo de avaliação e
implementação do projeto. Já as perguntas normativas são aquelas que procuram
saber se o que está ocorrendo, de fato, deveria acontecer. Por fim as perguntas de
causa e efeito estão focadas na diferença que a intervenção causa no beneficiário.
Em seguida, o manual apresenta a questão de como escolher o método correto
para avaliar. As avaliações podem ser prospectivas na qual os dados são coletados
na linha de base, ou retrospectivas que são feitas depois da implementação do
programa. A avaliação ex-antes tem as seguintes etapas: i) diagnóstico do
problema; ii) desenho da política; iii) projeto de implementação; iv) planos de
monitoramento e avaliação; e v) análise de custos e impactos orçamentários. A
avaliação ex-post serve para fazer recomendações para o gestor, a partir de falhas
identificadas. Os tipos de avaliação ex-post podem ser qualitativas ou quantitativas.
Como avaliações qualitativas temos: avaliação de processos e avaliação de
desenho. As análises quantitativas são: avaliação de impacto, avaliação de
custo-efetividade e de custo benefício.
A avaliação de impacto é muito importante para que o gestor público possa
direcionar suas decisões da melhor forma possível. Porém para que seja realizada
uma avaliação de impacto deve-se levar em consideração, se o custo da avaliação
não é maior que a execução do próprio programa. Dessa forma apenas justifica-se
uma avaliação de impacto quando a política é inovadora, replicável,
estrategicamente relevante, não foi testada num contexto semelhante e por fim,
influente.
Lista de Citações e Comentários:

Citações Comentários

“mudança no enfoque, que passou Importante também para que o gestor

dos insumos para os resultados, e está público tome decisões, além de ser o
reformulando as políticas públicas.” que destaca a avaliação de impacto.
BID (2018, p.3).

Fichamento 2: Avaliação de Impacto na Prática

Disciplina: Avaliação de Políticas Públicas
Docentes: Ana Carolina Giuberti e Mariana Fialho Ferreira

Aluna: Amanda Pena

Referências: BID (2018) Avaliação de Impacto na Prática - Cap. 2

WHITE, H.; RAITZER, D. A. (2017) Impact Evaluation of Development Interventions
- Cap 2
Teoria da Mudança, do curso de Avaliação de Políticas Públicas da ENAP/JPAL.
Leitura complementar:
HM Treasury (2020) The Magenta Book - Cap. 2
MAYNE, J.(2015) Useful theory of change models

Resumo:
Neste tópico de Teoria da Mudança, a bibliografia recomendada traz os
componentes necessários para os passos iniciais de uma intervenção, ou mesmo
avaliação. A Teoria da Mudança irá descrever como se espera que a política
funcione, descrevendo para isso qual a cadeia de eventos esperados para produzir
a mudança, quais os insumos e produtos necessários para implementação da
política, o grupo focal e os fatores condicionantes para o sucesso da intervenção.
Uma cadeia de resultados é uma das maneiras de desenvolver uma teoria da
mudança, e para desenvolver uma cadeia de resultados, é preciso mapear os
insumos necessários na execução da política, e os resultados finais que se deseja
obter. Para compreender melhor o manual do BID divide a cadeia causal em lado da
oferta, que é composto pelos insumos, atividades e produtos. E o lado da demanda
+ oferta, que é composto pelos resultados, mais resultados finais. Os resultados,
são uma soma dos resultados + resultados finais, sendo que os resultados finais
não dependem da implementação, mas sim do comportamento do grupo de
interesse que irá receber a política.
Outra abordagem da teoria da mudança, é desenvolver o marco lógico.
Para fazer uma teoria da mudança é preciso seguir 5 passos:
1. Definir propósito - é a mudança que se deseja alcançar com a política;
2. Completar a cadeia causal - tornar explícitos as necessidades enfrentadas,
qual a população que vai receber o programa e quais os resultados que se
deseja alcançar;
3. Identificar premissas e riscos - premissas são as condições necessárias para
que o programa seja bem sucedido, e riscos são os resultados negativos não
esperados que são gerados pelo programa;
4. Resumir a hipótese causal - “Se [atividades] geram [produtos], isto deveria
levar a
5. [resultados intermediários] que ao final melhoraram[resultados finais],
contribuindo para [propósito]”;
6. Definir indicadores - desenvolver indicadores que permitam avaliar, os custos
e impactos do programa.

Lista de Citações e Comentários:

Citações Comentários

“A Teoria da Mudança pode ajudar a Importância da Teoria da Mudança

desenhar uma avaliação de impacto
que não apenas meça se um
programa é efetivo ou não, mas
também quais são os mecanismos
necessários para que o impacto
aconteça”

Fichamento 3: Avaliação de Impacto na Prática

Disciplina: Avaliação de Políticas Públicas
Docentes: Ana Carolina Giuberti e Mariana Fialho Ferreira

Aluna: Amanda Pena

Referência: BID (2018) Avaliação de Impacto na Prática - Cap. 3

ANGRIST, J. D. Mastering Econometrics. Videos "The Path from Cause to Effect";
"Ceteris Paribus"; "Selection Bias"

Resumo do Capítulo:
Até agora, preocupou-se em explicar o porquê é importante avaliar, como se
preparar para avaliar, e agora começaremos a ver como fazer uma avaliação de
política pública. Como é possível medir um impacto de um programa?
Uma avaliação de impacto busca medir o impacto gerado por uma intervenção, e
com isso estabelecer uma relação causal entre o programa e o resultado obtido.
A equação utilizada para medir impacto é: ∆ = (𝑌|𝑃 = 1) − (𝑌|𝑃 = 0), na qual ∆
é o impacto causado pelo programa, 𝑃 = 1 é o grupo de interesse que recebe o
programa e 𝑃 = 0 é o grupo que não se beneficiou do programa. Mas, para que
seja possível medir corretamente esse impacto, é necessário a construção de um
contrafactual, só assim é possível afirmar se houve impacto ou não. O contrafactual
caracteriza-se por um grupo de pessoas que têm, na média, características
observáveis e não observáveis, semelhantes ao grupo que irá receber o tratamento.
Também, o grupo de controle, ou o contrafactual, não deve ser influenciado pelo
tratamento, ou seja, não pode haver transbordamento do programa para o grupo de
controle. E, por fim, deve-se garantir que tratamento e controle reagem da mesma
forma ao programa. Essas condições para a construção de um contrafactual,
garantem que ceteris paribus (tudo mais constante), o grupo de tratamento é igual,
na média, ao grupo de controle. Caso esses requisitos não sejam respeitados,
temos viés de seleção.
Viés de seleção ocorre quando uma característica não observável não é
considerada e afeta o resultado final, inviabilizando sua avaliação de impacto.

Fichamento 4: Avaliação de Impacto na Prática

Disciplina: Avaliação de Políticas Públicas
Docentes: Ana Carolina Giuberti e Mariana Fialho Ferreira

Aluna: Amanda Pena

Referência: BID (2018) Avaliação de Impacto na Prática - Cap. 4.

WILLIAMS, M. J. External Validity and Policy Adaptation: From Impact Evaluation to
Policy Design. The World Bank Research Observer, Volume 35, Issue 2, p. 158–191,
Aug. 2020.

Resumo do Capítulo:
Para garantir que as características observáveis e não observáveis sejam, na
média, iguais para os grupos de controle e tratamento, o método que é
“padrão-ouro” da avaliação de impacto, é o de seleção aleatória, pois quando há
uma amostra suficientemente grande, o método garante que as características são
estatisticamente iguais.
O método consiste em atribuir aleatoriamente (por exemplo, por meio de um
sorteio), os grupos de tratamento e controle. Portanto, elimina o viés de seleção e
garante a validade interna da avaliação.
A validade interna permite dizer que os resultados obtidos a partir de uma avaliação
de impacto, foram provenientes da implementação do programa, e não de fatores
externos a ele. Quando se perde a validade interna a avaliação fica inviabilizada.
Os fatores que ameaçam a validade interna são:
● Viés de seleção
● Tamanho da amostra
● Variável de confusão
● Maturação
● Instrumentação
● Efeito dos testes/prática
● Atrito
Portanto, o desbalanceamento entre os grupos de controle e tratamento ameaça a
validade interna.
Já a validade externa de uma avaliação, diz respeito à generalização dos resultados
para a população, e para que isso seja possível, é imprescindível que sua amostra
seja representativa da população. Ou seja, para que eu possa afirmar que o impacto
detectado na avaliação realizada seja válido para a população, é necessário garantir
que a minha amostra seja representativa da população, caso contrário não é
possível extrapolar os resultados.
Existem algumas abordagens para a validade externa sendo elas:
● Agregação de evidência - calcula o efeito médio (pode ser feito por meta
análise);
● Modelo estrutural com previsão - informação sobre o impacto previsto;
● Mecanismo de mapeamento - mapear as interações entre o contexto e a
teoria da mudança, para identificar possíveis falhas.
O mecanismo de mapeamento foi a abordagem proposta pela literatura de
referência da disciplina e possui três etapas de aplicação, sendo elas, estabelecer
uma teoria da mudança, definir as hipóteses contextuais e por fim, definir as reais
características contextuais correspondentes para cada etapa da cadeia.

Fichamento 5: Avaliação de Impacto na Prática

Disciplina: Avaliação de Políticas Públicas
Docentes: Ana Carolina Giuberti e Mariana Fialho Ferreira

Aluna: Amanda Pena

Referências: BID (2018). Avaliação de Impacto na Prática - Cap. 15 - A escolha da

amostra; e HITE, H.; RAITZER, D. A. (2017). Impact Evaluation of Development
Interventions - Cap. 7 - Sample size determination for data collection.

Resumo:
Para garantir que a amostra seja representativa da população é necessário seguir
alguns passos na escolha da amostra. Nesse aspecto duas perguntas norteiam
esse processo: i) como criar uma amostra a partir da população de interesse?; ii)
qual o tamanho da amostra necessário para estimativas precisas?.
Primeiramente, a escolha da amostra precisa cumprir 3 etapas para extrair uma
amostra, sendo elas:
 ● Determinar população de interesse;
● Identificar uma base de informação para amostragem (listagem);
● Extrair as unidades necessárias dessa lista de acordo com o cálculo de poder
estatístico.
Após determinar a população de interesse deve ser feita uma listagem dessa
população, sendo que, para que a avaliação possa ser generalizada essa listagem
deve cobrir toda a população de interesse, caso contrário, irá gerar viés de
cobertura.
Os métodos de amostragem são divididos em probabilísticos e não probabilísticos,
porém o método probabilístico possui mais rigor, enquanto o método não
probabilístico pode não obter uma amostra que represente a população de
interesse.
Dentre os métodos probabilísticos temos:
● Amostragem aleatória - cada unidade tem exatamente a mesma chance de
ser selecionada;
● Amostragem aleatória estratificada - divide-se a população de interesse em
grupos e a amostragem é realizada dentro de cada grupo;
● Amostragem por conglomerados - as unidades são divididas em
conglomerados e uma amostra aleatória é extraída.
Uma observação importante a ser feita, é que a amostragem aleatória é diferente de
seleção aleatória. A amostragem aleatória ocorre na fase de escolha da amostra
dentro de uma população de interesse, e a seleção aleatória é um método de
avaliação que seleciona de forma aleatória um grupo de controle e outro de
tratamento dentro da amostra escolhida.
Adiante, o texto aborda o conceito de poder estatístico, que diz respeito ao poder
estatístico de uma amostra de representar adequadamente a população de
interesse. Existe um cálculo que é feito, levando em consideração que quanto maior
a amostra maior o custo da avaliação, do tamanho mínimo necessário da amostra
representativa da população. Após definir o tamanho necessário da amostra e fazer
o sorteio entre grupo de tratamento de controle, é preciso estimar o resultado da
implementação do programa, e isso é feito por meio de uma comparação do
resultado médio entre os dois grupos. Para afirmar se houve diferença entre o
resultado médio dos grupos, é

Lista de Citações e Comentários: