MONITORAMENTO E

AVALIAÇÃO DE IMPACTO
Prof Bárbara Caballero
Coordenadora OSC/ES - IJSN
Vitória-ES, 19 mai 2022
II Curso Análise Criminal ES
Menos análise de elevador,
Mais análise baseada em evidências

I Curso de Análise Criminal ES – Aula 14: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Roteiro para monitorar e avaliar suas
ações e programas
■ Objetivos mensuráveis
■ Indicadores quantitativos
■ Metas para os indicadores
■ Monitoramento dos indicadores
■ Avaliação de impacto → necessita grupo de controle

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
MONITORAMENTO
Monitoramento

■ O programa está sendo implementado corretamente?

■ Quantas pessoas estão recebendo o serviço? São as pessoas certas?
■ O serviço recebido é adequado em termos de quantidade, qualidade e tipo?
■ A equipe que executa o programa conta com todas as competências requeridas?
■ Como os recursos estão sendo geridos?

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Monitoramento das UPP

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Monitoramento das UPP

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Monitoramento das UPP

Metodologia disponível em: http://www.isprevista.rj.gov.br/download/Rev20191102.pdf

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
AVALIAÇÃO DE IMPACTO
Avaliação de impacto

■ O programa apresentou os resultados esperados sobre os

beneficiários?
– Esses efeitos se mantiveram com o tempo?
– Todos os componentes do programa foram necessários
para obter o resultado?
– Alguns grupos de beneficiários foram mais afetados
pela intervenção do que outros?
– Foram identificados efeitos adversos não planejados?

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto

■ Queremos estabelecer e quantificar as relações de

causa e efeito entre as ações efetuadas no programa e
as alterações verificadas nos indicadores de impacto;

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto

Correlação não é causalidade!

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto

■ Queremos estabelecer e quantificar as relações de causa e

efeito entre as ações efetuadas no projeto e as alterações
verificadas nos indicadores de impacto;
■ Ou seja, estamos preocupados com a atribuição: as alterações
observadas no indicador de interesse podem ser atribuídas ao
projeto?
■ Necessário entender o contrafactual: o que teria acontecido
na ausência da intervenção?

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Contrafactual

■ O contrafactual é hipotético, nunca poderemos observá-lo.

■ O contrafacutal representa como aquela população estaria se
não tivesse recebido a intervenção.

Impacto do programa =
Resultado com o programa – resultado sem o programa
Beneficiários Contrafactual
Grupo de tratamento Grupo de controle

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto
Resultado
Início do programa

Antes x Depois
NÃO mede
impacto do
programa!

Tempo
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto
Resultado
Início do programa

Contrafactual

Impacto do
programa

Tempo
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto
Resultado
Início do programa Contrafactual

Impacto do
programa

Tempo
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Grupo de controle

■ Utiliza-se um grupo de comparação para simular o

contrafactual;

■ Questão central: como identificar um grupo de comparação

apropriado?

■ Há inúmeros métodos de avaliação de impacto que se diferem

pela forma que são construídos os grupos de comparação.

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Métodos de avaliação de impacto
■ A principal diferenças entre os métodos é como se estima o
contrafactual, ou seja, de que forma definimos o grupo de
controle:

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto das UPP

1. Quais os indicadores adequados para medir o impacto das UPP?

2. O que teria acontecido na ausência das UPP?
3. Qual o melhor grupo de comparação para identificar o impacto
das UPP?

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Áreas com UPP: antes e depois

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Possíveis grupos de comparação

Áreas de DP
com UPP

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Avaliação de impacto das UPP

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Monitoramento X Avaliação
Monitoramento Avaliação de impacto

Mede o progresso em relação aos Mede quanto do progresso em relação

objetivos aos objetivos é causado pelo programa

Acompanhamento contínuo e
Pontual, limitada no tempo
frequente

Desenhada antes da implementação,

Realizado durante a implementação do
com resultados finais após o programa
programa
ser implementado

De preferência, realizada por equipe

Pode ser realizado pela equipe do
externa, com apoio da equipe do
programa ou por parceiro externo
programa

Evidência descritiva Evidência causal

I Curso de Análise Criminal ES – Aula 14: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
 Desafios para desenvolver uma cultura
de avaliação de impacto
1. Ter interesse na efetividade da política pública
2. Ter os dados
3. Identificar um grupo de comparação
4. Ter conhecimento técnico para executar a avaliação
5. Divulgar resultados

➢ Só gestores interessados em promover mudança irão priorizar essa

agenda
➢ Há pouquíssimos incentivos para avaliar e divulgar resultados de
pesquisas
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
O PROGRAMA ESTADO
PRESENTE
 “As principais evidências obtidas
indicaram que, sem a política capixaba
de saneamento do sistema prisional e
de adoção do Programa Estado
Presente, o número de homicídios no
estado não apenas teria diminuído
10,2%, mas teria crescido 29%, entre
2010 e 2014. Olhando apenas para o
ano de 2014, o número contrafactual
de homicídios seria 20,3% maior do
que o observado. Em termos
estatísticos, nossos cálculos indicaram
que, entre 2010 a 2014, 1.711 vidas
foram poupadas como consequência da
http://www.ijsn.es.gov.br/artigos/5917-td-61-uma- política capixaba.”
avaliacao-de-impacto-de-politica-de-seguranca-publica-o-
programa-estado-presente-do-espirito-santo
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
AVALIAÇÃO TEÓRICA
Avaliação teórica
1. Quais são os resultados esperados ao final do
programa ou da intervenção?
2. Como se pretende chegar a esses resultados?
• Definir insumos, atividades, produtos e
resultados intermediários → Cadeia de
Resultados
3. Que suposições e riscos estão implícitos em
nossa cadeia de resultados?
• Essas hipóteses são razoáveis?
• Esses riscos são altos?
II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Cadeia de Resultados

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
 Cadeia de Resultados:
Programa de Matemática para o Ensino Médio

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
Cadeia de Resultado: Ações de Gestão no 9º BPM - PMERJ

II Curso de Análise Criminal ES: Monitoramento e Avaliação de Impacto – Profª Bárbara Caballero
OBRIGADA!
barbara.andrade@ijsn.es.gov.br
(27) 3636 8062