POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS:

RECOMENDAÇÕES PARA AVALIAÇÕES EX-POST

André Portela
Lycia Lima
AVALIAÇÕES EX-POST

 O QUE AVALIAR? AS PERGUNTAS DE AVALIAÇÃO DEVEM SER BASEADAS NO MARCO LÓGICO

 O programa está alcançando os produtos, resultados e impactos esperados?
 As atividades estão sendo implementadas de forma adequada?

 O TIPO DE AVALIAÇÃO A SER UTILIZADA DEPENDE DA PERGUNTA QUE SE DESEJA RESPONDER

1. Avaliação da Focalização

2. Avaliação de Impacto

3. Avaliação de Processo

4. Análise de Custo-Benefício

 EXISTEM DIFERENTES MÉTODOS EXISTENTES E A ESCOLHA DO MÉTODO MAIS APROPRIADO DEPENDE DO

DESENHO DO PROGRAMA E DAS INFORMAÇÕES E TIPOS DE DADOS DISPONÍVEIS
Exemplo de Política: “Informe seu professor”

• Plataforma interativa no qual todas as informações de desempenho e frequência dos alunos são
inseridas
• Implementação de pequenos exercícios de resposta rápida realizados periodicamente pelos alunos e que
ajudam a alimentar a plataforma

• Objetivo: aprofundar a capacidade de análise dos professores, potencializando assim a percepção das
individualidades de cada aluno e ação estratégica individualizada

• Três pilares compõe o programa:

1. Adequação da infraestrutura escolar
2. Formação dos professores
3. Utilização da plataforma e aplicação dos exercícios de resposta rápida
“Informe seu professor”

• Elegibilidade
• Todas as escolas públicas do ensino fundamental de 1º ao 9º ano
• Grupo prioritário: escolas com as piores colocações no ranking do IDEB
“Informe seu professor”
Avaliação de Focalização
Avaliação de Focalização

• A focalização diz respeito ao sucesso de uma política pública em atingir o seu público-alvo

• Há dois tipos de erro de focalização possíveis:

• Erro de Inclusão: agentes não-elegíveis são atendidas pela política

• Erro de Exclusão: agentes elegíveis não são atendidas pela política

Avaliação de Focalização

Exemplo
• O programa Informe seu Professor determina a participação de escolas com pior desempenho no IDEB
(25% piores)

• Erro de inclusão seria o atendimento de escolas com IDEB superior aos das 25% piores escolas

• Erro de exclusão seria o não atendimento de escolas com IDEB entre as 25% piores

• Os dois tipos de erro podem ocorrer simultaneamente

• A expansão da política diminui o erro de exclusão, mas aumenta o erro de inclusão.

Avaliação de Focalização

Indicador de Focalização
• : Proporção da população elegível atendida pela política
• : Proporção da população elegível não atendida pela política
• : Proporção da população não elegível atendida pela política
• : Proporção da população não elegível atendida pela política

• Pode-se definir um indicador de focalização como

Alcance Precisão
• O parâmetro é um valor entre 0 e 1 e expressa como o gestor pondera “alcance” versus “precisão”
Avaliação de Focalização

• Suponha que das escolas elegíveis ao programa “Informe seu Professor”

• 70% foram corretamente incluídas ()
• 30% foram incorretamente excluídas ()
• Entre as escolas não elegíveis
• 65% foram corretamente excluídas ()
• 35% foram incorretamente incluídas ()

• Então:
• Se o que importa é apenas o alcance da política (, então
• Se importa a precisão (, ,
• Se ambos importam igualmente (, então
•
Avaliação de Impacto
Avaliação de Impacto

Introdução
• A avaliação de impacto tem como objetivo informar, quantitativamente, se uma determinada política
pública foi capaz de alcançar os resultados esperados

• O programa “Informe seu Professor” alcança seus objetivos, isto é, é capaz de aumentar a proficiência e
melhorar o fluxo dos alunos?

• Usamos a denominação de que uma escola foi tratada (T) se ela recebe o programa e uma escola não
foi tratada, controle, (N) caso contrário

• Suponha que vamos avaliar o efeito do programa na nota da escola da Prova Brasil
Avaliação de Impacto

Introdução

• Para todas as escolas (tratada ou controle) existem dois resultados potenciais: ,

• é a nota que a escola atinge se não é tratada (controle)

• é a nota que ele recebe caso receba o programa (tratamento)
• A avaliação de impacto gostaria de analisar qual foi o incremento em nota induzido pela política
implementada:

• No entanto, uma vez implementada a política, torna-se impossível conhecer .

Avaliação de Impacto

• Potencial problema de comparar “antes e depois”

• Medir impacto da política através dessa estratégia de avaliação depende da hipótese de que a nota
seria constante na ausência do tratamento
• Essa hipótese provavelmente ignora, por exemplo, o aumento contínuo do IDEB desde 2005

• Potencial problema de comparar beneficiários e não beneficiários

• Lembre-se de que a avaliação quer medir
• Comparar tratados e controles produz Viés de Seleção

Efeito da política
Avaliação de Impacto

Avaliação Experimental
• O objetivo do método experimental é construir grupos de tratamento e de controle que na ausência do
tratamento tenham características médias similares

• O aspecto fundamental desse método é que as escolas elegíveis sejam selecionados para o tratamento
através de um sorteio

• Esse procedimento resolve o problema do viés de seleção, pois o que determina a composição de um
grupo ou outro é aleatório (sorteio)
Avaliação de Impacto

Avaliação Experimental
• Com a aleatorização é possível medir o efeito médio do tratamento sobre a população de interesse:

• Comparando os grupos de tratamento e controle (sorteados e não sorteados, respectivamente):

O sorteio faz com que não haja diferença sistemática entre os grupos em termos de características
observadas e não observadas:
Avaliação de Impacto

Avaliação Experimental

• O método experimental pode ser utilizado para avaliar qualquer política para a qual ao menos um
subgrupo da população elegível ainda não tenha sido beneficiado

• Oportunidades para aplicação do método experimental:

• Demanda maior do que a oferta

• Implementação gradual

• Encorajamento
Avaliação de Impacto

Avaliação Experimental
• Como decidir em que nível sortear: municípios, escolas ou professores?
• Se não for possível existir em um mesmo municípios escolas tratadas e não tratadas, a avaliação de
impacto ainda pode ser feita com o sorteio dos municípios
• No entanto, é necessário um número grande de municípios
• Agora suponha que seja possível sortear as escolas dentro de um mesmo município
• Sortear os professores que terão acesso ao sistema fará com o balanceamento das características
médias entre os grupos de tratamento e controle seja melhor
• Mas se professores não sorteados tiverem acesso ao tratamento a medida de impacto será incorreta
• Há uma relação entre medição correta do impacto e precisão da medida
Avaliação de Impacto

Avaliação Não-Experimental: Seleção em Observáveis

Matching
• O método de matching tem como objetivo construir um grupo de controle a partir de um conjunto de
indivíduos não afetados pela intervenção que se deseja analisar

• O grupo de controle deve ter o máximo de similaridade com o grupo afetado pela intervenção em
termos das variáveis observadas relevantes para o tratamento

• Suponha que duas variáveis sejam relevantes para determinar o tratamento: tamanho da escola e
desempenho
Avaliação de Impacto

Matching
• Nas tabelas abaixo, células de mesma cor indicam o pareamento de professores com as mesmas
características e que diferem em relação ao recebimento da intervenção
Escolas selecionadas Escolas não selecionadas
Nº de Professores com
Tamanho da escola Tamanho da escola Desempenho no IDEB
Pós-graduação
270 6 270 6
330 7 290 7
290 8 310 6
450 5 330 7
480 5 390 6
310 6 450 5
390 6 480 5
Avaliação de Impacto

Matching
• A tabela seguinte resume para as escolas associadas a nota e o efeito estimado para cada par

Nota
Características Efeito Parcial (T-C)
Tratado (T) Controle (C)
270 6 7,0 6,0 1,0
330 7 9,5 7,0 2,5
450 5 6,5 5,5 1,0
480 5 6,0 4,5 1,5

• A partir desses cálculos, o efeito médio é então computado a partir da média desses efeitos parciais:
Avaliação de Impacto

Matching
• Algumas hipóteses são necessárias para utilização do método:

• diferenças em termos de características não observadas entre os grupos não devem são relevantes
para explicar o tratamento

• “Suporte Comum”: para cada agente tratado deve haver pelo menos um agente não tratado com
características similares. Sem essa premissa, não será possível argumentar que o impacto estimado é
uma média que leva em conta toda a população atendida pela política.
Avaliação de Impacto

Propensity Score Matching

• Numa situação real é pouco provável que poucas características determinem a seleção de um
beneficiário de uma política.

• Com mais características relevantes, torna-se cada vez mais difícil associar agentes não tratados
àqueles tratados, pois eles devem coincidir em muitas características

• Uma solução para esse possível problema é comparar os indivíduos em termos da probabilidade de
seleção dadas as suas características.

• O método usado é o propensity score matching

Avaliação de Impacto

Propensity Score Matching

• A tabela a seguir mostra um exemplo simplificado a partir de alguns resultados da tabela anterior
Escolas selecionadas
Tamanho da turma Nº de Prof PG Probabilidade Nota
270 6 0.65 9,5
450 5 0.9 9,5

Escolas não selecionados

Tamanho da turma Nº de Prof PG Probabilidade Nota
310 7 0.64 7,5
480 4 0.95 6,5

• Suponha que uma escola não tratada seja associada a uma tratada se o valor absoluto da diferença
entre as probabilidades for menor ou igual a 1
Avaliação de Impacto

Avaliação Não-Experimental: Seleção em Não-Observáveis

Diferença-em-diferenças
• Tem o objetivo de estimar o impacto de uma intervenção pela comparação das variações observadas
no resultado de interesse para os grupos de tratamento e controle

• Utiliza dados dos grupos de tratamento e controle observados antes e depois da intervenção

• No exemplo do programa Informe seu Professor, suponha que sejam observada a diferença de notas
entre 2011 e 2015 para escolas selecionados:

• essa diferença elimina a influência de fatores não observados constantes ao longo do tempo
Avaliação de Impacto

Diferença-em-diferenças
• Supondo que essa mesma tendência temporal influenciou as notas das escolas não selecionadas, uma
comparação antes e depois para este grupo produziria

• Lembre-se de que para o grupo de tratados

• Combinado as duas partes, elimina-se a tendência temporal

Avaliação de Impacto

Diferença-em-diferenças
• O processo de seleção pode estar correlacionado com características não-observáveis, desde que elas
sejam constantes no tempo

• Também não foi necessário assumir a

semelhança dos grupos em termos das
suas características

• Foi necessária a hipótese de que na

ausência do tratamento o resultado do
grupo de tratamento evoluiria segundo a
mesma tendência do grupo de controle
Avaliação de Impacto

Controle Sintético
• Controle sintético é um método utilizado para avaliação de impacto quando o tratamento foi aplicado a
uma única ou a poucas observações

• O grupo de controle é construído a partir de observações não afetadas pela intervenção que são
combinadas a fim de reproduzir a unidade tratada na situação hipotética do não tratamento

• Essa média ponderada leva em conta a observação dos dados ao longo do tempo

• O efeito do tratamento é calculado então pela diferença entre o resultado observado para a unidade
tratada e o resultado observado para a unidade de controle.
Avaliação de Impacto

Controle Sintético
• Uma escola recebeu o programa no ano 13
• Usamos as informações de desempenho de
um grupo de escolas que não recebeu o
programa para criar uma unidade sintética
• O efeito é calculado a partir da distância das
notas da escola tratada e do controle
sintético após a intervenção (períodos 14-
20)
Avaliação de Impacto

Avaliação Não-Experimental: Seleção em Não-Observáveis

Regressão Descontínua
• A regressão descontínua é um método factível quando a seleção de agentes para um tratamento tem as
seguintes características:
i. a cada indivíduo é possível atribuir um valor numérico relativo a um índice (tamanho de turma ou índice de
pobreza, por exemplo)
ii. são selecionados para o tratamento os indivíduos cujo índice situa-se acima ou abaixo de um valor
estabelecido previamente.

• Suponha a existência de uma relação

negativa entre tamanho de turma e
nota dos alunos
Avaliação de Impacto

Regressão Descontínua
• Os formuladores do Informe seu Professor que turmas com mais de 30 alunos serão atendidas

• O tamanho de turma igual a 30 é o valor estabelecido para o cutoff

Avaliação de Impacto

Regressão Descontínua
• Imagine que a implementação da política impactou positivamente sobre as notas:

• O que o método de regressão descontínua faz é tentar estimar o “salto” observado quando o tamanho
de turma ultrapassa o valor igual a 30
• Explora-se a semelhança entre turmas com número de alunos próximo.
Avaliação de Impacto

Regressão Descontínua
• Imagine que a implementação da política impactou positivamente sobre as notas:

• O que o método de regressão descontínua faz é tentar estimar o “salto” observado quando o tamanho
de turma ultrapassa o valor igual a 30
• Explora-se a semelhança entre turmas com número de alunos próximo.
Avaliação de Impacto

Regressão Descontínua
• Ao incluir na amostra observações cada vez mais distantes do cutoff, a semelhança entre os grupos de
tratamento e controle diminui

• Portanto, a estimativa é válida para o impacto observado na região do cutoff

• Com isso a precisão da estimativa obtida diminui à medida que a análise se concentra nessa faixa de
dados

• Portanto, verifica-se um conflito entre a qualidade da estimativa versus sua precisão

• Para utilizar a regressão descontínua é importante que os potenciais beneficiários não manipulem a
variável que determinará o tratamento
Avaliação de Impacto

Avaliação Não-Experimental: Seleção em Não-Observáveis

Variáveis Instrumentais
• O método de variáveis instrumentais tem o objetivo de identificar o impacto da política quando
características não observadas são determinantes para o tratamento

• Se as escolas participam do programa Informe seu Professor de maneira voluntária pode ser que seus
corpo diretor e docentes sejam mais motivados ou que se sintam mais aptos à utilização de tecnologia,
por exemplo

• Apresentar um corpo diretor e docentes mais motivados, pode ter relação direta com o desempenho
dos alunos.

• Como o viés de seleção está presente (há diferença sistemática entre os grupos selecionados e não
selecionados) a comparação entre tratados e não tratados não produz uma estimativa de impacto
válida
Avaliação de Impacto

Variáveis Instrumentais
• A estratégia do método de variáveis instrumentais é encontrar uma terceira variável (chamada
instrumento ou variável instrumental) com as seguintes características:
i. o instrumento é determinante para a decisão de receber o tratamento;
ii. o instrumento influencia o resultado de interesse apenas através da decisão de receber o tratamento.

• Um exemplo de instrumento válido pode ser apresentado numa aplicação da avaliação experimental

• Suponha que as escolas se auto selecionaram para participar do programa, mas que, adicionalmente,
houve sorteio das escolas que receberam um convite para participar do treinamento do programa
Avaliação de Impacto

Variáveis Instrumentais
• Se o convite encoraja a realização do treinamento para aqueles professores que o receberam, então o
convite é determinante para o tratamento, satisfazendo a condição (i)

• Como o convite é aleatório, ele não tem relação sistemática com nenhum outro fator que possa afetar a
produtividade dos professores satisfazendo a condição (ii)

• Para variável a condição (i) é facilmente verificável, mas não há teste para verificar a condição (ii)

• Por isso, é importante ter em mente um modelo lógico da relação entre o resultado e o tratamento, pois
isso auxilia na consideração sobre a possível influência de candidatos a instrumento para a avaliação
de impacto.
Avaliação de Impacto

Efeitos Heterogêneos: Regressão Quantílica

• O objetivo com a regressão quantílica é observar heterogeneidades no efeito do tratamento

• Suponha que uma avaliação sobre o programa Informe seu Professor estimou um efeito médio de 0,3%

• Não é possível dizer a partir dessa avaliação que o efeito de 0,3% foi observado ao longo de toda a
distribuição de notas

• Isto é, as escolas do grupo com as 10% menores notas talvez tenham observado um efeito diferente
daquele observado pelas escolas do grupo com os 10% maiores notas.
Avaliação de Impacto

Efeitos Heterogêneos: Regressão Quantílica

• O gráfico abaixo apresenta as informações produzidas pela regressão quantílica

• Suponha que para a distribuição de notas do grupo

de controle, 5 é o valor do salário que está acima
dos 25% menores salários Limites do intervalo de
confiança
• O que o ponto “a” diz é que para o grupo de
tratamento o salário que divide os 25% de salários
dos 75% maior é 0,6% maior do que 5

• Continua sendo fundamental que os grupos de

tratamento e controle sejam equivalentes em
termos das características observadas ou não Comparação de tratados
e controles
Avaliação de Processos
Avaliação de Processos

Introdução
• O objetivo de uma avaliação de processos é analisar a implementação e o funcionamento de uma
política para identificar os fatores que promovem ou obstruem sua efetividade

• Ela pode servir para o aperfeiçoamento de uma política ou

• para a tomada de decisão sobre adoção ou expansão de uma política

• Evita-se o “erro do tipo III”: avaliar um programa que não foi corretamente implementado
Avaliação de Processos

Planejamento e Desenho
• Não há um desenho de avaliação específico ou uma única metodologia que atenda às necessidades de
diferentes políticas

• A escolha de questões e métodos são tão mais efetivas quanto maior a atenção dada às necessidades e
demandas dos seus potenciais usuários.

• A avaliação de processos pode ser realizada tanto nas fases iniciais de implementação da política
quanto em estágios mais avançados do seu desenvolvimento

• A escolha da etapa em que a avaliação será realizada deve estar de acordo com uso pretendido para os
seus resultados.
Avaliação de Processos

Planejamento e Desenho
• Tipos de questões respondidas:

 Fases iniciais  Durante o desenvolvimento:

• As escolas têm conhecimento sobre a
existência do programa?
• Os professores têm acesso a todos os
recursos necessários com treinamento
adequado?
• Os recursos e as instalações são
adequados para o desenvolvimento do
programa?
• A plataforma funciona corretamente?
• Quantos alunos estão sendo atendidos?
• Os recursos são utilizados de maneira
efetiva e eficiente?
• O programa cumpre as diretrizes do
Ministério da Educação?
• Como o desempenho do programa se
compara através em diferentes
localidades?
Avaliação de Processos

Conteúdo
• A avaliação discute ao menos 4 tópicos relativos à implementação do programa:

 Aderência: comparação entre a implementação em relação ao que foi planejado.

 Entrega: nível de entrega dos produtos e serviços pertinentes à intervenção.

 Exposição: grau de utilização ou exposição dos participantes em relação aos benefícios da

intervenção.
 Alcance: nível de atendimento do público-alvo pretendido.

• A análise deve ser feita observando sempre informações consistentes com os dados obtidos ao longo do
trabalho
Avaliação de Processos

Resultados, Recomendações e Conclusões

• Apresenta uma visão global sobre a implementação da política

• Aponta gargalos e melhores práticas

• Discute adequação/melhora das diretrizes da política

• Formula recomendações para o aperfeiçoamento dos processos.

Análise Custo-Benefício
Análise Custo-Benefício

Introdução
• A análise de custo-benefício (ACB) tem como objetivo informar a tomada de decisão em relação à
implementação ou expansão de um programa

• A partir de alguns critérios constrói-se uma medida dos benefícios produzidos pelo programa e
compara-se aos custos necessários para sua implementação

• A escolha dos beneficiários da política e os impactos relevantes para a análise são cruciais para o
cálculo dos benefícios
Análise Custo-Benefício

Exemplo
• Para exemplificar uma ACB simples do programa Informe seu Professor, considere que os ganhos
salariais futuros dos alunos beneficiados são a única dimensão relevante

• Deve-se definir: total de alunos beneficiados, fluxo de salários e taxa de desconto

• Dados:

• 626.400 alunos
• R$ 43,20/ano de ganho salarial
• 40 anos de vida produtiva
• Taxa de desconto de 6%
Análise Custo-Benefício

Exemplo
• Cálculo do benefício do programa

• Os 4 períodos em que não houve ganhos corresponde ao ano de implementação do programa mais os
anos de ensino médio

• O benefício líquido é cerca de R$ 280 milhões

Análise Custo-Benefício

Análise Custo-Efetividade
• A análise Custo-Efetividade compara os custos do programa com resultados não monetários

• Ganho em desempenho dos alunos ou o número de concluintes do ensino médio, por exemplo

• Quatro dos critérios mais utilizados são:

1. Minimização de custo sujeita a uma efetividade mínima

2. Maximização da relação custo-efetividade sujeita a uma efetividade mínima

3. Maximização da efetividade sujeita a um custo máximo

4. Maximização da relação custo-efetividade sujeita a um custo máximo

Análise Custo-Benefício

A B
Exemplo
Custo (milhões R$) 24,62 15,00
Efetividade (milhões de concluintes do EM) 1,50 1,40
E/C (concluintes por milhão de R$) 0,06 0,09

• Suponha que o critério (1) seja utilizado com uma efetividade mínima de 1,4 milhões de concluintes. A
minimização de custo leva a escolher o projeto B.
• Pelo critério (2), o projeto B também seria escolhido.
• Se efetividade mínima estabelecida fosse de 1,5 milhões de concluintes, então o projeto A seria
escolhido nos dois casos.
• Para aplicar os critérios (3) e (4), estabeleça como custo máximo R$ 25 milhões.
• Então pelo critério (3), escolhe-se o projeto A. No entanto, pelo critério (4) escolhe-se o projeto B.