DESENHO E GESTÃO DE

POLÍTICA PÚBLICA COM

BASE EM EVIDÊNCIA
Diana Coutinho (Enap)
Ricardo Paes de Barros (Insper)

São Paulo, fevereiro de 2020

POR QUE BASE EM
EVIDÊNCIA?
POR QUE BASE EM EVIDÊNCIA?

Evidência para
consistência
EM DEUS NÓS
das alegações
ACREDITAMOS; PARA
TODO O RESTO, TRAGA A
EVIDÊNCIA

CHRISTOPHER
HITCHENS
O QUE PODE SER ALEGADO (1949-2011)
SEM EVIDÊNCIA PODE SER
WILLIAM E. DESCARTADO SEM EVIDÊNCIA
DEMING
(1900-1993)
POR QUE BASE EM EVIDÊNCIA?

Evidência para melhores

decisões e prestação de contas

“RREDUZIR O DESPERDÍCIO DE RECURSOS, USANDO EVIDÊNCIA DOS RESULTADOS

ALCANÇADOS PELA POLÍTICA PÚBLICA PARA
INFORMAR DECISÕES DE ALOCAÇÃO ORÇAMENTÁRIA.”

“EXPANDIR SOLUÇÕES INOVADORAS. REQUERENDO QUE POLÍTCAS NOVAS E QUE

NÃO FORAM TESTADAS PASSEM POR RIGOROSAS AVALIAÇÕES.”

“FORTALECER A PRESTAÇÃO DE CONTAS. COLETAR E REPORTAR DADOS SOBRE A

IMPLEMENTAÇÃO E OS RESULTADOS INCENTIVA A ATITUDE RESPOSIVA E
TRANSPARENTE E TORNA CLARA A RESPONSABILIDADE DE INSTITUIÇÕES E
GESTORES POR SEUS RESULTADOS.”

(PEW-MACARTHUR RESULTS FIRST INITIATIVE, 2014)

 POR QUE BASE EM EVIDÊNCIA?

Evidência para melhores LEE HSIEN

decisões e prestação de contas LOONG,
PRIMEIRO
MINISTRO DE
BARACK OBAMA
SINGAPURA
(2009)
(2010)
A PERGUNTA QUE DEVEMOS NOS COLOCAR NÃO É SE O GOVERNO É GRANDE DEMAIS
PARA SERVIR BEM, VOCÊ DE FATO
OU PEQUENO DEMAIS, A PERGUNTA CORRETA É SE O GOVERNO FUNCIONA – SE AJUDA
PRECISA TER OS VALORES E AS
FAMÍLIAS E PROMOVE EMPREGOS A UM SALÁRIO DECENTE, SE PROMOVE CUIDADOS À
MOTIVAÇ!ÕES CORRETAS, … MAS ISSO
SAÚDE A UM CUSTO ACESSÍVEL E UMA APOSENTADORIA QUE SEJA DIGNA. ONDE A
POR SI SÓ NÃO É SUFICIENTE. VOCÊ
RESPOSTA FOR SIM, PRETENDEMOS AVANÇAR. ONDE FOR NÃO, PROGRAMAS IRÃO
TAMBÉM PRECISA EXAMINAR
ACABAR. E AQUELES QUE FAZEM A GESTÃO DOS RECURSOS PÚBLICSO SERÃO
DEVIDAMENTE AS QUESTÕES PARA
CHAMADOS A AGIR COM RESPONSABILIDADE, A GASTAR COM SABEDORIA, CORRIGIR OS
TOMAR AS DECISÕES CORRETAS, OU
MAUS HÁBITOS, E REALIZAR SEU TRABALHO À LUZ DO DIA, PORQUE SOMENTE ASSIM
AO MENOS PARA PROPOR SOLUÇÕES
CONSEGUIRÃO RESTAURAR A VITAL CONFIANÇA ENTRE O POVO E O GOVERNO.
SEGURAS E CONSISTENTES.
EVIDÊNCIA NA ORDEM DO DIA

MECANISMO DE
ACONSELHOMENTO
CIENTÍFICO DA UE

ESTUDO DAS
PRÁTICAS DE
ACONSELHA-
MENTO
CIENTÍFICO
NOS PAÍSES
MEMBROS
DA UE
EVIDÊNCIA NA ORDEM DO DIA

EXECUTIVO
FEDERAL
Art. 1º Fica instituído o Conselho
de Monitoramento e Avaliação
de Políticas Públicas, de natureza
consultiva, com a finalidade de:
I - avaliar as políticas públicas
selecionadas, que são
O CMAP financiadas por gastos diretos ou
subsídios da União; e
II - monitorar a implementação
das propostas de alteração das
políticas públicas resultantes da Decreto nº
avaliação, em consonância com 9.834/19
as boas práticas de governança.
EVIDÊNCIA NA ORDEM DO DIA

EXECUTIVO
FEDERAL
EVIDÊNCIA Mais de 80 milhões de resultados
NA ORDEM encontrados para “evidence based”
DO DIA no Google
DESENHO E
GESTÃO DE
POLÍTICA PÚBLICA
COM BASE EM
EVIDÊNCIA
RELEMBRANDO O QUE É POLÍTICA PÚBLICA

ALEJO VARGAS
POLÍTICAS PÚBLICAS SÃO PROGRAMAS DE AÇÃO
VELASQUES
GOVERNAMENTAL VISANDO A COORDENAR OS MEIOS
À DISPOSIÇÃO DO ESTADO E AS ATIVIDADES PRIVADAS,
PARA A REALIZAÇÃO DE OBJETIVOS SOCIALMENTE
RELEVANTES E POLITICAMENTE DETERMINADOS.

CONJUNTO DE SUCESSIVAS INICIATIVAS, DECISÕES E AÇÕES

DO REGIME POLÍTICO FRENTE A SITUAÇÕES SOCIALMENTE
PROBLEMÁTICAS E QUE BUSCAM A RESOLUÇÃO DELAS, OU
PELO MENOS TRAZÊ-LAS A NÍVEIS MANEJÁVEIS.

MARIA PAULA
DALLARI BUCCI
ETAPAS DA POLÍTICA PÚBLICA COM BASE EM EVIDÊNCIA
ETAPAS DA POLÍTICA PÚBLICA COM BASE EM EVIDÊNCIA

DESENHO GESTÃO
 CÁTEDRA
Instituto Ayrton Senna

I
“Um problema
bem definido é
um problema
metade
DEFINIÇÃO E solucionado”

DIMENSÃO CHARLES
FRANKLIN
KETTERING
Toda política pública é construída para
modificar algo, resolver um problema social,
seja promovendo algo desejável seja
evitando a ocorrência de algo indesejável.
Assim, o primeiro passo de qualquer política
pública com base em evidência envolve
especificar o problema a ser resolvido e
mensurar sua dimensão e consequências.
 DEFINIÇÃO
E DIMENSÃO

Especificação e mensuração
Que problema social queremos resolver?
Para isso, que resultado pretendemos
modificar? Quanto falta para alcançarmos o
resultado almejado? Solucionar um problema
e alcançar um resultado requer, antes de tudo,
tê-los bem especificados. Mas, aquilo que não
se mede não se pode saber se melhorou.
Assim, toda gestão com base em evidência
requer uma medida válida e fidedigna do
resultado de interesse.
 DEFINIÇÃO
E DIMENSÃO

Magnitude e evolução

A importância de um problema social

depende de sua dimensão. Conhecê-la envolve
(i) quantificar seu nível atual, (ii) evolução
passada e perspectivas de evolução
futura, e (iii) verificar se a magnitude do
fenômeno é espacialmente desigual e atinge
grupos demográficos e socioeconômicos
de forma diferenciada.
 DEFINIÇÃO
E DIMENSÃO

Consequências
A importância de um problema é
determinada não só por sua dimensão,
mas também, pela magnitude de suas
consequências. Mensurar prováveis
consequências envolve estimar relações de
causa e efeito. O que deverá acontecer se
nada for feito? Essas consequências
poderiam ser evitadas caso os resultados
de interesse fossem modificados
conforme planejado?
 CÁTEDRA
Instituto Ayrton Senna

II “O povo sabe o que

quer / Mas o povo
também quer o que
não sabe”
MOBILIZAÇÃO
GILBERTO GIL

Existem muitos problemas sociais,

cuja solução depende da ação e do apoio de
uma variedade de agentes com interesses
diversos. Mobilização e priorização são
indispensáveis. Assim, é parte de uma
política pública com base em evidência
entender os interesses dos atores-chave
e encontrar as melhores formas
de engajá-los.
 MOBILIZAÇÃO

Grau de sensibilização
e mobilização

O sucesso e a sustentabilidade de uma

solução para um problema social
dependem do grau de sensibilização,
mobilização e engajamento da sociedade
civil, governantes e gestores. É,
portanto, imprescindível medir e
monitorar esse grau de sensibilização,
mobilização e engajamento.
 MOBILIZAÇÃO

Percepção dos atores-chave

Os graus de sensibilização e mobilização
dependem de como os beneficiários, os
gestores públicos e a sociedade civil
percebem a relevância do problema social e a
adequação das soluções propostas. Monitorar a
percepção desses atores-chave, em particular
quando incompatíveis com a evidência, é
imprescindível à sensibilização
e à mobilização.
 MOBILIZAÇÃO

Eficácia da mobilização
Advogar com base em evidência envolve
adotar estratégias de mobilização e
comunicação eficazes. A identificação de
melhores estratégias envolve medir,
por um lado, o esforço requerido e,
por outro, a capacidade de cada estratégia
promover o sucesso da mobilização.
 CÁTEDRA
Instituto Ayrton Senna

III
“Não há nada que
um governo odeie
mais do que ser
bem informado;
DETERMINANTES porque torna o
processo de
chegada à decisão
muito mais
complicado e
A eficácia de uma solução requer que esta difícil”
atue nas causas (determinantes) do
resultado que se pretende modificar. JOHN M. KEYNES
Assim, toda política
pública baseada em evidência requer a
identificação e priorização desses
fatores determinantes.
 DETERMINANTES

Mapa de determinantes
Todo problema social possui inúmeros
determinantes e toda ação para ser eficaz
precisa focar a atenção em ao menos parte
desses determinantes. Assim, o desenho
de políticas requer o mapeamento
desses determinantes.
 DETERMINANTES

Priorização
Dificilmente uma política tem condições
de atuar sobre todos os determinantes
dos resultados de interesse. Priorizar é preciso.
Isso requer estimar a capacidade de os
determinantes modificarem os resultados
de interesse, identificar quais estão dentro da
competência de atuação do gestor e
então selecionar sobre quais a política
a ser desenhada deverá atuar.
 CÁTEDRA
Instituto Ayrton Senna

IV
“Experiência
(evidência) sem
teoria é cega,
mas teoria sem
SOLUÇÃO experiência
(evidência) é
inócua”
IMMANUEL
Como recursos são sempre escassos, toda
KANT
boa solução deve utilizá-los de maneira
eficaz. Existe sempre uma multiplicidade de
propostas para solucionar um problema.
A escolha entre elas requer o mapeamento
das alternativas, entendimento das
hipóteses que embasam a capacidade de
sucesso de cada uma e, se possível, uma
quantificação do que elas prometem ou do
que se pode esperar de cada uma delas.
 SOLUÇÃO
Estratégia de solução
e modelo de mudança
Raramente existe apenas uma única
estratégia para se solucionar um problema.
Desenhar uma boa solução requer mapear as
possíveis estratégias, em particular, como se
poderia atuar sobre os determinantes dos
resultados de interesse que se deseja
modificar. Poucas vezes a forma como uma
solução atua sobre o resultado de interesse é
direta. Em geral, a relação entre a ação e o
resultado se dá via uma rede de relações de
causa e efeito, envolvendo uma variedade de
fatores intervenientes, denominada modelo
de mudança. Contar com uma visão explícita
desse modelo é vital para o desenho,
convencimento e validação de uma solução.
 SOLUÇÃO

Validade do modelo
de mudança

Toda proposta de solução tem implícita ou

explicitamente um modelo de mudança
que a justifica. Sucesso depende da validade
desse modelo de mudança. Na escolha de
soluções, é vital conhecer as hipóteses
subjacentes ao modelo de mudança e
a força da evidência a favor de sua validade.
O desenho deve aproveitar os componentes
que contam com sólida evidência favorável
e exercer cautela na utilização dos demais.
 SOLUÇÃO

Compromissos e metas

O que esperar e o que promete

a solução proposta? A escolha de uma
solução, assim como sua futura
avaliação e prestação de contas, requer
explicitar, com base em evidência, a
magnitude esperada e pretendida da
mudança sobre os resultados de
interesse. Requer o estabelecimento
de metas e compromissos.
 CÁTEDRA
Instituto Ayrton Senna

V “Quantifique. O que
quer que seja que
você esteja
explicando, apresente
JUSTIFICATIVA alguma medida ...
Aquilo que é vago
está aberto a muitas
explicações”
Toda solução demanda recursos.
Para ser justificada, uma solução precisa CARL SAGAN
que o valor do que é capaz de alcançar
(seus benefícios) supere o valor dos recursos
que necessita (seus custos). Embora a
justificativa definitiva de uma solução só
possa ocorrer após a sua implantação, a
decisão por adotá-la precisa ser baseada em
avaliações ex-ante de sua relação
custo-efetividade e custo-benefício.
 JUSTIFICATIVA

Impacto (eficácia)
Em princípio, apenas ações com
expectativa de impacto de magnitude
relevante deveriam ser implementadas.
Assim, justificar, com base em
evidência, a opção por adotar uma ação
requer estimativas ex-ante (anterior à
implementação da ação) da magnitude
esperada para o seu impacto.
 JUSTIFICATIVA

Valoração do custo
Recursos são sempre escassos.
Assim, justificar, com base em evidência a
adoção de uma ação requer tanto
estimativas da magnitude do seu impacto
quanto estimativas de seu custo. A
valoração do custo econômico de uma
ação, em geral, não é um tarefa simples.
Requer estimar a parcela despendida por
todos os parceiros envolvidos, sejam eles
agentes públicos ou privados. Também
requer que se estime a depreciação,
os recursos utilizados de forma
compartilhada com outras ações e o valor
de doações e trabalho voluntário.
 JUSTIFICATIVA

Valoração dos benefícios

Em geral, cada uma das ações que forma
uma solução modifica uma variedade de
resultados de interesse. Apurar o valor
econômico de cada ação requer, em primeiro
lugar, estimar o valor do benefício decorrente
de uma unidade de mudança em cada resultado
de interesse. Uma vez de posse desses valores
unitários, o valor do conjunto de mudanças
causadas por uma ação pode ser obtido pela
soma dos valores dos impactos que a ação tem
sobre os diversos resultados de interesse,
onde o valor do impacto sobre cada resultado
de interesse é obtido multiplicando-se a
magnitude do impacto estimado pelo valor
de uma unidade de mudança nesse resultado.
 JUSTIFICATIVA
Relações custo-benefício
e custo-efetividade
A adoção de uma ação só se justifica
quando seus benefícios superam seus
custos. Entre ações que visam modificar o
mesmo resultado, a melhor opção é
aquela com o menor custo por unidade de
impacto, ou seja, com a melhor relação
custo-efetividade. Entre ações que visam
modificar resultados distintos, a melhor
opção é aquela com maior valor em
benefícios por unidade de custo, ou seja,
com a melhor relação custo-benefício.
Assim, para que uma escolha entre ações
seja justificada é necessário contar com a
relação custo-efetividade ou custo-
benefício para todas as opções em
consideração.
 CÁTEDRA
Instituto Ayrton Senna

VI “Nós não
aprendemos com
a experiência ...

APRIMORAMENTO nós aprendemos

refletindo sobre a
experiência”

JOHN DEWEY
Nenhuma solução é perfeita. Toda solução e
as ações que a compõem precisam passar
por contínuo aprimoramento. O processo de
implementação gera importantes
evidências sobre as qualidades e deficiências
dessas ações. Colher, sistematizar e analisar
essas evidências possibilita e fundamenta
o aprimoramento do desenho, do modo de
operação da solução e das ações
que a conformam.
 APRIMORAMENTO

Monitoramento
O acompanhamento e monitoramento
da implementação de uma solução é a mais
prodigiosa fonte de evidência sobre a
validade do seu modelo de mudança e
sobre a adequação do seu modo de
implementação e operação. Transformar a
experiência de implementação em
evidência para o aprimoramento envolve
registrar o que efetivamente aconteceu e
contrastar com o que era esperado que
ocorresse. Para isso é necessário identificar,
a priori, o que deveria ser registrado
(desenhar um sistema de monitoramento)
e, a posteriori, registrar de forma fidedigna
e organizada (fazer com que o sistema de
monitoramento funcione).
 APRIMORAMENTO
Eficiência
Eficiência é a capacidade de converter recursos
(financeiros, humanos ou de outra natureza) em
ações. Quanto maior a eficiência, maior a
quantidade de ações que pode ser oferecida com o
mesmo orçamento ou menor o orçamento
necessário à oferta de uma dada quantidade de
ações. A falta de eficiência (a ineficiência) resulta
de deficiências na aquisição ou na utilização dos
insumos empregados nas ações. Essas deficiências
são de quatro tipos: (i) podem resultar da aquisição
de insumos acima do preço de mercado (ineficiência
na aquisição); (ii) podem resultar da subutilização
dos insumos (ineficiência na utilização); (iii) podem
resultar do uso tecnicamente inapropriado dos
insumos, levando a ações em quantidade ou
qualidade aquém do esperado, dada a quantidade
de insumos utilizados (ineficiência técnica); e (iv)
podem resultar de uma alocação excessiva de
insumos escassos, quando o mais adequado seria a
utilização mais intensa de outros recursos mais
abundantes (ineficiência alocativa).
 APRIMORAMENTO

Eficácia
A implementação e operação de uma
solução é um momento ideal para avaliar
seu impacto, contrastá-lo com o
esperado e identificar fatores que possam
estar impedindo ou que poderiam
promover impactos ainda maiores. Toda
gestão com base em evidência requer
uma permanente avaliação de impacto do
que está sendo implementado.
 APRIMORAMENTO

Validação do modelo de
mudança e do modo de
operação

O sucesso de uma solução depende em

última instância da validade das
hipóteses que sustentam seu modelo
de mudança e de seu modo de
operação. O monitoramento e
avaliação da implementação em escala
de uma solução oferecem uma
excelente oportunidade para verificar a
validade dessas hipóteses, que uma
gestão com base em evidência não
pode deixar de aproveitar.
 CÁTEDRA
Instituto Ayrton Senna

VII
“O que pode ser
alegado sem
evidência pode
ser descartado
CERTIFICAÇÃO sem evidência”

CHRISTOPHER
Enquanto o monitoramento e avaliação HITCHENS
de uma solução durante sua
implementação são vitais para seu
aprimoramento, sua avaliação ex-post é
indispensável para a devida prestação de
contas e contribui para a melhoria no
desenho de soluções futuras.
Idealmente toda solução deveria passar
por um processo ex-post de certificação
que incluísse avaliações do seu custo,
impacto e relações de custo-efetividade e
custo-benefício.
 CERTIFICAÇÃO

Eficiência
A experiência com uma solução
permite aprimorar seu modo de
implementação e operação e então
promover maior eficiência levando
a um custo mais baixo. A
certificação de uma solução requer
estimativas do custo final e do
grau de eficiência alcançados.
 CERTIFICAÇÃO

Eficácia
A relevância de uma solução depende
de sua capacidade de promover as
modificações que propunha alcançar
nos resultados de interesse. Assim, a
certificação de qualquer solução
requer estimativas da magnitude do
seu impacto sobre o leque completo
de resultados de interesse.
 CERTIFICAÇÃO

Relações custo-benefício
e custo-efetividade
Em última instância, a relevância de
qualquer solução decorre de sua
capacidade de alcançar os objetivos
almejados sem requerer recursos além
do previsto. Assim, a certificação de
uma solução requer estimativas de suas
relações de custo-efetividade e
custo-benefício.
 CERTIFICAÇÃO

Adequação
Em geral, o custo e a magnitude do
impacto de uma solução variam
dependendo da natureza da população
atendida. Invariavelmente, uma solução é
desenhada com vistas a resolver um
problema específico de uma população
específica (população alvo).
Uma solução é considerada adequada
quando é comprovadamente capaz de
atender sua população alvo com uma
relação custo-efetividade aceitável e tiver
sua resolutividade reconhecida
por essa população.
EXEMPLOS DE USO
DE EVIDÊNCIA NO
DESENHO E
GESTÃO DA
POLÍTICA PÚBLICA
 DIMENSÃO DO PROBLEMA

MAGNITUDE E
EVOLUÇÃO
DESENGAJAMENTO
ESCOLAR NO
BRASIL
DIMENSÃO DO PROBLEMA

MAGNITUDE E EVOLUÇÃO DO DESENGAJAMENTO ESCOLAR

NAS UNIDADES DA FEDERAÇÃO
DIMENSÃO DO PROBLEMA

MAGNITUDE E EVOLUÇÃO DO DESENGAJAMENTO ESCOLAR EM PAÍSES

Porcentagem de jovens de 15 a 17 anos fora da Redução na porcentagem de jovens de 15 a 17 anos fora da

escola (2012-2014) escola (2012-2014)
Progresso na porcentagem de jovens de 15 a 17 anos
fora da escola nos últimos 10 anos
Seychelles
Panamá
Malawi
Venezuela
Santa Lúcia
Grécia
Croácia
Filipinas
Coréia
México
Palestina
Barbados
Em 75% dos países, o
São Cristóvão e Névis
França progresso de jovens
Peru frequentando a escola
Fiji é superior ao
Chipre
observado no Brasil.
Noruega
Polônia
Austrália Brasil
Bulgária
Finlândia Mundo
Ucrânia
Mundo Bielorrússia América
Lesoto Latina
Malásia
Bahrein
-10 -5 0 5 10 15 20 25 30
Fonte: OpeSociais, com base na Pesquisa Nacional por Amostra de Domicílios (Pnad).
 CONSEQUÊNCIAS DO PROBLEMA

Adultos
74%

29%

ENSINO ENSINO
FUNDAMENTAL I MÉDIO
INCOMPLETO COMPLETO

Mulheres que sabem onde

conseguir um método
de planejamento familiar

CONSEQUÊNCIAS PNDS

DO
DESENGAJAMENTO
ESCOLAR

https://institutoayrtonsenna.org.br/
pt-br/prisma-da-educacao.html
 MAPA DE CAUSAS DO
DESENGAJAMENTO ESCOLAR

CAUSAS
DO
PROBLEMA

Fonte: reproduzido de Barros et. al. “Políticas públicas para a redução do abandono e evasão escolar de jovens”;
Brava, Instituto Unibanco, Insper, Instituto Ayrton Senna, 2017a.
 DESENHO DE SOLUÇÃO

A IMPORTÂNCIA
DE CONTAR COM
UM MODELO DE
MUDANÇA
EXPLÍCITO
 DESENHO DE SOLUÇÃO

PROPOSTA DE
SOLUÇÃO DO ESPÍRITO
SANTO PARA O
DESENGAJAMENTO
ESCOLAR
MONITORAMENTO

Comitê dos Direitos das Crianças – Nações Unidas

Convenção dos Direitos das Crianças
O Comitê reitera a importância de dados quantitativos e qualitativos
abrangentes e atualizados sobre todos os aspectos da primeira infância para
a formulação, acompanhamento e avaliação dos progressos alcançados e
avaliação de impactos das políticas. Tendo em conta a falta, em muitos Estados
partes, de sistemas nacionais adequados de recolha de informações sobre a primeira
infância para todas as áreas abrangidas pela Convenção e que informações específicas
e desagregadas sobre crianças nos primeiros anos não estão prontamente disponíveis,
o Comitê insta todos os Estados Partes a Desenvolver um sistema de coleta de
informações e indicadores consistentes com a convenção e desagregados por
gênero, idade, estrutura familiar, residência urbana e rural e outras categorias
relevantes. Este sistema deve abranger todas as crianças com idade até aos 18 anos,
com ênfase específica na primeira infância, particularmente crianças pertencentes a
grupos vulneráveis.
MONITORAMENTO

Canadian Early Years TaskForce

Members: Robin Williams MD (Chair until June 30, 2011); Sue Bennett MD;
Jean Clinton MD; Clyde Hertzman MD; Denis Leduc MD and Andrew Lynk MD
Principal authors: Clyde Hertzman MD; Jean Clinton Md and Andrew Lynk MD

O Canadá é signatário da Convenção das Nações Unidas Sobre os Direitos

da Criança, o que nos obriga a assegurar que todas as crianças tenham as
oportunidades que precisam para se desenvolver cognitivamente,
fisicamente, socioemocional e espiritualmente.

A capacidade de cumprir este compromisso requer um sistema que

monitore os resultados da primeira infância.

De que outra forma podemos garantir que todas as crianças e suas famílias
tenham o apoio e os recursos que precisam para prosperar?
MONITORAMENTO

Marco Legal pela Primeira Infância

Art. 11.
As políticas públicas terão, necessariamente componentes de monitoramento e coleta
sistemática de dados, avaliação periódica dos elementos que
constituem a oferta dos serviços à criança divulgação dos seus resultados.

§ 1o
A União manterá instrumento individual de registro unificado de dados
do crescimento e desenvolvimento da criança, assim como sistema informatizado,
que inclua as redes pública e privada de saúde, para atendimento ao disposto
neste artigo.
MONITORAMENTO
MONITORAMENTO
MONITORAMENTO
MONITORAMENTO
MONITORAMENTO
TIPOS DE AVALIAÇÃO

Relação Custo
Relação Custo Efetividade BeneFcio

Eficácia
Eficiência

Produtos Valor do
Recursos Impacto
e Serviços Impacto
 AVALIAÇÃO DE IMPACTO

Resultado dos
O QUE É O beneficiários

IMPACTO
DA
POLÍTICA
PÚBLICA?
 AVALIAÇÃO DE IMPACTO

Resultado dos
beneficiários após o
O QUE É O Programa
IMPACTO
DA
POLÍTICA Melhora no
resultado dos
PÚBLICA? beneficiários
 AVALIAÇÃO DE IMPACTO

Resultado dos
beneficiários após o
O QUE É O Programa
IMPACTO
DA
POLÍTICA Resultado dos Melhora no
beneficiários caso não resultado dos
PÚBLICA? houvessem acessado o beneficiários
Programa
 AVALIAÇÃO DE IMPACTO

Resultado dos
beneficiários após o
O QUE É O Programa
IMPACTO Impacto do
DA Programa

POLÍTICA Resultado dos Melhora no

beneficiários caso não resultado dos
PÚBLICA? houvessem acessado o beneficiários
Programa
 AVALIAÇÃO DE IMPACTO

Desempenho em Matemática
IMPACTO DA
AMPLIAÇÃO DA 1 2 3 4 5 6 7 8 9 10 11
JORNADA Escolas de tempo
integral – 9º ano –
ESCOLAR SOBRE Ensino Médio
amplia para tempo
22 21 20 19 18
Integral em Tempo
17 16 15 14 13 12
O DESEMPENHO 23 integral de um dia
(Hincapie, D., 2016)
Integral (EMITI),
de SC
ESCOLAR Programa de
Educação Integral
no Chile – amplia Aumento de uma hora
para um período e 24 25 26 27 28 29 30 31 32 33 34
semanal da disciplina –
meio o tempo de média de 3,5h/sem por 35
aula. disciplina
Resultados do EMITI (Bellei, C., 2009) (Lavy, V., 2015)
são Preliminares
46 45 44 43 42 41 40 39 38 37 36
Avaliação realizada 47
pela Cátedra Instituto
Ayrton Senna no Insper
48 49 50 51 52 53 54 ... 98 99 100
 CUSTO-BENEFÍCIO

• Uma extensão de 20h/semana provoca impacto de 1,4

CUSTO-BENEFÍCIO DE ALTERNATIVAS
desvio-padrão e uma extensão de 10h/semana provoca
PARA AMPLIAÇÃO
gral produzem DAproficiência
resultados de JORNADA impacto em menos de 0,5 desvio-padrão.
mpo parcialESCOLAR EM PERNAMBUCO •Os custos segue uma lógica inversa crescem de forma mais
acentuada com a incorporação das primeiras 10h adicionais
INDICADOR ESTADUAL (SAEPE) (40%)
Comparação e em
de custos pouco mais da metade (27%) com o acréscimo
unitários
posterior de mais 10h/semana.
77_84

,1 DP
1,4 DP

Fonte: reproduzido de Institutos Natura e Sonho Grande: “Análise dos modelos de Escola em Tempo Integral de Pernambuco”;
disponível em: https://www.institutonatura.org.br/wp-content/uploads/2017/04/Estudo-Escola-em-Tempo-Integral.pdf, 2017. Fonte: Peers; Secretaria de Educação de PE; Análise Bain

Nota: DP: Desvios-padrão

Fonte: Inep; Secretaria de educação de PE; Peers; Análise Bain
CUIDADOS
AO UTILIZAR
EVIDÊNCIA
 na prática e ética
na sua utilização
CUIDADOS AO UTILIZAR EVIDÊNCIAS
Ciência, por favor, ajude,
mas não perturbe
Seja em ciência, seja em
política pública, problemas
sempre antecedem soluções
A evidência pode ajudar na clarificação,
mas não pode escolher as questões a
serem resolvidas com maior prioridade
Não é válido usar evidência
para justificar uma decisão de
política pública já tomada
Nenhum gestor público
deve oferecer "eu não sabia" como
desculpa para uma decisão ou um
resultado ruim, mas o uso cego, descuidado
ou incorreto da evidência pode ser pior
para a definição da política pública do
que a ausência de evidência
Não há como tomar decisões
de política pública puramente
com base em evidência, mas é um
erro do gestor público ignorar
X a base científica
Não é papel da evidência facilitar
o trabalho do gestor público,
mas toda evidência deve ser
apresentada ao gestor público
de maneira compreensível e amigável
O gestor público deve ter acesso
a todas as evidências, teorias
e interpretações disponíveis acerca
da questão de interesse
A ciência deve informar, apoiar,
estimular e inspirar, mas nunca
limitar a engenhosidade
do gestor público
O cientista ou especialista deve sempre
explicitar o quanto a solução apontada
para um problema decorre diretamente
da evidência disponível ou de consequências
lógicas desta, o quanto depende de teorias
não solidamente comprovadas e o quanto
resulta da interpretação subjetiva
dos fatos (opinião)
OBRIGADA
diana.coutinho@enap.gov.br