Como usar Evidência de
Avaliações na Formulação
Frentee Verso
O N E PAG E REPORT
S O B R E FO RTA LEZA-CE
Novembro de 2022 / Edição I
observatoriodefortaleza.fortaleza.ce.gov.br
e Adaptação de Políticas
Públicas?
Pedro Rafael Lopes Fernandes | Gerente de Estudos e Pesquisas
Gestores de políticas públicas nos diferentes níveis da administração pública
no Brasil são conscientes da importância do uso de evidência cientifica na
formulação de políticas públicas. Todos já ouviram o mantra afirmando,
políticas devem ser baseadas em evidências, pois assim se estabelecem
condições necessárias para a otimização de recursos.
Todavia, poucos foram instruídos sobre como utilizar evidência no desenho de
políticas públicas. De modo prático, como utilizar uma avaliação de política de
educação implementada no Quênia para acelerar o processo de recuperação
de aprendizagem de crianças que residem na regional 5 de Fortaleza?
Há dois conceitos vitais na interpretação de avaliações de impacto. O primeiro
deles é validade interna,1 que significa tão somente, a capacidade do estudo
em análise, a partir da amostra e dos métodos estatísticos implementados,
detectar o efeito causal da intervenção.
Validade interna é uma medida de qualidade do estudo em detectar o quanto,
por exemplo, a estratégia de recuperação de aprendizagem impactou no
desenvolvimento do raciocínio matemático das crianças participantes da
intervenção, considerando-se o método de avaliação, e o conjunto de crianças
avaliadas.
Considerando o exemplo do Quênia, mesmo que seus resultados tenham
grande validade interna, não é possível afirmar que seriam replicados em outra
região do país. Esta capacidade de um resultado ser expandido para outros
lugares e contextos é o que se denomina de validade externa,2 e é de vital
importância para a formulação e escalonamento de políticas públicas.
A partir dessas definições o primeiro cuidado é verificar a validade interna do
estudo. O J-PAL, um centro global de pesquisa sobre pobreza advoga que,
a melhor forma de garantir validade interna, é através da implementação de
avaliações aleatorizadas controladas.3 A ideia desta avaliação é simples, ao
se sortear a atribuição de pessoas para receberem a intervenção, constrói-
se dois grupos, tratados e controles, que na média são comparáveis em
características observáveis e não observáveis. A diferença remanescente
entre eles é o status de tratamento.
Uma vez que a única diferença é a condição de tratamento, identifica-se o
impacto do programa observando-se a diferença no resultado de interesse
entre os dois grupos. A recomendação aqui é direta, o servidor deve depositar
mais confiança em estudos aleatorizados, pois em geral,4 possuem maior
validade interna do que pesquisas observacionais.
Observada a validade interna, o próximo passo é verificar quão generalizáveis
são os resultados do estudo. O primeiro passo é observar o tamanho da amostra
utilizada, o N do estudo. De forma prática, quanto maior a amostra, maior
1 - “Did in fact the experimental treatments make a difference in this specific experimental
instance?” Campbel and Stanley 1963.
2 - “Did in fact the experimental treatments make a difference in this specific experimental
instance?” Campbel and Stanley 1963.
3 - Para saber mais, ver rr_introeval_advantages-of-randomized-evaluations.pdf
(povertyactionlab.org)
4 - Em geral, pois, durante a avaliação podem ocorrer problemas que corroem a
comparabilidade estabelecida por sorteio. O que pode fragilizar a evidência produzida.
 Como usar Evidência de
Verso
Frentee Avaliações na Formulação
e Adaptação de Políticas
Públicas?
a capacidade do estudo em detectar a relação causal entre
variável de interesse da intervenção, por exemplo, mortalidade
infantil, e o tratamento, visitação domiciliar. Entretanto, isto
não implica que estudos com amostras pequenas não são
confiáveis, porém, alude que devemos exercer uma postura
mais cautelosa na interpretação de seus resultados.
Outro ponto que favorece a validade externa de uma avaliação
é a existência de replicações dos resultados em outros
contextos. Isto é, quando a intervenção sob análise já foi
testada e avaliada em outros países, regiões, em diferentes
tamanhos de amostras e os resultados em termos de impacto
identificados na primeira avaliação se mantém – tem-se
maior poder de generalização.
Analisadas a validade externa e interna de avaliações a
respeito de uma intervenção, o próximo passo é analisar
a adaptabilidade da política ao contexto local. Bates e
Glennerster, 2017 propõe uma modelo, o generalizability
framework.5 Segundo este, o ponto principal no processo de
adaptação de políticas para outros contextos é desagregar a
questão em partes, onde algumas serão respondidas a partir
de dados e conhecimentos locais, outras serão endereçadas
com o apoio de avaliações em diferentes contextos. Para
estruturar este processo é proposto um processo de quatro
perguntas.
Qual a teoria subjacente a política? O objetivo é entender qual
a base da intervenção. Por exemplo, um programa no Quênia
tinha o objetivo de reduzir a incidência de HIV em garotas
via provisão de informação sobre as taxas de infecção em
homens mais velhos. A teoria é, as garotas tem preferência
por homens mais velhos pois desconhecem os riscos
envolvidos. Logo, informação6 demonstrando que a incidência
de HIV em homens mais velhos é superior à dos jovens irá
mudar o cálculo de custo-benefício em desfavor dos mais
velhos, resultando em menos relacionamentos com estes, e
em redução na taxa de contaminação entre as adolescentes.
As características locais são semelhantes à do estudo? Uma
intervenção que doava lentilha para os pais que trouxessem
as crianças para cada rodada de vacinação, e um conjunto
de pratos de metal ao final de ciclo aumentou em 6 vezes a
cobertura vacinal numa região rural da Índia.7 Um dado-chave
para esta política foi a percepção que a maioria das crianças
recebia ao menos uma dose de vacina, mas não completavam
o ciclo. A partir disto, obtêm-se que os pais não exibem
uma oposição a vacinação, portanto, podem ser sensíveis a
estímulos. Se observado cenário semelhante, pode-se pensar
em incentivos contextualizados ao novo local de intervenção.
Prefeitura Municipal de Fortaleza
Prefeito de Fortaleza: José Sarto Nogueira Moreira
Vice-Prefeito de Fortaleza e Superintendente do Iplanfor: José Élcio Batista
Equ i pe Té c n i c a
Coordenado por: Revisão:
Pedro Rafael Lopes Fernandes Elisângela Teixeira
Gerente de Estudos e Pesquisa
Projeto gráfico:
Elisangela Teixeira
Diretora do Observatório de Fortaleza Jaizza Gonçalves
Diagramação:
Evilene Avelino
Quão forte é a evidência a respeito da mudança
comportamental necessária? Se o analista procurar
evidência sobre o impacto das lentilhas na vacinação
provavelmente não irá encontrar muita coisa. No entanto,
há muita evidência relatando que despesas com cuidado
preventivo são muito sensíveis a preço, e que pequenos
incentivos podem sim alterar comportamentos.8 Observar
a evidência a respeito do mecanismo adjacente a
mudança do comportamento é fundamental, se prender
a especificidades pode conduzir a desperdício de boa
evidência.
Qual a evidência que o processo local de implementação
pode ser efetivo? O foco é a capacidade local de
implementação. Por exemplo, um programa9 de apoio
educacional através de um software demonstrou impacto
na aprendizagem de matemática. Os estudantes visitavam
centros, onde utilizavam computadores para acessá-
lo. A implementação desta política exige infraestrutura
que é rara em contextos como o rural e, amazônico.
Por mais que a evidência seja robusta, a capacidade de
implementação condiciona\restringe a adaptabilidade de
uma política.
Em linhas gerais o framework proposto por Bates e
Glennerster, 2017 redireciona o foco da análise para
o mecanismo de geração de impacto, que é, ou pelo
menos deveria ser, a parte mais importante da avaliação
de políticas públicas. Ao se ler um relatório de avaliação
é preciso isolar o mecanismo subjacente ao impacto, e
então, analisar a probabilidade deste mesmo processo
ser replicado localmente. Com isto em mente os gestores
envolvidos no processo de formulação conseguirão
maximizar o impacto do uso da evidência no desenho e
na implementação das políticas públicas, contribuindo
efetivamente para o bem-estar da sociedade.
5 - Para saber mais, veja The Generalizability Puzzle (ssir.org).
6 - Do Teenagers Respond to HIV Risk Information? Evidence from a Field
Experiment in Kenya (stanford.edu)
7- Improving immunisation coverage in rural India: clustered randomised
controlled evaluation of immunisation campaigns with and without
incentives - PubMed (nih.gov)
8 - EconPapers: Free Distribution or Cost-Sharing? Evidence from a
Randomized Malaria Prevention Experiment (repec.org)
9 - https://econweb.ucsd.edu/~kamurali/papers/Working Papers/
Disrupting Education (Current WP).pdf