Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

American Economic Review 2020, 110 (7): 1952–1973

https://doi.org/10.1257/aer.110.7.1952

Experimentos de campo e a prática da política†

Por Esther Duflo *

Eu não estava destinado a ser economista. Como filha de um matemático, tinha quase certeza
de que me tornaria uma acadêmica. Meus heróis eram Gauss, o gênio matemático, e Emmanuel
Le Roy Ladurie, o historiador quantitativo que achava os camponeses interessantes, em vez de
reis. Mas, como filha de um médico que passou muito tempo tentando ser útil em países onde
crianças eram vítimas de guerra, eu também aspirava ser um agente de mudanças. Senti que a
única retribuição pela incrível sorte que tive em minha vida era fazer tudo o que pudesse para
tentar melhorar a vida de muitas pessoas que não tiveram essa sorte. Meus heróis foram Madre
Teresa e Albert Schweitzer. Claro, eu não tinha ideia de como combinar essas duas aspirações,
mas esperava que um dia encontrasse uma maneira.
Até bem tarde na minha carreira universitária, a economia não me parecia um caminho
plausível para atingir esses objetivos. Eu havia estudado economia na graduação, mas,
como a maioria das pessoas, não confiava em economia nem em economistas. De fato,
uma pesquisa YouGov de 2017 no Reino Unido mostra que os economistas estão entre os
profissionais menos confiáveis em relação ao seu próprio campo de especialização:
apenas 25% dos entrevistados da pesquisa confiam nos economistas sobre economia
(Smith 2017). Isso é metade da confiança dos meteorologistas profissionais. Apenas os
políticos são vistos com mais desconfiança.
Meu eu de 20 anos compartilhava muito dessa desconfiança. Munido de apenas algumas
aulas introdutórias, pensei em economia como uma fraude elaborada (ou, na melhor das
hipóteses, uma ilusão panglossiana) destinada a justificar o mundo e mantê-lo exatamente como
era; usar matemática simples para descrever alguma versão muito rudimentar dele e “provar”
que qualquer tentativa de intervir contra o bom funcionamento do mercado causaria estragos. A
economia certamente não parecia ser um campo para um aspirante a criador de mudanças.
E, no entanto, aqui estou eu, um economista. Escolhi esse campo porque, em última análise, passei
a acreditar que a ciência econômica poderia ser alavancada para fazer uma mudança positiva no
mundo.
Ayear passado trabalhando na Rússia como assistente de pesquisa para equipes de economistas
acadêmicos em 1993-1994 me levou a descobrir - com uma mistura de horror e fascínio - o

* Departamento de Economia, Instituto de Tecnologia de Massachusetts (e-mail: eduflo@mit.edu ). Abhijit Banerjee

e preparei duas palestras com títulos paralelos. São papéis complementares e provavelmente devem ser lidos juntos.
Eu não teria chegado ao ponto de sequer dar esta palestra sem a ajuda e a influência de muitas pessoas em minha
vida. Haveria muitos para listar em uma única nota de rodapé, mas todos os envolvidos nos projetos citados aqui são
nomeados e agradecidos no final deste artigo. Aqui, gostaria de agradecer ao comitê de economia da Real Academia de
Ciências da Suécia por me selecionar para esta incrível honra. Também gostaria de agradecer aos meus co-laureados
Abhijit Banerjee e Michael Kremer por muitos anos de uma colaboração incrível. Além disso, Abhijit Banerjee e eu
discutimos esta palestra em detalhes. Garima Sharma e Gabriella Fleischman forneceram excelente edição e assistência
de pesquisa.
†Este artigo é uma versão revisada da palestra que Esther Duflo proferiu em Estocolmo, Suécia, em 8 de dezembro

de 2019, quando recebeu o Prêmio Banco da Suécia em Ciências Econômicas em memória de Alfred Nobel. Este artigo
é copyright © The Nobel Foundation 2019 e é publicado aqui com permissão da Nobel Foundation. Vá para https://
doi.org/10.1257/aer.110.7.1952 para visitar a página do artigo.

1952
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1953

enorme influência que alguns economistas acadêmicos têm no mundo. Na época, parecia
que vários experimentos em grande escala estavam sendo conduzidos na economia russa,
sem muito controle. Em 1994, esses experimentos já estavam enfrentando sérias
dificuldades. No entanto, foi incrível testemunhar a disposição dos formuladores de
políticas em ouvir os pronunciamentos e recomendações abrangentes dos economistas
para mudanças no atacado, que aparentemente tinham pouco respaldo empírico. Percebi
então que a economia era o caminho para combinar uma carreira acadêmica com a chance
de ter uma influência no mundo, e também aprendi a ter cuidado com essa influência.
Resolvi aprender economia para realizar meu objetivo de tornar o mundo um pouco
melhor, mas também para agir com cautela e humildade.
Quase três décadas depois, trabalhando com muitos outros (pesquisadores, profissionais de
ONGs, funcionários do governo, doadores), eu realmente me tornei um agente de mudanças. O
Laboratório de Ação contra a Pobreza Abdul Latif Jameel (ou J-PAL), a rede que Abhijit Banerjee,
Sendhil Mullainathan e eu começamos em 2003, e que foi inicialmente liderado por Rachel
Glennerster, e agora por Iqbal Dhaliwal, afetou as políticas em vários maneiras e em todos os
continentes. Pela nossa contagem (que tentamos manter conservadora), mais de 400 milhões de
pessoas foram alcançadas por programas que foram ampliados após serem avaliados (e
considerados eficazes) por pesquisadores afiliados ao J-PAL. Existem também muitas maneiras,
menos facilmente quantificáveis, em que o J-PAL influenciou a política. Pessoas foram afetadas
indiretamente como resultado de políticas ineficazes sendo reduzidas. Estados inteiros decidiram
adotar políticas diferentes por causa de um conjunto de evidências. Esses efeitos são tão difusos
que não tentamos contar as pessoas afetadas por esses canais.

O processo pelo qual J-PAL (e suas afiliadas) influenciou a política é bastante diferente
do processo que testemunhei na Rússia, com professores voando de um lado para outro
entre Moscou e os Estados Unidos, fornecendo conselhos para a macroeconomia
consistentes com a teoria econômica (ou sua intuição). É também muito diferente da
influência dos “Chicago boys” que assessoraram em política macroeconômica no Chile (cujo
escritório J-PAL América Latina está, ironicamente, ocupando atualmente).
A abordagem da J-PAL é menos sobre grandes ideias e mais sobre sugestões específicas. Levamos a
sério os princípios orientadores e as realidades menos glamorosas, mas ainda cruciais, da
implementação de políticas no dia a dia. Pois, quando os economistas têm a oportunidade de ajudar os
governos em todo o mundo a projetar novas políticas e regulamentações, eles devem assumir a
responsabilidade de obter o quadro geral e o projeto amplo corretos. Além disso, como esses projetos
são implementados no mundo, eles também são responsáveis pelos muitos detalhes sobre os quais
seus modelos e teorias dão pouca orientação. Este é um papel que os pesquisadores de RCT abraçaram
em colaboração com o governo.
Nesta palestra, gostaria de discutir como esse trabalho de política acontece na prática para
pesquisadores que realizam ensaios clínicos randomizados. Espero esclarecer como podemos
alavancar a boa ciência para melhorar a eficácia das políticas que atendem aos pobres em todo o
mundo e também como podemos usar os desafios colocados pelo mundo como fontes de
inspiração para nossa ciência.

I. O Strawman

É útil começar com o espantalho: o que faz o processo de influência da política

não semelhante para pesquisadores conduzindo ensaios clínicos randomizados.
1954 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

Faça um experimento pequeno e bem controlado

Obtenha os resultados

Prepare um resumo de política brilhante e divulgue para os legisladores

Obtenha adoção em grande escala

Figura 1. O Strawman

O espantalho (ilustrado na Figura 1) vê o pesquisador executando um experimento pequeno, bem

projetado e rigidamente controlado (digamos, com 100 escolas de tratamento, 100 escolas de controle),
implementado por excelentes parceiros. Ela descobre alguns resultados. Se forem negativos, ela coloca
o papel nas prateleiras. Se eles forem positivos, ela prepara um resumo brilhante da política e o
distribui aos formuladores de políticas, que adotam e ampliam a política.
Alguma versão desse espantalho é a base de numerosas críticas ao movimento RCT, ou pelo menos da esperança de usar RCTs para influenciar a política (por exemplo,

Deaton e Cartwright 2018, Pritchett e Sandefur 2013). Essas críticas argumentam que os resultados de pequenos experimentos “banhados a ouro” podem não se aplicar

quando os programas são executados em escala por pessoas menos que perfeitas. Primeiro, continua o argumento, os resultados podem ser altamente dependentes do

contexto. Em segundo lugar, o processo de arquivar o que não funciona pode levar a um viés de seleção, refletindo mais a sorte do pesquisador do que a realidade. Terceiro,

mesmo os experimentos mais cuidadosamente controlados podem ter problemas que impedem a obtenção de percepções robustas: a amostra pode ser muito pequena

para tirar conclusões precisas, a conformidade com a atribuição do tratamento pode ser imperfeita, algumas pessoas podem se perder durante o acompanhamento.

Quarto, implementar um programa em escala pode afetar os resultados que não são alterados por uma intervenção RCT de menor escala (conforme discutido em detalhes

em nosso próprio trabalho, ver Banerjee et al. 2017, Muralidharan e Niehaus 2017): por exemplo, os preços podem responder, transbordamento os efeitos podem afetar os

não participantes, as reações da economia política podem alterar os efeitos do programa e assim por diante. Finalmente, os formuladores de políticas provavelmente não

prestarão atenção às recomendações dos pesquisadores, a menos que essas recomendações correspondam às suas políticas. Mesmo que o fizessem, os motivos descritos

acima os impediriam de generalizar as percepções de um contexto experimental para outro. A ideia de que você pode ir de um pequeno experimento para uma adoção

generalizada seria, portanto, sob esse espantalho, um mito. E nós somos 2017, Muralidharan e Niehaus 2017): por exemplo, os preços podem responder, os efeitos

colaterais podem afetar os não participantes, as reações da economia política podem alterar os efeitos do programa, e assim por diante. Finalmente, os formuladores de

políticas provavelmente não prestarão atenção às recomendações dos pesquisadores, a menos que essas recomendações correspondam às suas políticas. Mesmo que o

fizessem, os motivos descritos acima os impediriam de generalizar as percepções de um contexto experimental para outro. A ideia de que você pode ir de um pequeno

experimento para uma adoção generalizada seria, portanto, sob esse espantalho, um mito. E nós somos 2017, Muralidharan e Niehaus 2017): por exemplo, os preços

podem responder, os efeitos colaterais podem afetar os não participantes, as reações da economia política podem alterar os efeitos do programa, e assim por diante.

Finalmente, os formuladores de políticas provavelmente não prestarão atenção às recomendações dos pesquisadores, a menos que essas recomendações correspondam às

suas políticas. Mesmo que o fizessem, os motivos descritos acima os impediriam de generalizar as percepções de um contexto experimental para outro. A ideia de que você

pode ir de um pequeno experimento para uma adoção generalizada seria, portanto, sob esse espantalho, um mito. E nós somos os formuladores de políticas provavelmente não prestarão atenção às recome
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1955

desperdiçando dinheiro valioso em uma série de experimentos que nunca levam a qualquer influência política
significativa.
Essas críticas teriam alguma mordida se refletissem com precisão o caminho de
influência política perseguido pelo J-PAL e seus pesquisadores afiliados (e outros
“randomistas”). No entanto, a realidade é bem diferente: não se faz simplesmente um
experimento, redige o resumo da política e desaparece enquanto a política está sendo
ampliada. O diálogo político real no movimento RCT seguiu um caminho bastante diferente.

II. Como as lições são tiradas: microcrédito

A primeira falha do espantalho é a incompreensão de como o RCT avança a ciência. Os

pesquisadores de RCT não chegam a conclusões radicais sobre o impacto potencial de um
programa com base em um único experimento. Em vez disso, cada experimento é como
um ponto em uma pintura pontilhista: por si só, não significa muito, mas o acúmulo de
resultados experimentais acaba pintando um quadro que ajuda a dar sentido ao mundo e
orientar a política. É o acúmulo de resultados que faz sentido e justifica todo o
empreendimento.
Talvez o exemplo mais próximo do idealizado que o espantalho apresentado na Figura 1 seja
oferecido é como a pesquisa de RCT sobre microcrédito passou a influenciar as percepções entre os
formuladores de políticas e o público em geral. O que o torna relativamente próximo do processo
mostrado na Figura 1 é que este é um caso relativamente raro em que os resultados de um programa
de pesquisa impactam diretamente a política, sem qualquer acompanhamento subsequente. Mas é
evidente que na verdade é muito diferente ...
Na década de 2000, o microcrédito estava na moda. Como muitas propostas aparentemente “ganha-
ganha”, ele ganhou popularidade tanto entre os formuladores de políticas quanto entre a mídia: você
poderia ajudar as pessoas sem gastar dinheiro, simplesmente emprestando para o público e sendo
reembolsado! Você pode até ganhar dinheiro. O microcrédito estava se expandindo com extrema
rapidez, impulsionado por sucessos tanto na opinião pública quanto no domínio comercial. Muhammad
Yunus recebeu o Prêmio Nobel da Paz em 2006, e alguns IPOs bem divulgados de instituições de
microfinanças (MFIs) tornaram seus financiadores muito ricos.
Poucas intervenções que beneficiam os pobres têm um alcance tão vasto. O microcrédito
tinha quase 100 milhões de clientes em 2009 e 139,9 milhões em 2018. Ele realmente teria o
potencial de mudar o mundo se seu impacto fosse realmente positivo para tantas pessoas. E, de
fato, os apoiadores mais entusiasmados do microfinanciamento acreditavam que ele tinha o
potencial de transformar a vida das pessoas. O Grupo Consultivo para Assistir os Pobres (CGAP),
uma organização sediada no Banco Mundial e originalmente dedicada a promover o
microcrédito, em um ponto declarou em seu site: “há evidências crescentes que mostram que a
disponibilidade de serviços financeiros para os pobres as famílias podem ajudar a alcançar os
ODM ”(incluindo educação primária universal, mortalidade infantil e saúde materna).

Infelizmente, poucas evidências empíricas apóiam ou contestam tais proposições. As poucas

evidências que existiam baseavam-se em grande parte em estudos de caso, muitas vezes
produzidos pela própria IMFs. Para muitos apoiadores do microcrédito, as anedotas pareciam
suficientes, pelo menos na época. No final dos anos 2000, porém, o tom da conversa sobre
microcrédito parecia mudar (logo após o Prêmio Nobel de Yunus, o que talvez seja o suficiente
para deixar alguns de nós preocupados ...). Ondas de suicídios de fazendeiros foram associadas
a alto endividamento de microcrédito; histórias negativas de agricultores presos em dívidas feitas
1956 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

seu caminho na mídia. Essa mudança na narrativa impactou a política. Em outubro de 2010, apenas
dois meses após a bem-sucedida IPO da SKS, uma importante microemprestadora com fins lucrativos
na Índia, o governo de Andhra Pradesh culpou-a pelo suicídio de 57 agricultores, alegando que as
práticas coercitivas de recuperação dos agentes de crédito colocaram os clientes sob pressão
insuportável . O governo prendeu alguns agentes de crédito e aprovou uma lei proibindo a cobrança
semanal de empréstimos. Em novembro, todos os oficiais de crédito de todas as principais MFIs
estavam parados e as perdas aumentavam. Anedotas descrevendo tomadores de empréstimo bem-
sucedidos pouco ajudaram a SKS neste momento.
Quando esses eventos se desenrolaram, muitos de nós já procurávamos há algum tempo um
parceiro para avaliar o impacto desse programa tão importante. Mas quando abordamos as IMFs
(começando por volta de 2002) com a proposta de avaliar rigorosamente seus produtos, sua resposta
usual foi: “Por que precisamos ser avaliados mais do que um vendedor de maçã?” Com isso, eles
queriam dizer que o microcrédito tinha que ser benéfico, contanto que os clientes continuassem
voltando para mais. É claro que isso ignorou o fato de que o microfinanciamento costuma ser
implicitamente subsidiado, bem como o fato de que tomadores irracionais podem tomar emprestado
mais do que é bom para eles.
A verdadeira razão para a resistência inicial foi provavelmente que as IMFs não viam
nenhuma razão para balançar o barco: elas estavam sendo saudadas por seus sucessos e não
desejavam correr o risco de potencialmente refutar uma narrativa positiva com dados. Mas, sob
crescente pressão dos críticos das microfinanças, e especialmente dos formuladores de políticas,
algumas IMFs decidiram que a avaliação valia a pena.
Realizamos uma das primeiras avaliações de microfinanças com a Spandana em
Hyderabad. Considerada uma das organizações mais lucrativas do setor de microfinanças,
a Spandana foi o principal alvo do ativismo governamental (na verdade, acabou fechando
durante outra grande crise de microfinanças induzida por políticas públicas em 2010).
Nossa avaliação abrangeu a expansão da Spandana em algumas áreas da cidade de
Hyderabad. De 104 bairros, 52 foram escolhidos aleatoriamente para a entrada da
organização. O resto foi deixado como um grupo de comparação.
Quando comparamos as famílias nesses dois conjuntos de bairros 20 meses depois que
Spandana começou a emprestar, encontramos evidências claras de que o
microfinanciamento estava fazendo, em muitos aspectos, o que se poderia esperar. As
famílias nos bairros cobertos por Spandana tinham mais negócios e eram mais propensas
a comprar grandes bens duráveis, como bicicletas, geladeiras e televisores. Não havia
nenhuma evidência clara dos gastos imprudentes que alguns observadores temiam que
resultariam. Na verdade, vimos exatamente o oposto; famílias começaram a gastarmenos
dinheiro para o que consideravam um pequeno gasto “inútil”, como chá e lanches.
Ao mesmo tempo, não havia sinais de transformação radical nas vidas dos tomadores
de microcrédito. Não encontramos evidências de que as mulheres estavam se sentindo
mais capacitadas, pelo menos em dimensões mensuráveis. Nem vimos diferenças nos
gastos com educação ou saúde. Não houve efeito sobre o consumo das famílias. Mesmo os
efeitos comerciais vieram de famílias iniciarem mais negócios, se já fossem proprietários
de empresas, e não de novas famílias se tornarem empreendedores. Esses novos negócios
eram pequenos. Três anos depois, os efeitos foram praticamente os mesmos e a maioria
das novas empresas foi fechada.
O estudo irritou algumas penas. Seus resultados foram citados principalmente para as descobertas
negativas e como prova de que o microfinanciamento não era a panaceia que parecia ser. Embora
algumas IMFs aceitassem os resultados pelo que eram, a grande empresa internacional
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1957

os jogadores de microfinanças decidiram partir para a ofensiva. Eles estavam ainda

mais preocupados porque um estudo contemporâneo nas Filipinas (Karlan e Zinman
2011) encontraram resultados igualmente fracos.
Como Abhijit Banerjee e eu relatamos em nosso livro, Economia pobre: uma reformulação
radical da maneira de combater a pobreza global, representantes das “seis grandes” MFIs do
mundo (Unitus, ACCION International, Foundation for International Community Assistance
[FINCA], Grameen Foundation, Opportunity International e Women's World Banking), realizaram
uma reunião em Washington, DC logo após o microfinanciamento estudos foram tornados
públicos. Eles montaram uma equipe SWAT encarregada de responder a qualquer novo estudo
(aparentemente convencida de que todos os estudos seriam negativos). Algumas semanas
depois, esta equipe da SWAT produziu sua primeira tentativa de controle de danos, divulgando
seis anedotas sobre mutuários bem-sucedidos e um artigo atacando os estudos escritos pela
CEO da Unitus, Brigit Helms, noSeattle Times.
Essa forte reação nos surpreendeu, porque tomamos muito cuidado para não tomar posições
extremas. Em primeiro lugar, embora os estudos não mostrassem as microfinanças como um
milagre, eles também não mostravam o desastre descrito por alguns (se alguma coisa, o editorial
do Helms exagerou como as descobertas foram negativas). Em segundo lugar, nossa avaliação
foi em Hyderabad, o viveiro de microfinanças na Índia, que estava saturado com outras agências
de microfinanças. O alto acesso de linha de base ao microfinanciamento pode muito bem
fundamentar a falta de impacto transformacional neste contexto. Não achávamos que tínhamos
evidências suficientes para tirar conclusões enfáticas e esperamos pelos resultados de outros
estudos.
Em 2015, as avaliações de microfinanças foram concluídas em sete países: Filipinas,
Marrocos, Mongólia, México, Índia, Etiópia e Bósnia. Todos foram publicados juntos
em uma única edição daAmerican Economic Journal: Applied Economics usando um
formato de relatório comum (Angelucci, Karlan e Zinman 2015; Attanasio et al. 2015;
Augsburg et al. 2015; Banerjee et al. 2015; Crépon et al. 2015; Karlan e Zinman 2011;
Tarozzi, Desai, and Johnson 2015 ) (para divulgação completa, eu era então o editor da
AEJ: Aplicado) Cada estudo foi conduzido por uma equipe diferente. Alguns eram
rurais e outros urbanos.
O modelo de relatório comum para esses estudos conduzidos em ambientes muito diferentes
nos permitiu enfrentar o desafio da “validade externa”, frequentemente citado no espantalho
como uma desvantagem dos ECRs. Em particular, Rachael Meager decidiu determinar as
diferenças (ou semelhanças) nos resultados entre os contextos (Meager 2018, 2019). A
dificuldade com este exercício é que a variação observada nos efeitos entre os estudos confunde
a variação real nos efeitos do tratamento com a variação no efeito estimado que decorre da
amostragem aleatória de indivíduos de uma população. Para contornar esse problema, Meager
usou a análise hierárquica Bayesiana. A ideia básica é primeiro supor que o efeito real do
tratamento em cada local é obtido a partir de uma distribuição normal padrão. Em seguida,
adicionamos algum ruído a cada efeito real do tratamento para contabilizar a variação da
amostragem. Mesmo essa quantidade mínima de estrutura sobre o problema permite que um
estatístico determine até que ponto os efeitos se “agrupam” entre os estudos, ou seja, até que
ponto os “efeitos reais” em cada local são próximos aos de outros. Ele também permite calcular o
efeito médio geral, bem como resultados específicos do país que podem incorporar resultados
de outros lugares.
Meager examinou o efeito do acesso ao microcrédito sobre os lucros das empresas
familiares, despesas, receitas, consumo total, gastos com bens de consumo duráveis e
1958 JULHO DE 2020

BHM posterior
Filipinas
OLS

Marrocos Média posterior, 50%

intervalo (caixa) e intervalo
de 95% (linha) para cada
Mongólia efeito do tratamento (US $
PPP por 2 semanas)

México

No

Ethio

Bos

Boa tentação BHM posterior

OLS agrupado

Revenu

Pró %

Expenditur $

Consumptio

Durável de consumo

-25 0 25

Figura 3. Efeito e intervalo médio estimado, 6 países

gastos em bens “tentadores”, como cigarros. No geral, conforme ilustrado nas Figuras 2 e 3, ela
encontra efeitos geralmente pequenos e muito incertos (cerca de 7 por cento do resultado médio, com
zero um impacto muito provável para todas as variáveis). Essa análise confirmou amplamente nossas
descobertas iniciais desanimadoras do estudo da Spandana e também (infelizmente) mostrou que o
único resultado positivo que havíamos encontrado - um declínio nos gastos com produtos tentadores -
não era, em geral, robusto em todos os contextos.
Uma descoberta robusta, no entanto, é que as famílias que eram donas de empresas
antes da entrada do microcrédito (e que, portanto, provaram sua natureza
empreendedora) realmente se beneficiaram do microfinanciamento. Na verdade,
continuamos a segui-los em Hyderabad e descobrimos que estavam experimentando
grandes aumentos nas receitas, lucros e consumo médio das empresas 10 anos após a
introdução do microcrédito (Banerjee et al. 2019).
A conclusão geral do conjunto de evidências acima foi, portanto, não que o microcrédito
seja prejudicial ou mesmo que ninguém se beneficie de sua introdução. Em vez,
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1959

em uma variedade de contextos, não permite que a pessoa média saia da pobreza ou experimente uma
transformação impressionante em seu estilo de vida. Mesmo assim, alguns empresários (existentes) se
beneficiam muito com os empréstimos de microfinanciamento e muitos outros os usam como financiamento
para o consumo.
A reação da comunidade de IMFs ao corpo de evidências acumulado foi bastante
diferente do que os primeiros estudos. Organizamos uma conferência conjunta com o
CGAP em Washington DC, seguida por outra na Harvard Business School. Ambos foram
bem atendidos por profissionais de microfinanças. Os participantes se concentraram em
redesenhar as microfinanças usando percepções dos estudos, em vez de tentar matar seus
resultados. Surpreendentemente, até mesmo a mídia foi avaliada em sua cobertura do
evento e da pesquisa subjacente, comO economista por exemplo, descrevendo os
resultados em um artigo intitulado “A Partial Marvel”.
Os resultados dos ECRs de microfinanças conseguiram desviar o debate sobre políticas de
gritaria entre "desastre" ou "milagre", mudaram a visão de muitos promotores de microfinanças,
1e eventualmente mudou as próprias microfinanças. O objetivo dos pesquisadores, é claro,
nunca foi minar o microfinanciamento: na verdade, muito da economia do desenvolvimento
moderno se baseia no fato de que os mercados financeiros funcionam muito mal para os pobres
e que isso restringe sua escolha ocupacional e leva a armadilhas da pobreza (por exemplo, ,
Banerjee e Newman 1993). O que esses resultados sugerem, no entanto, é que a abordagem de
"tamanho único" que tem sido a marca registrada do movimento de microfinanças desde
Muhammad Yunus (um empréstimo, concedido uma vez por ano, e pago em prestações
semanais de igual tamanho) talvez não fosse o ideal, dada a extrema heterogeneidade nas
necessidades e tipos dos mutuários. Enquanto algumas pessoas precisavam de financiamento
para consumo ou apenas de bons produtos de poupança, uma minoria de empresários reais
precisava de empréstimos comerciais com empréstimos maiores e mais flexíveis.

A segunda onda de estudos de microfinanças foi muito focada nesses tópicos. Eles
procuraram perguntar não se o microfinanciamento funcionava, mas como modificá-lo
para torná-lo melhor. Por exemplo, alguns pesquisadores perguntaram se a estrutura do
grupo, que é bastante restritiva, é realmente necessária (Giné e Karlan 2014), alguns
experimentaram um período de carência de um mês antes do início do reembolso (Field et
al. 2013), e com mudanças na frequência de reembolso (Field et al. 2012). Uma pesquisa
recente enfoca a melhor forma de identificar os clientes mais empreendedores usando
informações da comunidade (Hussam, Rigol e Roth 2016).
A principal contribuição da agenda geral de pesquisa não foi prescrever a ampliação ou
redução das microfinanças (na verdade, o número de clientes de microfinanças continuou
a crescer após os primeiros estudos), mas sim ajudar o setor e os formuladores de políticas
a pensar sobre as microfinanças. de uma forma mais rica e sutil. Pode-se ver que o
caminho dosRCTs para a influência política não foi simples. Envolveu vários estudos e
análises cuidadosas. Não culminou com uma recomendação do tipo “polegar para cima” ou
“polegar para baixo”, mas sim um convite para repensar os serviços financeiros e o
financiamento dos empresários. Esse repensar está em andamento e combina uma
pesquisa estimulante com um design de produto inovador.

1Mais notavelmente CGAP, que ampliou seu mandato para ser um promotor de inclusão financeira de forma mais geral e

colocou sua energia em um programa de transferência de ativos para os ultra-pobres, descrito na palestra Nobel de Abhijit
Banerjee (Banerjee 2019).
1960 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

III. Da Prova de Conceito ao Impacto em

Escala: Ensinando no Nível Certo

O exemplo do microcrédito é incomum no sentido de que os resultados dos ECRs foram

suficientes para mudar as percepções e a política. Um caso mais típico de influência política
segue uma longa cadeia desde os primeiros experimentos até a adoção final da política, no
caminho para lidar com as muitas dificuldades envolvidas com o aumento de escala. Um
exemplo proeminente onde toda a cadeia pode ser rastreada é o programa “Ensinando no Nível
Certo”.

UMA. Ensinando no nível certo

Em muitos países em desenvolvimento, as crianças estão na escola, mas não aprendem

muito. Este também é o caso da Índia, onde menos da metade de todas as crianças na 5ª
série podem ler um parágrafo simples na 2ª série. O desempenho é ainda pior em
matemática e, infelizmente, a situação não está melhorando com o tempo (ASER 2015). O
estado atual das coisas, é claro, representa um enorme desperdício de recursos. Muitos
experimentos tentaram examinar as razões e as soluções para este problema de crianças
que não aprendem na escola - incluindo a primeira experiência de Michael Kremer em
livros didáticos (Glewwe, Kermer e Moulin 2009).
A questão principal parece não ser apenas a falta de insumos, a falta de
incentivos para que os professores se esforcem ou mesmo a incapacidade
das crianças de aprender. Em vez disso, a pedagogia empregada nas
escolas é completamente inadequada. Em particular, os professores são
obrigados a ensinar e concluir currículos muito exigentes, e nada é
realmente feito para ajudar os alunos a recuperar o tempo perdido. A
maioria dos países em desenvolvimento ainda tem sistemas escolares
tendenciosos para a elite, originados em certa medida de sua história
colonial. Esses sistemas educacionais foram originalmente criados para
educar uma pequena elite que iria apoiar o poder colonial. Eles foram
expandidos na época da independência, em parte porque reduzir o
currículo ambicioso pode ter parecido enganar as crianças, o que é difícil
de justificar politicamente. Como resultado,
2011).
Pode-se pensar que a solução seria reformar o currículo, mas isso não foi viável
pelas razões políticas discutidas acima. A segunda melhor estratégia, aparentemente
simples, é ensinar às crianças o que elas são capazes de aprender, sempre que
possível, apesar do currículo. Em nosso primeiro RCT, Abhijit Banerjee, Shawn Cole,
Leigh Linden e eu trabalhamos com a maravilhosa organização Pratham para avaliar
exatamente esta abordagem para resolver o problema: ensinar as crianças no nível
certo, usando qualquer margem que possa ser aberta dentro ou fora do sistema
escolar.
Esta abordagem passou a ser chamada de “Ensino no Nível Certo” (ou TARL). O
princípio básico do TARL é avaliar as crianças com frequência e oferecer atividades
que correspondam ao seu nível atual de conhecimento. As crianças são avaliadas,
agrupadas, ensinadas no nível certo para elas neste exato momento e
frequentemente reavaliadas e reagrupadas.
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1961

B. Das favelas de Mumbai para mais de 20 milhões de

crianças: 15 anos e muitas experiências

A parceria entre a Pratham e a J-PAL é a mais longa da J-PAL (e da Pratham) e,

certamente, uma das mais influentes em termos de impacto político. Revisitar a
história dessa parceria é instrutivo para entender como se passa de uma boa ideia a
uma política que afeta milhões de crianças. Isso deixará muito claro que esse
processo não segue o modelo do espantalho. Esta seção foi amplamente adaptada de
Banerjee et al. (2017) e também deve muito à maravilhosa lembrança de Rukmini
Banerji dessa jornada (Banerji 2019, Banerji e Chavan 2020).
A parceria entre os pesquisadores e a Pratham começou com um teste controlado
randomizado de “prova de conceito” do “Programa Balsakhi” da Pratham (o ancestral do
programa Ensino no Nível Certo) nas cidades de Vadodara e Mumbai, conduzido em 2001–
2004 (Banerjee et al . 2007). Neste programa, os alunos da terceira e quarta séries
identificados como "atrasados" por seus professores foram retirados das aulas por duas
horas por dia, durante as quais eles aprenderam linguagem corretiva e habilidades
matemáticas por membros da comunidade (balsakhis) contratado e treinado pela Pratham.
Este RCT teria se parecido com o primeiro experimento “bem controlado” da Figura 1,
exceto que era tudo, mas: em um ano, tivemos que descartar todos os testes porque era
evidente que as crianças haviam copiado umas das outras; outro ano, os papéis do teste
foram devolvidos às crianças antes que pudessem ser duplamente inscritos; um ano, um
grande terremoto sacudiu Baroda; outro ano, motins comunais perturbaram a cidade,
fechando escolas e o programa. Apesar desses contratempos, os resultados foram claros;
os níveis de aprendizagem das crianças (medidos por testes de matemática básica e
alfabetização da segunda série) aumentaram 0,28 desvios-padrão em média. Esses ganhos
foram inteiramente contabilizados pelas crianças na parte inferior da distribuição da
pontuação do teste, que foram as que de fato receberam a ajuda corretiva.
O segundo ensaio clínico randomizado do que se tornaria o TARL foi conduzido no
distrito de Jaunpur, em Uttar Pradesh, em 2005–2006: este foi um teste de um modelo de
aprendizagem para ler baseado em acampamento, conduzido por voluntários, instalado
em uma área rural. Os resultados foram mais uma vez muito positivos: a frequência às
aulas tornou as crianças 22,3 pontos percentuais mais propensos a ler letras e 23,2 pontos
percentuais mais propensos a ler palavras. Quase todas as crianças que frequentaram o
acampamento avançaram um nível (por exemplo, de não ler nada a ler cartas, ou de ler
palavras a ler um parágrafo) ao longo do ano letivo (Banerjee et al. 2010).
Este segundo estudo estabeleceu que a ideia pedagógica por trás do Balsakhi O
programa poderia sobreviver à mudança de contexto (de urbano para rural) e desenho do
programa (de assistentes pagos nas escolas a voluntários fora das escolas), mas também
revelou novos desafios. Houve um desgaste substancial entre os voluntários e muitas aulas
terminaram prematuramente. Além disso, como o programa era voltado para crianças fora
da escola, a aceitação estava longe de ser universal. Apenas 17% dos alunos elegíveis
foram tratados, e eles nem mesmo eram os que mais precisavam.
A fim de alcançar todas as crianças que precisavam de educação corretiva e usar o
tempo escolar de forma mais eficaz, a Pratham começou a colaborar com os governos
estaduais na execução dos Programas Read India. Mas, como o programa agora seria
implementado por professores de escolas públicas, não era óbvio que funcionaria tão bem
como funcionara com os voluntários. Essa mudança exigiu uma nova onda de avaliação.
1962 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

C. Uma primeira tentativa de aumentar a escala com o governo

A partir de 2008, Pratham e J-PAL embarcaram em uma série de novas avaliações para testar
a abordagem da Pratham quando integrada ao sistema escolar do governo. Dois ensaios clínicos
randomizados foram conduzidos nos estados indianos de Bihar e Uttarakhand ao longo dos dois
anos letivos de 2008–2009 e 2009–2010. Embora as avaliações cobrissem apenas algumas
centenas de escolas, elas foram incorporadas em um esforço de expansão total: em junho de
2009, o programa Read India em Bihar estava sendo executado em 28 dos 38 distritos de Bihar,
atingindo 2 milhões de crianças em aproximadamente
40.000 escolas. Em Uttarakhand, antes do lançamento das avaliações, a Pratham
trabalhava em todas as 12.150 escolas em 95 “blocos”. Para os experimentos em Bihar e
Uttarakhand, “esculpimos” um distrito onde algumas escolas foram mantidas como o
grupo de controle, permitindo-nos avaliar a eficácia de um programa executado em escala.
Essa abordagem de avaliação em escala é diametralmente oposta à descrita no espantalho
que discutimos antes. Aqui, o programa é executado em escala e a amostra de controle é
mantida pequena. Isso ajuda a garantir que todos os problemas associados à ampliação de um
programa sejam resolvidos. Na verdade, este projeto anula muitas das preocupações expressas
no espantalho (o revestimento de ouro, a validade externa, as preocupações de economia
política). Muito pode ser aprendido com esse tipo de experimentação.
Na primeira intervenção (avaliada apenas em Bihar durante junho de 2008), a instrução
corretiva foi fornecida durante um acampamento de verão de um mês, administrado em prédios
escolares por professores de escolas do governo, que foram pagos a mais pelo governo. Esta
avaliação (que, para ser totalmente honesto, foi um acréscimo de última hora ao projeto de
pesquisa, possibilitada pela grande atenção de Rukmini Banerji e MichaelWalton sobre como o
programa se desdobrou no terreno e ação rápida para preservar a possibilidade de um
experimento (Banerji 2019)) mostrou ganhos significativos em linguagem e matemática. Em
apenas algumas semanas de acampamento de verão, o tratamento sobre os efeitos tratados foi
da ordem de 0,4 desvios-padrão.
As outras três intervenções foram realizadas durante o ano letivo. O primeiro modelo
distribuiu materiais da Pratham sem nenhum treinamento ou suporte adicional. O segundo
incluiu materiais, treinamento de professores na metodologia da Pratham e monitoramento pela
equipe da Pratham. Os professores foram treinados para melhorar o ensino em todos os níveis
por meio de um melhor direcionamento e instrução mais envolvente. A terceira e mais intensiva
intervenção incluiu materiais, treinamento e apoio voluntário. A parte do voluntário foi uma
replicação do modelo de sucesso avaliado em Jaunpur, em que os voluntários conduziram
acampamentos noturnos de aprendizagem com foco na instrução corretiva para alunos dirigida
a eles por professores.
Os resultados foram surpreendentes e, na sua maioria, decepcionantes. As intervenções de
materiais isolados e materiais mais professores não tiveram efeito em Bihar ou Uttarakhand. O
tratamento com materiais-professores-voluntários em Uttarakhand também não teve impacto
perceptível. Apenas a intervenção materiais-professores-voluntários em Bihar encontrou impactos
significativos nas notas de leitura e matemática, comparáveis aos resultados anteriores de Jaunpur.
Portanto, o modelo padrão da Pratham funcionou, mas a transferência para professores do governo
não foi bem-sucedida.
Nesse ponto, alguém pode ter ficado tentado a supor que os professores simplesmente não conseguiam
ou não queriam implementar uma intervenção que realmente se concentrasse na aprendizagem das crianças.
Mas o impacto positivo dos acampamentos de verão, liderados por professores,
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1963

sugeriu o contrário (e como Rukmini Banerji lembra, esse experimento de acampamento

de verão foi essencial para restabelecer minha confiança nos professores (Banerji 2019)).
Baseamo-nos em dados qualitativos e de processo que havíamos coletado ao longo do
projeto para averiguar por que a intervenção do ano letivo não funcionou. Esses dados
continham informações sobre a relação entre a Pratham e o governo (Kapur e Icaza 2010,
Sharma e Deshpande 2010), bem como as percepções das crianças, pais e professores.
O monitoramento do processo revelou um apoio considerável no topo da hierarquia
para o programa em Bihar (menos em Uttarakhand), bem como a entrega eficaz de
insumos básicos: dois terços dos professores foram treinados, receberam o material e
usaram o material mais da metade do tempo. Apesar desses sucessos, o componente-
chave da abordagem da Pratham, seu foco no ensino para crianças, geralmente não era
implementado pelas escolas de nenhum dos estados. Quando os professores regulares
estavam no comando, eles quase nunca agrupavam os alunos por níveis.
Os professores nos disseram que acharam as atividades valiosas, mas não tiveram tempo
para implementá-las devido à necessidade de completar o currículo prescrito. Parafraseando
professores entrevistados em Bihar, Sharma e Deshpande (2010) escrevem: “[Os] materiais são
bons em termos de linguagem e conteúdo. A linguagem é simples e o conteúdo relevante (...)
Porém, ensinar com esses materiais exige paciência e tempo. Portanto, eles não os usam
regularmente, pois também têm que completar o plano de estudos. ” A propósito, o
preenchimento do plano de estudos é exigido por lei dos professores, portanto, eles não podem
ser responsabilizados por seu enfoque. Claro, implementar o ensino no nível certo agora era
tb parte de seu trabalho, uma vez que o programa foi dimensionado dentro do governo. Mas
isso não foi transmitido com clareza. Na presença de tensão potencial entre os objetivos novos e
antigos, os professores decidiram permanecer seguros, concentrando-se no status quo.
De posse dos resultados deste estudo, a equipe da Pratham e nós tentamos encontrar
uma solução para o problema de não implementação do TARL. A resposta provou ser
dupla. Em primeiro lugar, recomendamos reservar um período durante o ano ou um
período durante o dia para focar no ensino no nível certo, de modo a evitar a competição
direta entre o TARL e a conclusão do currículo. Em segundo lugar, recomendamos
convencer os professores a levar o ensino no nível certo mais a sério, trabalhando com
seus superiores para incorporá-lo em sua missão; ou eliminando completamente os
professores e implementando uma intervenção do tipo voluntário nas escolas. Essas ideias
guiaram o desenho das próximas duas intervenções.

Fazendo os professores levarem o ensino no nível certo a sério

Em 2012–2013, a Pratham em parceria com o Departamento de Educação do Estado de

Haryana adotou novas estratégias para incorporar o Ensino no Nível Certo como uma
“responsabilidade central” dos professores. Para promover a adesão dos professores, Pratham
enfatizou que o programa foi totalmente apoiado e implementado pelo Governo de Haryana, e
não por uma entidade externa. Pratham primeiro deu quatro dias de treinamento e prática de
campo para supervisores de professores, ou “Coordenadores de Recursos de Bloco Associados”.
Após a conclusão do período de prática, esses coordenadores, por sua vez, treinaram e
monitoraram os professores em sua jurisdição.
Além disso, o programa foi implementado em um horário específico do dia. Durante
esta hora do TARL, as crianças foram agrupadas por nível, não por série. O delineamento
do tempo deixou claro que TARL fazia parte do trabalho do professor, e que ela não
1964 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

tem a discrição de convertê-lo de volta para o horário normal das aulas. Esta nova versão
do programa foi avaliada em 400 escolas durante o ano letivo de 2012–2013; 200 dessas
escolas estavam no grupo tratado e receberam o programa. Os resultados desta vez foram
positivos. As pontuações dos testes de hindi aumentaram 0,15 desvios-padrão (significativo
no nível de 1 por cento) (o programa não cobria matemática).

D. Usando as Escolas, mas não os professores: campos de aprendizagem na escola

Um modelo alternativo era evitar completamente os professores e, em vez disso, usar voluntários para
ensinar nas escolas em um modelo de “campo de aprendizagem”. Os Acampamentos de Aprendizagem são
explosões intensivas de atividades de ensino-aprendizagem usando a metodologia da Pratham. Os voluntários
e a equipe da Pratham os administram durante o horário escolar, quando o ensino regular está
temporariamente suspenso. Esses acampamentos eram mantidos por 50 dias por ano. Em “dias de
acampamento”, as crianças da 3ª à 5ª série eram agrupadas de acordo com seu nível de habilidade e ensinadas
hindi e matemática por voluntários por cerca de 1,5 horas.
O modelo foi testado em uma avaliação aleatória em Uttar Pradesh no ano de 2013–2014. Uma
amostra de escolas foi selecionada e dividida aleatoriamente em dois grupos de tratamento de
acampamento, um grupo de controle e uma intervenção apenas com materiais, com aproximadamente
120 escolas por braço. Os grupos de intervenção do acampamento de aprendizagem variaram a
duração do acampamento, com um recebendo quatro rodadas de 10 dias de acampamento, e o
segundo recebendo duas rodadas de 20 dias. As duas intervenções tiveram impacto semelhante, com
ganhos de pontuação de teste de 0,6 a 0,7 desvios-padrão.

E. Ampliando

Foram necessários cinco ensaios clínicos randomizados na Índia e vários anos para
superar a distância entre o conceito e uma política que poderia ter sucesso em escala. Mas
tem sido eficaz: desde 2013–2014, quando o Haryana RCT foi concluído, as parcerias
formais com o governo para expandir um modelo de “estilo Haryana” nas escolas
alcançaram 21,3 milhões de crianças em todo o país. E a escalada não parou por aí.
Paralelamente aos experimentos da Índia, os pesquisadores avaliaram abordagens
semelhantes ou idênticas na África (no Quênia, as crianças foram acompanhadas por dois
anos de acordo com as notas do primeiro semestre; em Gana, equipes do ministério da
educação visitaram Pratham e o modelo Pratham foi testado nas escolas) . TARL se tornou
um dos poucos projetos selecionados pela Co-Impact ("uma colaboração global para
mudança de sistemas, focado em melhorar a vida de milhões de pessoas em todo o mundo
”) para uma escala massiva por meio do governo. A Figura 4 mostra locais em toda a África
onde a TARL Africa (uma joint venture da J-PAL e da Pratham) está trabalhando com o
governo para expandir o TARL.

4. Melhorar os programas que são executados em grande escala, por ajudar o governo a abordar

“Problemas de encanamento”

As seções acima nos dão uma ideia do que é necessário para ir da prova de conceito a uma
política escalonável. Uma lição é que são necessários muitos experimentos. Outra lição clara é
que o papel do pesquisador não se restringe a dar conselhos de uma espécie de pedestal. Junto
com o governo, os pesquisadores tentam e errar em conjunto. Eles co-criam.
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1965

Figura 4. Ensino no nível certo hoje

A pesquisadora não foi particularmente útil se ela apenas fornecer uma ideia geral sem se
envolver com o processo confuso de implementação. A cocriação agora está acontecendo
também com os governos. Muito do trabalho realizado pelas afiliadas da J-PAL, IPA ou outras
organizações que administram RCTs, agora ajuda os governos a projetar e implementar melhor
seus próprios programas.
Eu chamei essa abordagem de abordagem de “encanamento” (Duflo 2017). Nos
problemas de encanamento, o governo não se pergunta se deve investir em saúde ou
educação, ou mesmo em alguma intervenção específica. Em vez disso, é uma pergunta do
tipo: “Estamos executando este programa específico e há problemas com ele. O que
podemos fazer para resolver esses problemas e alcançar nossos objetivos? ”
Tentar responder a essa pergunta não é o ponto ideal para a maioria dos economistas. Banerjee
(2007) escreve que os economistas tendem a pensar no “modo máquina”: eles querem
encontrar o botão para ligar a máquina e identificar a causa raiz do que faz o mundo
girar. Ele escreve:

A razão pela qual gostamos tanto desses botões, parece para mim, é que eles nos
poupam o trabalho de entrar na máquina. Assumindo que a máquina funciona por
conta própria ou não funciona, evitamos ter que procurar onde as rodas estão
presas e descobrir quais pequenos ajustes seriam necessários para que a máquina
funcionasse corretamente. Dizer que precisamos mudar para um sistema de
vouchers não nos obriga a descobrir como fazê-lo funcionar - como garantir que os
pais não negociem os vouchers por dinheiro(porque eles não atribuem valor
suficiente à educação de seus filhos) e que as escolas não levam os pais para
passear (porque os pais podem não saber o que é uma boa educação). E como
fazer com que as escolas privadas sejam mais eficazes? Afinal, pelo menos na Índia
, mesmo as crianças que vão para escolas particulares estão longe do nível de
escolaridade. E muitos outros detalhes confusos que todo programa real tem que
enfrentar.

Em contraste, um economista que se preocupa com os detalhes da implementação da política deve levar
em conta as complicações que podem aparecer muito abaixo de seu nível de pagamento (por exemplo, o
tamanho da fonte em cartazes) ou muito além de seu nível de especialização (por exemplo, a complexidade do
orçamento do governo em um governo federal sistema). Ela deve aplicar sua mente economista para enfrentar
1966 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

incentivos, informações, racionalidade imperfeita, etc. Ela deve ficar de olho no impacto de
qualquer mudança recomendada. O que torna esse processo de implementação semelhante ao
encanamento é que o economista normalmente nem mesmo terá a rede de segurança de um
conjunto limitado de suposições. Ela sabe que não saberá com certeza os determinantes do
sucesso. No entanto, ela dará o melhor de si: usando seu conhecimento da ciência, o
conhecimento contextual de sua organização parceira e a experiência anterior. Permanecerá
uma incerteza genuína sobre a melhor maneira de proceder em muitos detalhes, porque a
solução depende de uma série de fatores que não são fáceis de quantificar, ou às vezes mesmo
de identificar, de forma abstrata. (Estas são as “incógnitas desconhecidas”: todas as questões que
não podemos prever, mas sabemos que irão surgir). Na busca pela boa implementação de
políticas públicas, o economista está disposto a mexer e tentar novamente. E na presença de
incerteza, a experimentação de campo torna-se sua ferramenta de escolha: a melhor maneira de
determinar o que funciona e de ajustar. Os formuladores de políticas também estão
frequentemente dispostos a experimentar questões de implementação, porque reconhecem que
não têm um caminho claro a seguir.
Um exemplo de projeto para melhorar a qualidade da implementação é oferecido pelo programa de distribuição de arroz na Indonésia (Banerjee et al. 2018). Este

programa (então chamado de Raskin) é enorme, alcançando mais de 17,5 milhões de famílias. É financiado centralmente, mas administrado localmente. Como acontece com

muitos programas dessa escala, ele enfrenta muitos problemas com a implementação. Por exemplo, muitas famílias elegíveis não recebem o programa, muitas que o

recebem acabam pagando mais e recebendo menos do que deveriam, e uma parte substancial do orçamento do programa “vaza” para os bolsos dos funcionários do

governo responsáveis pela implementação. Como resultado, os beneficiários potenciais recebem apenas cerca de 30% dos benefícios a que têm direito. O governo da

época acreditava que a falta de informações sobre a elegibilidade era uma das principais razões para esses problemas. Rema Hanna e Ben Olken, os co-líderes do escritório

do J-PAL no Sudeste Asiático na Indonésia, estabeleceram uma colaboração de longa data com o governo indonésio, o que leva o governo a frequentemente trazer esses

tipos de preocupações ao J-PAL e para colaborar em projetos de pesquisa orientados para políticas. Neste caso específico, o governo originalmente queria distribuir cartões

para aumentar a conscientização sobre a elegibilidade do programa. Os pesquisadores (Ben e Rema, acompanhados por Abhijit Banerjee, Jordan Kyle e Sudarno Sumarto, o

líder de um Think Tank da Indonésia) fizeram questão de explorar essa ideia em um experimento em grande escala que explorou o alcance do programa, dado que

distribuir cartões baratos. Eles propuseram uma avaliação que permitiu a eles e ao governo não apenas aprender os co-líderes do escritório da J-PAL no Sudeste Asiático na

Indonésia estabeleceram uma colaboração de longa data com o governo indonésio, o que leva o governo a levantar frequentemente esses tipos de preocupações com a J-

PAL e a colaborar em políticas projetos de pesquisa orientados. Neste caso específico, o governo originalmente queria distribuir cartões para aumentar a conscientização

sobre a elegibilidade do programa. Os pesquisadores (Ben e Rema, acompanhados por Abhijit Banerjee, Jordan Kyle e Sudarno Sumarto, o líder de um Think Tank da

Indonésia) fizeram questão de explorar essa ideia em um experimento em grande escala que explorou o alcance do programa, dado que distribuir cartões baratos. Eles

propuseram uma avaliação que permitiu a eles e ao governo não apenas aprender os co-líderes do escritório da J-PAL no Sudeste Asiático na Indonésia estabeleceram uma

colaboração de longa data com o governo indonésio, o que leva o governo a levantar frequentemente esses tipos de preocupações com a J-PAL e a colaborar em políticas

projetos de pesquisa orientados. Neste caso específico, o governo originalmente queria distribuir cartões para aumentar a conscientização sobre a elegibilidade do

programa. Os pesquisadores (Ben e Rema, acompanhados por Abhijit Banerjee, Jordan Kyle e Sudarno Sumarto, o líder de um Think Tank da Indonésia) fizeram questão de

explorar essa ideia em um experimento em grande escala que explorou o alcance do programa, dado que distribuir cartões baratos. Eles propuseram uma avaliação que

permitiu a eles e ao governo não apenas aprender estabeleceram uma colaboração de longa data com o governo indonésio, o que leva o governo a levantar frequentemente esses tipos de preocupações com

as cartas fizeram a diferença, mas também Como as para estruturar o conteúdo do cartão e sua
distribuição.
Eles fizeram uma série de perguntas pertinentes. O cartão deve informar aos destinatários o
preço correto? Todos na aldeia deveriam receber um cartão físico ou é suficiente entregá-lo a um
subconjunto de indivíduos, mas postar publicamente a lista completa de beneficiários? Se uma
aldeia receber cartazes, de modo que, além de os beneficiários saberem de sua elegibilidade, os
funcionários também saibam que os beneficiários sabem, e os moradores, por sua vez, sabem
que os funcionários sabem que eles sabem, e assim por diante, criando “ conhecimento comum
”(potencialmente mudando a forma como as pessoas negociam)? O cartão deve ter cupons de
recorte que os funcionários são obrigados a enviar aos seus supervisores para melhorar a
percepção de responsabilidade?
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1967

Quando a equipe de pesquisa implementou o experimento em mais de 550 aldeias, eles

avaliaram não apenas o impacto de dar um cartão, mas também responderam às
perguntas acima. Vários grupos de tratamento permitiram que eles fornecessem
informações sobre qual versão do cartão e do mecanismo de distribuição era a mais eficaz
e econômica. A melhor estratégia, ao que parece, é incluir informações sobre preços,
distribuir o cartão a todos e criar um conhecimento comum. A parte da responsabilidade
não era particularmente importante. Essa melhor estratégia aumentou a aceitação do
programa e reduziu o preço pago, levando a um aumento geral de 26% no valor do
subsídio recebido pelas famílias elegíveis.
Como esta intervenção foi avaliada em resposta ao interesse e demanda do governo
indonésio, foi quase imediatamente ampliada para mais de 60 milhões de famílias
participantes. Este aumento de escala imediatamente após a pesquisa foi possível devido à
estreita colaboração entre o J-PAL e o governo, bem como ao fato de envolver operações
de ramp up que já ocorriam em escala significativa no mesmo contexto. Ao entrar “dentro
da máquina”, os pesquisadores encontraram uma maneira imediatamente relevante de
fazê-la funcionar.
Obviamente, o projeto também gerou percepções que podem ser úteis em outros contextos.
Em particular, demonstrou o papel fundamental de informações específicas e verificáveis sobre
o processo de negociação entre beneficiários e funcionários do governo. Projetos de
“encanamento” semelhantes geralmente geram lições mais gerais que podem ser aplicadas em
outros ambientes ou em outros tipos de programas (com mais ajustes e talvez um novo
experimento).
Hoje, esse tipo de colaboração direta com o governo compreende uma forma muito
importante pela qual os pesquisadores de RCT desempenham um papel no processo político. Eu
poderia citar vários exemplos semelhantes, mas mencionarei apenas mais um. Ele destaca um
cenário no qual a estreita colaboração entre pesquisadores e o governo, bons conhecimentos de
economia e excelente conhecimento das instituições locais eventualmente levaram à reforma da
política em todo o estado.
Neste projeto, Michael Greenstone, Rohini Pande, Nick Ryan e eu colaboramos com o Conselho de Controle de Poluição de Gujarat

(GPCB) para ajudá-los a reformar e reviver um sistema de auditoria ambiental de terceiros. Gujarat é o estado indiano com o crescimento

industrial mais rápido e, em parte como consequência, é também o estado com o crescimento mais rápido da poluição. Alguns dos lugares

mais poluídos do planeta estão em Gujarat. Há alguns anos, a Suprema Corte ordenou que o governo estabelecesse um sistema de auditoria

de terceiros, em que cada fábrica em setores altamente poluentes teria que obter (e pagar por) uma auditoria anual administrada por uma

empresa privada. O relatório da auditoria seria compartilhado com o GPCB, que poderia impor sanções. Esta é uma ótima ideia em princípio,

uma vez que força o poluidor a pagar e permite ao governo aproveitar competências privadas que não possui. Infelizmente, porém, a

estrutura do programa criou um conflito natural de interesses entre o auditor e a empresa: uma vez que a empresa opta por contratar e

pagar o auditor, este tem todos os motivos para apresentar-lhes um atestado de saúde limpo. Essa disfunção era de conhecimento comum

no início de nossa colaboração com o GPCB. Os sócios comerciais estavam até processando o governo para remover o esquema,

argumentando que as informações coletadas eram tão inúteis que as auditorias acabaram servindo como um imposto extra. o último tem

todos os motivos para dar-lhes um atestado de saúde. Essa disfunção era de conhecimento comum no início de nossa colaboração com o

GPCB. Os sócios comerciais estavam até processando o governo para remover o esquema, argumentando que as informações coletadas

eram tão inúteis que as auditorias acabaram servindo como um imposto extra. o último tem todos os motivos para dar-lhes um atestado de

saúde. Essa disfunção era de conhecimento comum no início de nossa colaboração com o GPCB. Os sócios comerciais estavam até

processando o governo para remover o esquema, argumentando que as informações coletadas eram tão inúteis que as auditorias acabaram

servindo como um imposto extra.

Um advogado da GPCB iniciou contato com um de nós (Rohini Pande) durante uma
visita à Harvard Kennedy School. Eles estavam interessados em reformar o sistema para
1968 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

Auditorias
20
Massa: 0,3913

15
Por cento

10

0
0 100 200 300 400

Backchecks
20
Massa: 0,1449

15
Por cento

10

0
0 100 200 300 400

Figura 5. Relatórios de poluição versus realidade

dê mais mordida. Para verificar se o sistema realmente não estava funcionando, começamos coletando
“dados de verificação anterior” das empresas auditadas. Como parte dessas “verificações
retrospectivas”, enviamos uma segunda equipe de auditoria (composta por alunos e professores de
uma faculdade de engenharia local) para coletar informações sobre o mesmo poluente examinado na
auditoria original (administrada por empresa privada). Conforme ilustrado na Figura 5, houve um
grande contraste entre o relatório de auditoria e a verificação. Enquanto a maioria dos relatórios de
auditoria mostrou níveis de poluição logo abaixo do limite aceitável, os verdadeiros níveis de poluição
eram muito diferentes. Muitas empresas foram consideradas no back-check como poluentes muito
mais do que na auditoria original, enquanto outras estavam poluindo muito menos. Ficou claro que os
auditores nem mesmo se preocuparam em visitar as fábricas para coletar amostras: eles estavam
apenas inventando um número que parecia plausível. Isso tinha a vantagem extra de tornar a auditoria
muito barata ... a taxa normal de um relatório de auditoria não era nem suficiente para cobrir o custo
do teste das amostras.
Após extensas conversas com o GPCB durante muitos meses (que se tornou uma colaboração
frutífera ao longo de vários anos), propusemos uma solução em três partes para aliviar o
aparente conflito de interesses e tornar o auditor leal à sociedade em oposição à empresa
auditada. Primeiro, propusemos quebrar o vínculo financeiro entre a empresa auditada e o
auditor, criando um pool central a partir do qual os auditores seriam pagos. Em segundo lugar,
propusemos fazer o monitor se sentir responsável pela precisão. No primeiro ano, isso foi
conseguido ameaçando descontinuar sua participação no esquema por baixa precisão e, no
segundo ano, recompensando-os com um pagamento mais alto por alta precisão. Terceiro,
começamos a medir a precisão por meio de verificações anteriores. Projetamos um ensaio clínico
randomizado para testar este novo sistema: as empresas elegíveis para auditoria foram
aleatoriamente designadas para o sistema status quo ou para o novo sistema. Encontramos
relatórios de auditoria como sendo
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1969

Partículas em suspensão, mg / Nm3

Massa: 0,7297
Por cento

100 200 300 400

Backchecks
20
Massa: 0,1892
Por cento

10

0
100 200 300 400

Figura 6. Impacto da Reforma

muito mais preciso no novo sistema. Isso é ilustrado para um determinado poluente
na Figura 6, onde mostramos que o novo sistema faz com que a massa excedente
para empresas supostamente poluidoras logo abaixo do nível aceitável desapareça.
Além disso, talvez devido a um maior escrutínio, a poluição (medida em uma pesquisa
final independente) também diminuiu, especialmente para os piores criminosos (Duflo
et al. 2013).
Com base nesses resultados, o GPCB conseguiu convencer o tribunal e a administração
estadual a mudar as regras que regem a implementação do esquema. Essas mudanças
entraram em vigor em 2015, com novas diretrizes exigindo a atribuição aleatória de
auditores ambientais às empresas, instituindo verificações anteriores e impondo uma
tabela de taxas.
Neste exemplo, combinamos o conhecimento básico dos princípios econômicos fundamentais com
um conhecimento profundo das realidades terrestres (obtido a partir de extensas entrevistas
qualitativas com a equipe do GPCB) para ajudar o governo a redesenhar as regras para resolver um
problema de encanamento muito específico: garantir que o sistema de auditoria atinja seus objetivos
declarados.
A colaboração entre o GPCB e a equipa de investigação não se limitou a esta política. Em
outro projeto, estudamos o impacto das inspeções e a maneira ideal de atribuí-las
(aleatoriamente ou usando discrição) (Duflo et al. 2018). Ao contrário do nosso próprio
instinto (e de muitos economistas e formuladores de políticas), descobrimos que a equipe
do GPCB tem e usa informações significativamente relevantes para “pescar” os piores
criminosos pela poluição. Portanto, seria ineficiente exigir que eles randomizassem a
primeira inspeção. Hoje, Rohini Pande, Michael Greenstone e Nick Ryan continuam
trabalhando com o GPCB; eles estão testando um novo Esquema de Comércio de Emissões
que pode ser um modelo para a Índia e outros países.
A escala e a ambição da colaboração dos pesquisadores com o GPCB vão muito além de um
conjunto de recomendações. Ao estabelecer um relacionamento de longo prazo baseado em
1970 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

confiança e colaboração, eles são capazes de testar ideias que seriam impossíveis de
implementar e testar em qualquer outro ambiente. Ter colaboradores de pesquisa também
permite que o governo tente mudanças nas políticas que, de outra forma, eles não teriam a
largura de banda para implementar.
A relação pesquisa-governo também ajuda burocratas e políticos a criar um espaço para
inovação no processo de formulação de políticas: com a experimentação explícita, eles têm
a licença para experimentar coisas novas ou fazer as coisas de forma diferente. Eles não
precisam mais inflar os benefícios de um projeto recomendado, pois ele pode ser
encerrado se não produzir os ganhos esperados. O fracasso não é mais estigmatizado. Esta
cultura de aprendizagem será talvez a influência política mais profunda e duradoura da J-
PAL. O sucesso final, é claro, seria que essa cultura de inovação e tentativa e erro se
tornasse tão arraigada que ocorre mesmo na ausência do J-PAL.
Obviamente, o objetivo final desse tipo de trabalho político é chegar a um ponto em
que, como organização, seríamos amplamente irrelevantes, porque a cultura de
aprendizagem e a capacidade de fazer esse trabalho seriam tão difundidas que os
governos assumiriam todo o projeto em si. Estamos trabalhando nisso: é por isso que o
terceiro pilar do J-PAL é o treinamento. O treinamento assume muitas formas, desde cursos
executivos curtos a cursos online de um semestre, e até mesmo um programa de mestrado
combinado no MIT, chamado "Dados e Economia para Política de Desenvolvimento", onde
os alunos fazem um semestre de aulas online, com base no qual eles são admitidos no MIT.
Para ser totalmente honesto, estamos longe de poder declarar nosso trabalho concluído e
fechar nossos escritórios. Mas há sinais de progresso. No Peru, o ministério da educação
criou uma unidade chamada “Minedu Lab” que se dedica à inovação e avaliação de políticas
e está ativamente envolvida em ECRs. Em Tamil Nadu, Índia, o governo tem um
memorando de entendimento de longo prazo com a J-PAL, por meio do qual
departamentos ou pesquisadores podem propor inovações políticas para testar e inovar.
Cada uma dessas parcerias nos leva para mais perto de um mundo onde nossa influência
política final será a de que não somos mais necessários.

V. Conclusão: Um Prêmio para um Movimento

Deve ficar claro com esta palestra que não me tornei o tipo de acadêmico ou o tipo de
agente de mudanças que sempre sonhei ser. Não fiz diferença por meio da busca solitária
pela ciência. E eu não sou um salvador ou um herói. A única razão pela qual conseguimos
mudar a prática da economia, como Abhijit Banerjee (2019) descreve em sua palestra, ou a
prática da política, como descrevo aqui, é porque fazíamos parte de um movimento. Esse
movimento não é constituído apenas de acadêmicos: embora o acadêmico desempenhe
um papel fundamental, eles não poderiam nem mesmo fazer seu trabalho sem seus
parceiros e seus funcionários, que muitas vezes são muito mais experientes do que eles
nas realidades do terreno.
Cada projeto descrito aqui envolveu várias pessoas: pesquisadores, assistentes de
pesquisa e equipe de campo, liderança e equipe da J-PAL, e os líderes e equipe de ONGs.
Esses indivíduos às vezes, mas nem sempre, são co-autores em um artigo final, mas seu
papel nunca começa ou termina com o artigo. Eles são essenciais em todas as etapas, para
preparar o projeto, implementá-lo e garantir o seu acompanhamento.
Esta palestra não estaria completa se eu não tentasse listar as pessoas que
participaram desses projetos. Quando dei a palestra em Estocolmo, perguntei àqueles
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1971

presente e associado ao nosso movimento de levantar-se. A versão escrita me dá a oportunidade

de incluir muitas outras pessoas que não estavam conosco pessoalmente.
Esta lista é necessariamente parcial: seria impossível fornecer uma lista completa do
pessoal de campo. E, claro, este é apenas um pequeno conjunto de projetos de um corpo
de trabalho muito maior. Mas mesmo esse esforço parcial deve dar uma boa noção de até
que ponto a essência desses projetos é coletiva.

Pesquisadores: Manuela Angelucci, Orazio Attanasio, Britta Augsburg, Rukmini

Banerji, James Berry, Emily Breza, Shawn Cole, Ralph De Haas, Pascaline Dupas,
Rachel Glennerster, Michael Greenstone, Rema Hanna, Heike Harmgart, Harini
Kannan, Dean Karlan, Stuti Khemani, Cynthia Kinnan, Michael Kremer, Jordan
Kyle, Leigh Lindon, Costas Meghir, Shobhini Mukerji, AndrewNewman, Benjamin
Olken, Rohini Pande, Nicholas Ryan, Marc Shotland, Sudarno Sumarto, Michael
Walton e Jonathan Zinman.

Liderança de J-PAL e IPA: Iqbal Dhaliwal, Rachel Glennerster, Annie Duflo,

Shobhini Mukherjee, Tithee Mukhopadhyay, Ruben Menon, Shagun Sabarwal.

Liderança da Pratham, Spandana e Al Mama: FouadAbdelmoumni, Madhav

Chavan, Rukmini Banerji, Pratima Bandekar, Lekha Bhatt, Shekhar Hardikar,
Rajashree Kabare, Aditya Natraj, Padmaja Reddy e muitos outros.

Formuladores de políticas e funcionários do governo: Santhosh Matthew, Mitra

Samya, Equipe Nacional da Indonésia para a Aceleração da Redução da Pobreza,
Bambang Widianto, Suahasil Nazara, Sri Kusumastuti Rahayu e Fiona Howell.

Organizações de Financiamento (Incluindo a equipe principal que interagiu conosco):

Amrita Ahuja (Fundação da Família Marshall); Dana Schmidt (Fundação
Hewlett), Smita Singh (Fundação Hewlett), Lynn Murphy (Fundação
Hewlett), Ward Heneveld (Fundação Hewlett); Iniciativa Internacional de
Avaliação de Impacto; Institut Veolia Environment, DFID, AFD, O Governo
Australiano, a National Science Foundation, o Governo de Haryana, os
Centros Regionais de Aprendizagem em Avaliação e Resultados, a
corporação ICICI, o Banco Mundial, a Alfred P. Sloan Foundation e a
JohnD. andCatherineT.MacArthur Foundation, o Sustainability Science
Program (SSP), o Harvard Environmental Economics Program, o Center
for Energy and Environmental Policy Research (CEEPR), a International
Initiative for Impact Evaluation (3ie), o International Growth Center (IGC),
o Programa de Doação de Caridade Vanguard, Spandana, J-PAL,

Membros-chave da equipe e assistentes de pesquisa para esses projetos:

Parul Agarwal, Angela Ambroz, Adie Angrist, Vipin Awatramani, Sugat
Bajracharya, Tamayata Bansal, Bruno Barsanetti, Susanna Berkouwer, Jim Berry,
Shaher Bhanu Vagh, Nandit Bhatt, Ozgur Bozcaga, Janjala Chirakijja, Anupama
Coin Deshpande, Diva Dhar, Eric Dodge, Madeline Duhon, Leonardo Elias, Harris
Eppsteiner, John Firth, Blaise Gonda, Nick Hagerty, Jonathan Hawkins,
1972 A REVISÃO ECONÔMICA AMERICANA JULHO DE 2020

Zoe Hitzig, Shehla Imran, Seema Kacker, Dan Keniston, Nurzanty Khadijah,
Chaerudin Kodir, Dhruva Kothari, Gabriel Kreindler, Sanjib Kundu, Zakia Lalaoui,
Christian Larroulet, Alyssa Lawther, Eric Lewis, Taylor Lewis, Tracy Li, Yuanjian
Li, Adrien Lorenceau, Lina Marliani, Jonathan Mazumdar, Richard McDowell,
Jacqueline Merriam, Aditi Nagaraj, Sam Norris, Purwanto Nugroho, Aurélie Ouss,
Cecilia Peluffo, Mukesh Prajapati, Manaswini Rao, Kevin Rowe, Hector Salazartz
Way, Kevin Rowe, Hector Salazartz Way, Mitra Samya, , Paribhasha Sharma,
Kartini Shastry, Joseph Shields, Marc Shotland, Zakaria Siddiqui, Bondan Sikoki,
Freida Siregar, Stefanie Stantcheva, Sneha Stephen, Laura Stilwell, Cecep
Sumantri, Yuta Toyama, Yashas Vaidya, Pankaj Verma, Melanie Wasserman, Fatim
-Zahra Zaim e Gabriel Zucker.

REFERÊNCIAS

Angelucci, Manuela, Dean Karlan e Jonathan Zinman. 2015. “Microcredit Impacts: Evidence from a
Randomized Microcredit Program Placement Experiment by Compartamos Banco.” American
Economics Journal: Applied Economics 7 (1): 151–82.
ASER Center. 2015 Relatório Anual da Situação da Educação (Rural) 2014. Nova Delhi: Centro ASER.
Attanasio, Orazio, Britta Augsburg, Ralph De Haas, Emla Fitzsimons e Heike Harmgart. 2015. “The
Impacts of Microfinance: Evidence from Joint-Liability Lending in Mongolia.” American
Economic Journal: Applied Economics 7 (1): 90–122.
Augsburg, Britta, Ralph De Haas, Heike Harmgart e Costas Meghir. 2015. “The Impacts of Microcredit:
Evidence from Bosnia and Herzegovina.” American Economic Journal: Applied Economics
7 (1): 183–203.
Banerjee, Abhijit. 2007 Fazendo o trabalho de ajuda. Cambridge, MA: MIT Press.
Banerjee, Abhijit. 2019. “Experimentos de campo e a prática da economia”. Palestra do Prêmio Nobel. https://
www.nobelprize.org/prizes/economic-sciences/2019/banerjee/lecture.
Banerjee, Abhijit, Rukmini Banerji, James Berry, Esther Duflo, Harini Kannan, Shobhini Mukerji,
Marc Shotland e Michael Walton. 2017. “Da Prova de Conceito às Políticas Escaláveis: Desafios
e Soluções, com uma Aplicação.” Journal of Economic Perspectives 31 (4): 73–102.
Banerjee, Abhijit, Rukmini Banerji, Esther Duflo, Rachel Glennerster e Stuti Khemani. 2010. “Pitfalls
of Participatory Programs: Evidence from a Randomized Evaluation in Education in India.”
American Economic Journal: Economic Policy 2 (1): 1–30.
Banerjee, Abhijit, Emily Breza, Esther Duflo e Cynthia Kinnan. 2019. “Can Microfinance Unlock a
Poverty Trap for Some Entrepreneurs?” NBERWorking Paper 26346.
Banerjee, Abhijit, Shawn Cole, Esther Duflo e Leigh Linden. 2007. “Remedying Education: Evidence
from Two Randomized Experiments in India.” Quarterly Journal of Economics 122 (3): 1235–64.

Banerjee, Abhijit e Esther Duflo. 2011 Economia pobre: uma reformulação radical da maneira de lutar
Pobreza global. NewYork: PublicAffairs.
Banerjee, Abhijit, Esther Duflo, Rachel Glennerster e Cynthia Kinnan. 2015. “The Miracle of
Microfinance? Evidência de uma avaliação aleatória. ”American Economic Journal: Applied
Economics 7 (1): 22–53.
Banerjee, Abhijit, Rema Hanna, Jordan Kyle, BenjaminA. Olken e Sudarno Sumarto.2018. “Tangible
Information and Citizen Empowerment: Identification Cards and Food Subsidy Programs in
Indonesia.” Journal of Political Economy 126 (2): 451–91.
Banerjee, Abhijit e Andrew F. Newman. 1993. “Escolha Ocupacional e o Processo de
Desenvolvimento.” Journal of Political Economy 101 (2): 274–98.
Banerji, Rukmini. 2019. “Banerjee and Duflo's Journey with Pratham.” Ideias para a Índia. https: // www.
ideasforindia.in/topics/human-development/banerjee-and-duflo-s-journey-with-pratham.html. 13 de
novembro de 2019.
Banerji, Rukmini e Madhav Chavan. 2020. “A Twenty-Year Partnership of Practice and Research: The
Nobel Laureates and Pratham in India.” Desenvolvimento Mundial 127
Co-impacto. https://www.co-impact.org/ (acessado em 27 de janeiro de 2020).
Crépon, Bruno, Florencia DeVoto, Esther Duflo e William Parienté. 2015. “Estimando o impacto do
microcrédito sobre aqueles que o adotam: evidências de um experimento aleatório em Marrocos.”
American Economic Journal: Applied Economics 7 (1): 123–50.
VOL. 110 NO. 7 DUFLO: EXPERIMENTOS DE CAMPO E A PRÁTICA DA POLÍTICA 1973

Deaton, Angus e Nancy Cartwright. 2018. “Understanding and Misunderstanding Randomized

Controlled Trials.” Ciências Sociais e Medicina 210: 2–21.
Duflo, Esther. 2017. “Richard T. Ely Lecture: The Economist as Plumber.” American Economic Review
107 (5): 1-26.
Duflo, Esther, Pascaline Dupas e Michael Kremer. 2011. “Peer Effects, Teacher Incentives, and the
Impact of Tracking: Evidence from a Randomized Evaluation in Kenya.” American Economic Review
101 (5): 1739–74.
Duflo, Esther, Michael Greenstone, Rohini Pande e Nicholas Ryan. 2013. “Truth-Telling by Third-
PartyAuditors and the Response of Polluting Firms: Experimental Evidence from India.” Quarterly
Journal of Economics 128 (4): 1499–1545.
Duflo, Esther, Michael Greenstone, Rohini Pande e Nicholas Ryan. 2018. “TheValue of Regulatory
Discretion: Estimates from Environmental Inspections in India.” Econometrica 86 (6): 2123–60.
o Economista. 2009. “A Partial Marvel.” https://www.economist.com/finance-and-
economia / 2009/07/16 / a-parcial-maravilha, 16 de julho de 2009.
Field, Erica, Rohini Pande, John Papp e Y. Jeanette Park. 2012. “Flexibilidade de reembolso pode reduzir o
estresse financeiro: um ensaio de controle randomizado com clientes de microfinanças na Índia.” PLoS ONE
7 (9): e45679.
Field, Erica, Rohini Pande, John Papp e Natalia Rigol. 2013. “O modelo clássico de microfinanças
desencoraja o empreendedorismo entre os pobres? Evidência experimental da Índia. ”American
Economic Review 103 (6): 2196–2226.
Glewwe, Paul, Michael Kremer e SylvieMoulin. 2009. “Muitas crianças deixadas para trás? Livros didáticos e
pontuações de testes no Quênia. ”American Economic Journal: Applied Economics 1 (1): 112–135.
Giné, Xavier e Dean S. Karlan. 2014. “Group versus Individual Liability: Short and Long Term
Evidence from Philippine Microcredit Lending Groups.” Journal of Development Economics
107: 65–83.
Hussam, Reshmaan, Natalia Rigol e Benjamin Roth. 2016. “Segmentação de empreendedores de alta capacidade usando
informações da comunidade: projeto de mecanismo no campo.” Artigo de Pesquisa sobre Desenvolvimento de
Empresa Privada em Países de Baixa Renda.
Inovações para Ação contra a Pobreza. 2018. “Avaliando a iniciativa do professor assistente da comunidade em
Gana”. https://www.poverty-action.org/study/evaluating-teacher-community-assistant-initiativeghana
(acessado em 27 de janeiro de 2020).
Kapur, Avani e Lorenza Icaza. 2010. “An Institutional Study of Read India in Bihar and
Uttarakhand.” J-PALWorking Paper.
Karlan, Dean e Jonathan Zinman. 2011. “Microcrédito em teoria e prática: usando pontuação de crédito
aleatório para avaliação de impacto.” Ciência 332 (6035): 1278–84.
Meager, Rachael. 2018. “Aggregating Distributional Treatment Effects: A Bayesian Analysis of the
Microcredit Literature.” Não publicado.
Meager, Rachael. 2019. “Compreendendo o Impacto Médio das Expansões do Microcrédito: Uma Análise
Hierárquica Bayesiana de Sete Experimentos Randomizados.” American Economic Journal: Applied
Economics 11 (1): 57–91.
Muralidharan, Karthik e Paul Niehaus. 2017. “Experimentação em escala.” Journal of Economic
Perspectivas 31 (4): 103–24.
Pritchett, Lant e Justin Sandefur. 2013. “Context Matters for Size: Why External Validity Claims and
Development Practice não se misturam.” Center for Global Development Working Paper 336.
Sharma, P. e A. Deshpande. 2010. "A percepção dos professores sobre a educação primária e as aspirações das
mães para seus filhos: um estudo qualitativo em Bihar e Uttarakhand." J-PALWorking Paper.
Smith, Matthew. 2017. “Deixe os eleitores são menos propensos a confiar em qualquer especialista: até mesmo os
meteorologistas.” YouGov. 16 de fevereiro de 2017. https://yougov.co.uk/topics/politics/articles-reports/2017/02/17/
leave-voters-are-less-provável-trust-any-experts-eve (acessado em 27 de janeiro , 2020)
Tarozzi, Alessandro, Jaikishan Desai e Kristin Johnson. 2015. “The Impacts of Microcredit:
Evidence from Ethiopia.” American Economic Journal: Applied Economics 7 (1): 54–89.