LV Politicas Publicas Web

POLÍTICAS PÚBLICAS E USOS
DE EVIDÊNCIAS NO BRASIL
conceitos, métodos, contextos e práticas
Organizadores
Natália Massaco Koga
Pedro Lucas de Moura Palotti
Janine Mello
Maurício Mota Saboya Pinheiro
Governo Federal
Ministério da Economia
Ministro Paulo Guedes
Fundação pública vinculada ao Ministério da Economia,

o Ipea fornece suporte técnico e institucional às ações
governamentais – possibilitando a formulação de inúmeras
políticas públicas e programas de desenvolvimento
brasileiros – e disponibiliza, para a sociedade, pesquisas e
estudos realizados por seus técnicos.
Presidente
Erik Alencar de Figueiredo
Diretor de Desenvolvimento Institucional (substituto)
Carlos Roberto Paiva da Silva
Diretor de Estudos e Políticas do Estado,
das Instituições e da Democracia (substituto)
Fabio Schiavinatto
Diretor de Estudos e Políticas
Macroeconômicas (substituto)
Marco Antônio F. de H. Cavalcante
Diretor de Estudos e Políticas Regionais,
Urbanas e Ambientais
Nilo Luiz Saccaro Júnior
Diretor de Estudos e Políticas Setoriais de Inovação
e Infraestrutura (substituto)
José Gustavo Feres
Diretor de Estudos e Políticas Sociais (substituto)
Herton Ellery Araújo
Diretor de Estudos e Relações Econômicas
e Políticas Internacionais (substituto)
José Eduardo Malta de Sá Brandão
Assessor-chefe de Imprensa e Comunicação
André Reis Diniz
Ouvidoria: http://www.ipea.gov.br/ouvidoria
URL: http://www.ipea.gov.br
Brasília, 2022
© Instituto de Pesquisa Econômica Aplicada – ipea 2022
Políticas públicas e usos de evidências no Brasil : conceitos, métodos,

contextos e práticas / organizadores: Natália Massaco Koga ... [et al.]
– Brasília: IPEA, 2022. 897 p. : il., gráfs.
Inclui Bibliografia.
ISBN: 978-65-5635-032-5
1. Evidências em Políticas Públicas. 2. Metodologia. 3. Avaliação de
Impacto. 4. Métodos. 5. Brasil. I. Koga, Natália Massaco. IV. Instituto
de Pesquisa Econômica Aplicada.
CDD 320.60981
Ficha catalográfica elaborada por Andréa de Mello Sampaio CRB-1/1650

DOI: http://dx.doi.org/10.38116/ 978-65-5635-032-5
As publicações do Ipea estão disponíveis para download gratuito nos formatos PDF (todas)
e EPUB (livros e periódicos). Acesse: http://www.ipea.gov.br/portal/publicacoes
As opiniões emitidas nesta publicação são de exclusiva e inteira responsabilidade dos autores,
não exprimindo, necessariamente, o ponto de vista do Instituto de Pesquisa Econômica Aplicada
ou do Ministério da Economia.
É permitida a reprodução deste texto e dos dados nele contidos, desde que citada a fonte.
Reproduções para fins comerciais são proibidas.
A obra retratada na capa deste livro, Políticas Públicas e Usos de Evidências no Brasil: conceitos,
métodos, contextos e práticas, é a tela Conchas e Hipocampos, de Candido Portinari (1903-1962),
datada de 1941. Além da inegável beleza e expressividade de suas obras, Portinari tem importância
conceitual para um instituto de pesquisas como o Ipea. O “pintor do novo mundo”, como já foi
chamado, retratou momentos-chave da história do Brasil, os ciclos econômicos e, sobretudo, o
povo brasileiro, em suas condições de vida e trabalho: questões cujo estudo faz parte da própria
missão do Ipea.
A Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia (Diest) agradece ao

Projeto Portinari pela honra de usar obras do artista em sua produção.
Direito de reprodução gentilmente cedido por João Candido Portinari.

SUMÁRIO
AGRADECIMENTOS..................................................................................11
PREFÁCIO..................................................................................................13
Justin Parkhurst
APRESENTAÇÃO.......................................................................................33
Janine Mello
SEÇÃO I
ESTADO, EVIDÊNCIAS E POLÍTICAS PÚBLICAS:
ASPECTOS TEÓRICO-CONCEITUAIS
CAPÍTULO 1
POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS: UM MODELO
MODERADO DE ANÁLISE CONCEITUAL E AVALIAÇÃO CRÍTICA....................59
CAPÍTULO 2
INTUITION, REASONING AND CAPACITY IN POLICYMAKING: BUILDING
A COGNITIVE MODEL OF KNOWLEDGE AND EVIDENCE UTILISATION..........85
Kidjie Saguin
CAPÍTULO 3
MAPEAMENTO E CARACTERIZAÇÃO DO MOVIMENTO DAS POLÍTICAS
PÚBLICAS BASEADAS EM EVIDÊNCIAS NO BRASIL........................................107
Carlos Aurélio Pimenta de Faria
André Emilio Sanches
SEÇÃO II
DISCUSSÃO SOBRE MÉTODOS E ABORDAGENS NA PRODUÇÃO
DE EVIDÊNCIAS
CAPÍTULO 4
CONECTANDO PESQUISA A GESTÃO MUNICIPAL: AVALIAÇÕES DE
IMPACTO INFLUENCIAM A FORMULAÇÃO DE POLÍTICA PÚBLICA?............149
Diana Moreira
Juan Francisco Santini
CAPÍTULO 5
SIMULAÇÕES COMPUTACIONAIS APLICADAS À TOMADA
DE DECISÃO PÚBLICA...............................................................................195
Bernardo Alves Furtado
Antonio Lassance
CAPÍTULO 6
INSTITUIÇÕES PARTICIPATIVAS E EVIDÊNCIAS HÍBRIDAS: DELIBERAÇÃO,
RELAÇÕES FECUNDAS E ECOLOGIA DE SABERES......................................223
Igor Ferraz da Fonseca
João Cláudio Basso Pompeu
Daniel Pitangueira de Avelino
CAPÍTULO 7
ETNOGRAFIA COMO EVIDÊNCIA: CONTRIBUIÇÕES E DESAFIOS
DO USO DE ESTUDOS ETNOGRÁFICOS PARA A ANÁLISE
DE POLÍTICAS SOCIAIS BRASILEIRAS.........................................................251
Isabele Villwock Bachtold
Rut Rosenthal Robert
CAPÍTULO 8
EM BUSCA DO PADRÃO-OURO? O PERCURSO HISTÓRICO DO USO
DE EXPERIMENTOS NA AVALIAÇÃO DE POLÍTICAS SOCIAIS.......................285
Luciana de Souza Leão
Gil Eyal
SEÇÃO III
USO DE EVIDÊNCIAS NAS DIFERENTES ESFERAS E
NÍVEIS DE GOVERNO
CAPÍTULO 9
COMO OS BUROCRATAS FEDERAIS SE INFORMAM?
UMA RADIOGRAFIA DAS FONTES DE EVIDÊNCIAS
UTILIZADAS NO TRABALHO DAS POLÍTICAS PÚBLICAS..............................313
Rafael da Silva Lins
Bruno Gontyjo do Couto
Miguel Loureiro
Shana Nogueira Lima
CAPÍTULO 10
ATUAÇÃO DOS AUDITORES DA CONTROLADORIA-GERAL
DA UNIÃO: COMO ATUAM E QUE INFORMAÇÕES UTILIZAM.....................343
Tiago Chaves Oliveira
Wagner Brignol Menke
CAPÍTULO 11
OS USOS E NÃO USOS DE EVIDÊNCIAS CIENTÍFICAS PELA
BUROCRACIA DISTRITAL: UMA PRIMEIRA ANÁLISE...................................369
Daienne Machado
Tatiana Sandim
Pedro Jorge Holanda Alves
Isabela Harumi Lopes Motoki
Júlia Andrade Vivas
CAPÍTULO 12
HETEROGENEIDADE DE PREFERÊNCIAS E O USO DE EVIDÊNCIAS
NA CÂMARA DOS DEPUTADOS.................................................................407
Acir Almeida
CAPÍTULO 13
ESTATATIVISMO INSTITUCIONAL E OS EPISÓDIOS EM TORNO DAS
CAUSAS DA MAGISTRATURA DE PRIMEIRA INSTÂNCIA BRASILEIRA..........427
Maricilene Isaira Baia do Nascimento
João Paulo Dias
SEÇÃO IV
O ESTADO COMO PRODUTOR DE EVIDÊNCIAS
CAPÍTULO 14
PRODUÇÃO ESTATAL DE EVIDÊNCIAS E USO DE REGISTROS
ADMINISTRATIVOS EM POLÍTICAS PÚBLICAS............................................457
Janine Mello
CAPÍTULO 15
ESTATÍSTICAS PÚBLICAS E O COMBATE À FOME E À POBREZA:
AFINIDADES ELETIVAS QUE FIZERAM DIFERENÇA
NOS RESULTADOS DA AÇÃO GOVERNAMENTAL........................................495
Paulo de Martino Jannuzzi
CAPÍTULO 16
POLICY DESIGN E USO DE EVIDÊNCIAS:
O CASO DA PLATAFORMA GOV.BR............................................................521
Fernando Filgueiras
Maricilene Isaira Baia do Nascimento
CAPÍTULO 17
O CADASTRO ÚNICO PARA PROGRAMAS SOCIAIS E A CONFIGURAÇÃO
DA POBREZA: ANALISANDO A CONSTRUÇÃO DE EVIDÊNCIAS
A PARTIR DA TEORIA DO ATOR-REDE........................................................551
Rafael Viana
Bruno Gontyjo do Couto
Isabella de Araujo Goellner
Ivan da Costa Marques
CAPÍTULO 18
INICIATIVAS PARA A INSTITUCIONALIZAÇÃO DO USO DE EVIDÊNCIAS
NO PROCESSO REGULATÓRIO NA ANEEL – UM ESTUDO DE CASO
DE AGÊNCIA REGULADORA......................................................................579
André Ramon Silva Martins
Carmen Silvia Sanches
Thelma Maria Melo Pinheiro
SEÇÃO V
USO DE EVIDÊNCIAS NAS POLÍTICAS PÚBLICAS
CAPÍTULO 19
AVALIAÇÃO E DECISÃO SOBRE TECNOLOGIAS EM SAÚDE
NO SUS: UMA ANÁLISE DE FATORES DE INFLUÊNCIA
SOBRE O PROCESSO DECISÓRIO...............................................................609
Fabiola Sulpino Vieira
Sérgio Francisco Piola
Luciana Mendes Santos Servo
CAPÍTULO 20
USO DE EVIDÊNCIAS CIENTÍFICAS PARA A TOMADA DE DECISÃO
DIANTE DA PANDEMIA DE COVID-19: UMA APROXIMAÇÃO
À ATUAÇÃO DO MINISTÉRIO DA SAÚDE....................................................653
Michelle Fernandez
CAPÍTULO 21
IGNORÂNCIA E POLÍTICAS PÚBLICAS: REFLEXÕES SOBRE A
REGULAÇÃO DE CANNABIS PARA USO MEDICINAL NO BRASIL.................673
Milena Karla Soares
CAPÍTULO 22
POLÍTICAS MACROECONÔMICAS BASEADAS EM EVIDÊNCIAS SÃO
POSSÍVEIS? A DIFÍCIL RELAÇÃO DA MACROECONOMIA
COM AS EVIDÊNCIAS EMPÍRICAS..............................................................697
Ronaldo Fiani
CAPÍTULO 23
PROTEÇÃO AMBIENTAL BASEADA EM EVIDÊNCIAS?
EVOLUÇÃO INSTITUCIONAL, PLANEJAMENTO
E EXECUÇÃO ORÇAMENTÁRIA NO IBAMA................................................725
Suely Mara Vaz Guimarães de Araújo
CAPÍTULO 24
USO DE EVIDÊNCIAS EM POLÍTICAS E ESTRATÉGIAS DE INCLUSÃO
PRODUTIVA RURAL NA AMÉRICA LATINA.................................................747
Vahíd Shaikhzadeh Vahdat
Arilson Favareto
Cesar Favarão
CAPÍTULO 25
O USO DAS EVIDÊNCIAS NAS POLÍTICAS BRASILEIRAS
DE CIÊNCIA, TECNOLOGIA E INOVAÇÃO...................................................771
Flávia de Holanda Schmidt
Adriana Bin
Lissa Vasconcellos Pinheiro
Fernanda De Negri
CAPÍTULO 26
E O NÍVEL SUBNACIONAL? OS (NÃO) USOS DAS POLÍTICAS
INFORMADAS POR EVIDÊNCIAS NA POLÍTICA EDUCACIONAL
ESTADUAL BRASILEIRA.............................................................................805
Catarina Ianni Segatto
Fernando Burgos Pimentel dos Santos
Mario Aquino Alves
Pedro Peria
CAPÍTULO 27
AVALIAÇÃO ESCOLAR E USO DE DADOS E EVIDÊNCIAS
NA EDUCAÇÃO BRASILEIRA......................................................................829
Ricardo Ceneviva
Felipe Macedo de Andrade
Mariane Campelo Koslinski
Carolina Portela Núñez
CAPÍTULO 28
O USO DE EVIDÊNCIAS CIENTÍFICAS NO ENFRENTAMENTO
À PANDEMIA DE COVID-19 NO BRASIL: UMA COMPARAÇÃO
DAS POLÍTICAS DOS GOVERNOS ESTADUAIS.............................................859
Rodrigo Fracalossi de Moraes
AGRADECIMENTOS
À Flávia de Holanda Schmidt e Janine Mello, enquanto diretora e diretora-adjunta,

respectivamente, da Diretoria de Estudos e Políticas do Estado, das Instituições e
da Democracia (Diest) do Ipea, no período de produção deste livro, pelo apoio e
incentivo ao projeto de pesquisa do qual resultou esta publicação.
À Comissão Econômica para a América Latina e o Caribe (CEPAL) e ao
Programa de Cooperação Internacional do Ipea (Procin), que viabilizaram a ela-
boração de parte dos capítulos e do prefácio deste livro.
Aos pesquisadores e pesquisadoras do Ipea, da Companhia de Planejamento
do Distrito Federal (Codeplan), do Institute of Development Studies (IDS) e da
University of Amsterdam, que estiveram em interlocução e colaboração conosco
desde o início do projeto.
A todos os autores, autoras, pareceristas, colaboradores e colaboradoras, nosso
especial agradecimento pela contribuição e pelo aprendizado conjunto.
PREFÁCIO
IMPROVING EVIDENCE USE IN PUBLIC POLICY

Justin Parkhurst1
1 INTRODUCTION: THE IMPORTANCE OF EVIDENCE

The word ‘evidence’ can mean many things depending on context. On a personal
level it can relate to individual experiences shaping our perceptions or beliefs. In
legal settings it can refer to information gathered by investigators or presented to
courts. While research scientists may use it to refer to empirical data collected
to support or reject a particular hypothesis. At its most basic, evidence refers to
information that justifies our decisions and conclusions in one way or another. As
such, the importance of evidence to inform policy decisions is widely recognised,
with a long history of scholarly discussion. It has been noted, for instance, that
Aristotle was concerned with different forms of knowledge (including scientific
knowledge) as important to inform rule-making (Sutcliffe and Court, 2005).
Similarly Plato argued that it is the philosophers who possess greater knowledge –
both of how to rule, as well as on the true nature of the world – who are best
suited to rule and should use their knowledge to enlighten the public (Brooks,
2006; Plato, 1980).
Over time there have no doubt been countless examples of leaders using
information – of one kind or another – to decide which course of action might
best achieve their goals. Whether based on administrative data, military assess-
ment, or religious prophecy – decision makers have always wanted to know if
their choices of action will have desired effects. Yet the current embrace of evi-
dence – and in particular of scientific evidence – to inform policy has more recent
roots and evolution.
It was in the last century that the fields of public administration and public
policy have made bureaucratic and political decision making the subject of rigorous
analysis – including thinking around of the role of science in these realms. In the
1950s in the US, Harold Lasswell developed the idea of a ‘policy orientation’ which
held research and scientific methods to be critical in their deliberate use to address
public problems (Lasswell, 1951; 1970). At this time in the United States there was
1. Associate professor of global health policy at the London School of Economics and Political Science.
14 | Políticas Públicas e Usos de Evidências no Brasil:
also a growing optimism over the roles that certain kinds of evidence – in particular
programme evaluations – could play in guiding policy decision makers’ choices of
public interventions. An explosion of social policy experiments and evaluations
grew around the idea that rigorous testing would allow society to find ‘what works’
for key issues in education, healthcare, or criminal justice reform (Nutley, Walter
and Davies, 2007; Pawson and Tilley, 1997). This initial optimism, however, soon
hit a number of challenges, as it became clear that for many social interventions
there was no single intervention that ‘works’ for everyone in all settings – and even
if a piece of evidence could be found that something worked in one setting for
one issue, it does not necessarily follow that it will work for everyone, everywhere
(Cartwright and Hardie, 2012; Pawson and Tilley, 1997). Policy scholars of the
time further identified that evidence or research could be ‘used’ in many different
ways – not just to inform choices between competing interventions, but to delay
decisions, to support pre-established choices (regardless of impact), or in broader
diffuse ways shaping societal thinking (Weiss, 1977; 1979).
By the 1990s, however, a renewed focus on rigorous use of evidence could
be seen. This was in part inspired by the medical profession’s formal embrace of
‘evidence-based medicine’. Said to reflect the “conscientious, explicit, and judicious”
(Sackett et al., 1996, p. 71) use of scientific evidence, evidence-based medicine
typically meant using experimental trials and systematic reviews or meta-analyses
of trials to guide clinical practice. The launch of the Cochrane Collaboration in
1993 formalised a global network for evidence synthesis around clinical practice
(Starr et al., 2009), and was seen by many as providing a ‘gold standard’ of evidence
use. The medical field’s efforts thus inspired other sectors as well, which aimed to
emulate the scientific rigour of the clinical sciences, and avoid the trappings of
political bias through the application of methods such as experimental trials and
systematic reviews (Smith, 1996; Haynes et al., 2012). This push for following evi-
dence again filtered into the policy sector. In the UK, for instance, the government
of the time declared “what counts is what works”,2 which for some commentators
represented the birth of the modern ‘evidence-based’, or ‘evidence-informed’, policy
movement that continues to inform academic research and government planning
and practice today (Boaz et al., 2019; Smith, 2013).
Within these recent developments, the use of the language of searching for
‘what works’ has proliferated, despite the fact that authors increasingly pointed out
that evidence for policy is decidedly different to its use in clinical medicine (Black,
2001). One difference is that medical decision making often takes for granted
the ultimate goal being pursued – assuming a shared understanding of stakehold-
ers that the goal will be to improve patient outcomes or the cost-effective use of
2. Available at: <https://bit.ly/3Ho1xtj>.

Improving Evidence Use in Public Policy | 15
resources in the health system. Clinical interventions typically also assume that
medical treatments work in similar ways (through the same mechanisms of causal
effect) in different people given shared human biology and anatomy. Yet in the
policy realm, these assumptions rarely hold.
The availability of pieces of evidence says nothing about the desirability or
consensus over the agreed goals of policy action; and the diverse mechanisms
through which policy interventions cause effects means that an intervention which
can produce a social result in one setting might not necessarily work in the same
way elsewhere (Cartwright and Hardie, 2012; Parkhurst, 2017). As such, the evi-
dence and policy literature has come to note that methods of evaluation or review
cannot themselves eliminate political considerations from policy decisions. Indeed,
the decision on which outcomes to evaluate are fundamentally linked to decisions
about what social outcomes to pursue – and these in turn are decidedly political.
Indeed, even within medicine there have been debates about the evidence-based
approach and its focus purely on outcomes-based research data; as opposed to an
incorporation of consideration of patient perspectives and values on what is in their
best interest (Pinheiro and Nogueira, 2021). Policy scholars of evidence use thus
note that focusing solely on a method of evidence generation (such as experimental
trials or systematic reviews) risks depoliticizing critical political choices, rendering
obscure the trade-offs made by decision makers – trade-offs and value judgments
which typically must be transparent and contestable in democratic societies (Wes-
selink, Colebatch and Pearce, 2014; Pielke Junior, 2007; Parkhurst, 2017).
There might be some concern, then, that the renewed embrace of searching
for ‘what works’ risks repeating the over-optimism (and over-simplification) of
some mid-20th century thinking. And while it has been important for scholars to
call this out from time to time (Russell et al., 2008), the past two decades has also
seen a proliferation of work that has greatly expanded our understanding of the
nature of evidence use itself within policy settings. The renewed focus on evidence
to inform policy has not therefore just been a political slogan. It has in turn gen-
erated a range of conceptual and practice-oriented work as well. Such work has
engaged with the complex nature of social interventions, the institutional realities
of policy decision making settings, and the politically contested nature of policy
decision making itself.
2 RECENT WORK ON THE USE OF EVIDENCE

The understanding how – in relation to evidence use – public policymaking is
decidedly different to technocratic evaluation derives from our understandings of:
the political nature of decision making, the incentives and motivations of policy-
makers, and the structural and procedural features of the policymaking processes
itself. From this starting point, recent authors have applied a range of theories from
political science, cognitive psychology, science and technology studies, and other
areas to better understand the dynamics of evidence use in public policy spaces.
These works have considered issues such as: how cognitive limitations and biases
of decision makers shape which evidence is seen or used (Lin and Gibson, 2003;
Cairney, 2016; Parkhurst, 2012; 2016); how the arrangements and functioning of
institutional systems linking research to policy can influence which evidence is seen
for what problems (Hoppe, 2009; 2010; Liverani, Hawkins and Parkhurst, 2013;
Lavis et al., 2008); the ways that the dynamic nature of policy change processes
over time provides windows of opportunity for certain evidence to be taken up
(Cairney, 2016; Lewis, 2003); how dominant policy ideas and discursive fram-
ings shape how pieces of evidence are seen as policy-relevant (Smith, 2013; Lewis,
2006); and how the institutional logics and strategic goals of bureaucratic bodies
can shape which forms, sources, and uses of evidence are seen to be appropriate
to their goals (Parkhurst et al., 2020). As a whole, such work provides a wealth of
understanding of the policy stakeholders, systems, structures, and functions that
can influence which evidence is used, by whom, when and for what goals within
policy-formulating spaces.
A second major thrust of work in recent years has been to try to understand
how to increase or the ‘impact’ evidence will have on policymaking. ‘Bridging the
gap’ work of this nature can also build on insights provided in the above research
to guide individuals to more ‘successful’ strategies of research ‘uptake’. Some ef-
forts look specifically for interventions that increase the use of evidence in decision
making in a measurable way (Langer, Tripney and Gough, 2016). Others seek to
identify so-called barriers or facilitators to evidence use (Oliver et al., 2014; van
der Arend, 2014). And a number of strategies or guidelines have been developed
to inform individuals aiming to achieve greater impact or uptake of their own
research evidence (Green and Bennett, 2007; Bazalgette, 2020; Straus, Tetroe and
Graham, 2013; Shucksmith, 2016; Lavis et al., 2003; Reed, Bryce and Machen,
2018; Cairney, Oliver and Wellstead, 2016). Typically works of this nature highlight
the importance of efforts that focus on: training researchers to more effectively
provide or communicate evidence (‘push’ strategies); training decision makers to
better understand or know how to access evidence (‘pull’ strategies); or building
links to bridge the two groups.
These works have provided a wealth of suggestions on ways one might work
to increase the chances that a piece of evidence is seen, selected, or taken-up by
a targeted decision maker. However, there are some key conceptual issues with
efforts focused on evidence uptake or bridging the research-policy gap in this way.
For one thing, there has been little reflection on the question of which evidence
should be taken up for what ends. Public policy scholars have noted for decades
that policymaking involves choices between competing interests, goals, and values.
Yet advice on evidence utilization typically avoids consideration of what is the right
goal to pursue, or whether the taken-up evidence leads in the right direction. In-
deed, after reviewing the evidence-to-policy literature, Oliver and colleagues were
highly critical of the existing work pushing for research uptake that is based on a
problematic underlying assumption that ‘more’ use of evidence is assumed to be
‘better’ – regardless of consideration of political goals and processes (Oliver, Lorenc
and Innvaer, 2014). Smith similarly has explained that the guidelines to increase
impact often assumes that any use of research is by definition a good thing (Smith,
2013) – while noting that efforts to increase the use of research is not the same as
efforts to improve the use of research (op. cit., p. 23). It is this fundamental distinc-
tion between using research evidence, and improving the use of research evidence,
that presents an important gap in the literature, and allows a critical next step to
be taken in the evidence informed policy movement.
3 IMPROVING EVIDENCE FOR POLICY

While it may initially appear straightforward, what it means to improve evidence
use within a policymaking space actually requires a good deal of conceptualiza-
tion and clarification of multiple concerns; and the idea in itself can capture three
linked questions, as follows.
1) What should be considered good evidence for policymaking?
2) What does it mean to use evidence in a better way?
3) How can countries build systems to ensure the right evidence is used in
better ways?
As emphasized in the italics, these questions involve normative (value based),
rather than technical, considerations. As such, addressing them requires an explicit
normative turn in conceptualization of evidence use. That is, it is necessary to move
away from academic questions of ‘what affects/shapes evidence use’, and away
from practice-based questions of ‘what increases the use of (my) evidence’, to ask
what represents the good use of evidence within a political system, and what can
be done to try to achieve better evidence use within a country.
3.1 What should be considered good evidence for policymaking?

Some may feel that the first of the three questions above is already addressed
by the methodological debates that have raged in recent years about random-
ized trials and the so-called ‘hierarchy’ of evidence (Ravallion, 2020; Dimova,
2019). In brief, the focus of these debates have been around methodological
appropriateness. While there are a large number of individuals and groups that
embrace randomized trials as the ‘best’ evidence based on their ability to illustrate
causal effect of an intervention, others note that public policy decisions are not
simply concerned with choices between interventions based solely on their ef-
fects – and as such the right evidence for policy must alternatively be judged on
its appropriateness to the issues being addressed (Parkhurst and Abeysinghe, 2016;
Petticrew and Roberts, 2003). In a recent paper, colleagues and I have further
explored what this concept of appropriateness would mean for bureaucratic
agencies – defining a programmatic approach as one that uses the goals and tasks
of a bureaucratic agency as a starting point to reflect on which forms, sources,
and uses of evidence best serve those goals (Parkhurst et al., 2020).
This shift to appropriateness provides an opportunity for key scientific best
practices principles to be applied within the policy sphere to help identify what
good evidence for policy would look like. Given that applying an incorrect or
inappropriate method to solve a problem would be a violation of basic scientific
principles, we can hold that it would also be problematic to apply inappropriate
methods in relation to a particular goal (or knowledge need). So, for instance, if
the social desirability or willingness to pay for an intervention was the evidence
needed to inform a decision, an experimental trial might not be appropriate. An
example such as this illustrates that requiring experimental trials would, in fact,
not be providing ‘good’ evidence for that particular policy need.
Good evidence, however is not just evidence that is appropriate to the policy
question. It must also be evidence of high quality. This is another fundamental sci-
entific principle of course, but the quality criteria of different forms of evidence, will
depend on the methods by which they are generated. Assessing social desirability (to
continue the example above) might require a survey, rather than a clinical trial, to
generate appropriate evidence. But survey evidence can be of higher or lower quality
based on factors such as sample size and representativeness. A good piece of evidence
for policy, then, can potentially be defined as evidence appropriate to the policy deci-
sion that is also judged to be of high quality according to its method of generation.
There is one more scientific principle, however, to apply when considering
the question of what constitutes good evidence for policy. Science is not a search
for one perfect truth, as much as the accumulation of knowledge (Bird, 2007). As
such, rather than applying single pieces of evidence to justify policy action, evidence
must be synthesized from bodies of knowledge to ensure the best-informed decisions
can be made. It is critical then for evidence synthesis to ensure it reviews evidence
in comprehensive ways, to avoid selective uses of evidence that lead to incorrect
or misleading outcomes. This final scientific principle then allows us to come to
a working definition to answer the first of the three critical questions above: good
evidence for policymaking can be seen as rigorously synthesized evidence of high
quality that is appropriate to the policy consideration at hand.
3.2 What does it mean to use evidence in a better way?

The second question listed above, however requires going beyond principles of
scientific good practice alone. It fundamentally asks what better use of evidence
means within a policy space. This rejects the idea that simply ‘more’ evidence
utilization is better based on the recognition that political goals can be numerous
and contested, and simply being effective does not equate to doing the right thing
per se. Instead, answering the second question requires turning to consider the
original purpose of the application of evidence to policymaking.
While rarely stated in academic work on the subject, for most advocates
and champions of evidence use there is an implicit belief that evidence can, and
should, be mobilized to reach social goals and to achieve societal improvement
(Boaz, Locock and Ward, 2015). This position is based on the classic view that
the ultimate goal of public policy making is in service of the public good, or the
public interest (Bozeman, 2007). Again, we can look back to antiquity for this
concept – as when Plato presents the argument that “no ruler, in so far as he is
acting as ruler, will study or enjoin what is for his own interest. All that he says
and does will be said and done with a view to what is good and proper for the
subject for whom he practices his art” (i.e. for the benefit of those ruled) (Plato,
1980, p. 24). While there have been arguments over how much Plato’s calls for
societal rule by (albeit benevolent) philosopher kings contrast to modern demo-
cratic principles (Brooks, 2008) – the underlying premise of policies in the public
service endures. In the modern era, Dewey (1954) claimed in his classic text The
Public and its Problems “a criterion for determining how good a particular state
is [includes] the degree in which its officers are so constituted as to perform their
function of caring for public interests” (op. cit., p. 33). And from this starting
point, the idea of judging government action based on its service to the public
interest can naturally be expanded to consider its use of evidence as well, however.
Therefore, a key criterion for judging what constitutes a better use of evidence
for policy would be to judge if it is being used in service of the public interest
and societal improvement.
But what constitutes the public interest, and what goals to pursue in the
name of societal improvement, are decidedly political questions. It is here then
that we must move outside scientific principles to instead guide out thinking with
normative principles developed for political decision making. Dating back to John
Stewart Mill, democratic theory would hold that politics serves as the mechanism
by which the interests and rights of the public are achieved (Christiano, 2021).
As such, it is normative democratic principles, rather than scientific ones, which
need to be applied which can help to judge whether evidence is being used for
policy in better ways.
A first principle required to ensure evidence is being used in the public interest
is that of goal clarification for the policy action being undertaken (and for which
evidence is being marshalled). Critics of overly-technical perspectives of evidence
use have often noted that policymaking involves making choices between multiple
competing social priorities or values, and thus the right body of evidence to review
will depend on which goals are being pursued. Indeed, in Lasswell’s ‘problem
orientation’ of the policy sciences, goal clarification is the first intellectual task
to undertake – requiring policy actors to make an explicit consideration about
which social values to pursue in policy action (Lasswell, 1970). In reality, it may be
that politicians do not always wish to be so explicit about the goals they pursue –
preferring to play different objectives off against different constituencies, or to ret-
rospectively highlight goals achieved after any series of policy actions is complete.
But from the perspective of evidence use, knowing which goals are being pursued
at the start is fundamental and critical to know both what body of evidence (in
relation to different outcomes) should be synthesized to inform choices, and which
forms of evidence are most appropriate to the decisions made.
Goal clarification is, in fact, particularly essential to build into evidence use
systems, yet it is rarely discussed or considered within works looking to improve
evidence use. Cairney, Oliver and Wellstead (2016) touch on this when they note
that much work in evidence use aims at reducing data uncertainty (by searching
for more information on a given question), but fails to address policy ambiguity
(around how problems are conceived). Some may be hesitant to ask evidence advisors
to clarify social goals – out of a concern that science or evidence advice should not
be making the political choices on which social values to embrace, or what social
outcomes to pursue. But goal clarification is not the same as goal selection. It is
fundamentally different to having science advisors select social goals and having
them request – indeed even require – clarification of social goals from political
leaders. Indeed, without such clarification it can never be clear if the evidence be-
ing provided is appropriate, and thus impossible to judge if it is being used well.
Other democratic principles, however, are equally crucial to apply if one
wishes to ensure evidence is being used in service of the public interest. Within
systems of evidence utilization, politicians and bureaucratic actors will be both
shaping when evidence is used, as well as for what goals it is applied. To serve
the public interest, there must be some mechanisms through which the public’s
values are represented, and the political agents acting on behalf of the public can
be held to account. Thus, better uses of evidence for policy can be seen as those
which ensure both accountability and public representation throughout the process.
A final principle, however, which can be particularly important to judge if
evidence is being used well is that of transparency. Transparency itself is sometimes
seen as a tool that ensures or builds accountability, allowing the public to see
the political decisions being made on their behalf (Meijer, 2014). Transparency
is also critical, however, in relation to the use of evidence in two ways. First,
Elliot and Resnik (2014, p. 648) explain that “transparency can promote public
trust by helping lay people understand how both empirical evidence and value
assumptions enter into scientific decision making and policy formation”. In ad-
dition, however, transparency is also necessary when experts review or synthesise
evidence to inform policy so that scientific peers are able to provide scrutiny
and oversight (Bornmann, 2013) – to help ensure rigor and quality in line with
scientific principles discussed above.
If we accept the premise that the good use of evidence in policy is that which
serves the public interest – these principles allow further consideration of what
might be needed to achieve this. In particular through: clarification and specifica-
tion of goals pursued; accountability to and representation of the public and their
values; and transparency in the evidence utilization process to enable scientific and
democratic scrutiny.
3.3 How can countries build systems to ensure the right evidence is used in
better ways?
We can now turn to the final question of how to bring about improved uses of
evidence for policy in national systems. While the above two sections highlight
normative principles that can be used to conceptualise what an improved use of
evidence would be for policymaking, the final step is to consider how this can be
brought about systematically. This requires shifting thinking away from individual
pieces of evidence, training of particular leaders, or influencing specific policy
choices, to instead consider the systems of evidence and science advice operating
within countries – systems that function across policy decisions, and across any
particular research study or finding. In essence, it requires a shift to consideration
of the institutionalisation of evidence use, and how to improve institutional ar-
rangements in line with these principles.
Some authors have already begun to consider the steps needed to institu-
tionalise evidence use within national policy decision making structures. Stewart,
Langer and Erasmus (2019), for instance, have described this as ‘spiral’ process
involving the steps of: raising awareness, developing capability, and using evi-
dence – all taking place across a set of levels building up from the individual, to
the team, organization, and ultimately institutional level. The authors argue that
institutionalization of evidence use is a long-term process that cannot be judged
by the use of evidence in anyone decision point. Rather they explain: “[t]he deci-
sion itself is not an endpoint… there are many incremental shifts, as you move
around the spiral, all of which are important. We recognise that big changes are
the result of multiple small steps, and that the larger changes can take many years
to accumulate” (op. cit., p. 7-8). Koon et al. (2013) have further highlighted the
importance of the ‘embeddedness’ of research organizations within health poli-
cymaking systems – with embeddedness capturing the centrality and strength of
connections that research organizations can have. This is ultimately seen to affect
the influence that research organizations may have on other organizations within
the system (and thus increase the uptake of research in policymaking).
Such frameworks help to identify what institutionalised systems of research
and evidence use might look like, as well as steps one can take at different points
to develop the systems of evidence use. However, these approaches typically work
from the logic that what matters is use or take-up of research; without necessarily
engaging with the normative principles discussed previously of what constitutes
good evidence for policymaking, or the good use evidence within policy processes.
And yet, institutionalisation is a decidedly normative process. Selznick (1957)
famously described institutionalisation as a process by which organisations are
‘infused’ with values. That is to say institutionalisation sets the structures, rules,
and processes that prioritise particular values and pursue certain goals. Building
on Selznick in relation to public sector organisations, Boin, Fahy and ‘t Hart
(2021, p. 2) further explain: “[i]nstitutions embody and safeguard certain values
that are important to a society” – describing public institutions as ‘guardians of
public value’ (op. cit., p. 7).
Previous work of my own has described the institutionalised arrangements
of evidence advice as governing the use of evidence in policy making – with the
normative principles discussed here allowing further consideration of what the good
governance of evidence would look like (Parkhurst, 2017). In that work I argue that
the good governance of evidence is achieved through “the institutionalisation of
structures, rules, processes and practices that work to ensure that rigorous, valid
and relevant bodies of evidence are utilised through transparent and deliberative
processes to inform decisions that ultimately remain representative of, and ac-
countable to, local populations” (op. cit., p. 170).
Ultimately, there is no single template to follow when considering how to
build evidence advisory systems that ensure good evidence for policy is being
used in ways that serve the public interest. Halligan (1995) has noted, there can
be pros and cons for any given policy advisory system arrangements – looking
at the location of advisors (internal or external to government) and the level of
control held by government officials. Combinations of these are seen to affect the
performance of the advisory system in relation to its flexibility, policy suitability
or effectiveness of advice given – with Halligan concluding “the verdict is still out
on what structure works best for policy advice” (op. cit., p. 162).
Thus, just as public administrative governance arrangements vary across

countries, so too will evidence advisory and evidence provision arrangements.
Indeed, in most countries there will likely be sets of agencies and groups pro-
viding science and evidence to a variety of decision makers. In one mapping of
the UK science advice system, for instance, Hopkins et al. (2021) illustrate how
science advice to Ministers comes from: formal science advisory mechanisms in
government; independent academic councils and committees; government units
specialising in research and evidence; and external groups as well.
But while It is not possible to say which bureaucratic arrangements, or which
system of representation, is the ‘best’ one, we can instead consider if bureaucratic
and representation systems reflect good governance principles. We can also consider
how to improve them if they are found lacking, or if we identify new or additional
principles we wish to infuse into our organisations through further institutional
change. As noted by Stewart, Langer and Erasmus (2019) above, the ongoing in-
stitutionalisation of evidence use will, in most cases, be a process of small changes
at multiple points within existing bureaucratic structures. But by making these
changes in relation to good governance of evidence principles, we can follow what
has been termed a process of guided evolution of the evidence system (Parkhurst,
2017). It is evolutionary, as institutional change tends to be incremental shifts in
existing systems, with some changes taking hold as more fit for purpose, and oth-
ers falling away when proving unfit for purpose. It is guided, however, by explicit
consideration of the normative principles upon which such changes can be based.
So, for example, it may be that existing evidence advisory bodies within a
country have well established rules or procedures for evidence synthesis in relation
to intervention effectiveness assessment (such as through the use of systematic
reviews or meta-analysis) – with such approaches in line with scientific principles
of rigour and comprehensiveness. Yet existing bodies may be lacking explicit pro-
cedures in relation to goal clarification, or may be limited in their transparency of
operation. Requiring and implementing a standard procedure for evidence review
which begins with an explicit statement of the goals of the policy being informed
could be an incremental change within an existing system, but would help to hold
both science advisors, and political leaders, accountable. Increasing transparency
or public deliberation in the review process can further help to allow peer scrutiny
over whether the appropriate evidence was reviewed in relation to those goals, but
also allow public scrutiny over whether their political leaders are indeed pursuing
outcomes representing their interests.
What is critical is for each element of an evidence advisory system to consider
if their levels of transparency, deliberation, or accountability are sufficient – or if
there may be a gap which prevents the public and scientific community to under-
take sufficient democratic or scientific scrutiny. Ultimately, this chapter argues that
improving evidence use at a national level is a structural and institutional process

that must critically look at the systems in place to provide evidence, and explicitly
consider the normative principles by which those systems operate – using such
principles to guide improvements and system changes.
4 DISCUSSION OF THIS VOLUME

This volume represents an important step in the efforts to improve evidence use
at a national level in Brazil. Chapters touch on a range of academic and practice-
based questions – yet they arise from a broad desire to improve the structure and
functioning of the systems that provide evidence to inform important public
policy decisions.
The book is divided into sections covering: theoretical-conceptual aspects
of evidence use in Brazil (section 1); methods and approaches to communicate
evidence (section 2); Analysis of evidence use at different levels of the Brazilian
government (section 3); Analysis of the state as an evidence producer (section 4);
and a final section critically analysing the use of evidence in a range of public poli-
cies in Brazil, from education to the environment to covid-19. As such the book
should provide a wealth of both conceptual and empirical examples to reflect on
the theory, systems, and practices of evidence use in Brazil.
Many of these chapters consider the ways that bureaucratic agencies function
in relation to evidence, providing insights into the political and structural factors
shaping evidence utilisation by public servants. For instance: Machado, Sandim,
Alves, Motoki and Vivas look for correlates of the use of scientific evidence by
public servants in the Federal District – considering features of these individuals
and incentives of their organisations in relation to evidence use. Koga, Palotti, Lins,
Couto, Loureiro and Lima similarly focus on the ways that evidence use by Federal
bureaucrats is shaped by their differing political-institutional contexts – identifying
a range of forms of evidence and uses of evidence specific to their bureaucratic
realities. Oliviera and Menke discuss the sources of information preferred by
another form of official – auditors of the Comptroller General. While Filgueiras,
Palotti and Nascimento provide insights into how a structural shift – in the form
of the construction of a digital platform – was linked to a more instrumental use
of evidence in relation to policy decisions. A range of other chapters consider how
particular forms of evidence was utilized in specific Brazilian policy decisions (e.g.:
Furtado and Lassance on the use of computer simulations; Bachtold and Robert on
the use of ethnography; Vieira, Servo and Piola on the use of Health Technology
Assessment; or Fiani on the use of Econometric models).
There are also chapters that look at other arms of the state in relation to evi-
dence use – such as the judiciary and the legislature. Work considering evidence
use in these bodies, however, has often taken on different concerns to the largely
technocratic approach assumed to underlie planning of many public sector bu-
reaucratic bodies. Work in the US, for instance, has explored the evolving criteria
used by courts – and the specific role of trial judges – for admitting scientific evi-
dence: finding tensions around how much judges can or should be able to assess
the reliability or validity of scientific evidence (Walsh, 1999; Improving…, 1997).
There have also been studies in Colombia and Germany that have analysed how
courts can consider health-related evidence differently to public health bodies.
These studies find that courts often utilise evidence in relation to legislative and
constitutional principles (such as the right to health). This was found to lead to
different conclusions (and policy implications) when health-provision decisions
fall to courts, as opposed to ministries of health or affiliated public health bodies
(Ettelt, 2018a; Hawkins and Alvarez Rosete, 2019). In this volume, the chapter
by Nascimento and Dias also considers evidence use within the judicial arm of
government, yet provides a novel approach to the question. Rather than focussing
on how evidence is used to decide in specific court cases, it looks at the role of
evidence in advocacy (‘ativismo com as estatísticas’ [activism with statistics]) for
reform of the working conditions within judicial system itself.
In contrast to judiciaries, legislatures often hold a different position in relation
to scrutinising, approving, or setting public policy. The roles played by legislatures
in different countries has been found to vary considerably – from oversight and
approvals (of budgets, for instance), to the direct formation of policy through
the creation of laws and regulations (Ettelt, 2018b); and it has been argued that
legislatures have not yet been widely studied in relation to their uses of evidence
to inform policy (Rose et al., 2020). In one analysis, however, Ettelt (2018b)
explored the ways that parliaments in a set of countries used evidence for health
policymaking – finding the role of evidence to be limited, and noting that party
politics could dominate evidence use processes.
The role of partisan politics within legislatures – and its subsequent impacts
of evidence use – can, therefore, be an important area for further work. In Weiss’
(1979) classic typology of research use for policy, she describes a ‘political model’
of research use as reflecting situations where “the constellation of interests around
a policy issue predetermines the positions that decision makers take” and research
“becomes ammunition for the side that finds its conclusions congenial and sup-
portive” (op. cit., p. 429). It has been further argued that the greater the levels of
political contestation or polarisation faced, the greater the chance for bias in the
creation, selection, or interpretation of evidence (Parkhurst, 2016).
Indeed, political competition and polarisation are often no more visible than
in national legislatures, and in this volume, the chapter by Almeida explores this
very question of how the political make up of legislative committees influences
the type of evidence used. The chapter undertakes an empirical analysis of bills
considered by committees within the Chamber of Deputies to consider when
information of different quality was used. It finds overall that information of high
evidentiary quality was not often used. It further analyses correlations between
quality of information and the make-up of the committees themselves, finding
initial indications that greater heterogeneity of preferences within committees can
lead to improved quality of information shared.
This preface, however, raised a set of key questions to guide thinking around
how we can work to improve the use of evidence for policymaking. And indeed,
several chapters speak more directly to the three sub-questions discussed above. For
example, Pinheiro explores what is termed a ‘modelo moderado’ [moderate Model] –
in which evidence is defined in relation to policymaker action – fundamentally
analogous to the programmatic approach that the needs and goals of bureaucratic
decision makers can serve to establish what forms, features, and applications of
evidence are appropriate or policy relevant (Parkhurst et al., 2020).
Other chapters are decidedly institutional in their approach. Araújo, for in-
stance, considers how the policy process and nature of planning institutionalized
particular information that would be used for prevention of forest fires. While
Segatto, Santos, Alves e Peria study whether evidence use was institutionalized
for education policymaking at state level (finding only one state actually having
institutional structures for this). Works such as these can enable critical reflection
on the institutional evidence advisory systems in place, and whether they provide
the most appropriate evidence for this policy need in the best possible ways.
Finally, one of the most explicit discussions in this volume of whether evidence
was used well comes in the chapter by Moraes, who compares Brazilian state govern-
ments responses to the current covid-19 pandemic. The chapter presents a key set of
criteria by which to judge good uses of evidence in relation to pandemic response –
whether it was: timey, comprehensive and precise, involving expert participation, inter-
disciplinarity, transparent, and proximate to the political process. These principles may
differ somewhat from those discussed above, but the ultimate approach is similar – an
explicit consideration of normative concerns by which to judge the use of evidence.
5 FINAL THOUGHTS
While the use of knowledge to inform decisions dates back to antiquity, it has been
in the past century that the structures and functioning of public administrations
has become a well-developed field of study. Consideration of the ways that science
and evidence are used to improve public services has grown alongside this. In the
past few decades, we have seen an expansion in academic and applied work that
directly analyses evidence use within policymaking spaces drawing on a range of
disciplinary and conceptual approaches. However, despite this growth, gaps still
remain. Recent work has begun to understand how features of the state shape
the use of evidence – yet this knowledge base still requires expansion to differ-
ent country contexts and different policy issues. As such, this volume provides a
wealth of insights into evidence use in Brazil specifically, cutting across a range of
key public concerns. This preface, however has also raised the challenge of what it
means to use evidence well, and how to build systems within countries to ensure
this is done. This remains an emerging area to consider for many in the field, but
again there are chapters in this volume which can help to develop these ideas in
Brazil – and ultimately inform future decisions and debates about the structures
of evidence advice best suited to serve the public interest.
At the time of writing, the covid-19 pandemic is providing an urgent chal-
lenge to many countries in the use of science and evidence to inform policymak-
ing. And while this might appear to be raising new considerations for the use
of evidence, in many respects, such issues have existed throughout time. The
appropriate evidence in response to a novel pandemic may indeed look different
to using evidence for routine health concerns, or other long term public policy
considerations requiring science advice (be it transportation, forest management,
or climate policy). Yet ultimately, using evidence well – for any policy challenge –
requires establishing systems that can marshal appropriate scientific research, data,
and information, to serve public needs. Doing so requires explicit reflection on
the goals of policy action – as well as the criteria by which good evidence, and the
good use of evidence, can be judged at a national level.
REFERENCES
BAZALGETTE, L. A practical guide for establishing an evidence centre. Lon-
don: Alliance for Useful Evidence; Nesta, 2020.
BIRD, A. What is scientific progress? Noûs, v. 41, n. 1, p. 64-89, 2007.
BLACK, N. Evidence based policy: proceed with care. British Medical Journal,
v. 323, n. 7307, p. 275-279, 2001.
BOAZ, A. et al. (Ed.). What works now? Evidence-informed policy and practice.
Chicago: Policy Press, 2019.
BOAZ, A.; LOCOCK, L.; WARD, V. Whose evidence is it anyway? Evidence
and Policy, v. 11, n. 2, p. 145-148, 2015.
BOIN, A.; FAHY, L. A.; ‘T HART, P. Guardians of public value: how public
organizations become and remain institutions. In: BOIN, A.; FAHY, L. A.; ‘T
HART, P. (Ed.). Guardians of public value: how public organisations become
and remain institutions. Cham: Springer International Publishing, 2021. p. 1-35.
BORNMANN, L. Evaluations by peer review in science. Springer Science

Reviews, v. 1, p. 1-4, 2013.
BOZEMAN, B. Public values and public interest: counterbalancing economic
individualism. Washington: Georgetown University Press, 2007.
BROOKS, T. Knowledge and power in Plato’s political thought. International
Journal of Philosophical Studies, v. 14, n. 1, p. 51-77, 2006.
______. Is Plato’s political philosophy anti-democratic. In: KOFMEL, E. (Ed.).
Anti-democratic thought. Exeter: Imprint Academic, 2008. p. 17-33.
CAIRNEY, P. The politics of evidence-based policymaking. London: Palgrave
Pivot, 2016.
CAIRNEY, P.; OLIVER, K.; WELLSTEAD, A. To bridge the divide between
evidence and policy: reduce ambiguity as much as uncertainty. Public Adminis-
tration Review, v. 76, n. 3, p. 399-402, 2016.
CARTWRIGHT, N; HARDIE, J. Evidence-based policy: a practical guide to
doing it better. Oxford: Oxford University Press, 2012.
CHRISTIANO, T. Democracy. Stanford Encyclopedia of Philosophy, July 7,
2021. Retrieved from: <https://stanford.io/3rjbWkf>.
DEWEY, J. The public and its problems: an essay in political inquiry. Athens,
Ohio: Swallow Press/Ohio University Press, 1954.
DIMOVA, R. A debate that fatigues…: to randomise or not to randomise; what’s
the real question? The European Journal of Development Research, v. 31,
n. 2, p. 163-168, 2019.
ELLIOTT, K. C.; RESNIK, D. B. Science, policy, and the transparency of values.
Environmental Health Perspectives, v. 122, n. 7, p. 647-650, 2014.
ETTELT, S. Access to treatment and the constitutional right to health in Germany:
a triumph of hope over evidence? Health Economics, Policy and Law, v. 15,
n. 1, p. 30-42, 2018a.
______. Evidence use and the institutions of the state: the role of parliament and
the judiciary. In: PARKHURST, J.; ETTELT, S.; HAWKINS, B. (Ed.). Evidence
use in health policy making: an international public policy perspective. Cham:
Palgrave Macmillan, 2018b. p. 185-199.
GREEN, A.; BENNETT, S. (Ed.). Sound choices: enhancing capacity for evidence-
informed health policy. Geneva: WHO, 2007.
HALLIGAN, J. Policy advice and the public service. In: PETERS, G.; SAVOIE,
D. J. (Ed.). Governance in a changing environment. Montreal: Canadian Centre
for Management Development, 1995. p. 138-172.
HAWKINS, B.; ALVAREZ ROSETE, A. Judicialization and health policy in
Colombia: the implications for evidence‐informed policymaking. Policy Studies
Journal, v. 47, n. 4, p. 953-977, 2019.
HAYNES, L. et al. Test, learn, adapt: developing public policy with randomised
controlled trials. London: UK Cabinet Office-Behavioural Insights Team, 2012.
HOPKINS, A. et al. Science advice in the UK. London: Foundation for Science
and Technology; Transforming Evidence, 2021.
HOPPE, R. Scientific advice and public policy: expert advisers’ and policymakers’
discourses on boundary work. Poiesis and Praxis, v. 6, p. 235-263, 2009.
______. From “knowledge use” towards “boundary work”: sketch of an emerg-
ing new agenda for inquiry into science-policy interaction. In: IN ‘T VELD, R.
J. (Ed.). Knowledge democracy: consequences for science, politics, and media.
Heidelberg: Springer, 2010. p. 169-186.
IMPROVING judicial gatekeeping: technical advisors and scientific evidence.
Harvard Law Review, v. 110, n. 4, p. 941-958, 1997.
KOON, A. D. et al. Embedding health policy and systems research into decision-
making processes in low-and middle-income countries. BMC Health Research
Policy and Systems, v. 11, n. 30, p. 1-9, 2013.
LANGER, L.; TRIPNEY, J.; GOUGH, D. The science of using science: re-
searching the use of research evidence in decision-making. London: EPPI-Centre/
Social Science Research Unit/UCL Institution of Education/University College
London, 2016.
LASSWELL, H. D. The policy orientation. In: LERNER, D.; LASSWELL, H.
D. (Eds.). The science of public policy: evolution of policy sciences. Stanford:
Stanford University Press, 1951. p. 3-15.
______. The emerging conception of the policy sciences. Policy Sciences, v. 1,
n. 1, p. 3-14, 1970.
LAVIS, J. N. et al. How can research organizations more effectively transfer research
knowledge to decision makers? Milbank Quarterly, v. 81, n. 2, p. 221-248, 2003.
LAVIS, J. N. et al. Evidence-informed health policy 1 – Synthesis of findings from
a multi-method study of organizations that support the use of research evidence.
Implementation Science, v. 3, n. 53, 2008.
LEWIS, J. M. Evidence-based policy: a technocratic wish in a political world. In:

LIN, V.; GIBSON, B. (Ed.). Evidence-based health policy: problems and pos-
sibilities. Oxford: Oxford University Press, 2003. p. 250-259.
______. Being around and knowing the players: networks of influence in health
policy. Social Science and Medicine, v. 62, n. 9, p. 2125-2136, 2006.
LIN, V.; GIBSON, B. (Ed.). Evidence-based health policy: problems and pos-
sibilities. Oxford: Oxford University Press, 2003.
LIVERANI, M.; HAWKINS, B.; PARKHURST, J. O. Political and institutional
influences on the use of evidence in public health policy: a systematic review. PloS
ONE, v. 8, n. 10, p. e77404, 2013.
MEIJER, A. Transparency. In: BOVENS, M.; GOODIN, R. E; SCHILLEMANS,
T. The Oxford handbook of public accountability. Oxford: Oxford University
Press, 2014. p. 1-20. On-line edition.
NUTLEY, S. M.; WALTER, I.; DAVIES, H. T. O. Using evidence: how research
can inform public services. Bristol: The Policy Press, 2007.
OLIVER, K. et al. A systematic review of barriers to and facilitators of the
use of evidence by policymakers. BMC Health Services Research, v. 14, n. 2,
p. 1-12, 2014.
OLIVER, K.; LORENC, T.; INNVAER, S. New directions in evidence-based
policy research: a critical analysis of the literature. Health Research Policy and
Systems, v. 12, n. 34, 2014.
PARKHURST, J. O. Framing, ideology and evidence: Uganda’s HIV success and
the development of PEPFAR’s ‘ABC’ policy for HIV prevention. Evidence and
Policy, v. 8, n. 1, p. 19-38, 2012.
______. Appeals to evidence for the resolution of wicked problems: the origins
and mechanisms of evidentiary bias. Policy Sciences, v. 49, p. 373-393, 2016.
______. The politics of evidence: from evidence based policy to the good gov-
ernance of evidence. Abingdon: Routledge, 2017.
PARKHURST, J.; ABEYSINGHE, S. What constitutes “good” evidence for pub-
lic health and social policy-making? From hierarchies to appropriateness. Social
Epistemology, v. 30, p. 665-679, 2016.
PARKHURST, J. et al. Understanding evidence use from a programmatic perspec-
tive: conceptual development and empirical insights from national malaria control
programmes. Evidence and Policy: a journal of research, debate and practice,
v. 17, n. 3, p. 447-466, 2020.
PAWSON, R.; TILLEY, N. Realistic evaluation. London: Sage Publications, 1997.

PETTICREW, M.; ROBERTS, H. Evidence, hierarchies, and typologies: horses
for courses. Journal of Epidemiology and Community Health, v. 57, n. 7,
p. 527-529, 2003.
PIELKE JUNIOR, R. A. The honest broker: making sense of science in policy
and politics. Cambridge: Cambridge University Press, 2007.
PINHEIRO, M. M. S.; NOGUEIRA, R. P. Medicina baseda em evidências:
uma interpretação crítica e implicações para as políticas públicas. Brasília: Ipea,
2021. (Texto para Discussão, n. 2696).
PLATO. The republic. Translated by Francis MacDonald Cornford. London:
Oxford University Press, 1980.
RAVALLION, M. Should the randomistas (continue to) rule? Cambridge:
National Bureau of Economic Research, 2020. (NBER Working Paper, n. 27554).
REED, M. S.; BRYCE, R.; MACHEN, R. Pathways to policy impact: a new
approach for planning and evidencing research impact. Evidence and Policy: a
journal of research, debate and practice, v. 14, n. 3, p. 431-458, 2018.
ROSE, D. C. et al. Improving the use of evidence in legislatures: the case of the
UK Parliament. Evidence and Policy: a journal of research, debate and practice,
v. 16, n. 4, p. 619-638, 2020.
RUSSELL, J. et al. Recognizing rhetoric in health care policy analysis. Journal of
Health Services Research and Policy, v. 130, n. 1, p. 40-46, 2008.
SACKETT, D. L. et al. Evidence based medicine: what it is and what it isn’t. Brit-
ish Medical Journal, v. 312, n. 7023, p. 71-72, 1996.
SELZNICK, P. Leadership in administration: a sociological interpretation. New
York: Harper and Row, 1957.
SHUCKSMITH, M. InterAction: how can academics and the third sector work
together to influence policy and practice? Dunfermline: Carnegie UK Trust, 2016.
SMITH, A. F. Mad cows and ecstasy: chance and choice in an evidence-based
society. Journal-Royal Statistical Society Series A, v. 159, n. 3, p. 367-384, 1996.
SMITH, K. Beyond evidence-based policy in public health: the interplay of
ideas. Basingstoks: Palgrave Macmillan, 2013.
STARR, M. et al. The origins, evolution, and future of The Cochrane Database of
Systematic Reviews. International Journal of Technology Assessment in Health
Care, v. 51, p. 182-195, 2009.
STEWART, R.; LANGER, L.; ERASMUS, Y. An integrated model for increasing

the use of evidence by decision-makers for improved development. Development
Southern Africa, v. 36, n. 5, p. 616-631, 2019.
STRAUS, S.; TETROE, J.; GRAHAM, I. D. (Ed.). Knowledge translation in
health care: moving from evidence to practice. Chichester: John Wiley and Sons;
BMJ Books, 2013.
SUTCLIFFE, S.; COURT, J. Evidence-based policymaking: what is it? How
does it work? What relevance for developing countries? London: ODI, 2005.
VAN DER AREND, J. Bridging the research/policy gap: policy officials’ perspec-
tives on the barriers and facilitators to effective links between academic and policy
worlds. Policy Studies, v. 35, n. 6, p. 611-630, 2014.
WALSH, J. T. Keeping the gate: the evolving role of the judiciary in admitting
scientific evidence. Judicature, v. 83, n. 3, p. 140-143, 1999.
WEISS, C. H. Research for policy’s sake: the enlightenment function of social
research. Policy Analysis, v. 3, n. 4, p. 531-545, 1977.
______. The many meanings of research utilization. Public Administration
Review, v. 39, n. 5, p. 426-431, 1979.
WESSELINK, A.; COLEBATCH, H.; PEARCE, W. Evidence and policy: dis-
courses, meanings and practices. Policy Sciences, v. 47, n. 4, p. 339-344, 2014.
APRESENTAÇÃO
Natália Massaco Koga1
Pedro Lucas de Moura Palotti2
Janine Mello3
Maurício Mota Saboya Pinheiro4
1 INTRODUÇÃO
O uso de evidências como subsídio à atuação governamental não é tema novo no
debate sobre a produção e legitimação da ação do Estado. Nas últimas décadas,
no entanto, o movimento das políticas públicas baseadas em evidências (PPBEs)
tem intensificado a defesa de que mais e melhores evidências sejam produzidas
como instrumentos capazes de orientar a produção de políticas públicas. Em
contrapartida, diferentes autoras e autores têm chamado a atenção para os limites
analíticos e conceituais de noções restritas de evidências, apoiadas em pressupostos
da racionalidade instrumental presentes no cerne do papel atribuído ao conheci-
mento científico na modernidade (Parkhurst, 2017; Cairney, 2019; Nutley, Walter
e Davies, 2007; Jasanoff, 2012).
Este livro se inscreve nesse debate e visa suprir duas lacunas. Em primeiro
lugar, reduzir a escassez de estudos sobre o uso de evidências em diferentes áreas e
níveis governamentais no Brasil. Em segundo lugar, e principalmente, fornecer uma
análise das dinâmicas de uso de evidências a partir de uma concepção ampliada
do que constitui ou não evidência em políticas públicas. Faria e Sanches, no capí-
tulo 3, mostram que essa agenda de estudos é relativamente recente no país, com
poucas publicações, e tardia em relação à abordagem das PPBEs, que se difundiu
internacionalmente a partir dos anos 1990. Nos trabalhos analisados pelos autores,
predomina, de modo geral, a defesa dos princípios, objetivos e métodos das PPBEs.
Apesar de essa defesa ser, aqui e ali, “temperada por críticas mais tópicas”,5 ainda
falta no Brasil um diálogo mais maduro com a já apreciável literatura crítica, ana-
lítica e propositiva produzida em nível internacional. Como resultado da pesquisa
O que Informa as Políticas Públicas Federais: o uso e o não uso de evidências pela
burocracia federal brasileira, coordenada pela Diretoria de Estudos e Políticas do
Estado, das Instituições e da Democracia (Diest) do Ipea, em esforço conjunto
1. Especialista em políticas públicas e gestão governamental em exercício na Diretoria de Estudos e Políticas do Estado,
das Instituições e da Democracia (Diest) do Ipea. E-mail: <natalia.koga@ipea.gov.br>.
2. Especialista em políticas públicas e gestão governamental em exercício na Diest/Ipea. E-mail: <pedro.palotti@ipea.gov.br>.
3. Especialista em políticas públicas e gestão governamental em exercício na Diest/Ipea. E-mail: <janine.mello@ipea.gov.br>.
4. Técnico de planejamento e pesquisa na Diest/Ipea. E-mail: <mauricio.saboya@ipea.gov.br>.
5. Conforme o capítulo 3 deste livro, de Faria e Sanches.
com pesquisadores da Companhia de Planejamento do Distrito Federal (Code-

plan), do Institute of Development Studies (IDS) e da University of Amsterdam,
com apoio da Comissão Econômica para a América Latina e o Caribe (CEPAL),
no âmbito do Acordo de Cooperação CEPAL-Ipea e do Programa de Cooperação
Internacional do Ipea (Procin), esta publicação contou com a participação de 51
autoras e autores, pertencentes a 22 instituições nacionais e internacionais. Ao longo
de seus 28 capítulos, esta obra ilustra os papéis desempenhados pelas evidências
na produção de políticas públicas em várias áreas temáticas, nos três poderes da
República e em distintos segmentos da burocracia pública. A diversidade teórica
e metodológica é uma característica valiosa dos trabalhos aqui publicados, assim
como a multiplicidade de formações, áreas de conhecimento e instituições às quais
pertencem as autoras e os autores.
Dada a missão do Ipea de aprimorar as políticas públicas essenciais ao desen-
volvimento brasileiro, por meio da produção e disseminação de conhecimentos e da
assessoria ao Estado nas suas decisões estratégicas acreditamos fortemente no potencial
de contribuição desta publicação para a agenda de estudos sobre o modo como as
evidências, em sua concepção moderada (como discorremos a seguir), têm sido
incorporadas à produção de políticas públicas e à tomada de decisões sobre temas
que afetam as condições de bem-estar da população brasileira. Ressaltamos que o
advento da pandemia da covid-19 no processo de produção deste livro tornou o
debate ainda mais premente, rico e desafiador.
Esta apresentação está organizada em cinco pontos-chave que, a nosso ver,
dialogam com os esforços analíticos do conjunto de capítulos aqui dispostos, ao
mesmo tempo em que propõem a interlocução com aspectos centrais da literatura
recente sobre evidências em políticas públicas produzida dentro e fora do país.
Embora haja relação entre os pontos-chave e as seções do livro, as discussões su-
geridas em cada ponto não se restringem aos capítulos de cada seção, buscando
abarcar a publicação como um todo. O objetivo foi possibilitar que os leitores e
as leitoras localizem os diferentes recortes temáticos sugeridos ao longo da obra.
Destacamos que se trata de nosso olhar introdutório e certamente outros recortes
poderão ser identificados, uma vez que as contribuições de cada capítulo não se
restringem a essas discussões.
Reiteramos nossos agradecimentos às autoras e aos autores que estiveram
conosco durante este profícuo percurso, assim como às dezenas de pareceristas e
colaboradores que permitiram a consecução desta publicação em diversas etapas.
Vale esclarecer, ainda, que as referências aos capítulos no texto a seguir obviamente
não exaurem suas contribuições individuais. Destaques e reflexões adicionais foram
aventadas pelos organizadores, mas infelizmente tiveram que ser submetidos ao
exercício de síntese em torno dos cinco temas-chave escolhidos para esta já extensa
Apresentação | 35
apresentação. Esperamos seguir em interlocução com esta rede de estudiosos e

profissionais (practitioners) para dar continuidade ao desenvolvimento dessa agenda
de pesquisa. Agradecemos ainda ao professor Justin Parkhurst, umas das principais
referências internacionais no campo, que gentilmente aceitou nosso convite para
elaborar o prefácio desta publicação em rico e aberto diálogo com os organizadores.
Desejamos a todas e todos uma ótima leitura!
2 O CONCEITO DE EVIDÊNCIAS É POLISSÊMICO E SE RELACIONA

COM MÚLTIPLAS FONTES INFORMACIONAIS. O PROBLEMA DA
MOLDURA CONTEXTUAL
A racionalidade instrumental pode ser concebida como o uso racional de meios
para se atingirem fins previamente definidos. Nesse uso específico da razão humana,
o pressuposto fundamental é que haja razoável grau de certeza no conhecimento
acerca das realidades sobre as quais se busquem as soluções dos problemas. Ao longo
da história, várias correntes do pensamento filosófico, político e social defenderam
o uso da racionalidade instrumental para atingirem o bem-estar e o progresso
social. Não obstante, as sociedades contemporâneas apresentam-se cada vez mais
complexas, fato que parece solapar a crença de que pode haver alguma certeza no
conhecimento social. A alimentar esse ceticismo, há o fato de que, a despeito do
aumento exponencial da disponibilidade de dados, capacidade computacional e
conhecimento técnico-científico, a qualidade das decisões públicas – medida em
termos de bem-estar geral – não parece ter crescido no mesmo ritmo. Paradoxal-
mente, isso leva à necessidade de se mobilizarem cada vez mais dados, ciência e
tecnologia, a fim de se entender e atuar sobre as realidades sociais por meio das
políticas públicas.
A abordagem tradicional das PPBEs concentra-se no uso da racionalidade
instrumental. Os instrumentos, nesse caso, seriam as evidências, ou seja, os fatos
objetivos que serviriam de base para a tomada de decisões em políticas públicas.
Nessa abordagem, sobretudo em suas versões mais racionalistas, trata-se o resulta-
do de pesquisas científicas como a única forma válida de evidência acerca do que
funciona ou não em políticas públicas. Em outras palavras, as PPBEs identificam
a evidência com o conhecimento científico (capítulo 2). Entretanto, como a re-
alidade dos sistemas sociais contemporâneos parece indicar, é implausível que o
uso da racionalidade instrumental, meramente sobre as evidências científicas, seja
suficiente para assegurar o progresso e o bem-estar sociais no longo prazo.
Logo, necessitamos de uma visão abrangente sobre o que se entenderia por
evidências a serem usadas como instrumentos da política pública. Para isso, ne-
cessitamos, em primeiro lugar, fazer uma análise conceitual sobre a evidência na
teoria das políticas públicas. Este é o objetivo básico da seção 1 deste livro.
O que são evidências em políticas públicas? Pinheiro, no capítulo 1, propõe

um modelo moderado, que foge a uma definição estipulada a priori de evidência, e
define o campo de aplicação desse conceito a partir de contextos de uso concretos
das evidências. O dito modelo admite que as realidades subjacentes às políticas
públicas são extremamente complexas, multicausais e sujeitas a incertezas. Porém,
assume-se também que elas possam ser, em algum grau, conhecidas e delibera-
damente modificadas para atingir fins de bem-estar coletivo. Neste aspecto, a
análise proposta por Pinheiro parece distanciar-se de interpretações radicalmente
construcionistas acerca das políticas públicas e do trabalho dos policymakers, sem,
entretanto, alinhar-se com visões mecanicistas, positivistas ou ultrarracionalistas
das políticas públicas, que parecem focalizar apenas a racionalidade instrumental.
Ademais – contrapondo-se a uma reificação do conceito que tende a reduzi-lo a
um tipo de evidência quantitativa –, o modelo moderado admite vários tipos de
evidências e de métodos, além de exigir uma atenção especial à diversidade dos
status epistemológicos das áreas do conhecimento relativas às políticas públicas.
Por sua vez, o caráter moderado do modelo se verifica não só em sua abertura para
a pluralidade, mas também em sua atenção aos limites do conhecimento e aos
limites dos contextos de ação.
Os contextos em que são tomadas as decisões em políticas públicas são cruciais
para a definição das evidências no modelo moderado. A moldura contextual – conforme
a expressão de Pinheiro (capítulo 1) – delimita um pano de fundo constituído por
fatores de ordem epistemológica, política e institucional, no seio do qual têm lugar
as decisões do policymaker quanto ao uso das evidências. Ou seja, usar ou não usar
esta ou aquela evidência, bem como o peso que se dará, por exemplo, às evidências
científicas, dependerá da moldura contextual de decisão do agente, na qual sempre
atuarão, de forma latente ou explícita, os fatores políticos, simbólicos e ideológicos.
Até que ponto seria possível a construção de um conhecimento contextualizado
para a análise das políticas públicas? Em princípio, qualquer política deveria estar
ajustada ao seu contexto de implementação, levando-se em conta os comportamen-
tos e as reações dos públicos-alvo. Por seu turno, esse ajuste exige do analista uma
atitude cognitiva específica, uma abertura para a apreensão fenomenológica dos
elementos contextuais (Lejano, 2006, p. 228 e 252). Deve-se ser capaz de intuir
formas com as quais descrever o contexto, em seus aspectos formais e informais.
Tal conhecimento contextualizado exigirá o uso de distintos métodos e mo-
dos de representação da realidade. Isso implica um debruçar-se do analista sobre as
situações concretas, vividas pelas pessoas. Em princípio, esse tipo de conhecimento
parece ser mais adequadamente conseguido com métodos qualitativos, exatamente
aqueles ressaltados por Bachtold e Robert (capítulo 7), Fonseca, Koga, Pompeu
e Avelino (capítulo 6), entre outros capítulos deste volume. Estudos qualitativos
Apresentação | 37
podem levantar uma massa de dados e informações que, uma vez organizados e
analisados, poderão fazer avançar o conhecimento, inclusive de ordem causal, sobre
certos fenômenos sociais. Aqui, o estabelecimento de analogias e “semelhanças de
família wittgensteinianas” entre os diferentes casos pode ser fundamental.
Deve estar claro que o conhecimento contextual, sumariamente caracterizado
nas linhas anteriores, é diferente daquele obtido por meio de análises estatísticas,
análises de impacto, experimentos aleatórios controlados e modelagem matemática.
Sem embargo, há que se procurar usar estes tipos de análises – considerados mais
científicos, objetivos e rigorosos – de forma cooperativa e intercomplementar com
outros métodos. Objetos de estudo diferentes reclamarão o uso de métodos diferentes
de produção de evidências para as decisões de políticas públicas.
3 A PRODUÇÃO DE EVIDÊNCIAS É CARACTERIZADA PELA DIVERSIDADE

METODOLÓGICA E DE ABORDAGENS ANALÍTICAS
A produção de conhecimento sistemático sobre a realidade visa alcançar algum tipo
de inferência, seja de natureza descritiva, seja causal. Utilizamos fatos conhecidos
para construir hipóteses e formular conhecimento sobre algo que ainda desco-
nhecemos, cujas conclusões podem posteriormente ser revistas e aperfeiçoadas
(King, Keohane e Verba, 1994). Desse modo, uma concepção moderna de ciência
aponta para a existência de diversos meios ou métodos para se acessar, mensurar e
conhecer a realidade. A produção de evidências para as políticas públicas insere-se
nesse contexto mais amplo da organização da ciência. Tanto na análise de políticas
públicas quanto em seus processos decisórios, há uma enorme variedade de métodos
e abordagens analíticas disponíveis para obtenção de inferências.
Esta publicação almejou ilustrar essa multiplicidade de recursos para produção
de inferências com contribuições que mobilizam tanto estudos qualitativos como
quantitativos ou mistos, além de experimentais. Ao longo da publicação, cada
capítulo adota métodos distintos, como é de se esperar a partir dos variados obje-
tos de análise. Essa multiplicidade de abordagens, muitas vezes complementares,
sinaliza como as investigações no campo de políticas públicas podem idealmente
operar. Para um mesmo propósito investigativo – compreender os significados,
usos, alcances e limites das evidências em políticas públicas –, os capítulos da
publicação são exemplos da diversidade de abordagens metodológicas possíveis.
Em complemento a essa mencionada diversidade, optou-se por reunir, na
seção 2, cinco capítulos que remetem diretamente a questões metodológicas en-
volvendo exemplos de aplicações em estudos sobre políticas públicas. Essa escolha
se deu em razão de essas contribuições sintetizarem aspectos metodológicos que
apontam para questões contemporâneas e prementes sobre o uso de evidências
em políticas públicas.
Um primeiro tipo de evidência empírica é a avaliação de impacto. Esta se

constitui de um teste de hipótese causal, em que se procura mensurar estatistica-
mente os efeitos (impactos) de determinada intervenção de política pública, com
base em critérios previamente estabelecidos para corroborar ou rejeitar a hipótese.
Moreira e Santini, no capítulo 4, ressaltam a importância de tais avaliações para a
prestação de contas (accountability) e para se atingirem padrões mais eficientes de
uso dos recursos públicos pelas administrações municipais no Brasil. Os autores
mostram que, de modo geral, há um enorme potencial inexplorado para o au-
mento da eficiência das políticas públicas municipais brasileiras, pois os prefeitos
raramente baseiam suas decisões de políticas públicas em informações extraídas de
fontes acadêmicas ou de institutos de pesquisas. Ademais, experimentos de campo
realizados pelos autores oferecem fortes indícios de que, se os prefeitos forem bem
informados, por avaliações de impacto, de que certa política é efetiva (além de
barata e fácil de implementar), então eles provavelmente a implementarão.
Dificilmente, entretanto, é dado aos analistas de política fazerem avaliações
de impacto e experimentos aleatórios controlados (RCTs, na sigla em inglês) para
testar intervenções de longo prazo e compreender problemas de políticas públicas
que sejam extremamente complexos (wicked problems). Conforme argumentam
Leão e Eyal, no capítulo 8, ao realizarem um debate crítico sobre as origens e os
limites da pesquisa experimental, os estudos atuais compreendem uma segunda
onda de trabalhos produzidos por randomistas, formados por grupos de pesquisa-
dores vinculados principalmente à área de economia que superaram as resistências
políticas à randomização de políticas sociais. A partir do conceito sociológico de
dobradiça, os autores explicam que randomistas e organizações filantrópicas inter-
nacionais (filantrocapitalistas) se associaram para produzir pesquisas que testam
intervenções cujas naturezas são pontuais, em sua maioria com um mês ou menos
de duração. Desse modo, os RCTs se disseminaram no cenário internacional não
pela natureza intrínseca do método como um padrão-ouro, mas por circunstâncias
históricas e institucionais do cenário político e científico recente.
Na falta de métodos que gerem evidências mais objetivas, uma alternativa é o
uso de simulações computacionais, que podem ser usadas de inúmeros modos para
subsidiar as tomadas de decisões. Esse tipo de produção de evidências é proposto
por Furtado e Lassance no capítulo 5. Com os resultados de tais simulações, pode-
-se avaliar a priori, em algum grau de pormenor, certos efeitos das escolhas feitas
pelos policymakers. Assim, alguns efeitos colaterais da política, não previstos nas fases
de concepção e elaboração, podem ser mitigados por ações que sequer teriam sido
pensadas se os efeitos da política em questão não tivessem sido simulados computa-
cionalmente. Ademais, diferentes opções de política podem ser avaliadas compara-
tivamente, antes que qualquer decisão substantiva seja tomada e sem que seja feito
qualquer gasto público mais vultoso. Entre as técnicas de simulação computacional
Apresentação | 39
apresentadas pelos autores, citam-se: a modelagem baseada em agentes (ABM, sigla

em inglês) – método do tipo bottom-up que procura modelar os comportamentos
dos agentes para então se inferirem as propriedades globais do sistema; o big data;
o aprendizado de máquinas; a análise de redes; e os modelos de equilíbrio geral
estocástico dinâmico (DSGEs, sigla em inglês). Cada um desses métodos tem a sua
vasta gama de aplicações e pode ser usado, isoladamente ou de forma conjunta e
combinada com outros métodos, para a análise das políticas públicas.
Por sua vez, para além das evidências empíricas quantitativas e das técnicas
de simulação computacional, os dados e métodos etnográficos podem ser usados
como evidências para políticas públicas, conforme nos mostram Bachtold e Robert
no capítulo 7. Simplificadamente, a etnografia é um método qualitativo de pesquisa
sobre “determinada cultura, seus valores e suas crenças, por meio do exercício da
observação continuada e da descrição detalhada do modo de vida nativo”,6 embora a
etnografia não se restrinja à técnica da observação participante. Estreitamente ligada
à antropologia, a etnografia busca compreender a alteridade – isto é, o modo de pensar,
de ser e de fazer do outro. Ao relativizar os modos de vida dos grupos humanos, a
etnografia reveste-se de um caráter contextual e crítico. Como esclarecem as autoras,
este é o método que melhor “permite assimilar fatores subjetivos, sociais e simbólicos
que, muitas vezes, não são apreendidos por meio de outros métodos de pesquisas”.7
Além de enfocar métodos e técnicas, há inúmeras outras formas de se con-
ceberem e classificarem as evidências usadas para apoiar e informar as decisões
em políticas públicas. Uma dessas alternativas diz respeito às chamadas evidências
híbridas, estudadas por Fonseca, Koga, Pompeu e Avelino no capítulo 6. Evidências
híbridas são aquelas derivadas da operação das instituições participativas, as quais,
por sua vez, constituem-se de diversas formas e arranjos para se ouvir a voz de
cidadãos e stakeholders de políticas, a fim de levar em conta suas preferências nas
políticas públicas (por exemplo, fóruns, conferências, audiências públicas etc.).
O debate desses autores com a literatura tradicional sobre as PPBEs permite a
expansão do conceito de evidência, na base de novos saberes, racionalidades e
gramáticas que emergem dos encontros, debates e conflitos entre os diferentes
atores interessados nas políticas públicas. A perspectiva de Fonseca, Koga, Pom-
peu e Avelino no capítulo 6 parece alinhar-se mais às visões pós-positivistas que, ao
contrário das vertentes mais tradicionais das PPBEs, rejeitam a separação entre a
técnica e a política e não excluem a priori os valores, as crenças, a ideologia e os
juízos pessoais (mais ou menos subjetivos) na análise das políticas públicas.
Como seria de se esperar, os capítulos reunidos na seção 2, dedicada a discutir
métodos e abordagens na produção de evidências, e mesmo o livro como um todo,
6. De acordo com o capítulo 7 deste livro, de Bachtold e Robert.

7. Conforme o capítulo 7 deste livro, de Bachtold e Robert.
não reúnem a totalidade de meios de produzir conhecimento relevante para as po-

líticas públicas. Dificilmente uma única obra poderá dar conta de ilustrar e reunir a
multiplicidade de métodos existentes, a exemplo dos incontáveis manuais e livros de
referência para as diversas técnicas e tradições metodológicas em diferentes ramos do
conhecimento em constante atualização e desenvolvimento. O objetivo, portanto, foi
o de reunir alguns debates recentes sobre os desafios e as eventuais lacunas envolvendo
questões metodológicas sobre a utilização de evidências no âmbito das políticas públicas.
Por fim, um debate em permanente disputa é o que atribui hierarquia às
evidências e a pertinência dessa classificação para o campo das políticas públicas.
O uso adequado da ciência é fundamental para se evitar falácias no subsídio ao
processo decisório. Justin Parkhurst (2017), em The politics of evidence, também
apontou esse problema, que chamou de viés técnico ou technical bias, definido como
o uso de evidências que não seguem princípios ou melhores práticas científicas.
No entanto, como o próprio Parkhurst defende em seus trabalhos e no prefácio
desta publicação, a evidência deve ser útil ao processo decisório. Ou seja, devemos
considerar, entre outros condicionantes, os limites de tempo e a finalidade de sua
mobilização nas políticas públicas. A melhor evidência não necessariamente é
aquela supostamente no topo de uma hierarquia pré-determinada de evidências.
Em alguns casos, avaliações e revisões sistemáticas podem ser necessárias; em outros,
a comparação de práticas internacionais, o mapeamento de séries históricas ou a
comparação de indicadores são suficientemente úteis. Vieira, Piola e Servo, no
capítulo 19, exploram os fatores que influenciam a avaliação das tecnologias com
finalidades terapêuticas pela Comissão Nacional de Incorporação de Tecnologias
(Conitec) no Sistema Único de Saúde. Além do nível de qualidade das evidências
quanto aos quesitos de eficácia/efetividade, os autores analisam três outros fatores:
a influência dos demandantes das avaliações, dos atores interessados e dos custos
das tecnologias. Avaliando uma amostra de 29 relatórios dos 141 publicados pela
Conitec em 2019 e 2020, a partir da metodologia grading of recommendations
assessment, development and evaluation (Grade), os autores concluem que nem
sempre as recomendações da Conitec se orientaram nesse período pelas evidências
de níveis mais altos, mas em conjunto com outros fatores, entre eles os três aqui
citados. Por exemplo, a apresentação de relatos de experiência de uso dos medica-
mentos e o custo elevado de novos medicamentos em comparação aos já existentes
mostraram-se relevantes para as avaliações. Em que pese os reconhecidos avanços
na avaliação de tecnologias em saúde (ATS), o trabalho aponta para desafios de
fortalecimento e legitimação da Conitec. O caso da orientação, por pressão po-
lítica, do Ministério da Saúde (MS) para o uso dos medicamentos cloroquina e
hidroxicloroquina contra a covid-19 sem a avaliação prévia pela Conitec ilustra
parte dessa realidade.
Apresentação | 41
Nesse sentido, a preocupação central para o aperfeiçoamento do uso de

evidências para a gestão governamental desloca-se da ideia de atendimento a
uma hierarquia de evidências para a criação de uma governança de evidências
(Parkhurst e Abeysinghe, 2016; Parkhurst, 2017). Com essa expressão, almeja-
-se problematizar um sistema de assessoramento que possibilite a mobilização de
evidências confiáveis e tecnicamente válidas, a partir de processos decisórios que
sejam “inclusivos, representativos e responsivos aos múltiplos interesses sociais da
população atendida” (Parkhurst, 2017, p. 8). Esse é o desafio posto ao Brasil e a
outras nações em desenvolvimento para ampliar serviços públicos de qualidade
em um contexto polarizado e marcado por acentuados conflitos distributivos. Este
livro visa subsidiar esse debate, pelo menos quanto ao potencial das evidências para
aperfeiçoamento da ação governamental.
4 HÁ DIVERSOS CONTEXTOS DE USO DE EVIDÊNCIAS NA PRODUÇÃO DE

POLÍTICAS PÚBLICAS E EXPLORAR ESSA DIVERSIDADE PERMITE REVELAR
FATORES QUE IMPULSIONAM OU INIBEM ESCOLHAS E DINÂMICAS DE USO
O modelo moderado proposto por Pinheiro no capítulo 1 convidou os autores e
as autoras a reconhecer e problematizar a moldura contextual na qual as evidências
são empregadas. Sustentamos que este exercício permitiu expandir a compreensão
acerca dos possíveis fatores condicionantes ou explicativos das escolhas das fontes
informacionais, assim como suas dinâmicas de uso.
A pluralidade de molduras contextuais pôde ser observada a partir de diferen-
tes perspectivas nesta publicação. Apresentaremos três delas que a nosso ver mais se
destacaram. A primeira, ilustrada na seção 3, mas não apenas, trata da diversidade de
esferas e níveis de governo. Embora a maioria dos capítulos do livro tenha se dedicado
a analisar o uso de evidências no Poder Executivo federal (capítulos 7, 9, 10, 14, 15,16,
17, 18, 19, 20, 21, 23 e 25), reuniram-se também capítulos que contribuíram com
a análise do contexto das gestões locais (capítulos 4, 11, 26, 27 e 28), dos poderes
Legislativo (capítulo 12) e Judiciário (capítulo 13), assim como com abordagens que
consideraram o contexto internacional da política analisada (capítulos 8, 22 e 24).
A segunda dimensão de pluralidade contextual, retratada em alguma medida
no conjunto de capítulos da seção 5, mas presente também em toda a publicação, diz
respeito às áreas de políticas públicas. Como mapeado por Pinheiro (capítulo 1) e Faria
e Sanches (capítulo 3), a precedência histórica do movimento da medicina baseada em
evidências (MBE) faz com que o debate sobre o uso de evidências tenha mais acúmulo
e presença na área da saúde. Contudo, o advento da pandemia da covid-19 trouxe
novos desafios aos governos de todos os países e demandas de interações com outras
áreas de políticas, como as autoras e os autores bem demonstram nos capítulos que
trataram de casos na área da saúde (capítulos 19, 20, 21 e 28). As especificidades do uso
de evidências em outras áreas de políticas foram analisadas, ainda, nas políticas sociais
(capítulos 7, 8, 15 e 17), educacionais (capítulos 26 e 27), de controle (capítulo 10),

de gestão (capítulo 16), macroeconômica (capítulo 22), infraestrutura (capítulo 18),
ambiental (capítulo 23), inclusão produtiva rural (capítulo 24) e ciência, tecnologia
e inovação (capítulo 25).
A terceira dimensão de diversidade contextual entre os capítulos trata da uni-
dade de análise adotada pelos estudos. Enquanto uns capítulos do livro buscaram
aprofundar a perspectiva do indivíduo usuário de evidências (capítulos 4, 9, 10,
11 e 13), alguns capítulos ofereceram uma perspectiva organizacional-institucional
(capítulos 12, 15, 18, 19, 20, 23, 26, 27 e 28) e outros uma visão integrada entre os
dois níveis de análise (capítulos 16 e 25) ou sistêmica do campo de conhecimento
específico (capítulos 14, 17, 21, 22 e 24).
Na análise feita com os burocratas federais (capítulo 9), fatores individuais se
mostraram relevantes para a escolha da fonte de informação a ser empregada pela
amostra geral dos burocratas dos ministérios, quais sejam o nível educacional, o
tipo de trabalho desempenhado, a ocupação de cargos mais altos e a lotação no
Distrito Federal. Jannuzzi (capítulo 15) ressalta a importância do conhecimento
dos burocratas no uso de estatísticas e na formulação e avaliação de programas
para o desenvolvimento das políticas federais de combate à fome e à pobreza mais
bem informadas por evidências. Ainda entre os fatores individuais, Bachtold e
Robert (capítulo 7) acrescentam a habilidade de tradução do conhecimento
como um indutor ou facilitador para a maior permeabilidade de determinadas
fontes como as pesquisas etnográficas. E, neste mesmo sentido, vários capítulos
relembram os ensinamentos dos estudos construtivistas acerca da influência das
ideias, dos valores e dos julgamentos carregados pelos indivíduos em suas escolhas
e ações (capítulos 1, 2, 13, 14, 16, 17, 20, 21 e 24). Ademais, como discutem
Saguin (capítulo 2) e Vahdat, Favareto e Favarão (capítulo 24), os vieses cognitivos
dos atores enquadram os problemas públicos e, portanto, limitam a escolha das
fontes de evidências.
Quatro dos estudos do livro basearam-se em dados de survey com burocratas
(capítulos 9, 10, 11 e 25). Embora o capítulo 9, elaborado por Koga, Palotti, Lins,
Couto, Loureiro e Lima, e o 11, produzido por Machado, Sandim, Alves, Motoki
e Vivas, tenham apontando para preferências muito próximas no contexto geral
dos burocratas federais da administração direta e do Governo do Distrito Federal
(GDF), respectivamente – nos quais o uso de fontes científicas seria menos frequente
do que o uso de fontes estatais e experienciais –, ao aproximarmos o olhar para
contextos mais específicos, como realizado nos outros dois capítulos (capítulos 10
e 25), variações relevantes puderam ser identificadas.
De um lado, Oliveira e Menke (capítulo 10) indicam um uso ainda mais
elevado, se comparado à amostra geral de burocratas federais, de fontes estatais
Apresentação | 43
entre os auditores da Controladoria-Geral da União (CGU), os quais produzem

recomendações do controle, fonte relevante de informações entre a burocracia
federal em geral. Em outra direção, Schmidt, Bin, Pinheiro e De Negri (capítulo
25) retratam o contexto dos burocratas do Ministério de Ciência, Tecnologia e
Inovação (MCTI), que aponta para um uso intenso de informações advindas da
produção científica e da experiência em detrimento da maior parte das fontes
estatais, com exceção das leis e normas e dos registros administrativos.
De fato, a exploração das diferenças entre os contextos permite levantar
hipóteses acerca dos fatores indutores e inibidores do uso das distintas fontes
de evidências. Dos quatro casos mencionados, podemos reafirmar que fatores
individuais são relevantes, como o maior ou menor uso de evidências científicas a
depender do tipo de trabalho desempenhado e nível de escolaridade do burocrata.
No entanto, a proeminência do uso de normativos e registros administrativos nos
mesmos quatro casos sugere explicações de outros níveis de análise. Nesse sentido,
em adição aos casos apontados, identificamos contextos como o do processo de
construção da plataforma Gov.br, em que, como demonstrado por Filgueiras, Palotti
e Nascimento (capítulo 16), fontes de diversas naturezas, como recomendações de
organismos internacionais, pesquisa com usuários de serviços públicos e estudos
acadêmicos, são utilizados conjuntamente.
No que se refere a fatores explicativos organizacionais e institucionais do uso de
evidências, diversas considerações foram levantadas pelas autoras e pelos autores,
tais como as implicações das mudanças nos fluxos de recursos organizacionais de
pessoal e orçamento para a manutenção da capacidade de uso de evidências (capí-
tulos 23 e 25); a efetividade e legitimidade dos instrumentos de mobilização e uso
de evidências, como discutido por Vieira, Piola e Servo (capítulo 19) e Fernandez
(capítulo 20), relativamente a decisões nas políticas de saúde; assim como no caso do
processo regulatório da Agência Nacional de Energia Elétrica (Aneel), apresentado
por Martins, Sanches e Pinheiro (capítulo 18). Além desses fatores, destacam-se,
ainda, os desafios da institucionalização de instâncias consultivas e de tradução
do conhecimento científico, problematizados tanto por Segatto, Santos, Alves e
Peria (capítulo 26), no caso do Escritório de Evidências, da Secretaria Estadual da
Educação do Estado São Paulo, como por Moraes (capítulo 28), quanto às ins-
tâncias estaduais recentemente criadas para o enfrentamento da covid-19. Neste
mesmo escopo, foram debatidos os efeitos do desenho dos arranjos institucionais
de implementação da política como a centralização decisória, trazido na discussão
de Ceneviva, Andrade, Koslinski e Núñez (capítulo 27) sobre o Escola em Foco, da
cidade do Rio de Janeiro, e os efeitos da cultura institucional formada no campo da
política de inclusão produtiva debatida por Vahdat, Favareto e Favarão (capítulo 24).
Por fim, vários dos estudos trouxeram fatores relacionais e sistêmicos que foram
aventados como condutores ou inibidores do uso de diferentes fontes de evidências.
Estes fatores dizem respeito não apenas à atuação ou estruturação isolada dos entes
estatais, sejam eles burocratas, sejam organizações, mas aos efeitos das interações
formais ou mesmo informais que estes estabelecem com entes de comunidades de
políticas públicas e comunidades epistêmicas dos campos de conhecimento afeitos.
A análise abrangente elaborada por Schmidt, Bin, Pinheiro e De Negri (capítulo
25) no campo da ciência, tecnologia e inovação (CT&I), área estruturante para a
configuração da capacidade de produção de conhecimento científico de um país,
revela distintas facetas da relação entre demanda e oferta de evidências. Além da
existência de instrumentos de incentivo da política (subvenções, crédito e incentivos
fiscais) e de avaliações de políticas, assim como a capacidade elevada dos burocratas
que atuam no campo, o estudo aponta a importância da criação de ambiente ins-
titucional que facilite acesso a informações e propicie o melhor uso das avaliações
para acompanhamento e aprimoramento das políticas. Em que pese a tendência
favorável com iniciativas como o Conselho de Monitoramento e Avaliação de
Políticas Públicas (CMAP), as autoras concluem que medidas nesse sentido ainda
são escassas e que os resultados das ações recentes ainda estão por ser estudados.
Outros relatos importantes foram produzidos acerca da relação profícua
entre órgãos e instituições estatais, como o Instituto Brasileiro do Meio Ambiente
e dos Recursos Naturais Renováveis (Ibama) e o Instituto Nacional de Pesquisas
Espaciais (Inpe), no capítulo 23; o Instituto Brasileiro de Geografia e Estatística
(IBGE), o Ipea e o Ministério da Cidadania, nos capítulos 15 e 17; o Ministério
da Economia (ME) e a Universidade de Brasília (UnB), no capítulo 16, em que
diferentes dinâmicas interacionais se estabelecem ao longo do tempo para produ-
ção conjunta de conhecimento e fortalecimento mútuo de capacidades. Por sua
vez, também são problematizados os desafios interacionais, como a influência de
organismos internacionais na narrativa da hierarquia das evidências (capítulo 8)
e a dificuldade do reconhecimento e da absorção da voz e percepção da sociedade
e dos beneficiários sobre os problemas e as medidas públicas (capítulos 6 e 7).
A extrapolação de elementos interacionais para um nível estrutural-sistêmico
é aventada no conjunto dos trabalhos quando tocam em questões como a estrutura
de justificação do Estado brasileiro atrelada a um regime de autoridade racional-
-legal (capítulos 9 e 14), o papel do conflito no uso de evidências na Câmara dos
Deputados (capítulo 12), a questão democrática e a pressão societal na recepção
dos diversos saberes (capítulo 6), a resistência da comunidade epistêmica em
reconhecer novas evidências empíricas que desafiem a teoria dominante, como
demonstrado por Fiani na macroeconomia (capítulo 22), e as várias formas de
recusa ou omissão do uso do conhecimento científico expostos mesmo na área
da saúde em que arranjos institucionais e capacidades já se constituíram há mais
Apresentação | 45
tempo (capítulos 19, 20, 21 e 28). Como bem argumentado por Soares (capítulo
21), tanto o processo de aceitação de evidência como de declaração da ignorância,
isto é, de reconhecimento da existência ou ausência de conhecimento, dependem
do contexto histórico e social em que as duas facetas se imbricam, assim como
podem incentivar ou inibir o desenvolvimento científico. No caso da avaliação pela
Agência Nacional de Vigilância Sanitária (Anvisa) do uso da cannabis para fins
medicinais, a autora retrata a pressão social e o ativismo das famílias que confron-
taram o contexto histórico de regime de proibição da cannabis e influenciaram o
processo decisório da agência reguladora.
No desenho da moldura contextual, na qual se pode entender o uso das
evidências para as políticas públicas, as dimensões temática (área de política),
interacional e sistêmica se mesclam no capítulo 22, de autoria de Ronaldo Fiani.
O autor apresenta um panorama do uso das evidências em macroeconomia, en-
focando as complexas relações entre empiria, teoria e política nesse campo, sem
esquecer certos fatores genericamente culturais ou sociológicos. Para isso, Fiani
descreve brevemente a história das ideias no chamado mainstream da ciência eco-
nômica, desde os anos 1930 até os dias atuais, com destaque para o debate entre
diferentes escolas (keynesiana e novo-clássica) e as consequências desse debate para
a forma como os economistas relacionam evidências empíricas, teoria e política
macroeconômica (monetária e fiscal). Apoiado em autores como Summers (1991)
e Romer (2016), Fiani defende que os participantes da corrente principal da ciência
econômica lidam com uma teoria macroeconômica cujas relações com as evidências
empíricas são bastante problemáticas. Entre as razões disso, citam-se a crescente
complexidade das técnicas estatísticas necessárias para corroborar hipóteses e a
“falta de protocolos geralmente aceitos sobre a forma cientificamente adequada do
emprego dessas técnicas estatísticas, tendo-se em vista corroborar uma proposição
teórica”.8 Consequentemente, a definição de quais políticas macroeconômicas seriam
as mais adequadas para certos objetivos passa a depender menos das evidências em
si e mais de outros fatores, tais como a sofisticação matemática dos modelos teóricos
e/ou a autoridade acadêmica de quem propõe e testa esses modelos. Portanto, o
capítulo 22 lança uma nova luz sobre a complexidade dos fatores interacionais e
sistêmicos que condicionam a moldura contextual do uso de evidências em uma
área epistemologicamente madura de política pública. Nesse sentido, o trabalho
de Fiani pode inspirar estudos sobre o mesmo tema em outras áreas de política.
Em diálogo com o modelo analítico de Saguin (capítulo 2), argumentamos
que boa parte dos fatores levantados nos capítulos desta publicação se encontra
na seara das chamadas capacidades de políticas públicas (policy capacity), isto é,
habilidades, competências e recursos necessários para o desempenho das diversas
8. Conforme Fiani no capítulo 22 deste livro.

funções de política pública, acumulados e em fluxo nos níveis individual, orga-

nizacional e sistêmico. Destacamos ainda que, embora a literatura internacional
de políticas públicas traga esta dimensão de capacidades em seu cerne, pouco se
discute na literatura nacional sobre a capacidade analítica desenvolvida ou a ser
desenvolvida no Estado brasileiro – isto é, as habilidades e os recursos necessários
para identificação, apropriação, utilização e produção de conhecimento –, voltada
à definição e à implementação das ações públicas.
Neste sentido, ressaltamos que contribuições pioneiras são trazidas pelo
conjunto dos capítulos da publicação que, além de registrarem o estágio atual da
capacidade analítica de diversos entes e áreas de políticas públicas, apresentam um
diagnóstico geral de desenvolvimento e acúmulo de capacidades analíticas estatais
nas últimas décadas, seja por meio do recrutamento e da atuação de burocracias com
alta qualificação, seja por iniciativas de institucionalização de unidades e arranjos
organizacionais especializados na absorção, tradução e produção de conhecimento
(capítulos 9, 10, 11, 14, 15, 16, 18, 23, 24, 25, 26, 27 e 28). Imperativo, contu-
do, salientar a ameaça de desmonte dessas capacidades identificada em vários dos
capítulos, como por Araújo na gestão ambiental (capítulo 23), por Jannuzzi no
sistema de estatísticas governamentais (capítulo 15) e por Fernandez na área da
saúde (capítulo 20). Sustentamos que esta agenda de pesquisa merece ser continuada
e aprofundada a fim de compreender os efeitos da mobilização ou desmobilização
das capacidades analíticas do Estado na produção das políticas brasileiras.
5 O ESTADO NÃO É APENAS USUÁRIO DE EVIDÊNCIAS E ATUA DIRETAMENTE

NA PRODUÇÃO DE DADOS E INFORMAÇÕES ADOTADOS PARA SUBSIDIAR A
PRODUÇÃO DE POLÍTICAS PÚBLICAS NO BRASIL
Aliada à perspectiva polissêmica adotada como referência para conceituar evidências
exposta nas seções anteriores, propomos ainda uma inflexão centrada em deslocar o
olhar sobre o aparato estatal como usuário de evidências para o papel desempenhado
pelas instâncias que o constituem também na produção de evidências. Mais do que
incorporar evidências produzidas por atores externos à esfera estatal, organizações
públicas, suas unidades administrativas e seu corpo técnico produzem, sistematizam
e consolidam informações utilizadas em diferentes fases dos processos de produção
de políticas públicas sob a forma de notas técnicas, registros administrativos, siste-
mas de acompanhamento e monitoramento, avaliações de políticas, relatórios de
órgãos de controle, pareceres e normativos jurídico-legais, informações coletadas
junto a beneficiários, entre outros, como indicam diferentes análises contidas nesta
publicação (capítulos 7, 10, 14, 15, 16, 17, 18 e 23).
Como já mencionado, a partir de surveys aplicados com servidores públicos,
Koga, Palotti, Lins, Couto, Loureiro e Lima (capítulo 9) e Machado, Sandim,
Alves, Motoki e Vivas (capítulo 11) apontam a prevalência de fontes estatais,
Apresentação | 47
produzidas no interior do escopo estatal, e fontes experienciais, atreladas às traje-

tórias e vivências individuais, como as referências informacionais mais utilizadas
pela burocracia no subsídio de suas atividades e funções. Os capítulos reunidos
na seção 4 do livro, mas não apenas, ilustram como estruturas estatais têm atuado
como produtoras de evidências e de que maneira esse acervo informacional, na
expressão de Jannuzzi (capítulo 15), tem sido crucial em diferentes momentos da
produção de políticas. Estes capítulos abordam aspectos importantes para pensar
as possibilidades de incorporação das evidências como fontes válidas de suporte
à atuação burocrática e gerencial, além de apontarem desafios relevantes para a
qualificação desse arcabouço informacional e ampliação de seus usos.
Partindo dos casos de produção estatal de evidências analisados, é possível
destacar alguns pontos de convergência. Em especial, a diversidade de formatos
assumida pelas fontes estatais e as múltiplas finalidades de seus usos na elaboração
de diagnósticos, no desenho de políticas, no delineamento das intervenções públicas
e de suas estratégias de implementação, além dos usos em rotinas de acompanha-
mento, monitoramento e avaliação, assim como em atividades de fiscalização e
controle (capítulos 7, 10, 14, 15, 16, 17, 18, 23, 24, 27 e 28).
Fica evidente ainda como a existência de unidades administrativas e gerenciais
voltadas para a governança de dados contribui, em consonância com esforços de
capacitação e mudanças na cultura organizacional, para a incorporação de evidên-
cias, internas e externas, nas rotinas e atividades de suporte à ação governamental.
Essas instâncias operam tanto como intermediárias do conhecimento (knowledge
brokerage), na absorção e tradução de evidências produzidas fora do escopo estatal,
quanto como produtoras e disseminadoras de fontes internas de evidências, no
âmbito do próprio aparato governamental (capítulos 9, 10, 11, 14, 15, 16, 18,
23, 24, 25, 26, 27 e 28).
Apesar de perpassarem cotidianamente a rotina de organização da atuação
governamental e de fornecerem elementos para a tomada de decisão em diferentes
momentos da produção de políticas públicas, fontes internas ainda são pouco
abordadas nas análises sobre o uso de evidências pela esfera pública. A subutilização
ou não reconhecimento desses dados como evidências deve-se em grande medida
à natureza administrativo-operacional atribuída a esse tipo de informação, quase
sempre produzida no interior das instâncias governamentais e utilizada majoritaria-
mente por gestores públicos e lideranças responsáveis pela condução das políticas
em desenvolvimento pelos governos, como indica Mello no capítulo 14, ao tratar
do uso de registros administrativos como evidências em políticas públicas.
No entanto, as discussões feitas por Jannuzzi (capítulo 15) e Koga, Viana,
Couto, Goellner e Marques (capítulo 17) explicitam, por exemplo, como as polí-
ticas de desenvolvimento social e enfrentamento da pobreza estiveram amparadas
sobre um conjunto robusto de dados provenientes tanto de estatísticas públicas

sob a responsabilidade do IBGE (Censo, Pesquisa Nacional por Amostra de
Domicílios – PNAD e Pesquisa de Informações Básicas Municipais – Munic)
quanto de registros administrativos, em especial, o Cadastro Único para Programas
Sociais do Governo Federal (Cadastro Único), para delimitar públicos-alvo das
políticas, operacionalizar a concessão de benefícios e acompanhar o desempenho
das intervenções e melhoria de indicadores socioeconômicos.
Essas e outras análises denotam como evidências e políticas públicas estão
inscritas em dinâmicas de retroalimentação, na medida em que a ação governa-
mental demanda constantemente novas informações que, em contrapartida, se
transformam em elementos indutores de mudanças nas agendas de trabalho de
instituições produtoras de evidências. Alterações na forma de coleta, mensuração,
escopo, abrangência e formato de questionários, inclusão de novos temas e públicos
são exemplos de como a produção estatal de evidências tem se tornado cada vez
mais apta a atender demandas crescentes de instâncias governamentais por infor-
mações mais precisas e adequadas para suprir lacunas informacionais e orientar a
ação governamental em toda sua complexidade (capítulos 15 e 17).
Tempos de resposta menores e maior flexibilidade na construção dos instru-
mentos de coleta, consolidação e tratamento dos dados conferem uma vantagem
importante às fontes internas em sua aplicabilidade às políticas públicas.
Fontes estatais guardam ainda uma grande vantagem em relação a outros
dados ao disporem de maior potencial de articulação e diálogo com as necessidades
imediatas das políticas públicas em seus variados processos de gestão e execução,
além de conterem uma similaridade semântica com termos e conceitos adotados
pelas burocracias potencializando o caráter aplicado dessas informações. Fontes
estatais tendem a falar a mesma língua dos gestores envolvidos na operacionalização
das políticas públicas, reduzindo custos de incorporação e institucionalização de
mecanismos voltados ao uso de evidências em diferentes etapas da ação governa-
mental (capítulos 10, 16, 18, 23, 26 e 27).
Além disso, alguns tipos de fontes internas são capazes de fornecer dados sobre
públicos e regiões de atendimento, entregas de bens e serviços realizados, eventuais
lacunas de cobertura ou mesmo sobreposição de esforços, quando pensamos em
registros administrativos e sistemas de acompanhamento e monitoramento (capí-
tulos 14, 17, 23, 26 e 27). Podem servir ainda como parâmetros para a concessão
de benefícios, além de apresentarem dados sobre situações específicas, como dados
censitários, laborais, entre outras informações demográficas e socioeconômicas
contidas em estatísticas públicas, por exemplo (capítulos 15 e 17).
Apresentação | 49
A despeito do potencial das fontes estatais como evidências capazes de apri-

morar a ação governamental, cabe fazer duas ressalvas sobre os limites aos quais
essas informações estão sujeitas.
Em primeiro lugar, o grau de institucionalização de instâncias e mecanismos
voltados para fomentar o uso e a produção de evidências varia enormemente entre
órgãos e instituições e está fortemente atrelado à maior ou menor adesão de gestores
a esforços de valorização de evidências e estratégias de qualificação de dados a serem
utilizados na atuação governamental (capítulos 7, 10, 18, 19, 20, 23, 26, 27 e 28).
Em segundo lugar, a produção estatal de evidências, assim como nos demais
âmbitos de produção do conhecimento, não ocorre em vazios institucionais e é
configurada por interesses, valores, correlações de força e disputas materiais
e simbólicas. Nesse sentido, e como abordado em diferentes capítulos deste livro,
o uso e a produção de evidências científicas, estatais e experienciais são marcados
pela moldura contextual na qual se inserem, de acordo com Pinheiro (capítulo 1), e
análises sobre as dinâmicas de uso e produção de evidências não podem prescindir
da dimensão política que perpassa processos de construção do conhecimento e de
legitimação da atuação do Estado.
Em consonância com os argumentos já mobilizados nas seções anteriores,
evidências, enquanto parte dos elementos constitutivos da produção de políticas
públicas, podem afetar as formas com que regras, normas, requisitos e/ou critérios
com potencial para orientar, definir, restringir ou incentivar comportamentos são
incorporados ao desenho das políticas. Podem contribuir fortalecendo determi-
nados referenciais construídos sobre temas, problemas ou públicos específicos.
Evidências podem assumir ainda um papel relevante como instrumentos por meio
dos quais é possível aos governos e a outros atores da esfera pública classificar e
regular espaços, sujeitos e objetos passíveis de serem governados. Fontes estatais
contribuem para dar materialidade a questões e temas, elas operam construindo
sentidos e significados que emergem das múltiplas estruturas que constituem o
aparato estatal e assumem lugar na disputa com interpretações produzidas fora do
âmbito estatal sobre não apenas as políticas e os programas implementados, mas
também as razões e os motivos mobilizados para justificar a atuação estatal em
determinadas direções em detrimento de outras possibilidades.
6 O PARADOXO DA UTILIZAÇÃO DO CONHECIMENTO: DIVERSIDADE DE USOS

E INTERMEDIAÇÃO DE EVIDÊNCIAS ENTRE COMUNIDADES EPISTÊMICAS
(ACADEMIA E GESTÃO PÚBLICA)
Uma das explicações levantadas para o chamado paradoxo da utilização do co-
nhecimento, discutido na seção 2 desta apresentação e nos capítulos 1 e 2 deste
livro, seria a teoria das duas comunidades (Caplan, 1979). Em que pese o aumento
crescente de produção de dados e conhecimento científico, trabalhos empíricos

em diversos países (Cherney et al., 2015; Vesely, Ochrana e Nekola, 2018) – aos
quais se somam os capítulos 9, 10 e 11 desta publicação – demonstram um baixo
uso instrumental da produção científica pelos governos. Tal fato decorreria para
boa parte da literatura de PPBEs do desenvolvimento dos campos científico e da
gestão pública como duas comunidades apartadas, com incentivos, tempos, proce-
dimentos e lógicas distintas e, por vezes, até mesmo incompatíveis (Caplan, 1979).
No entanto, como levantado por Saguin no capítulo 2, estudos mais recen-
tes vêm desafiando tal teoria, ao sugerir o redirecionamento do foco de análise
dos motivos do baixo uso instrumental para compreender outros tipos de usos
do conhecimento científico e a interação entre as duas comunidades quando elas
ocorrem (Amara, Ouimet e Landry, 2004; Newman, Cherney e Head, 2016).
A literatura sobre políticas públicas traz em sua origem o debate sobre a
relevância da aplicação do conhecimento científico para a condução das ações go-
vernamentais. Neste debate, autores, como Weiss (1979), alertam há décadas para
a importância em se reconhecer que pesquisas e evidências científicas podem ser
utilizadas para várias finalidades. Além do uso instrumental linear e unidirecional
entre a demanda pela solução de um problema público pré-definido e a provisão de
evidências empíricas para resolvê-lo, como preconizado pela PPBE, outros tipos
de uso são claramente observados no dia a dia do produtor da política.
O conjunto dos estudos desta publicação traz de fato contribuições acerca da
identificação e problematização do uso instrumental das evidências, levantando
potencialidades e desafios de sua apropriação e aplicação em diversas etapas da
produção das políticas, tais como na definição do público-alvo (capítulos 14, 17
e 24), na composição de diagnósticos orientadores (capítulos 6, 14, 15, 16 e 17),
na pactuação de compromissos da ação governamental (capítulo 15), na definição
de intervenções estatais (capítulos 4, 5, 11, 19, 20, 21 e 28), no acompanhamento
e monitoramento (capítulos 14, 15 e 24), na fiscalização e no controle (capítulos
10 e 14) e na avaliação da gestão e do impacto das intervenções (capítulos 4, 6,
7, 8, 13, 14, 15, 22 e 24).
Entretanto, mesmo nesses capítulos, é possível perceber não apenas o uso
instrumental, mas também o que Weiss (1979) destaca como uso conceitual ou
iluminador, o qual a autora defende que seria de maior valia para o policymaking
se comparado ao instrumental. No uso conceitual, não seria um estudo ou um
conjunto de estudos sistematizados que afetariam diretamente uma política, mas
sim o acesso difuso de um conjunto de recursos informacionais, entre eles os
científicos, que sensibilizariam os tomadores de decisão em relação a novas pers-
pectivas e abordagens para enquadrar problemas e soluções de políticas. Ou seja,
por exemplo, nos casos citados, o levantamento de diagnósticos, conjuntamente
Apresentação | 51
a acompanhamento, monitoramento, fiscalização contínuos, pode gerar um con-

junto de conhecimento ao policymaker que, em momentos específicos, levam a
uma determinada decisão.
Além do uso instrumental e conceitual, usos de outras naturezas puderam ser
constatados nos capítulos, como no estudo elaborado por Almeida (capítulo 12), o
qual destaca a inevitabilidade do uso político-estratégico de evidências científicas
no debate parlamentar, dada a pluralidade de interesses a serem representados e as
assimetrias informacionais no contexto democrático brasileiro. Por sua vez, o estu-
do de Nascimento e Dias (capítulo 13) traz a análise do uso tático das estatísticas
nos embates intraburocráticos da Justiça de primeira instância, na qual tal tipo de
evidência é mobilizado para criticar, representar, denunciar e afirmar desigualdades
estruturais. O mesmo uso tático pode ser reconhecido na outra face da moeda, como
apresentado por Soares (capítulo 21) na análise original sobre o uso da ignorância
no embate sobre a regulação pela Anvisa da cannabis para uso medicinal. E, ainda,
o capítulo 16, sobre a plataforma Gov.br, e o capítulo 17, a respeito do Cadastro
Único, descrevem a relação reflexiva entre gestores e acadêmicos que se enquadraria
mais a um modelo interacional de uso nos termos de Weiss (1979).
Ao nos debruçarmos sobre as interações entre as chamadas duas comunidades
(gestão pública e academia), notamos que as fronteiras entre produtores e usuários
de conhecimento não são assim tão incontestes ou mesmo demarcáveis. Como bem
desenvolvido no argumento de Mello (capítulo 14) e explanado na seção 5 desta
apresentação, o Estado brasileiro se revela importante produtor de conhecimento
utilizado não apenas para subsidiar suas próprias ações, mas para a própria comuni-
dade científica e a sociedade em geral. Em verdade, há que se considerar que parte
da burocracia, ao buscar formação e atuação acadêmica, pode integrar simultane-
amente a comunidade acadêmico-científica e a da gestão pública (capítulos 9 e
11). Ademais, como já mencionado na seção 4 desta apresentação, vários capítulos
revelaram interações entre a gestão e a academia, tanto em nível individual como
institucional, que não se resumiram em mera transferência direta de conhecimento,
mas promoveram construção conjunta de conhecimento (capítulos 15, 16, 17 e 23).
Como explorado pela literatura de knowledge brokerage (intermediação do
conhecimento), há que se considerar que a burocracia e as organizações públicas não
utilizam as diversas fontes de conhecimento apenas de modo direto e hermético.
E aqui não nos referimos apenas ao conhecimento científico, mas igualmente aos
conhecimentos advindos de outras fontes como os produzidos por stakeholders das
políticas, instâncias participativas, mídia e opinião de beneficiários. Muitas vezes,
os burocratas e as organizações públicas selecionam, transformam, traduzem, redis-
tribuem, reescalam, transmitem e produzem conhecimento em interação formal ou
informal com produtores dessas fontes. Nesse sentido, além da capacidade analítica
já mencionada na seção 3 desta apresentação, deve-se levar em conta também a
capacidade interacional que garanta ao Estado a permeabilidade do conhecimento

produzido pelas diversas fontes de evidência.
Entretanto, tendo em vista a considerável proeminência de várias fontes estatais
na rotina dos burocratas identificada em alguns dos capítulos desta obra (capítulos
9, 10,11 e 12), enfatizamos a importância de estudos futuros sobre a dinâmica
de produção dessas fontes, a fim de aprofundar nosso entendimento acerca dos
fluxos e das cadeias informacionais do Estado brasileiro. Seriam as fontes estatais
(como normativos, notas técnicas, estatísticas, registros informacionais, auditorias
operacionais, pareceres jurídicos etc.) intermediários do conhecimento capazes de
absorver a produção de outras fontes e traduzi-las para a linguagem e as práticas
burocráticas, ou seriam elas estabilizadoras de conhecimento endógeno com baixa
permeabilidade externa?
Como a perspectiva moderada de evidências e os estudos no campo já defen-
dem – entre eles vários nesta publicação –, a produção da política pública pode se
beneficiar muito dos subsídios técnico-científicos, mas sem desconsiderar a dimensão
política inerente ao processo de produção de políticas em regime republicano e
democrático. Portanto, ao procurar resguardar a capacidade analítica do Estado
de ataques como do movimento anticiência, entendemos fundamental e não con-
traditório que tal capacidade analítica esteja aliada a uma capacidade interacional
voltada à abertura política, epistêmica e cognitiva do Estado. Entendemos que só
dessa forma seja possível garantir a produção de políticas públicas efetivas, mas
também plurais e legítimas.
7 CONSIDERAÇÕES FINAIS
Nesta apresentação buscamos refletir, em alguma medida, a pluralidade analítica
e a riqueza metodológica e empírica dos estudos produzidos pelas autoras e pelos
autores deste livro. Vários temas e questões mereceriam ser levantados para agendas
de pesquisas futuras, seja em decorrência da reflexão do conjunto dos capítulos, seja
porque não puderam ser cobertos por esta já extensa obra. Contudo, destacamos
dois temas que emergem do diálogo com o prefácio elaborado por Parkhurst no
que se refere à localização da publicação no debate internacional sobre evidências
para políticas públicas. Enquanto o primeiro volta-se a uma proposição explora-
tória, o segundo busca contribuir com uma agenda de recomendações aplicadas.
Para se responder às questões sobre O que deveria ser considerado boa evidência
para a produção de políticas? e O que significa usar evidências de uma melhor forma?
no caso do Brasil, entendemos que é necessário avançarmos conjuntamente na
compreensão sobre se existiria um jeito especificamente brasileiro de usar evidên-
cias em políticas públicas. Esta publicação traz, a nosso ver, os primeiros passos
neste sentido. Contudo, embora tenhamos buscado uma cobertura ampliada da
pluralidade de molduras contextuais do uso de evidências, reconhecemos que se
Apresentação | 53
trata de um exercício contínuo e cumulativo. Portanto, analisar áreas de políticas

públicas que ainda não foram exploradas, como da justiça e da segurança pública,
aprofundar o diálogo com o campo de estudos de formação do Estado brasileiro,
assim como produzir estudos comparativos entre diversos contextos nacionais e
entre diferentes países, certamente trará um diagnóstico mais abrangente e nítido
das dinâmicas de uso de evidências no país.
Igualmente de alta relevância é a questão de quais institucionalidades devem
ser criadas para garantir o uso das melhores evidências das melhores formas, ou
seja, a boa governança de evidências. Este de fato é um tema de escassa produção
no Brasil. Consideramos que ele se relaciona à agenda exploratória anteriormente
citada, mas demanda, ainda, maior interlocução e adensamento com outros campos
do conhecimento que já produziram arcabouços teóricos consistentes sobre temas
como o funcionamento das burocracias e organizações públicas (Lopez e Praça,
2015; Palotti e Cavalcante, 2019; Pires, Lotta e Oliveira, 2018), as estruturas e
os processos decisórios estatais (Vaz, 2018), a relação entre ciência, tecnologia e
sociedade (Haraway, 1988; Latour, 1994; 1997; Latour e Woolgar, 1997), poder
e democracia (Figueiredo, 2007; Limongi e Figueiredo, 1999; 2009; Pateman,
1970; Mansbridge, 2010; Mouffe, 2008), entre outros.
Ademais, serão de muita valia para tal discussão mais trabalhos empíricos que
busquem acompanhar e avaliar os resultados de iniciativas criadas com a finalidade
de promover o uso de evidências no Brasil, como o CMAP, coordenado pelo ME;
as ações de capacitação, avaliação e organização de evidências, da Escola Nacional
de Administração Pública (Enap); as próprias iniciativas de produção e comuni-
cação de evidências, do Ipea; assim como os casos mencionados nesta publicação
do Escritório de Evidências da Secretaria Estadual da Educação do Estado São
Paulo; da Secretaria de Avaliação e Gestão da Informação (Sagi), do Ministério
da Cidadania; e das avaliações de impacto regulatório e dos comitês científicos da
covid-19, para ficarmos apenas em alguns exemplos no âmbito estatal, sem des-
considerar as inúmeras iniciativas da sociedade que emergiram na última década.
Esta é uma agenda de pesquisa que se descortina em território nacional e nos
desafia. Esperamos que esta publicação contribua para suscitar o mesmo sentimento
entre os gestores públicos, pesquisadores e interessados no tema do uso (e não uso)
de evidências em políticas públicas.
REFERÊNCIAS
AMARA, N.; OUIMET, M.; LANDRY, R. New evidence on instrumental, con-
ceptual, and symbolic utilization of university research in government agencies.
Science Communication, v. 26, n. 1, p. 75-106, Sept. 2004. Disponível em:

<https://bit.ly/3B6ZaJ3>.
CAIRNEY, P. The UK government’s imaginative use of evidence to make policy.
Br Polit, v. 14, p. 1-22, 2019.
CAPLAN, N. The two-communities theory and knowledge utilization. American
Behavioral Scientist, v. 22, n. 3, p. 459-470, Fev. 1979.
CHERNEY, A. et al. Use of academic social research by public officials exploring
preferences and constraints that impact on research use. Evidence & Policy,
v. 11, n. 2, p. 169-188, 2015.
FIGUEREIDO, A. Coalition government in the brazilian democracy. Brazilian
Political Science Review, v. 1, n. 2, p.182-216, 2007.
HARAWAY, D. J. Situated knowledges: the science question in feminism as a
site of discourse on the priviledge of partial perspective. Feminist Studies, v. 14,
n. 3, p. 575-599, 1988.
JASANOFF, S. Science and public reason. London: Routledge, 2012.
KING, G.; KEOHANE, R. O.; VERBA, S. Designing social inquiry: scientific
inference in qualitative research. Princeton: Princeton University Press, 1994.
LATOUR, B. Jamais fomos modernos: ensaio de antropologia simétrica. 1. ed.
Rio de Janeiro: Editora 34, 1994.
______. Ciência em ação: como seguir cientistas e engenheiros sociedade afora.
São Paulo: Unesp, 1997.
LATOUR, B.; WOOLGAR, S. A vida de laboratório: a produção dos fatos
científicos. Rio de Janeiro: Relume Dumará, 1997.
LEJANO, R. P. Frameworks for policy analysis: merging text and context. New
York-London: Routledge-Taylor & Francis Group, 2006.
LIMONGI, F.; FIGUEIREDO, A. Executivo e Legislativo na nova ordem
constitucional. Rio de Janeiro: Fundação Getulio Vargas, 1999. v. 1.
______. Poder de agenda e políticas substantivas. In: INACIO, M.; RENNO,
L. (Org.). Legislativo brasileiro em perspectiva comparada. Belo Horizonte:
UFMG, 2009.
LOPEZ, F.; PRAÇA, S. Critérios e lógicas de nomeação para o alto escalão da
burocracia federal brasileira. In: LOPEZ, F. (Org.). Cargos de confiança no pre-
sidencialismo de coalizão brasileiro. Brasília: Ipea, 2015.
MANSBRIDGE, J. et al. The place of self-interest and the role of power in delibe-
rative democracy. Journal of Political Philosophy, v. 18, n. 1, p. 64-100, 2010.
Apresentação | 55
MOUFFE, C. On the political – thinking in action. London: Routledge, 2008.

NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Do policy makers use academic
research? Reexamining the “two communities”. Theory of Research Utilization.
Public Administration Review, n. 76, p. 24-32, 2016.
NUTLEY, S.; WALTER, I.; DAVIES, H. Using evidence: how research can inform
public services. Briston: The Policy Press, 2007.
PALOTTI, P. L. de M.; CAVALCANTE, P. L. C. Estratégias de nomeações mi-
nisteriais: entre a política e as políticas públicas. Revista de Sociologia e Política,
v. 27, n. 70, 2019.
PARKHURST, J. The politics of evidence: from evidence based policy to the
good governance of evidence. London: Routledge, 2017.
PARKHURST, J. O.; ABEYSINGHE, S. What constitutes “good” evidence for
public health and social policy-making? From hierarchies to appropriateness. Social
Epistemology, v. 30, n. 5-6, p. 1-15, 2016. Disponível em: <https://bit.ly/3BbtMt1>.
PATEMAN, C. Participation and democratic theory. Cambridge: Cambridge
University Press, 1970.
PIRES, R. R. C.; LOTTA, G. S.; OLIVEIRA, V. E. (Org.). Burocracia e políticas
públicas no Brasil: interseções analíticas. 1. ed. Brasília: Ipea; Enap, 2018. v. 1.
ROMER, P. The trouble with macroeconomics. Journal Title, v. 20, n. 10,
p. 1-20, 2016. Disponível em: <https://is.gd/g4Y6wb>. Acesso em: 10 mar. 2021.
SUMMERS, L. H. The scientific illusion in empirical macroeconomics. The
Scandinavian Journal of Economics, p. 129-148, 1991.
VAZ, A. C. N. Dispersão decisória, centralidade política e entropia burocrática:
mitigando custos transacionais na gestão pública. Opinião Pública (Unicamp),
v. 24, p. 622-669, 2018.
VESELÝ, A.; OCHRANA, F.; NEKOLA, M. When evidence is not taken for granted:
the use and perception of “evidence” in the Czech Republic ministries. NISPAcee
Journal of Public Administration and Policy, v. 11, n. 2, p. 219-234, 2018.
WEISS, C. H. The many meanings of research utilization. Public Administration
Review, v. 39, n. 5, p. 426-431, 1979.
Seção I
Estado, Evidências e Políticas Públicas:
aspectos teórico-conceituais
CAPÍTULO 1
POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS: UM MODELO

MODERADO DE ANÁLISE CONCEITUAL E AVALIAÇÃO CRÍTICA
Maurício Mota Saboya Pinheiro1
1 INTRODUÇÃO
Este capítulo objetiva elucidar o conceito de evidência no âmbito da abordagem
das políticas públicas baseadas em evidências (PPBEs) e, com base em um modelo
moderado – a ser explicitado neste texto –, apresentar uma crítica a certa interpre-
tação tradicional dessa abordagem.
Em uma perspectiva tradicional, concebem-se as evidências como um instru-
mento de racionalização de processos decisórios em políticas públicas. Nessa visão,
evidências confundem-se com evidências científicas, designando os conhecimentos
gerados a partir de métodos sistematizados e reprodutíveis, tendo como modelo
o conhecimento produzido nas ciências naturais.
A literatura corrente sobre as PPBEs dificilmente esclarece as condições de
aplicação do conceito de evidências em políticas públicas, limitando-se a estipular
definições válidas para contextos bem específicos ou dando caracterizações muito
gerais e descontextualizadas. Logo, é preciso contribuir para um entendimento
mais profundo dessa questão.
A análise do conceito de evidência, proposta neste capítulo, baseia-se em um
método que culmina na formulação do que denominamos de modelo moderado,
em referência a seus critérios e pressupostos moderados, razoáveis e pragmáticos.
Tal modelo levará a uma perspectiva mais abrangente, realista e profundamente
avaliativa das PPBEs, na qual as evidências serão definíveis somente em um de-
terminado contexto de ação. Essa perspectiva servirá de base para a elucidação
conceitual das evidências e, ao mesmo tempo, para a construção de uma crítica à
visão tradicional das PPBEs.
A fim de atingir seus objetivos, este capítulo divide-se em sete seções, contando
com esta introdução. A seção 2 apresenta os fundamentos e métodos de elucidação
do conceito de evidência. A seção 3 descreve a perspectiva tradicional das PPBEs.
1. Técnico de planejamento e pesquisa na Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia
(Diest) do Ipea. E-mail: <mauricio.saboya@ipea.gov.br>.
A seção 4 apresenta o modelo moderado, situando-o na literatura e explicitando

os seus pressupostos epistemológicos e ontológicos. A seção 5 delimita o pano de
fundo da ação dos policymakers em uma moldura contextual. A seção 6 mostra, por
meio de exemplos extraídos de casos brasileiros de decisões em políticas públicas,
como o modelo moderado funciona. Finalmente, na seção 7, as considerações
finais sintetizam os passos principais do argumento deste capítulo.
2 FUNDAMENTOS E MÉTODOS
O conceito de evidência tem uma forte conotação normativa e, em parte por isso,
é intrinsecamente vago e multidimensional.2 Tanto no senso comum (evidência do
investigador policial, do jornalista, do médico) quanto na teoria do conhecimen-
to, o termo evidência denota coisas diferentes, pertencentes a classes ontológicas
distintas (Pinheiro, 2020a, p. 31). Por isso, não se presta a uma definição exata, à
maneira de um conceito lógico ou matemático.
Isso não quer dizer, porém, que tal conceito seja imune a análises racionais
de elucidação, ou que a sua operacionalização empírica não possa buscar níveis
relativamente elevados de precisão. De fato, podem-se estipular contextos em que
o conceito de evidência tenha aplicações relativamente precisas e, muitas vezes,
esse procedimento é desejável, dependendo dos objetivos da pesquisa. No entanto,
neste capítulo, em vez de fazer estipulações ad hoc, propomos um método filosófico
da análise.
Para elucidar um conceito precisa-se, em primeiro lugar, de um conjunto de
pressupostos epistemológicos de fundo. Uma maneira intuitiva de se apreender tal
conjunto é considerar que conceitos nunca se aplicam sozinhos, mas conectam-
-se semanticamente em redes. Por exemplo, o conceito de um dia típico de verão
articula-se a vários outros, como os de sol, calor, lazer, praia, férias, cerveja gelada,
sorvete etc. Nessa rede, não há lugar, por exemplo, para um conceito geométrico,
como o de triângulo isósceles. Simplesmente não associamos o entendimento e/ou
a correta aplicação do conceito de um dia típico de verão ao conceito de triângulo
isósceles. Assim, é forçoso concluir que a rede conceitual de um dia típico de verão
tem limites ou fronteiras com outras redes conceituais. Esses limites são o que
chamamos intuitivamente de pressupostos epistemológicos de fundo.
No que se refere ao conceito de evidência em políticas públicas, seus pressupos-
tos epistemológicos dizem respeito tanto à forma como se concebem os processos
socioeconômicos (políticos, culturais etc.) sobre os quais incidem as políticas
2. Conceito vago é aquele em que seu campo de aplicação não tem fronteiras nítidas; ou ainda, a extensão do conjunto
de objetos que são designados pelas expressões linguísticas desse conceito não é dada de antemão nem pode ser
determinada de modo absoluto. Por sua vez, um conceito multidimensional é aquele em que seus vários aspectos não
pertencem a uma única esfera ontológica, nem se prestam a uma única métrica ou sistema de coordenadas.
Políticas Públicas Baseadas em Evidências: um modelo moderado de análise | 61
conceitual e avaliação crítica
públicas quanto aos fundamentos das decisões dos policymakers. Chamemos tais
pressupostos, considerando sua dupla face, de pressupostos de política pública. Ora,
há uma relação entre os pressupostos de política pública, por um lado, e a forma
como se definem, usam e ranqueiam as evidências empregadas na tomada de de-
cisões pelos policymakers, por outro.
Se os processos de política pública forem concebidos como eminentemente
racionais, em que seus componentes e mecanismos sejam claros e suas ações pre-
visíveis, então as evidências usadas para apoiar a tomada de decisões terão como
modelos os dados empíricos que funcionarão como inputs de modelos quantitativos,
à maneira daqueles usados nas ciências naturais. Neste caso, chamemos o modelo
de decisão de racionalista, posto que é baseado em pressupostos que qualificam a
decisão do policymaker como puramente racional. Contudo, se a realidade social
sobre a qual atuam as políticas públicas for concebida como um processo interativo
entre agentes cujas decisões e motivações não são previsíveis – pois surgem em
ambiente de incerteza irredutível –, então o leque de evidências empregáveis em
políticas públicas se amplia bastante, abrangendo até elementos subjetivos, como
crenças, juízos e valores pessoais. Neste segundo caso, chamemos o modelo de
construcionista, uma vez que o contexto de decisão é construído pelas ações mais ou
menos imprevisíveis e interessadas ao conjunto de atores-partícipes das políticas
públicas, ao qual pertence o próprio policymaker.
Ao caracterizar os modelos racionalista e construcionista, baseio-me em uma
vasta literatura recente sobre PPBEs. Vários autores (Sanderson, 2002; Marston
e Watts, 2003; Amara, Ouimet e Landry, 2004; Nilsson et al., 2008; Freiberg e
Carson, 2010; entre outros) empregam, em suas análises acerca do uso de evidên-
cias em políticas públicas, a ideia da oposição entre as abordagens genericamente
racionalistas e construtivistas. Lejano (2006), porém, merece destaque pela forma
cristalina e historicamente situada com que caracteriza os modelos racionalista e
construcionista, embora não use sempre essa terminologia.
Em primeiro lugar, Lejano (2006) salienta a forma como os conceitos dos
filósofos iluministas, racionalistas e empiristas clássicos foram adotados pela analítica
aplicada às políticas públicas. Em especial, destaca-se o modelo de escolha, a partir
do trabalho de Neumann e Morgenstern (1944). Aqui, o juízo social é modela-
do segundo a escolha da melhor alternativa entre um leque de opções possíveis,
existentes e conhecidas. Trata-se de um modelo dedutivo em sua essência, o qual
pressupõe que todos os fatores envolvidos para julgar os méritos de uma alterna-
tiva de ação sejam comparáveis e comensuráveis, em termos de utilidade ou valor.
Contraposto a esse modelo clássico de escolha, que coincide em linhas gerais
com aquilo que chamamos de modelo racionalista, há toda uma ordem de ideias que
Lejano (2006) rotula de “pós-positivista”. No século XIX, Marx, Weber e Nietzsche
podem ser contados como precursores de uma reação àquele modelo clássico e
que se intensificaria no século seguinte. Particularmente as obras de Wittgenstein,
Thomas Kuhn, a teoria crítica da Escola de Frankfurt, Foucault, a pedagogia de
Dewey e Piaget, a fenomenologia de Husserl e Heidegger constituíram marcos
importantes desse movimento crítico ao modelo racionalista.3 Conceitos como
alienação, vontade de poder, dominação, racionalidade instrumental, tecnocracia,
dialética negativa, comunicação intersubjetiva, gênero, colonialismo, aprendizado
na prática, fenomenologia, psicanálise, entre outros, procedentes das mais diversas
áreas do saber, constituem uma rede conceitual que forma o que Lejano (2006)
chama de pensamento “pós-positivista”. Esse pensamento rejeita o logocentrismo
e a reificação dos significados das expressões linguísticas e do conceito de verdade.
Ademais, defende o caráter socialmente construído, linguisticamente interpretado
e politicamente disputado das realidades sociais em geral e das várias formas de
conhecimento em particular. A própria ciência, como apenas uma entre várias outras
formas de conhecimento, não escapa desse diagnóstico. As disputas de poder (em
sentido amplo) entre os atores sociais ganham aqui um papel de destaque. Essa
rede conceitual pós-positivista, na expressão de Lejano (2006), ajusta-se bastante
bem ao que estamos chamando aqui de modelo construcionista.
Na prática, prevalece um modelo intermediário entre os tipos puros do con-
tinuum racionalismo-construtivismo.4 Assim, supõe-se que um modelo interme-
diário seja mais realista do que quaisquer dos extremos. Um dos desafios que este
capítulo procura vencer é qualificar esse modelo, explicitando seus pressupostos
epistemológicos de fundo.
3 A VISÃO TRADICIONAL EM RELAÇÃO ÀS PPBEs

Há uma perspectiva de políticas públicas que, embora encontrada em documentos
oficiais,5 trabalhos acadêmicos e no senso comum, raras vezes é explicitada de forma
desenvolvida e analisada em seus pressupostos e consequências para as políticas
públicas. É o que se chama neste capítulo de visão (ou perspectiva) tradicional das
PPBEs. Cumpre, nesta seção, explicitar as suas premissas básicas, abrindo caminho
para uma crítica, que será feita na seção 6.
A dita visão tradicional delineia-se por certas características gerais. Em pri-
meiro lugar, as evidências tendem a ser concebidas exclusivamente como aquelas
produzidas a partir de métodos científicos. Em outras palavras, evidências seriam
3. Especificamente nas ciências sociais, há autores que também contribuíram para a perspectiva construcionista, tais
como Karl Mannheim, Edgar Morin, Yehezkel Dror e Carlos Matus. Agradeço a um parecerista pela menção a estes
importantes autores.
4. A ideia básica desse continuum, devo-a ao excelente artigo de Marston e Watts (2003). Nilsson et al. (2008, p.
343-344) também se serve dessa ideia.
5. Ver, por exemplo, certos documentos oficiais do governo britânico (United Kingdom, 1999a; 1999b; 2001) que, pratica-
mente, constituíram os fundamentos conceituais do que viria a ser conhecido como políticas públicas baseadas em evidência.
apenas resultados de conhecimentos produzidos a partir de processos rigorosos,

sistemáticos e reprodutíveis, principalmente métodos experimentais.
Em segundo lugar, pela perspectiva tradicional, entende-se que as evidências
cumprem um papel instrumental na tomada de decisões, determinando o que
funciona e não funciona em políticas públicas. Ou seja, o princípio da racionalidade
instrumental domina o uso das evidências – quer dizer, estas são meros meios para
se atingirem fins de otimização, seja esse fim a escolha da intervenção de política
mais eficaz, seja a de melhor relação custo-benefício. Um uso instrumental é um
uso técnico, impessoal, objetivo e mecânico. A decisão do agente público é como
um algoritmo: com um número definido de passos e usando evidências científicas,
será possível decidir quais intervenções levam ou não as políticas públicas a solu-
cionarem os problemas econômicos, políticos, sociais e de outras ordens.
Em terceiro lugar, supõe-se que o ideal do processo de decisão em políticas
públicas é ser neutro do ponto de vista político e ideológico. Este traço da visão
tradicional das PPBEs aparece claramente em um discurso do ex-líder do Partido
Trabalhista Australiano, Mark Latham, proferido em 2001:
Os mitos do welfare state estão baseados em velhas formas ideológicas de pensar,
uma luta entre as políticas pró-governo e pró-mercado. Está claro agora que ambas
as abordagens são falhas. O mundo mudou. Os promotores do bem-estar precisam
olhar para além da velha esquerda e da nova direita, em direção às políticas baseadas
em evidências, que podem pôr fim à tragédia humana da pobreza (Latham, 20016
apud Marston e Watts, 2003, p. 149-150).
No discurso de Latham, vemos que determinada opção política – uma via
alternativa, superior às tradicionais posições de esquerda e de direita – procura ser
legitimada com a autoridade simbólica das evidências. Nas entrelinhas, é a autori-
dade simbólica da ciência que é invocada como o fundamento da superioridade da
opção pelas PPBEs. Os pressupostos do discurso de Latham, quando devidamente
explicitados, são os de que evidências científicas objetivas podem trazer a solução não
só para velhas disputas político-ideológicas (pró-Estado versus pró-mercado), senão
também podem eliminar um dos principais flagelos da humanidade – a pobreza.
Aqui, o caráter objetivo das evidências científicas opõe-se ao caráter subjetivo,
normativo e ideologicamente carregado dos posicionamentos típicos da política
tradicional. Uma pressuposta objetividade das evidências científicas permitiria às
autoridades tomarem as decisões corretas – e, portanto, legítimas – de políticas
públicas, em prol do bem-estar coletivo. Com tais evidências, superar-se-iam os
mitos e as velhas formas ideológicas de pensar nas políticas públicas.
6. Latham, M. Myths of the welfare state. Policy, v. 17, n. 3, p. 40-43, 2001.

4 PRESSUPOSTOS EPISTEMOLÓGICOS E DELIMITAÇÕES DO MODELO MODERADO

Há razões para evitarmos os tipos mais extremos dos modelos racionalista e cons-
trucionista, caracterizados na seção 2. Em Pinheiro (2020b, p. 21), tais razões são
assim expostas:
Quanto mais racionalista for o modelo, mais tenderá a desconsiderar a complexidade
inerente à dinâmica das decisões políticas. Entre os fatores dessa complexidade, estão
a não linearidade das decisões, sua multicausalidade, suas condições de incerteza,
bem como a influência de crenças, hábitos, tradições, emoções, valores, ideologia e
interesses nas ações e escolhas em políticas públicas.7 Por seu turno, quanto mais o
agente político se apoiar em pressupostos construtivistas radicais, menos será possível
fazerem-se enunciados gerais sobre os comportamentos dos agentes econômicos,
políticos e sociais. Assim, em última instância, o construtivismo extremo inviabiliza
a análise e avaliação de políticas públicas, assim como o papel das evidências, pois
o processo gerador das políticas – as intenções dos atores – é interpretado como
obscuro, talvez incognoscível.
A literatura, a partir de uma crítica principalmente ao modelo racionalista,
já apresenta algumas sugestões de modelos intermediários.8 Há, contudo, pouco
aprofundamento em relação aos pressupostos epistemológicos dos modelos mo-
derados. Pretende-se nesta seção preencher, em parte, esta lacuna.
4.1 A complexidade do processo social

Precisamos de um modelo moderado cujos pressupostos epistemológicos permitam
apreender o social, o econômico e o político como sistemas complexos, porém ra-
cionalmente analisáveis. De acordo com Cloete (2009, p. 309), sistemas complexos
são abertos – isto é, interagem com o ambiente – e se compõem de muitas variáveis
inter-relacionadas de formas não lineares e dinâmicas. Outras propriedades de
sistemas complexos seriam: auto-organização, multidimensionalidade, capacidade
de operar fora de um equilíbrio e sensibilidade a contextos históricos.9
O “paradoxo das sociedades modernas”, segundo Sanderson (2002, p. 19), é
que, enquanto a crescente complexidade dos sistemas sociais reforça a noção de uma
incerteza inerente ao conhecimento social – contrariamente ao que acreditava certa
tradição iluminista –, aquela complexidade também levanta a necessidade de um
7. O pano de fundo de incerteza que normalmente recobre os processos decisórios em políticas públicas também se
deve ao fato de ser impossível o conhecimento de todas as variáveis atuantes nesses processos. Ademais, por se tratar
de um jogo interativo, as decisões de certos atores somente se podem conhecer após as decisões de outros atores com
quem aqueles interajam de modo significativo. Agradeço a um parecerista por chamar-me a atenção para este aspecto
do problema da incerteza.
8. Sanderson (2002), Parkhurst (2017) e Saltelli e Giampietro (2017) são exemplos dessa literatura. Para um resumo
desses trabalhos, ver Pinheiro (2020a, p. 20-21).
9. Uma excelente discussão conceitual e apresentação do potencial do uso de sistemas complexos às políticas públicas
pode ser encontrada em Furtado, Sakowski e Tóvolli (2015). Ver, também, nesta coletânea, o capítulo 5, intitulado
Simulações computacionais aplicadas à tomada de decisão pública, de Bernardo Alves Furtado e Antonio Lassance.
entendimento racional desses sistemas. Ora, a busca desse melhor entendimento,

longe de sugerir um abandono das evidências, recomenda um aprofundamento
de seu uso. Por conseguinte, deve ser buscado um uso cada vez mais intensivo e
extensivo das evidências disponíveis, para o que é necessário certo investimento em
instrumentos avaliativos e métodos computacionais e em capacitação de pessoal,
entre outras coisas.10 Desde que seja possível obter-se um tipo de conhecimento
ao menos provável dos sistemas sociais, será mais fácil tornar as políticas públicas
mais receptivas ao melhoramento por meio de avaliações baseadas em evidências
de pesquisas científicas e de outros tipos de evidências.
A possibilidade e viabilidade do aumento do grau de entendimento de certos
processos de políticas, por parte dos analistas, são coisas a serem consideradas em
um modelo moderado de PPBEs. Em tais processos, destacam-se as escolhas das
autoridades de política, em termos de objetivos e métodos para as ações governa-
mentais. Ora, a racionalidade dessas ações e escolhas – isto é, sua inteligibilidade
e possibilidade de submissão a um escrutínio crítico – deve ser assumida como
provável. Não obstante, um modelo moderado não deve afirmar a priori qual o
tipo de racionalidade de um processo particular, mas deve fazê-lo somente após
um exame acurado do caso em questão.11
4.2 A diversidade dos conhecimentos, dos discursos, das racionalidades e...

das evidências!
O modelo moderado deve ser capaz de abrigar e conciliar diversos tipos de evidências
em diferentes áreas de política, mantendo a coerência global do modelo. Logo, deve-se
ter sensibilidade a diversos tipos e usos do conhecimento, abarcando diversas áreas do
saber e de políticas públicas. Para isso, é preciso basear-se em uma visão panorâmica
acerca das relações entre as diversas áreas de conhecimento e políticas. Em particular,
o modelo moderado deve conter um escopo largo acerca do que se pode entender
por evidência, partindo-se do pressuposto de que a realidade social e as condições de
decisão de um agente de política pública são irredutivelmente ricas e multifacetadas.
Ao considerar a multiplicidade das evidências que possivelmente infor-
mam as políticas públicas, Mulgan (2005, p. 217) cita as seguintes formas
de conhecimento disponíveis aos governos: 12 i) conhecimento estatístico;
10. Atualmente, cada vez mais as evidências usadas na concepção, implementação e avaliação de políticas são obtidas
por meio de sensíveis sistemas de captação e processamento de informações gerenciais específicos para cada política
ou programa. Agradeço a um parecerista por esta observação.
11. Ao falar-se aqui de racionalidade de processos decisórios em políticas públicas, faz-se referência tão somente à
sua cognoscibilidade, à sua inteligibilidade. Essas propriedades tornam esses processos passíveis de representação e
análise por meio de conceitos, juízos e raciocínios. Não pertence à racionalidade qualquer conexão com a verdade
dos enunciados usados naqueles processos, seja como premissas, seja como conclusões. Por exemplo, um processo de
política pode ser racional – ou seja, cognoscível, inteligível e passível de análise –, porém baseado em premissas falsas,
isto é, desconectadas com a realidade factual.
12. Na enumeração a seguir, são citados exemplos, sem qualquer pretensão de citar casos paradigmáticos, muito
menos esgotar o assunto.
ii) conhecimento de política (o que é útil para reduzir a reincidência criminal);

iii) conhecimento científico (mudanças climáticas); iv) conhecimento pro-
fissional rigorosamente testado (impacto de vacinações); v) opinião pública;
vi) visões de implementadores de políticas (experiência policial em lidar com
o crime organizado); vii) conhecimento político (o perfil das opiniões entre os
membros do partido do governo); viii) conhecimento econômico (quais setores
provavelmente crescerão e gerarão empregos); e ix) inteligência clássica (poten-
ciais e intenções de nações inimigas e organizações terroristas) e pensamento
estratégico. Um modelo moderado de evidências em políticas públicas deve
reconhecer, como um postulado, que as decisões tomadas pelos policymakers,
nas diversas áreas de políticas, são feitas sobre bases evidenciais muito variadas
no que se refere ao seu poder epistêmico.
4.3 O status epistemológico das disciplinas associadas às áreas

de políticas públicas
As áreas de políticas associam-se a disciplinas (áreas do saber) com diversos graus
de consenso, pela comunidade científica, acerca do rigor e da robustez dos núcleos
teórico-metodológicos dessas disciplinas. Ademais, são também muito diversos os
graus de validação científica dos resultados das pesquisas em diferentes disciplinas.
As áreas de política associadas a disciplinas reconhecidamente mais rigorosas
e validadas cientificamente, em geral, também costumam ser servidas por arranjos
institucionais mais desenvolvidos e formalizados, bem como encerram carreiras
profissionais mais especificamente capacitadas e mais bem estruturadas e remunera-
das. Nestas, as evidências científicas estão mais disponíveis e se podem formar mais
facilmente consensos acerca de quais intervenções funcionam ou não funcionam em
políticas públicas. Por seu turno, nas áreas em que as correspondentes disciplinas
não dispõem de um consenso da comunidade científica acerca do rigor e da robustez
das bases metodológica e teórica, não se sabe ao certo o que funciona ou não em
termos de políticas públicas. Nessas disciplinas mais recentes, em geral derivadas
da confluência de distintos campos do conhecimento, as evidências confiáveis
são mais raras e dificilmente levam a resultados de pesquisa com elevado nível de
validação científica.
A característica das áreas de políticas públicas explicada no parágrafo anterior,
proponho chamá-la aqui de status epistemológico. Assim, proponho que áreas mais
tradicionais, como saúde, tenham um status epistemológico mais consolidado do
que áreas mais recentes, como segurança na internet.
De onde vem a ideia de uma gradação de status epistemológicos aplicados a
áreas de políticas públicas? De saída, reconheço no filósofo norte-americano Willard
van Orman Quine (1908-2000) a inspiração básica dessa ideia. Refletindo sobre
os critérios de escolha de ontologias – isto é, decidir sobre quais objetos há no

mundo –, Quine (1985) propõe um núcleo de conhecimento científico, baseado
nas ciências formais (lógica e matemática) e naturais (física, química etc.), capaz
de fornecer um esquema conceptual simples para acomodar, organizar e explicar
os fenômenos do mundo, os quais se nos apresentam à primeira vista como uma
massa disforme e fragmentada. De acordo com o autor, um critério razoável para a
escolha de ontologias também serve para a escolha de teorias científicas: “adotamos
(...) o esquema conceptual mais simples no qual os fragmentos desordenados da
experiência bruta podem ser acomodados e organizados” (Quine, 1985, p. 227).
Portanto, a simplicidade e a eficiência de um esquema conceptual para acomodar
e organizar a aglomeração de fenômenos do mundo, bem como a objetividade
da validação dos resultados das teorias – propriedades que galvanizam o consenso
entre os cientistas –, são critérios razoáveis, segundo Quine (1985), para a escolha
de ontologias. As ciências formais e naturais foram as mais bem-sucedidas neste
critério, por isso, ocupam o núcleo do conhecimento científico. Este, porém, é
rodeado por uma franja de disciplinas científicas com menores graus de adequação
ao critério de Quine – entre elas, as ciências sociais aplicadas e as ciências humanas.
Outra inspiração para a ideia da gradação do status epistemológico das dis-
ciplinas e áreas associadas a políticas públicas é Mulgan (2005). O autor fala de
campos de política estáveis, em fluxo e recentes, a fim de marcar os diversos graus
de consenso sobre os critérios de obtenção e uso do conhecimento nos diversos
campos de políticas públicas (Mulgan, 2005, p. 221-222). A classificação de
Mulgan (2005) é, por sua vez, inspirada diretamente em Thomas Kuhn (2003),
para quem o período da “ciência normal” – quando imperam os consensos da
comunidade científica acerca dos padrões teóricos, metodológicos, experimentais,
de validação, explicação etc. – pode ser seguido por períodos em que se acumulam
as anomalias (fenômenos não explicados), entrando-se em um período de “ciência
extraordinária”, e finalmente pelas revoluções científicas. Para Kuhn (2003, cap.
2), o amadurecimento de uma ciência ocorre quando um paradigma científico
passa a ser compartilhado por toda uma comunidade científica. Os campos estáveis
de Mulgan seriam análogos à ciência normal de Kuhn; os campos em fluxo e os
campos recentes corresponderiam ao período da ciência extraordinária, antes do
despontar e da afirmação de novos paradigmas.
Saber o que se entende por evidência aplicável às políticas públicas exige
considerar o grau de consolidação do status epistemológico da disciplina ou da
área de política sob questão. Em áreas cuja ação política se dê sobre realidades-
-objeto de ciências solidamente estabelecidas, tais como as realidades das ciências
naturais, tenderá a haver mais consenso sobre o que significa uma evidência de
boa qualidade e esse significado convergirá aos padrões teóricos e empíricos dessas
ciências. Entretanto, em áreas ligadas a ciências menos consolidadas, como é o caso
da maioria das políticas públicas (educação, assistência social, segurança pública,

trabalho etc.), os padrões epistemológicos das ciências subjacentes (ciências humanas
e sociais aplicadas) são menos consensuais, acarretando um leque muito maior de
evidências possíveis para informar as políticas públicas, se bem que em graus mais
baixos de poder epistêmico e de validade científica, em relação à hierarquização
da qualidade dessas evidências.
4.4 Os limites do uso dos conhecimentos e das evidências

O modelo moderado deve ter atenção aos limites do conhecimento em cada
área, assim como aos limites das analogias entre o mundo natural, estudado
pelas ciências naturais, e o mundo sociopolítico, estudado pelas ciências
sociais aplicadas.
Não se deve esperar que o conhecimento usado nas avaliações e decisões
em políticas públicas seja, em geral, apodítico, demonstrativo, exato, tampouco
infalível. O modelo moderado reconhece que as políticas públicas se baseiam
principalmente em conjecturas, para as quais se recomenda moderação nas expli-
cações e inferências causais. Em muitas situações, as ditas conjecturas permitirão
decisões com um grau apenas mediano de confiança de que as intervenções de
política funcionarão como esperado.
As condições de validade do conhecimento social têm de ser avaliadas pelo
menos com tanto cuidado quanto em relação ao conhecimento em ciências natu-
rais. Mesmo nestas últimas, qualquer evidência é sensível a um contexto, dado que
qualquer observação depende de seu contexto. Logo, os juízos sacados a partir das
evidências terão um âmbito de validade, que deve ser demarcado da maneira mais
clara possível. Os critérios de aplicabilidade desses juízos devem ser, tanto quanto
possível, sistematizados e explicitados (Oxman et al., 2009, p. 3).
Em relação aos limites inerentes à natureza do conhecimento social (por com-
paração ao conhecimento das ciências naturais), Mulgan (2005, p. 224) destaca:
i) contingência histórica: maior mutabilidade, menor capacidade de generalização ou
universalização; ii) reflexividade: os próprios atores são sujeitos e objetos do conhe-
cimento social, ou seja, suas ações são capazes de transformar esse conhecimento;13
e iii) limites derivados da organização disciplinar das ciências sociais: há lacunas de
conhecimento entre as fronteiras dessas disciplinas. Poderíamos destacar também
que o conhecimento social tem limites específicos quanto ao método, por exemplo,
em relação aos métodos experimentais controlados.
13. Um interessante exemplo aqui é fornecido pelo filósofo canadense Ian Hacking. O indivíduo humano, ao perceber-se
como um objeto de certa classificação, é capaz de reagir mudando seu comportamento e assim alterando a extensão
da própria classificação (Hacking, 1995; 1999). Esse aspecto, segundo Hacking, constitui uma marcada diferença entre
as tipologias das ciências sociais e das ciências naturais – nestas últimas, a extensão das categorias classificatórias
tende a ser mais estável, muito embora recentes desenvolvimentos na física tenham relativizado esse entendimento.
4.5 A relevância de análises conceituais, metodologias e abordagens teóricas

Independentemente da área de política pública, é fundamental haver um trabalho
prévio de análise conceitual e construção de teorias. Análises conceituais e teorias
são como lentes por meio das quais o analista enxerga e interpreta a realidade,
tornando-a inteligível para si. Dito de outro modo, conceitos e teorias fornecem
as molduras básicas do pensamento em determinada área do conhecimento e,
consequentemente, fornecerão as condições em que as evidências serão usadas.
Especialmente em áreas menos graduadas quanto ao seu status epistemológico,
em que sejam escassas as evidências científicas de maior rigor e sistematicidade,
um bom trabalho prévio de conceituação e teorização poderá abrir caminho não
só para um possível uso futuro de evidências científicas em decisões de políticas
públicas, mas também para o uso de outros tipos de informação, tais como opi-
niões pessoais de experts.
Em geral, para que crenças, opiniões e valores prestem-se ao papel de apoiado-
res de decisões de políticas públicas, é necessário que algum trabalho de base (con-
ceitual, metodológico e teórico) tenha sido previamente desenvolvido, mostrando
os acarretamentos lógicos entre aquelas crenças, opiniões e valores, por um lado, e
as conclusões teóricas, por outro. É claro que opiniões não terão normalmente o
peso epistêmico de uma evidência científica, até porque seus mecanismos de gera-
ção não terão o rigor e a sistematicidade dos métodos empregados nas ciências de
maior status epistemológico. Todavia, dado que esses elementos mais “subjetivos”
sejam essenciais ao debate público democrático – e, em uma perspectiva realista,
seja muito improvável que algum dia desapareçam das políticas públicas14 –, eles
podem e devem ser submetidos ao escrutínio crítico-racional, sendo inseridos em
um pano de fundo coerente e nucleado por um arcabouço conceitual, metodo-
lógico e teórico.
Em suma, em vez de se desprezar pura e simplesmente elementos ou fontes de
informação não científicos para as políticas públicas, a visão do modelo moderado
defende um uso crítico sistematizado e rigoroso desses elementos e fontes, com base
no contínuo desenvolvimento de arcabouços conceituais, metodológicos e teóri-
cos. A esse respeito, os analistas de política e policymakers não devem se eximir ao
dever intelectual de buscar o avanço do conhecimento em suas respectivas áreas,
desenvolvendo seus próprios recursos analíticos, se necessário.
14. Se isso acontecesse, seria o fim da política e o império dos algoritmos, na feliz expressão de um parecerista.
4.6 Ouvir os atores interessados

Um modelo moderado deve abrir-se para as diversas informações fornecidas pelo(s)
ator(es) interessado(s) das políticas. Estes devem ser considerados como potenciais
fontes de evidências. De fato, um dos problemas dos modelos de cunho mais ra-
cionalista é a tecnocratização do uso das evidências, ou seja, assume-se que apenas
os especialistas (cientistas, acadêmicos, técnicos) podem produzir evidências para
as políticas públicas. Isso muitas vezes se faz em prejuízo ao uso de informações
coletadas de diversos atores sociais – principalmente os cidadãos e o público-alvo
das políticas –, consideradas de qualidade inferior, o que gera consequências adversas
para a legitimidade das políticas públicas em um regime democrático.
4.7 O papel elucidativo das evidências

Finalmente, em um modelo moderado, o papel das evidências é menos o de ser
um instrumento neutro de informações para a tomada de decisões e mais o de
esclarecer os problemas complexos envolvidos nas tomadas de decisões. A influ-
ência das evidências aqui é indireta (Sanderson, 2002), fomentando novas ideias
e argumentos, provendo ideias e elementos para iluminar o contexto das decisões
políticas, fornecendo um quadro no qual os problemas podem ser pensados.
Procura-se, assim, clarificar as questões e informar um debate público mais amplo.15
5 A DIMENSÃO PRAGMÁTICA E SUAS CONSEQUÊNCIAS PARA A ELUCIDAÇÃO

DO CONCEITO DE EVIDÊNCIA EM POLÍTICAS PÚBLICAS
5.1 O problema do uso

A história das PPBEs – tal como narrada pelos discursos oficiais em finais dos anos
1990, no Reino Unido – sinaliza o papel das evidências como meios para a consecução
de propósitos públicos de bem-estar (satisfação dos usuários, contribuintes e cidadãos),
por meio da provisão de serviços públicos (Solesbury, 2001). Essa ideia geral ecoa em
boa parte da literatura especializada até os dias de hoje e parece partir do pressuposto
de que, quanto mais se usarem evidências – científicas, preferencialmente – na tomada
de decisões em políticas públicas, maiores serão os benefícios para as populações.
Todavia, não é uma verdade necessária que processos de decisão baseados em
evidências científicas, seja na esfera pública ou privada, levem a melhores resultados
do que os baseados em elementos menos rigorosos, tais como intuições ou opi-
niões pessoais. Por exemplo, as evidências e os conhecimentos científicos podem
ser usados para angariar mais poder aos seus detentores, independentemente do
impacto que esse uso acarrete ao bem comum ou ao interesse público, como quer
15. Essa ideia já está presente no trabalho pioneiro de Weiss (1979) e nos de diversos outros autores que procuraram
explicar o papel ou o uso das evidências de pesquisas acadêmicas nas políticas públicas. Ver, por exemplo, Sanderson
(2002) e Young et al. (2002). Freiberg e Carson (2010), por sua vez, proveem uma crítica a esse modelo.
que tais expressões sejam caracterizadas. Assim como qualquer instrumento que
possa causar benefício ou dano, dependendo de seus modos e propósitos de uso,
as evidências na política também podem ser objetos de bom ou mau uso – isso,
a despeito do rigor científico com o qual tais evidências possam ter sido produzi-
das. Logo, é possível uma leitura deontológica do uso das evidências em políticas
públicas, segundo a qual estas devem ser usadas com prudência e expertise, nunca
de forma casual, irresponsável ou mal-intencionada. Nessa linha de pensamento,
a qualidade das decisões em políticas públicas – isto é, seu impacto positivo no
bem comum – é tanto uma função da qualidade epistêmica das evidências usadas
quanto do modo mais ou menos sensato como estas são usadas.
Por seu turno, segundo Bamberger (2008, p. 128), o principal problema da
utilização da informação em políticas públicas é que a crescente disponibilidade
dessa informação, nos dias de hoje, parece não ter redundado em melhores decisões
nas políticas públicas. De acordo com certa visão, o problema de Bamberger teria
sua raiz no fato de que as PPBEs ainda se encontrariam em uma fase emergente
(ou de transição), na qual as ferramentas requeridas para a aplicação efetiva das
evidências em políticas públicas ainda não teriam atingido sua maturidade. Essa
visão tende a apontar os meros avanço tecnológico e capacidade computacional
como as principais fontes de uso das evidências científicas em políticas públicas.
Contudo, o problema do uso (inclusive o não uso ou uso inadequado) das
evidências em políticas públicas é mais complexo do que fazem supor os men-
cionados enfoques deontológico e de inadequação tecnológica ou analítica. Tais
enfoques são incompletos, ignorando, por exemplo, o fato de que as evidências
são usadas de muitas maneiras e com propósitos diferentes, frequentemente obe-
decendo a critérios que pouco têm a ver com a eficiência, eficácia e efetividade das
políticas, muito menos com o grau de avanço tecnológico das ferramentas analíticas
e computacionais. Muitas vezes as evidências servem de instrumentos simbólicos
de poder político, defesa de posições ideológicas e manutenção do status de certas
carreiras da burocracia pública. Fatores como esses não devem ser negligenciados
em nossa análise conceitual, sendo fundamentais para a definição e a relevância
das evidências empregadas nas políticas públicas.
Procurando fornecer uma visão mais ampla do assunto, a abordagem prag-
mática seguida neste texto aponta para a necessidade de se entender o uso das
evidências dentro de um modelo ou de uma estrutura das ações (decisões) em
políticas públicas. As evidências desempenham aqui o papel de meios para a tomada
de decisões em políticas públicas, sendo que a expressão meios não é inequívoca,
podendo designar diferentes realidades, desde técnicas específicas até teorias, con-
ceitos, modelos, disciplinas etc. Métodos, instrumentos e ferramentas, entre outros,
são termos usados na literatura para designar os meios dos quais se servem o(s)
ator(es) interessado(s) em suas tomadas de decisões no cenário das políticas públicas.
A estrutura da ação engloba quatro elementos estruturais: i) o agente; ii) o

seu acervo de crenças, conhecimentos, preferências, habilidades e capacidades;
iii) os propósitos da ação; e iv) os meios com os quais o agente empreende a ação
para atingir seus fins. Como já sugerido, essa estrutura não se dá em um vácuo
ontológico, mas ganha sentido apenas em um pano de fundo delimitado por uma
moldura contextual, em que se mostrem as relações dos supracitados elementos e
destes com outros elementos contextuais da ação.
A moldura contextual e o pano de fundo por ela delimitado dão uma unidade
à estrutura de ação do agente. Assim, os elementos estruturais da ação (o agente,
seus instrumentos informativos, seus propósitos, seu acervo de crenças e conhe-
cimentos etc.) não devem ser vistos como independentes e separados na moldura
contextual. Na prática, tais elementos interagem. Em especial, o uso das evidências
pode alterar o acervo de conhecimentos do agente sobre a realidade em que este
deseja atuar e, com isso, alterar também as próprias finalidades da ação. De certa
forma, os instrumentos usados em uma ação pública – inclusive as evidências
em que se baseiam as decisões – são escolhidos ou formados conjuntamente com
outros elementos da estrutura decisória do agente. Desse modo, apenas prestando
atenção à moldura contextual é que se pode entender porque, apesar de terem o
compromisso declarado e a obrigação legal de tomarem suas decisões em bases
imparciais e informadas por evidências, as autoridades de política muitas vezes
põem as evidências científicas de lado e decidem de acordo com outros critérios.
Há, contudo, inúmeras maneiras de se descrever o contexto de uma ação
pública. A literatura em geral não se aprofunda nesse tipo de análise, sendo que, no
mais das vezes, os contextos são delimitados com base em alguma disciplina ou área
de política. Por exemplo, autores como Upshur e Kerkhof (2001) restringem sua
análise do uso das evidências à área das políticas de saúde e propõem um modelo
capaz de abarcar várias dimensões das evidências (quantitativa, qualitativa, pessoal,
social, simbólica, valorativa etc.), fazendo uma distinção entre o contexto pessoal
(terapias a pacientes individuais, por exemplo) e o contexto comunitário (saúde
coletiva). Outros autores, como Young et al. (2002) e Freiberg e Carson (2010),
valem-se da tipologia de Weiss (1979) acerca dos modos de relacionamento entre
políticas públicas e conhecimento – modelo guiado pelo conhecimento; modelo
de solução de problemas; modelo interativo; modelo tático-político; modelo ilu-
minista – para tentar desenhar aquele contexto de uso.
5.2 A moldura contextual

Nosso desafio é relacionar elementos componentes do cenário, do contexto, do quadro
geral em que a estrutura da ação do agente público ganha sentido. Esse quadro pode
ser constituído de várias coisas, fenômenos e processos, os quais formam como que
o pano de fundo condicionador das decisões do agente. Neste texto, destacam-se
três categorias de fatores constituintes desse pano de fundo: i) políticos: a tempora-

lidade da política (inércia, urgência), ideologias, disputas por poder, democracia;
ii) epistemológicos (avaliação da política, incerteza, reflexividade do conhecimento social
etc.); e iii) normativos, institucionais e organizacionais. Esses tipos de fatores coexistem
na moldura contextual das decisões do agente público e podem ser considerados
complementares e interativos, ao invés de mutuamente contraditórios ou estanques.
Vejamos, a título de exemplo, como os mencionados fatores epistemológicos
e políticos podem interagir. Em um estudo sobre o Reino Unido, a partir de uma
pesquisa realizada em 2009, junto a servidores públicos envolvidos em diferentes
áreas de políticas públicas, Stevens (2011) procurou lançar luz sobre essa questão.
O autor procurou explicar a lacuna entre o comprometimento (moral e normativo)
dos policymakers com o uso da evidência, por um lado, e, por outro, o não uso
(ou uso não muito adequado e racional) desta na prática. O método empregado
por Stevens (2011, p. 241) consiste em “prestar atenção ao modo como as pessoas
usam a evidência na formação das relações humanas, assim como no processo de
construção de narrativas da política [process of telling policy stories]”. Essas narrativas
são importantes, pois os policymakers precisam convencer outras pessoas de que vale
a pena implementar suas propostas de políticas públicas. Logo, as evidências são
usadas como instrumentos de persuasão para vender a política, tanto às autoridades
e diversos segmentos da burocracia quanto a ator(es) interessado(s) não governa-
mentais e ao público em geral. Nesse esforço persuasivo, o controle da incerteza e
certas regras tácitas para o sucesso nas carreiras burocráticas16 parecem condicionar a
forma como os policymakers usam as evidências em suas decisões. As propostas de
políticas devem ser construídas de forma a satisfazer esses condicionantes. Enfim,
os resultados do estudo de Stevens (2011) não sugerem que os burocratas britânicos
deliberadamente evitam, distorcem ou abusam das evidências em suas decisões sobre
políticas públicas, mas apenas que são condicionados por certa forma de pensar o
mundo quanto ao uso que fazem dessas evidências. A pesquisa de Stevens (2011)
ilustra como os fatores epistemológicos (controle da incerteza), políticos (apoio das
autoridades) e institucionais-organizacionais (sucesso nas carreiras burocráticas)
são constitutivos da moldura contextual na qual ganham vida as ações e decisões
dos policymakers.
5.3 Condicionantes institucionais, normativos e organizacionais

Há muitos estudos que procuram identificar as condições que dificultam ou facili-
tam um processo de políticas públicas mais bem informado por evidências. Como
colocar a ferramenta (evidência) certa nas mãos dos policymakers e como garantir
que eles saibam utilizá-la? Esta é uma questão que parece motivar esses trabalhos e,
16. Exemplos de tais regras, conforme Stevens (2011, p. 244): “Não se especialize muito; seja útil e encontre superiores
que o apoiem”.
para respondê-la, dá-se destaque ao desenvolvimento de efetivos meios normativos

e institucionais, a fim de aproximar pesquisadores, policymakers e outros públicos
envolvidos no ciclo de políticas e, assim, proporcionar amplo acesso ao conhecimento.
Certos autores, baseados em experiências internacionais, propõem algumas
medidas, como o fomento governamental a pesquisas nas áreas de política mais
carentes desse tipo de atividade e a promoção do “uso de métodos de revisões
sistemáticas para facilitar o processo de acumulação e síntese do conhecimen-
to” (Nutley, 2003, p. 5). Por seu turno, no extenso estudo empírico de Oliver
et al. (2014), a principal barreira encontrada para o uso de evidência em políticas
públicas foi o baixo acesso a trabalhos de pesquisa relevantes e de boa qualidade,
além da falta de tempestividade dos resultados de pesquisa. O mesmo estudo
detectou que os principais fatores propiciadores foram a colaboração entre
pesquisadores e policymakers e o surgimento de novos modelos de transferência
de conhecimento.
A capacitação e o desenvolvimento técnico-profissional continuado de po-
licymakers também têm sido apontados como fatores influenciadores do uso da
evidência (Nutley, 2003; Davies, 2004; Mulgan, 2005; Moseley e Tierney, 2005;
Howlett, 2015; Cherney et al., 2015; entre outros). Ademais, a facilitação do uso
de evidências de pesquisas científicas poderá englobar arranjos que promovam a
integração de pessoal com capacidade analítica em todos os estágios do processo
de política.
É preciso fazer o conhecimento fluir pelas redes ou comunidades de políticas
para encorajar o uso de evidências (de diversos tipos) e fomentar o debate salutar
nas políticas públicas. Para isso, é necessário cuidar da fluidez da comunicação entre
os produtores (pesquisadores, acadêmicos) de pesquisas científicas e seus usuários
(policymakers e outro(s) ator(es) interessado(s), ou seja, que os pesquisadores sejam
capazes de comunicar seus resultados de forma acessível aos usuários, sem distorcer
a interpretação dos resultados das pesquisas (Nutley, 2003; Davies, 2004). Um
elemento fundamental desta fluidez comunicativa é um entendimento comum
sobre o problema de política em pauta, bem como sobre a robustez das evidências
necessárias para encaminhar a solução desse problema. A experiência mostra que
é possível construírem-se pontes entre esses dois mundos aparentemente díspares,
inclusive com ações modestas – por exemplo, promovendo a aproximação loca-
cional de pesquisadores e policymakers, assim como incentivando programas de
capacitações conjuntas entre esses dois públicos.
O aspecto organizacional é muitas vezes elencado entre as condições facilita-
doras ou que obstaculizam o uso de evidências – sobretudo científicas – para bem
informar as políticas públicas. Entre as condições facilitadoras, cita-se, por exemplo,
o desenvolvimento de culturas organizacionais nas quais os tomadores de decisão
valorizem os resultados de pesquisas científicas. Estudos como os de Marston e Watts

(2003) mostram que essas culturas organizacionais se distribuem de forma muito
heterogênea pelas comunidades de política e pelos atores envolvidos nas políticas
públicas. Por sua vez, o trabalho de Moseley e Tierney (2005, p. 114-115), além
de relacionar o uso das evidências a certas características das carreiras profissionais
dos policymakers, cita os seguintes desafios culturais ao uso de evidências, no nível
das organizações públicas: i) supervalorização da prática em detrimento da análise;
ii) resistência ao experimentalismo e inovação; e iii) temor excessivo de perda da
autonomia de julgamento e perícia profissionais.
Finalmente, o estudo de Nilsson et al. (2008) revela que a escolha das
ferramentas de avaliação de políticas, nas organizações públicas da Alemanha,
da Suécia, do Reino Unido, dos Estados Unidos e da Comissão Europeia, está
fortemente condicionada por rotinas e práticas padronizadas e pela expectativa
de que os resultados da avaliação apoiarão as crenças principais da coalizão
dominante – isto é, trata-se de “produção de evidências baseada politicamente”
(Nilsson et al., 2008, p. 352), na expressão de um dos entrevistados no Reino
Unido. Esse último padrão de uso, mais político, acarreta uma preferência por
instrumentos não muito complexos, que prevejam resultados de forma mais ou
menos vaga e, portanto, menos arriscada para os posicionamentos políticos dos
atores dominantes. Ainda de acordo com Nilsson et al. (2008), um dos desafios
para o futuro das PPBEs é institucionalizar os usos de ferramentas avançadas
de avaliação, a exemplo daquelas que tornaram a mudança climática um tema
sensível de política pública em todo o mundo. Somente essas ferramentas po-
dem lidar com os problemas mais intrincados, dinâmicos e multivariados do
mundo atual.
6 MODELO MODERADO E CRÍTICA À VISÃO TRADICIONAL DAS PPBEs

O objetivo desta seção é duplo. Em primeiro lugar, procura-se expor, com exem-
plos, como funciona o modelo moderado, cujos pressupostos foram apresentados
na seção 4. Trata-se de mostrar que esse modelo se aplica à realidade da política
pública, sobretudo no Brasil. Em segundo lugar, esta parte do capítulo propõe
uma crítica à perspectiva tradicional das PPBEs (seção 3).
O modelo moderado provê uma gramática para se distinguirem as evi-
dências que apoiam decisões de policymakers, em uma pluralidade de contextos
decisórios possíveis de políticas públicas. Com esse modelo, pode-se lançar luz
sobre vários aspectos do uso das evidências nas situações factuais em que os
agentes públicos tomam suas decisões. As molduras contextuais – delimitadoras
de panos de fundos urdidos por fatores de diferentes ordens (epistemológica,
política, institucional etc.) – ganham contornos mais nítidos em cada caso
concreto. Nesta seção, veremos alguns desses casos, que iluminarão aspectos
diferentes do conceito e do uso das evidências em políticas públicas, segundo
o modelo moderado.17
Um primeiro caso interessante é o da Comissão Nacional de Incorporação
de Tecnologias no Sistema Único de Saúde (Conitec), analisado por Vieira, Servo
e Piola (2020). Embora a Conitec tenha normas claras sobre como tomar suas
decisões na avaliação das tecnologias de saúde a serem usadas no Sistema Único
de Saúde (SUS), pautando-se por evidências científicas do mais elevado grau de
confiança possível, o trabalho mostra que há contextos em que as decisões dessa
comissão são tomadas mesmo em desconformidade com aquelas normas. Ou
seja, nem sempre as ações se baseiam nas melhores evidências, havendo marcada
diferença na qualidade destas, conforme o tipo de medicamento ou a intervenção
terapêutica sob avaliação. Apurou-se que, além das evidências científicas stricto
sensu (baseadas em ensaios clínicos randomizados – ECRs), as decisões da Conitec
também são sensíveis a outros tipos de informações, tais como aquelas oriundas
de audiências públicas e decisões judiciais.
A complexidade do quadro de decisão dos agentes públicos é exemplificada,
de forma surpreendente, no trabalho de Soares (2020). A autora mostra que a
ausência de conhecimentos sobre determinado problema de política que demande
uma decisão urgente pode ser instrumentalizada estrategicamente para motivar
essa decisão. Examinando o caso das decisões da Agência Nacional de Vigilância
Sanitária (Anvisa) em torno de questões relativas ao plantio, à regulação, à comer-
cialização e ao uso da cannabis para fins medicinais no Brasil, Soares (2020) relata
como os diretores da Anvisa pautam suas decisões. Em um contexto de ausência de
informações confiáveis, as decisões baseiam-se em boa medida nas formas como os
agentes concebem os problemas e com base em suas visões de mundo, seus valores
e seus princípios. Em outras palavras, o acervo de crenças e conhecimentos prévios
do policymaker pode desempenhar o papel de informação vicária, em contextos
decisórios de ignorância – ou seja, de ausência de conhecimentos assentados e
relevantes para a decisão dos agentes sobre determinada questão.
Uma faceta diferente do conceito de evidência como instrumento de uso
em políticas públicas nos oferece o trabalho de Koga, Viana e Marques (2020).
Os autores investigam os diferentes usos e significados do Cadastro Único para
Programas Sociais do Governo Federal (Cadastro Único) como instrumento ou
fonte de informações para os gestores de programas sociais federais. Eles concluem
que o Cadastro Único, em suas operações técnicas (estratificação, criação de cri-
térios de inclusão, rotinas de cruzamento de dados etc.), interage com a aplicação
17. Os exemplos a seguir foram extraídos do Boletim de Análise Político-Institucional (Bapi), número 24, editado pelo
Ipea, que versou exclusivamente sobre as PPBEs no Brasil (Pinheiro et al., 2020).
de conceitos como família, renda, pobreza, domicílio, entre outros. Dito de outro
modo, as manipulações técnicas do Cadastro Único afetam e são afetadas pela
semântica das políticas sociais. Consequentemente, esse instrumento tem um uso
não neutro do ponto de vista das narrativas não apenas dos gestores dos programas
sociais, mas também de vários outros atores interessados nas políticas sociais federais.
Santos, Silveira e Rocha (2020) exemplificam a possibilidade de divergências
no uso e na interpretação de evidências científicas por diversos atores envolvidos
em uma política. No caso, foram verificadas divergências entre os auditores da
Controladoria-Geral da União (CGU), os gestores do Programa Cartão Reforma –
cujo objetivo é mitigar o deficit habitacional qualitativo no Brasil – e outros atores
sociais (empreiteiros, governadores, membros da sociedade civil etc.). Discordâncias
sobre quais índices de deficit habitacional usar e sobre como tais índices deveriam
apoiar a alocação de recursos públicos ao Programa Cartão Reforma estiveram no
centro das disputas entre os técnicos da CGU e os gestores desse programa. O
caso ilustra que o pomo da discórdia do uso de evidências pode não estar na qua-
lidade destas – pois, no caso em apreço, os índices usados por auditores e gestores
eram de qualidade equivalente, aliás, produzidos por uma instituição de elevada
reputação técnico-científica, a Fundação João Pinheiro (FJP) –, mas em visões e
interesses conflitantes dos atores em relação ao programa. Discussões sobre este ou
aquele índice, esta ou aquela metodologia, podem ser uma espécie de fachada para
oposições intestinas, motivadas por interesses econômicos e políticos.
Por sua vez, Oliveira e Menke (2020), em estudo do tipo survey com auditores
internos à CGU, constataram, entre outras coisas, que os artigos científicos não
são o tipo de informação mais usada nas decisões daqueles auditores. Tais artigos
são considerados de menor relevância e, quando aplicáveis, têm maior uso como
inspiração metodológica ou confirmação externa de dados. Um resultado corro-
borado mais de uma vez em pesquisas junto à burocracia federal brasileira (Enap,
2018) é um uso mais amplo de informações normativas (leis e normas formais) do
que de resultados de pesquisas científicas. O trabalho de Oliveira e Menke (2020)
apurou – embora sem aprofundar o argumento – que, na opinião do público-alvo
da pesquisa, os estudos acadêmicos podem conter vieses que poderiam comprometer
a objetividade das auditorias.
Vamos a um último exemplo – hipotético, porém plausível. Seja um gestor
de política atuando no Banco Central do Brasil (BCB) ou na Secretaria do Tesouro
Nacional (STN), responsável por elaborar políticas de administração da dívida
pública brasileira – notadamente a dívida mobiliária federal – em uma trajetória
sustentável. Ele dispõe de um sistema de modelos, de natureza contábil e eco-
nométrica, o qual lhe permite calcular a trajetória estimada da relação da dívida
pública em proporção do produto interno bruto (PIB), dados alguns parâmetros
(por exemplo, taxas de juros, câmbio, taxa de variação estimada do PIB, inflação
etc.). Suponhamos também que, em um dado período, o gestor roda seus mo-
delos e chega à conclusão de que a trajetória da relação dívida/PIB é sustentável
para os próximos doze meses. Consultando opiniões de acadêmicos e experts em
política fiscal, o gestor constata que os resultados de seus modelos convergem com
aquelas opiniões. Consequentemente, apoiado por esses resultados e secundado
pelas opiniões externas, o gestor decide não alterar a política corrente de gestão
da dívida pública, porquanto ele julga ter boas razões para crer que a dita política
está no caminho certo.
No exemplo citado, em um sentido estrito, a evidência imediata, que serve
de instrumento para a tomada da decisão do gestor de política, constitui-se dos
resultados do sistema de modelos do gestor. Contudo, é fácil ver que esses resultados
não se produzem sem o concurso de outras informações, tais como os parâmetros
macroeconômicos, as relações e os coeficientes dos modelos, a montagem de cenários
futuros para as variáveis relevantes, as opiniões de outros agentes etc. Evidentemente,
o uso dessas informações envolve um conjunto de escolhas e hipóteses auxiliares que
não são observáveis em algum sentido razoável, mas estão sujeitas a uma boa dose
de arbitrariedade do analista. Os próprios modelos são construídos com base em
inúmeros pressupostos pragmáticos acerca do comportamento da dívida pública,
em suas várias modalidades, tipos de títulos, indexadores etc.
Em um sentido estrito, portanto, as escolhas e informações que, por assim
dizer, circundam e se conectam aos outputs do sistema de equações da dívida pública
não são evidências, mas poderiam ser chamadas mais propriamente de pressupostos,
parâmetros ou subsídios para a política de administração da dívida pública. É o caso
das opiniões de certos agentes externos (acadêmicos e experts em política fiscal),
que servem de checkpoints para calibrar o modelo em vários aspectos. Não obstante,
o exemplo ilustra bem dois pontos para os quais se quer chamar a atenção neste
capítulo: i) as evidências pertencem a um conjunto de escolhas e informações –
tais como pressupostos, parâmetros, expressões funcionais e outras coisas –, com
variados graus de formalidade e rigor metodológico; esse conjunto constitui uma
tal unidade, que, em um sentido lato e derivado, pode-se chamar cada elemento
deste conjunto de evidências; e ii) os membros desse conjunto se mantêm unidos
por um pano de fundo de crenças e práticas compartilhadas pela comunidade de
analistas e gestores – no caso, sobre como se faz uma política de administração
da dívida pública nacional –, no centro do qual está uma armadura conceitual,
metodológica e teórica.
As ilustrações anteriores, extraídas de diferentes contextos decisórios de polí-
ticas públicas no Brasil, e tomadas de distintas áreas e temas de políticas públicas,
bem como de diversos seguimentos da burocracia, ressaltam as variedades dos
usos das evidências, em seus múltiplos tipos. Os exemplos revelam diferentes pos-
sibilidades para o emprego de evidências técnico-científicas, conforme a moldura
contextual que envolve os agentes da decisão.
Embora não se possa afirmar a representatividade estatística de casos isolados,
estes pelo menos indicam, entre outras coisas, que o uso racional-instrumental das
evidências científicas – preconizado pela visão tradicional das PPBEs – é apenas um
dos usos possíveis. Há uma multiplicidade de fatores não diretamente relacionados
aos métodos de cognição da realidade, que condicionam naturalmente as decisões
de políticas públicas, e que tornam o uso de evidências científicas uma tarefa muito
mais complexa do que simplesmente rodar um modelo ou levantar um conjunto
de números ou dados quantitativos que indicam ao policymaker o que funciona,
tal como parece supor a dita visão tradicional.
Finalmente, em nenhum dos casos citados nesta seção, o uso de evidências
(científicas ou de outros tipos) é neutro ou puramente racional-instrumental, mas
sempre é condicionado pelos propósitos, pelas visões de mundo e pelos interesses
dos diversos atores da política.
Os exemplos desta seção esclarecem, portanto, certas características do
modelo moderado (variedade de evidências, papel do(s) ator(es) interessado(s)
como possíveis fontes de evidências, complexidade da estrutura decisória do
policymaker, interpenetração de condicionantes epistemológicos, políticos e
institucionais/organizacionais). Com isso, os casos também sugerem fortemen-
te o caráter parcial e incompleto da visão tradicional das PPBEs, marcada pela
priorização descontextualizada das evidências científicas, pelo caráter meramente
instrumental do uso das evidências e pela pressuposta objetividade e neutralidade
político-ideológica das evidências científicas.
Na literatura, vários autores, por exemplo, Oliver et al. (2014), queixam-se do
fato de que poucos estudos fornecem definições claras de evidência. Assim, seria
difícil descrever o papel desempenhado pela evidência e por outros fatores que
afetam as decisões de políticas públicas. Ora, esses autores parecem demandar
uma definição clara do que seja evidência como condição prévia para se descrever
o papel desempenhado pela evidência nas decisões em políticas públicas. Con-
tudo, a perspectiva adotada neste capítulo é diferente e, de certo modo, oposta:
define-se evidência a partir dos seus contextos de uso concretos e se estabelecem as
semelhanças de família entre os diversos tipos, fontes e usos dessas evidências. Em
outras palavras, este texto não tem como ponto de partida uma resposta pronta à
pergunta – à primeira vista tão óbvia e natural: “o que é evidência?”, mas se chega
a esta resposta após um processo de elucidação conceitual, em que tem lugar a
formulação de um modelo epistemológico, dito moderado. Neste, a análise do uso

contextualizado das evidências nas elucidações e decisões dos agentes no tocante
às políticas públicas desempenha um papel central.
O modelo epistemológico moderado, anteriormente referido, é aberto a um
razoável grau de racionalidade relativa à cognição e à ação política sobre os processos
sociais por meio de políticas públicas. Ademais, o mesmo modelo admite vários
tipos de evidências e de métodos, além de exigir uma atenção especial à diversi-
dade dos status epistemológicos das áreas do conhecimento relativas às políticas
públicas em apreço. Sem embargo, o caráter moderado do modelo se verifica não
só em sua abertura para a pluralidade, mas também em sua atenção aos limites do
conhecimento dos contextos de ação. Neste olhar aos limites epistemológicos das
evidências usadas em políticas públicas também repousa grande parte do caráter
crítico do modelo moderado.
O modo como as evidências são definidas e usadas é relativo ao modo como
se encara a natureza dos processos sociais e decisórios de políticas públicas. Esse
ponto de vista introduz um certo relativismo ao conceito de evidência, contrapondo-
-se à visão tradicional das PPBEs, que tende a absolutizar ou reificar o conceito
de evidências. Esse duplo relativismo, por sua vez, não pode ser adequadamente
compreendido sem uma moldura contextual, que englobe as decisões do agente.
A moldura contextual remete a um elemento pragmático – isto é, relativo ao uso
ou à ação – fundamental ao modelo moderado. Essa moldura delimita um pano
de fundo constituído por fatores de ordem epistemológica, política e institucional,
dentro da qual têm lugar as decisões do policymaker quanto ao uso das evidências.
Ou seja, usar ou não usar esta ou aquela evidência, bem como o peso que se dará,
por exemplo, às evidências científicas, dependerá da moldura contextual de decisão
do agente, na qual sempre estarão atuando, de forma latente ou explícita, os fatores
políticos, simbólicos e ideológicos.
Finalmente, a crítica à visão tradicional das PPBEs, desenvolvida neste capítulo
e baseada no modelo moderado, lança um alerta. A dita visão tradicional aumenta
o risco de que as PPBEs se transformem em um meio ideológico para as elites
políticas e/ou tecnocráticas imporem a sua perspectiva ao conjunto da sociedade,
acerca de quais são os problemas sociais relevantes e suas soluções. Fala-se aqui do
risco de perda de legitimidade das políticas públicas em um contexto democrático.
É provável que a visão tradicional das PPBEs, aqui criticada, eleve esse risco, pois
tende a reificar o conceito de evidência – sobretudo como um tipo de evidência
quantitativa – e a supervalorizar o uso de evidências científicas, de forma em geral
acrítica e descontextualizada.
REFERÊNCIAS
Science Communication, v. 26, n. 1, p. 75-106, Sept. 2004.
BAMBERGER, M. Enhancing the utilization of evaluations for evidence-based
policy-making. In: SEGONE, M. Bridging the gap: the role of monitoring and
evaluation in evidence-based policy making. New York: UNICEF, 2008. Disponível
em: <https://uni.cf/3hHiWSZ>.
CHERNEY, A. et al. Use of academic social research by public officials exploring
preferences and constraints that impact on research use. Evidence and Policy,
v. 11, n. 2, p. 169-88, 2015.
CLOETE, F. Evidence-based policy analysis in South Africa: critical assessment
of the emerging government-wide monitoring and evaluation system. Journal of
Public Administration, v. 44, n. 2, p. 293-311, June 2009.
DAVIES, P. Is evidence-based government possible? London: Jerry Lee Lecture,
2004.
ENAP – ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA. Capaci-
dades estatais para produção de políticas públicas: resultados do survey sobre
serviço civil no Brasil. Brasília: Enap, 2018.
FREIBERG, A.; CARSON, W. G. The limits to evidence-based policy: evidence,
emotion and criminal justice. The Australian Journal of Public Administration,
v. 69, n. 2, p. 152-164, 2010.
FURTADO, B. A.; SAKOWSKI, P. A. M.; TÓVOLLI, M. H. (Eds.). Modelagem
de sistemas complexos para políticas públicas. Brasília: Ipea, 2015.
HACKING, I. The looping effects of human kinds. In: SPERBER, D.; PREMA-
CK, D.; PREMACK. A. (Eds.). Causal cognition: a multidisciplinary debate.
Oxford: Clarendon Press, 1995.
______. The social construction of what? Cambridge: Harvard University Press,
1999.
HOWLETT, M. Policy analytical capacity: The supply and demand for policy
analysis in government. Policy and Society, v. 34, n. 3-4, p. 173-182, 2015. DOI:
10.1016/j.polsoc.2015.09.002
KOGA, N.; VIANA, R.; MARQUES, I. Usos e significados do Cadastro Único
para os programas sociais federais: fonte de evidências técnico-instrumentais ou
retratos técnico-político-sociais? Boletim de Análise Político-Institucional, Rio
de Janeiro, Ipea, n. 24, p. 69-77, 2020.
KUHN, T. A estrutura das revoluções científicas. 7. ed. São Paulo: Perspectiva,

2003.
York; London: Routledge-Taylor; Francis Group, 2006.
MARSTON, G.; WATTS, R. Tampering with evidence: a critical appraisal of
evidence-based policy-making. The Drawing Board: an australian review of
public affairs, v. 3, n. 3, p. 143-163, 2003.
MOSELEY, A.; TIERNEY, S. Evidence-based practice in the real world. Evidence
and Policy, v. 1, n. 1, p. 113-119, 2005.
MULGAN, G. Government, knowledge and the business of policymaking: the
potential and limits of evidence-based policy. Evidence and Policy, v. 1, n. 2,
p. 215-26, 2005.
NEUMANN, J. von; MORGENSTERN, O. Theory of games and economic
behavior. Princeton: Princeton University Press, 1944.
NILSSON, M. et al. The use and non-use of policy appraisal tools in public policy
making: an analysis of three European countries and the European Union. Policy
Sci, v. 41, n. 4, p. 335-355, 2008.
NUTLEY, S. Bridging the policy-research divide: reflections and lessons from
UK. Keynote paper presented at “Facing the Future: engaging stakeholders and
citizens in developing public policy”. In: NATIONAL INSTITUTE OF GO-
VERNANCE CONFERENCE, Canberra, Australia. Proceedings... Canberra,
Australia, 23-24 Apr. 2003.
OLIVEIRA, T. C.; MENKE, W. B. Auditores internos da Controladoria-Geral
da União: como atuam e que informações utilizam. Boletim de Análise Político-
-Institucional, Rio de Janeiro, Ipea, n. 24, p. 103-114, 2020.
OLIVER, K. et al. A systematic review of barriers to and facilitators of the use of
evidence by policymakers. BMC Health Services Research, v. 14, n. 2, 2014.
Disponível em: <https://bit.ly/3tKJ1Fi>.
OXMAN, A. et al. What is evidence-informed policymaking? Health Research
Policy and Systems, v. 7, n. 1, 2009. Disponível em: <https://bit.ly/2Xq0mrG>.
PARKHURST, J. The politics of evidence. London; New York: Routledge, 2017.
PINHEIRO, M. M. S. Políticas públicas baseadas em evidências (PPBEs):
delimitando o problema conceitual. Rio de Janeiro: Ipea, 2020a. (Texto para
Discussão, n. 2554).
______. Políticas públicas baseadas em evidências: uma avaliação crítica. Boletim

de Análise Político-Institucional, Rio de Janeiro, Ipea, n. 24, p. 17-27, 2020b.
PINHEIRO, M. M. S. et al. (Org.). Boletim de Análise Político-Institucional,
Rio de Janeiro, Ipea, n. 24, p. 17-27, 2020.
QUINE, W. O. Sobre o que há. In: RYLE, G. et al. Os pensadores: ensaios. São
Paulo: Abril Cultural, 1985. (Coleção Os pensadores).
SALTELLI, A.; GIAMPIETRO, M. What is wrong with evidence based policy,
and how can it be improved? Elsevier Futures, n. 91, p. 62-71, 2017.
SANDERSON, I. Evaluation, policy learning and evidence-based policy making.
Public Administration, Oxford, v. 80, n. 1, p. 1-22, 2002.
SANTOS, M. dos; SILVEIRA, B.; ROCHA, E. Cartão reforma: avaliação de po-
líticas públicas através de evidências. Boletim de Análise Político-Institucional,
Rio de Janeiro, Ipea, n. 24, p. 91-101, 2020.
SOARES, M. Ignorância e políticas públicas: a regulação de cannabis medici-
nal no Brasil. Boletim de Análise Político-Institucional, Rio de Janeiro, Ipea,
n. 24, p. 57-68, 2020.
SOLESBURY, W. Evidence based policy: whence it came and where it’s going.
London: ESRC UK Centre for Evidence Based Policy and Practice, Oct. 2001.
(Working Paper, n. 1).
STEVENS, A. Telling policy stories: an ethnographic study of the use of evidence
in policy-making in the UK. Journal of Social Policy, v. 40, n. 2, p. 23 -255,
Apr. 2011.
UNITED KINGDOM. Cabinet Office. Modernising government white paper.
London: Centre for Management and Policy Studies, 1999a.
______. Professional policy-making for the twenty-first century. London:
Centre for Management and Policy Studies, 1999b.
______. Better policy-making. London: Centre for Management and Policy
Studies, 2001.
UPSHUR, R.; KERKHOF, E. van den. Meaning and measurement: an inclusive
model of evidence in health care. Journal of Evaluation in Clinical Practice,
n. 7, 2, p. 91-96, 2001.
VIEIRA, F.; SERVO, L.; PIOLA, S. Uso de evidências científicas na avaliação da
incorporação de tecnologias em saúde no SUS: uma análise preliminar. Boletim
de Análise Político-Institucional, Rio de Janeiro, Ipea, n. 24, p. 49-56, 2020.
WEISS, C. H. Meanings of research utilization. Public Administration Review,

v. 39, n. 5, p. 426-443, Sept.-Oct., 1979.
YOUNG, K. et al. Social science and the evidence-based policy movement. Social
Policy and Society, v. 1, n. 3, p. 215-224, 2002.
CAPÍTULO 2
INTUITION, REASONING AND CAPACITY IN POLICYMAKING:

BUILDING A COGNITIVE MODEL OF KNOWLEDGE AND
EVIDENCE UTILISATION
Kidjie Saguin1
1 INTRODUCTION
The evidence-based policy (EBP) movement reinvigorated the demand for greater
instrumental rationality in the affairs of the government. It emerged within the
larger context of declining trust on governments and increasing availability of
research evidence (Davies and Nutley, 2000). The growing body of research evi-
dence on what works can be used to improve the effectiveness of policy initiatives
and measures that could ameliorate loss of public trust (Sanderson, 2002). EBP
sought to increase take up of these forms of evidence in order to “find the most
reliable, most objective, most relevant evidence available and make the most out
of it within practical constraints” (Bédard and Ouimet, 2016, p. 2). Evidence
utilisation has been reinforced to promote instrumental rationality as a hallmark
of a modern government. It represents the shedding of the vestiges of traditional,
affective irrationality in favour of instrumental rationality. But just as EBP derives
its legitimacy from its emphasis for objective analysis of scientific evidence, it is
also the reason for its failures as a movement to foster better policymaking.
Much of the criticism EBP received came from its almost singular concern
with scientific research evidence, making it largely ignorant of other factors that
policymakers consider during decision-making. Evidence of what works about
public policy grew as a result of the experimental turn in social sciences inspired
by medical science (Banerjee and Duflo, 2009). For instance, it gave rise to the
use of systematic reviews to appraise and synthesise evidence that exist in order
to simplify the search for evidence (Young et al., 2002). Randomised control tri-
als (RCTs) in development economics also became widespread and supported a
bias towards counterfactual analysis as the ‘golden standard’ in policy research.
However, RCTs are replete with practical problems that diminish their epistemic
claims of effectiveness (Deaton, 2009). Because of this tendency to equate evidence
with scientific research, the EBP movement neglected the fact that other forms
1. Assistant professor at the Political Science Department of the University of Amsterdam.

of evidence generated outside scientific research are also evaluated particularly in

policymaking (Cairney, 2016).
Despite some acknowledgement that factors other than evidence is considered
in policymaking, EBP’s modified version as being ‘evidence-informed’ still only
treats scientific research as the only valid form of ‘evidence’ of what works. It as-
sumes that policy problems can be truly understood and the most effective solution
can be identified through scientific research. More often, the causal model that
links the problem with the solution is contested and difficult to be known unless
policies have been implemented (Colebatch, 2006; Hisschemöller and Hoppe,
1995). Notwithstanding the pious hopes of EBP advocates, what emerged now
is “a concomitant crises of science, trust and of sustainability” that upended the
ability of EBP’s to drive rational problem solving (Saltelli and Giampietro, 2017,
p. 63). What is truly missing, at least according to Cairney (2016), is a nuanced
understanding of evidence as it relates to policy theory.
This chapter addresses this gap by following the admonition of behavioural
public administration about the missing micro-foundations of decision-mak-
ing (Grimmelikhuijsen et al., 2017; Sanders, Snijders and Hallsworth, 2018).
The chapter seeks to reignite the interest on the ‘psychology of policymaking’ by
examining the cognitive dimensions of evidence use (Cairney, 2016). In doing so,
it harps back at the fundamental discourse started by the likes of Herbert Simon
and Harold Lasswell at the birth of policy sciences about the role of scientific
evidence in an otherwise messy policy process by offering a model of evidence use
grounded on a simplified understanding of two important cognitive processes:
intuition and reasoning. It argues that the probability of using research evidence
depends on cognitive process activated. Reasoning is best suited to analyse scien-
tific evidence while intuition relies on one’s own tacit knowledge. This simplified
conception of the cognitive use of evidence is then related with policy capacity
in order to forward an understanding of how to improve integration of evidence
and knowledge in policymaking. The chapter concludes with some implication on
how to conduct further research on evidence and knowledge utilisation grounded
a better understanding of its cognitive dimensions.
2 RATIONALITY AND HUMAN COGNITION IN POLICYMAKING

The study of public policy has long been concerned with maximising the use of
human cognition to solve pressing societal problems. In envisioning the profes-
sional field of policy sciences, Harold Lasswell highlighted the importance of
possessing both the knowledge of and knowledge in the policy process to elicit
and give “effect to all the rationality of which individuals and groups are capable
at any given time” (Lasswell, 1970, p. 13). Modern governments are expected to
Intuition, Reasoning and Capacity in Policymaking: building a cognitive model of | 87
knowledge and evidence utilisation
introduce policies through a process where “the end, the means, and the secondary
results are all rationally taken into account and weighed” (Weber, 1968, p. 26).
A cadre of professional analysts motivated to find the best solutions for the most
pressing policy problems, particularly for developing countries, should be trained
and bestowed the knowledge of policy sciences (Lasswell, 1965). The policy sci-
ences was envisioned to be fundamentally concerned with fostering instrumental
rationality in how the government conducts its affairs (Dunn, 2019).
Such conception of a knowledge-driven problem-solving process set off a
debate about the extent to which the generation and deployment of knowledge
can truly lead to rational decisions. On one end, the Lasswellian notion of public
policymaking approaches problem-solving through a systematic way of putting
together governmental instrument to achieve certain goals (Dunn, 2018; Howlett,
2010; Linder and Peters, 1987). Following the traditions of policy analysis and
policy design, the fundamental concern is to drive instrumental rationality through
a careful generation and assessment of policy alternative and selection of the best
solution to address a well-defined policy problem (Howlett, Ramesh and Perl,
1995; Weimer and Vining, 2011). This techno-rational assessment of public policy
approaches it from a normative angle, that is, the identification of the best and
most effective instrument should be based on a systematic assessment of evidence
about each of the option’s ability to achieve the goal.
At the other end of the debate are scholars who argue for the almost impos-
sibility of achieving instrumental rationality. Rittel and Webber (1973) earlier
lamented about how rational ‘cognitive styles’ have proven to be insufficient in
truly understanding wicked social issues confronting government planners. Rec-
ognising the complexity of structuring problems, Herbert Simon developed the
notion of bounded rationality to better elaborate the cognitive processes involved
in problem solving and the constraints to fully processing information to make
rational decisions about ill-structured problems (Fernandes and Simon, 1999;
Simon, 1967; 1997). Because of limitations to time and resources, Lindblom
(1959) argued that most policy-makers are just muddling through in the assess-
ment of policy alternatives, resulting in policy choices that are only marginal to
the status quo. Such arguments identify the limits of human cognition to squarely
face the complicated and often conflict-laden environment as the main source of
sub-optimal policy outcomes.
This broader debate about the limits of human cognition for effective policy-
making is central to what the EBP movement is trying to change. Given bounded
rationality, evidence may exist but may be difficult to understand or too complex to
be used for decision-making. Tools such as meta-analysis and systematic reviews form
a key part of facilitating evidence use by a temporally and cognitively constrained
decision-maker (Young et al., 2002). While EBP emphasised the importance of

simplifying the highly evolving and increasingly complex evidentiary landscape of
policymaking, its view of human cognition is restricted to instrumental reasoning
as the idealised cognitive process. According to Dewey, “rationality is an affair
of the relation of means and consequences… Rationality as an abstract concep-
tion is precisely the generalised idea of the means-consequence relation as such”
(Dewey, 1938, p. 17). All forms of reasoning, at least according to this pragmatist
view of policymaking, are about finding the best means to a given end (Garrison,
1999). The abductive search for evidence and reason may enable the realisation
of such ends (Dunn, 2019). However, marshalling evidence and reason has been
narrowly defined as evidence derived from objective scientific research (Cairney,
2016). This is a form of what Parkhurst (2016) calls issue bias, where the focus on
technical concerns subordinated other relevant issues that may be more political
or operational in nature. EBP particularly finds individual practical wisdom as
problematic because individuals are constrained about what they know and are
subjected to emotions that may bias their decisions.
3 A COGNITIVE MODEL OF KNOWLEDGE USE

Further works on bounded rationality, particularly from cognitive psychology,
have made progress in better elaborating on why human cognition remained so
constrained in making decisions. The theory of human cognition that lies at the
heart of these scholarly works distinguishes the two systems of human cognition:
reasoning and intuition (Kahneman, 2003; Stanovich, 1999; Stanovich and West,
2000). Intuition or System 1 cognition is fast, automatic and associative. Intuition,
at least as it relates to decision-making, can be defined as “affectively charged judg-
ments that arise through rapid, nonconscious, and holistic association” (Dane and
Pratt, 2007, p. 40). It is associative as it links disparate elements and make sense of
patterns based on existing knowledge (Epstein, 2010; Kahneman, 2003). Intuitive
judgements, which are the observable outcomes of intuition, are important to make
quick and almost automatic decision that governs our behaviour in much of our
daily life (Bargh and Chartrand, 1999). System 1 processes generate unconscious
impressions of objects of perceptions and are often linked to biological impulses
derived from human evolution.
On the other hand, reasoning or System 2 operations are slow to generate
judgments that are deliberative and conscious. Rational decision-making models
are based on System 2 processes that are often conceived as the primary means of
developing ideas and analysing trade-offs (Kahneman, 2003). The dual systems
theory of human cognition suggests that the limitations to rationality earlier
noted can be linked to the tendency to make quick judgement through intuition.
Kahneman and Frederick (2002) argued that System 2 governs the judgments made
through intuition but it is often done rather poorly, inevitably making erroneous
judgments. Conditions within the policy environment such as limited informa-
tion, time and complex stimulants require quick decisions, making the activation
of the slower and deliberative reasoning very challenging.
Much of the models of government decision-making privileges reasoning
as the ideal cognitive process as it demands drawing from scientific knowledge.
While intuition is often triggered unconsciously, it also depends on some form of
knowledge. In his two-minds recasting of the dual systems theory, Evans (2010,
p. 316) posited that System 1 processes draw on experiential knowledge while Sys-
tem 2 processes require manipulation of “explicit representations through working
memory”. Both systems promote instrumental rationality – employing rational-
ity to achieve some goals – but they differ in the temporality of goals. Intuition
can generate effective judgments when personal experience and logic are used to
satisfy immediate concerns and achieve short-term goals with means found from
experience. Reasoning seeks to anticipate the future and involves the generation
and analysis of alternatives based on deliberate processing of information. Rea-
soning provides a wider latitude for the use of scientific knowledge because of its
inherent deliberative nature.
However, what EBP failed to recognise is the interdependence between system
1 and 2 processes in generating the observable outcome of cognition: judgments.
One could conceive intuition as a precursor to reasoning (Myers, 2004; Shapiro
and Spence, 1997). In fact, as Simon (1987) had earlier suggested, it is rare for
decision-makers to rely on one system alone and most of the time, good decisions
are based on a mix of intuition and rational processes. Accessibility, or the “ease
with which particular mental contents come to mind” (Kahneman, 2003, p. 452),
is central to understanding the relationships between intuition and reasoning.
As a default, intuition is easily accessible because the mind computes automatically
a representation set of the object observed. Kahneman (2003, p. 453) noted that
the “the acquisition of skill selectively increases the accessibility of useful responses
and of productive ways to organise information”. As such, the capacity to draw
in reasoning can be trained and different forms intuitive judgments that combine
intuition and reasoning can be made depending on the extent to which intuition
and reasoning are triggered. Even without system 2 endorsement, intuitive judg-
ments are made only with system 1. Intuitive judgments can also be temporarily
made but this could be adjusted by system 2 as information becomes available.
Deliberative judgements are made when system 1 processes are not accessible or
when system 2 corrects a wrong judgment by system 1. In this interactive cognitive
model of decision-making, both scientific and experiential knowledge are used to
make the best judgments given environmental constraints.
4 EVIDENCE AS POLICY KNOWLEDGE

The dual-process theory of human cognition discussed above is largely consistent
with the notion of ‘evidence-informed policy’. Research on EBP is traditionally
approached from two camps: two communities theory and the non-instrumental
use of research (Oliver, Lorenc and Innvær, 2014). In the two communities theory,
the separate professional development of academics and policymakers set them
apart and encourage divergent views about what evidence should be and can be
used for policymaking (Caplan, 1979). Carol Weiss’s (1979) typology of research
utilisation suggests research’s different role in decision-making beyond its canonical
instrumental use. These two theories are important in the discussions about the
paradox of knowledge utilisation where the widespread availability of knowledge
does seem to not guarantee their utilisation. Many contemporary work on EBP
holds the assumption that a policy driven largely by scientific knowledge is supe-
rior which contradicts Weiss’ (1979) argument that evidence that are used more
indirectly, as in the case of the enlightenment model, could offer more effective
solutions. The interaction between bureaucratic expertise and scientific knowledge
once again become central in the explanation of (the lack of) knowledge utilisation.
The thinking that intuition, particularly expert intuition, can be used alongside
scientific knowledge to make the most effective decisions underlies this largely in-
direct view of knowledge use. Within evidence-based medicine, clinical expertise or
‘knowledge in practice’, scientific evidence and patient’s expectations and preferences
constitute the core elements that must be integrated into everyday practice (Gabbay
and Le May, 2004; Rycroft‐Malone et al., 2004). In the same way doctors use their
own professional knowledge to make judgments, policymakers can rely on the wealth
of managerial and policy experience to overcome the challenges posed by the hectic
and messy context of managerial work that demands them to make decisions on the
fly (Mintzberg, 1971). Their busy schedules make public managers, as in the case
of many Brazilian middle managers, unable to truly collect and process scientific
evidence, which pressures them to rely on their own managerial know-how to make
decisions (Saguin and Palotti, 2020). Thus, as Schön (1984) had earlier argued, tacit
knowledge is a critical element of being a professional and should form part of the
development of a ‘public service profession’ (Perry, 2018). The inherent uncertainty
and ambiguity in public policymaking requires policy professionals to possess “some
form of expertise that the community defers to” (Rourke, 1979, p. 541).
Although EBP recognises this interaction between intuition and reasoning
through the interaction of expertise and scientific research, much of the EBP lit-
erature conflate knowledge and evidence. EBP considers evidence only as empiri-
cal evidence or “evidence claims [that] report facts about the world” (Cartwright
and Hardie, 2012, p. 7). But factual representation of the world goes beyond
mere results of scientific studies. As Cartwright and Hardie (2012) added further,
evidence includes causal stories and supporting factors to build a convincing argu-
ment about how a policy can work as intended. This is partially the reason for the
conceptual confusion evidence in the EBP context as a causal argument is a form
a specific of policy knowledge. Policy knowledge is broadly defined as “the body
of human knowledge available to assist policy makers in their understanding of
the causes and consequences of the outputs of government and the subsequent
society impact” (Webber, 1991, p. 11). Policy knowledge and empirical evidence
becomes inextricably linked with reasoning because such a cognitive processes
allows for associative elements that policymaking demands. One needs to make
the connections between specific governmental action with societal outcomes that
may not exactly be intuitive. Knowledge from scientific research and professional
experience are crucial sources of information about past performance of similar
actions and how it may materialise in the future for other similar endeavours.
EBP’s conflation of evidence and knowledge dismisses the critiques received
by the techno-rational approach to policy analysis, particularly from democratic
theorists. These scholars have long lamented the tendency of reliance on scientific
knowledge to undermine democratic values (Dryzek, 1989; Jenkins-Smith, 1988).
Solutions identified by evidence as the best may not necessarily be legitimate and
effective given the prevailing policy context. Second-best solutions may be more
appropriate in solving vexing societal problems when citizens were engaged in the
analysis. This process folds in the concerns for instrumental rationality along with
democratic rationality that addresses underlying issues of political legitimacy of many
modern governments. The role of policy analysts or those traditionally perceived to
be responsible for marshalling policy evidence should take the form of ‘interpretive
mediator’ of knowledge and practical considerations on the ground (Fischer, 1993).
This goes against the exhortation of Lasswell (1965) for policy scientists to possess
professional knowledge of and knowledge for policy process because, as many of
these scholars argued, ineffective policies emerge because of the widening gap in the
preferences between the bureaucratic experts and the citizens who are the supposed
beneficiaries of the policy. DeLeon (1992, p. 127) suggests for the policy analysts
to “devise and actively practice ways”, such as policy polling and public hearing,
“to recruit and include citizen’s personal views into the policy formulation process”.
The participatory turn in public policy challenged expert knowledge’s claim
to epistemic superiority. Governments, particularly from developing countries,
actively collect information from other political actors thought to be crucial in
the design and implementation of policies (Saguin, Ramesh and Howlett, 2018).
Participatory processes can be used to improve not only the technical components
(or the causal theory) of the policy but also the value judgments by the participants
(Stewart, Dennis and Ely, 1984). Citizen-derived valuation of policies can also
enhance substantive elements of policy as well as improve its qualitative features
(Walters, Aydelotte and Miller, 2000). Participation and deliberation can generate
democratic rationality by generating a broad-based understanding of knowledge not
just among individuals who are involved in the process but also in terms of collective
judgments. Embedding citizens into government decision-making acknowledges
the potential of citizens to “contribute policy-relevant information, learn to judge
the results of technical analysis, and engage in debate about what to do” (Stivers,
2010, p. 256). Democratic knowledge, as Sadiki (2015, p. 706) emphasised, blurs
the distinction between “intuitive/spiritual, intellectual and practical know-how”
and favours “a holistic approach”. Participatory processes have thus given rise to a
different form of knowledge that must be incorporated in decision-making. Public
knowledge or policy knowledge derived from public deliberative processes between
actors can be seen as an alternative form of evidence that can be used in policymaking.
Such distinction between scientific, expert/experiential and democratic
knowledge is consistent with the Aristotelian categories of knowledge. In Flyvb-
jerg’s (2001) elaboration of these knowledge types, distinction is made between
episteme (science), techne (art) and phronesis (practical wisdom). Epistemic
knowledge follows the ontology of natural sciences and “concerns universals and
the production of knowledge which is invariable in time and space, and which
is achieved with the aid of analytical rationality” (Flyvbjerg, 2001, p. 54-55).
Policy knowledge that is epistemic holds claim about causal linkages between an
action and a consequence. For instance, it is widely accepted that requiring seat
belts would significantly reduce deaths from road accidents. Technical knowledge
refers to the knowledge gained from the practice of the art and craft of policy
work. As it is gained from actual professional expertise, it can also be referred to
as tacit knowledge, which Thompson (2003, p. 121) describes as the knowledge
“which cannot be explicitly codified but which rests very much in implicit per-
sonal or institutional practices often associated with craft like skills, awareness of
reputations, hands on techniques, etc”. Lastly, phronetic knowledge is a “sense
of the ethically practical rather than a kind of science” (Flyvbjerg, 2001, p. 57).
Phronetic knowledge is akin to Lindblom and Cohen’s ordinary knowledge that
is based on “common sense, casual empiricism, or thoughtful speculation and
analysis” (Lindblom and Cohen, 1979, p. 12). As Tenbensel (2006) would argue,
“phronetic knowledge claims…[involves] problem definition” and is about strategic
decision (where are we going?) and normative action (what should be done?). It is
fundamentally about “what stakeholders are supposed to bring to…governance”
by drawing on their own experiences and practical knowledge (Linke and Jentoft,
2014, p. 155). Ultimately, Flyvberg suggested that phronetic knowledge is the
most important in policymaking as it is most sensitive to context and local power
relations, although integration of the knowledge triad remains key in finding the
second-best policy designs. This integration of scientific evidence with framing and
persuasion can address uncertainty (lack of information) and ambiguity (unclear
preference), potentially ensuring the effectiveness of the chosen policy solution

(Cairney, Oliver and Wellstead, 2016).
As box 1 would show, each of these types of knowledge can be linked with
a specific causal claim and type of evidence. Evidence is fundamentally a form
of policy knowledge that is useful in breaking down the policy problem and ap-
praising the costs and benefits of the solutions; but it is equally vital in reigning
in theoretical and conceptual perspectives of social science into policymaking
(Larsen, 1980). From a knowledge perspective, evidence that can be marshalled
into policymaking will depend largely on the type of policy knowledge involved
(Tenbensel, 2006). If the decision-making is based largely on epistemic knowl-
edge, scientific evidence will most likely be used through backward reasoning.
A hypothesis is made about a certain causal claim and this is tested through observa-
tions. Expert intuition forms only a minimal part but is used to approximate the
validity of the evidence. Decision-making that depends largely on tacit knowledge
would require evidence derived from professional experience and expertise. It has
been found that the largely unarticulated form of knowledge is crucial in navigating
through the complex web of bureaucratic layers in pushing for genuine administra-
tive reforms in China (Chan and Chow, 2007). Although experience is a necessary
condition for gaining expertise, it is not a sufficient condition to say whether one
has expert evidence that can be used. Tacit knowledge can be rational when it adopts
forward, inductive reasoning that generalises from a case to a known established
hypothesis. Lastly, phronetic knowledge can be derived from lay evidence through
public engagement. It pertains to the ‘grass-roots’, vernacular knowledge that is
often seen as the antithetical to expert knowledge. But phronetic knowledge can also
be rational through conditional reasoning (if p then q). Given the affective nature
of phronesis, knowledge derived from public engagement requires evidence that
allows generalisation of a policymakers conditional probability strategies (Oaksford
and Chater, 2003).
BOX 1
Types of policy knowledge
Type of policy Characteristic of
Type of evidence Reasoning strategies Role of expert intuition
knowledge knowledge claim
Scientific or research Approximation of kno-
Epistemic (episteme) Universalistic, causal Backward reasoning
evidence wledge
Technical, occupation- Forward reasoning

Tacit (techne) Professional expertise Holistic, associative
-specific
Context-dependent,
Phronetic (phro-
practical wisdom, Lay evidence Conditional reasoning Affective
nesis)
problem definition
Source: Tenbensel (2006).
Author’s elaboration.
5 KNOWLEDGE UTILISATION MODELS AND POLICY CAPACITY

The different forms of knowledge considered by the policymaker point to a mul-
titude of purposes beyond the instrumental use of knowledge that the rationalist
tradition of public policy suggests. Caplan (1979) earlier cited the instrumental use
of knowledge tend to be applied to micro-level problems that pertain to run-of-
the-mill, routine policy problems while conceptual uses of policy knowledge apply
to macro-level problems that require empirically-grounded substantive solutions.
The diversity of knowledge uses is a core aspect of policy learning and advocacy
coalitions as it sets the stage not only for technical analysis but also for political
debates about the problem and the solution (Sabatier, 1987; 1988). The vibrancy
of the political debates can also foster the symbolic use of knowledge, which can
be classified either as legitimation or substantiation (Boswell, 2008). Legitimation
function pertains to boosting the credibility of the claims made about the assess-
ment of the scope and scale of the problem, criteria used in appraisal and solutions
proposed (Boswell, 2009). The use of knowledge this way is perceived to be more
transparent because it makes known the basis of every decisions made (Hertin
et al., 2009). Knowledge can also be used to substantiate positions and preferences
not only of the client but also of experts themselves. However, it remains unclear
when policymakers actually require these types of knowledge. This has motivated
scholars to posit the paradox of non-utilisation of knowledge, that is, despite the
availability of various sources of knowledge, policymakers do not use them.
Carol Weiss (1979) suggested that the differential use of research evi-
dence points to a variety of interaction between basic research and public policy.
The knowledge-driven model, generally found in the physical sciences, occurs
when basic research is directly applied in public policies. It assumes that epistemic
knowledge will solely determine the action to be taken. The problem-solving model
suggests an evidence-seeking behaviour meant to determine the best solutions
to a given issue that warrants government attention. This is what the pragmatic
approach to policy sciences advocates in terms of instrumental rationality. The
interactive model is characterised by a “disorderly set of interconnections and
back-and-forthness that defies neat diagrams” (Weiss, 1979, p. 428). A host of
different actors are consulted and used as sources of knowledge beside researches
because of the absence of convergent evidence. The political model is about the
use of research evidence to support a pre-conceived belief and interest in order to
“neutralise opponents, convince waverers and bolster supporters” (Weiss, 1979,
p. 429). It is the most pejorative use of scientific evidence that is often widely
available and subjected to different interpretations. The tactical model is not
concerned with the substantive elements of the research findings. Knowledge here
is not used to influence policymaking but, in some ways, to legitimise action or
inaction through the conduct of research. The enlightenment model brings social
science research orientation at the heart of government affairs. Under this model,
Weiss (1979, p. 430) argued that the research “sensitises decision-makers to new
issues and helps turn what were non-problems into problems”. Arguably, Weiss
favoured the enlightenment model because “without any special effort, truth will
triumph” because research diffuses without obstruction in the government.
From a cognitive angle, these models can be conceived as schema or cogni-
tive structure. A schema is “a cognitive structure that represents knowledge about
a concept or type of stimulus, including its attributes and the relations among
those attributes” (Fiske and Taylor, 1991). Individuals hold their own pre-existing
schemas that allow them to relate to organisations and other individuals differ-
ently (Larson, 1994). Herbert Simon (1958) treated decision-making as schema to
better understand how government conducts its business. The models that Weiss
identified are essentially influenced by one’s own schema because it is a theory or a
preconception of the world (Fiske, 1994). Schemas “help the individual to construct
meaning out of the environment” (Larson, 1994, p. 22) as well as guide one’s reac-
tion to events, and thus pay particular focus on the relationship between intuition
and reasoning and as this relationship interfaces with evidence. As Fiske (1994,
p. 166) had argued, “the normal, default option is to go with the schema, the cat-
egory, the preconception, the theory”. Utilisation of data or scientific knowledge
through reasoning would thus require awareness of the ‘diagnosticity of the data’ and
one’s motivation for data-driven, piecemeal processes, Fiske (1994, p. 166) added.
The schemas will differ across domains depending on the policy functions
needed to be performed. These functions, as Wu, Ramesh and Howlett (2015)
suggested in their discussion about policy capacity, refer to managerial, political/
relational and analytical functions that are expected of a modern government (Saguin
and Ramesh, 2020). At the level of organisation, these functions are consistent
with organisational processes that correspond to specific behavioural aspects of
administration which are information processing, affective bonding and action
generation (Beyer and Trice, 1982). Depending on the configuration of functions
of the sector and the salience of each organisation processes, the schema would
represent the ability of the policymaker to access intuition and reasoning as the
circumstance would allow.
Two types of schemas are identified by Dane and Pratt (2007) that relate
specifically to decision-making: heuristic schema and expert schema. A cognitive
structure that often privileges heuristics or mental shortcuts tend to rely more on
intuition or theory-driven thinking. Heuristics simplify complex concepts into its
constituent elements based on critical, rather than comprehensive, information
(Tversky and Kahneman, 1974). Expert schema, on the other hand, brings in
expertise as the ability to match patterns based previously encoded data, triggered
by an external stimuli (Chase and Simon, 1973; Simon, 1996). The likelihood of
these schemas to be accessed depend on one’s domain, training and capacity as
well as external stimulus. In other words, the dominant schema for evidence use
will be different across policy sectors and across organisational types (Head, 2016).
As Dane and Pratt (2007) further elaborated, macro-variables can determine
what kind of decision-making schema an individual can take, which in turn
will affect the type of evidence that will be used and its effectiveness (figure 1).
A policymaker’s schema will intermediate the relationship between these variables
with evidence and knowledge use. Schema as a pre-existing cognitive construct is
shaped by a set of individual, organisational and environmental factors that can
be collectively understood as policy capacity. Policy capacity refers to the necessary
skills and resources to perform policy function that exists at the individual, organ-
isational and systemic levels (Wu, Ramesh and Howlett, 2015). Policy capacity can
be viewed both as stock that exists at each level and a flow that influences the stock
of other levels (Saguin, Tan and Goyal, 2018). One’s schema would determine the
nature of evidence and knowledge use as a reaction to a stimuli and is contingent
upon one’s policy capacities.
FIGURE 1
Relationship between policy capacity and utilisation of evidence
Task characteristics
Intellective vs
judgmental task
Professional practice Individual Policy

•Duration Capacity
Utilisation of evidence
Learning structure Organisational Domain-specific schemas •Type of evidence
• Availability of evidence Policy Capacity • Heuristic vs expert •Effectiveness of
evidence use
Environmental factors
•Uncertainty Systemic Policy
•Complexity Capacity
•Conflict
Author’s elaboration.
Some stimuli that are external to policy capacity such as new mandates,
policy changes, demographic shifts can characterise task characteristics. A stimulus,
that can be envisioned as largely exogenous to the decision to be made, can pose
different degrees of structuring of a problem. As earlier discussed, policymaking
often involves determining which evidence can be used to solve wicked or ill-
structured problems but there are government agencies that are concerned with
tame or structured problems. For such kind of problems, the task of evidence use
is supposed to be intellective that requires “definite objective criterion of success
within the definitions, rules, operations, and relationships of a particular con-
ceptual system” (Laughlin, 1980, p. 128). On the other hand, wicked problems
would involve judgmental tasks that are inherently “political, ethical, aesthetic,
or behavioural” in nature “for which there is no objective criterion or demon-
strable solution” (idem, ibidem). The cognitive nature of evidence use may differ
according to the nature of tasks that permeates a certain sector or organisation.
Judgmental tasks related to complex problems would require more intuition and
thus will be characterised by greater use of professional expertise and lay evidence
than scientific research. Intellective tasks related to tame problem would entail
greater use of reasoning and thus will usually require epistemic knowledge.
The earlier discussion about expertise points to the importance of professional
practice and its duration (or individual policy capacity) in determining what form
of evidence will be used. Expert intuition can be effective once a significant amount
(usually ten years) of problem-solving experience is accumulated by a policy workers
(Chase and Simon, 1973; Khatri and Ng, 2000). Holding other things constant,
experienced public managers that hold generalist expertise will most likely rely
on tacit knowledge and use past professional experience as evidence (Howlett and
Wellstead, 2011). Individuals with domain knowledge and appreciation of what
evidence should be evaluated like doctors or lawyers have higher levels of policy
analytical capacity and will most likely use scientific evidence. Policy workers
whose function require higher levels of political capacity will most likely rely on lay
evidence, particularly as most of their tasks would be characterised as judgmental.
A learning structure or an environment that fosters feedback and reflexivity is
largely a function of organisational capacity. Organisational policy capacity refers
to “all assets, capabilities, organisational firm attributes, information, knowledge”
(Barney, 1991, p. 101; Daft, 1983) that can be used to foster better use of evidence.
If scientific evidence is available and organisational commitment exists to ensure
that only scientific evidence is used, most likely scientific evidence will be used
more than tacit or lay evidence. This is the case for high levels of organisational
analytical capacity. When an organisation requires managerial expertise of their
policy workers, tacit knowledge from managers will be predominantly used. Lastly,
politically oriented organisations would most likely use ordinary knowledge as it
tends to build on public engagement and political management for its legitimacy.
Abstract environmental factors such as complexity, conflict and uncertainty
feed into the likelihood of the problem being unstructured. However, the existence
of systemic level interventions can reduce uncertainty and complexity. For Chris-
topher Hood, systemic policy capacity is fundamentally about authority or the
“possession of legal or official power” (Hood, 1983, p. 201). But such power can
be used to control, exhort and even suggest evidence use. Systemic policy capacity
roughly pertains to the existence of an enabling environment that allows for the
differentiated use of evidence according to context and case. For example, as it
relates to health policy, centralised political systems have less space for pluralised
discussion through evidence discourse and rely more on professional expertise
(Klein, 1990). The absence of independent source of research evidence like think
tanks or universities can also encourage governments to use evidence more symboli-
cally or rely on ordinary knowledge in order to make decisions (Liverani, Hawkins
and Parkhurst, 2013). The existence of a competitive and diversified marketplace
of ideas can truly bolster the supply (and in turn, demand) of available scientific
evidence (Anderson, 1996; Boston, 1994; Tiernan, 2011). These systemic level
interventions suggest greater policy capacity to perform system-level functions
that shapes how and what kind of evidence will be used.
The relationships highlighted in figure 1 only provides an indicative direc-
tionality in the complex interdependencies between the different levels of policy
capacity, schema and evidence use. Evidence use and its effectiveness in policymak-
ing is triggered by certain exogenous task requirements that may be intellective
or judgmental. Task characteristics determine the intensity of the cognitive tasks
required but do not purely determine the nature of evidence use. One’s decision-
making schema would determine the cognitive processes that will be triggered and
the ability to perform a certain tasks will be based on the set of policy capacity that
exists. Evidence use is thus not just a function of individual-level characteristics
but macro-variables shape the likelihood of evidence that can be used in terms of
the cognitive process that will be triggered. Such relationships would be difficult
to predict as concrete hypothesis but it could be expected that they will drive the
difference across policy domains, organisations and even individuals in the use
of evidence.
6 CONCLUDING REMARKS
This chapter sought to provide a cognitive approach to understanding the paradox
of knowledge utilisation and the crises that beset the EBP movement. It argues
that research on the subject should be motivated in understanding why certain
knowledge are used, by whom and it what context. It draws on the recent litera-
ture on policy sciences and behavioural public policy to suggest factors that shape
knowledge utilisation from the perspective of policy capacity (Wu, Ramesh and
Howlett, 2015). More specifically, in order to understand the cognitive nature of
evidence research must examine individual factors that may affect the likelihood of
a policymaker to use what type of evidence (micro-level), organisational dimensions
that shape how the demand and supply of policy knowledge interact (meso-level)
and the characteristics of the policy advisory system that determines the ‘supply’
of policy knowledge (macro-level). These levels of policy capacity militate the
accessibility of intuition and reasoning, which determines the nature of evidence
that will be used in particular policy sector or organisation.
In bringing together the literature on policy capacity and cognitive science,
the chapter hopes to guide future research on evidence use in three ways. First,
future research must examine the interaction of the different evidence and how
the conflicting ontological origins of each evidence are grappled with and resolved
by policy workers. The idea of knowledge integration is seen to be the most ideal
type of research-policy interface as suggested various scholars like Weiss, Boston
and Flyvberg. Second, the relationship between cognitive processes of intuition
and reasoning with the use of evidence must be understood more systematically.
Survey research can inform the different factors that influence the use of evidence by
policy-makers but experimental methods can potentially unlock micro-perspective
of individual behaviour, attitudes and cognitive process that link evidence use with
policy environment (James, Jilke and van Ryzin, 2017). Lastly, the propositions
identified briefly in this chapter must be tested to identify whether capacity can
shape the likelihood of using research evidence vis-à-vis other forms of evidence.
Attention must be given to the degree to which individual, organisational and
systemic capacities exist to perform managerial, analytical and political functions
(Mukherjee and Bali, 2019; Ramesh, Howlett and Saguin, 2016; Ramesh et al.,
2016). Whether or not the capacity for utilisation of different forms of evidence
or the ability to access reasoning can truly be developed should also be a matter
of future research. The cognitive approaches to public policy and administration
possess a promising space in locating the role of evidence (in whatever form) within
the messy world of policymaking. It is incumbent upon for future research to
examine systematically whether there is truly a merit to reinvigorating the desire
to better understand human cognition in policy research.
REFERENCES
ANDERSON, G. The new focus on the policy capacity of the federal government.
Canadian Public Administration, v. 39, n. 4, p. 469-488, 1996. Retrieved from:
<https://bit.ly/2Zc18sO>.
BANERJEE, A. V.; DUFLO, E. The experimental approach to development eco-
nomics. Annual Review of Economics, v. 1, n. 1, p. 151-178, 2009.
BARGH, J. A.; CHARTRAND, T. L. The unbearable automaticity of being.
American Psychologist, v. 54, n. 7, p. 462-479, 1999.
BARNEY, J. Firm resources and sustained competitive advantage. Journal of

Management, v. 17, n. 1, p. 99-120, 1991.
BÉDARD, P.-O.; OUIMET, M. Persistent misunderstandings about evidence-
based (sorry: informed!) policy-making. Archives of Public Health, v. 74, n. 31,
p. 1-6, 2016. Retrieved from: <https://bit.ly/2ZlRjbV>.
BEYER, J. M.; TRICE, H. M. The utilization process: a conceptual framework
and synthesis of empirical findings. Administrative Science Quarterly, v. 27,
n. 4, p. 591-622, 1982.
BOSTON, J. Purchasing policy advice: the limits to contracting out. Governance,
v. 7, n. 1, p. 1-30, 1994.
BOSWELL, C. The political functions of expert knowledge: knowledge and le-
gitimation in European Union immigration policy. Journal of European Public
Policy, v. 15, n. 4, p. 471-488, 2008.
______. Knowledge, legitimation and the politics of risk: the functions of research
in public debates on migration. Political Studies, v. 57, n. 1, p. 165-186, 2009.
CAIRNEY, P. The politics of evidence-based policy making. London: Palgrave
Macmillan, 2016.
CAIRNEY, P.; OLIVER, K.; WELLSTEAD, A. To bridge the divide between evi-
dence and policy: reduce ambiguity as much as uncertainty. Public Administration
Review, v. 76, n. 3, p. 399-402, 2016. Retrieved from: <https://bit.ly/3CjjDtG>.
Behavioral Scientist, v. 22, n. 3, p. 459-470, 1979.
CARTWRIGHT, N.; HARDIE, J. Evidence-based policy: a practical guide to
doing it better. New York: Oxford University Press, 2012.
CHAN, H. S.; CHOW, K. W. Public management policy and practice in west-
ern China: metapolicy, tacit knowledge, and implications for management in-
novation transfer. The American Review of Public Administration, v. 37, n. 4,
p. 479-498, 2007.
CHASE, W. G.; SIMON, H. A. Perception in chess. Cognitive Psychology,
v. 4, n. 1, p. 55-81, 1973.
COLEBATCH, H. K. What work makes policy? Policy Sciences, v. 39, n. 4,
p. 309-321, 2006.
DAFT, R. L. Organizational theory and design. New York: West, 1983.
DANE, E.; PRATT, M. G. Exploring intuition and its role in managerial decision
making. Academy of Management Review, v. 32, n. 1, p. 33-54, 2007.
DAVIES, H. T.; NUTLEY, S. M. What works? Evidence-based policy and practice

in public services. Bristol: Policy Press, 2000.
DEATON, A. S. Instruments of development: randomization in the tropics,
and the search for the elusive keys to economic development. Cambridge: NBER,
2009. (Working Paper, n. 14690).
DELEON, P. The democratization of the policy sciences. Public Administration
Review, v. 52, n. 2, p. 125-129, 1992.
DEWEY, J. Experience and education. New York: Kappa Delta Pi, 1938.
DRYZEK, J. S. Policy sciences of democracy. Polity, v. 22, n. 1, p. 97-118, 1989.
DUNN, W. N. Harold Lasswell and the study of public policy. [S.l.]: Oxford
Research Encyclopedia of Politics, 2018.
______. Pragmatism and the origins of the policy sciences: rediscovering
Lasswell and the Chicago School. Cambridge: Cambridge University Press, 2019.
EPSTEIN, S. Demystifying intuition: what it is, what it does, and how it does it.
Psychological Inquiry, v. 21, n. 4, p. 295-312, 2010.
EVANS, J. S. B. Intuition and reasoning: a dual-process perspective. Psychological
Inquiry, v. 21, n. 4, p. 313-326, 2010.
FERNANDES, R.; SIMON, H. A. A study of how individuals solve complex and
ill-structured problems. Policy Sciences, v. 32, n. 3, p. 225-245, 1999.
FISCHER, F. Citizen participation and the democratization of policy expertise:
from theoretical inquiry to practical cases. Policy Sciences, v. 26, n. 3, p. 165-
187, 1993.
FISKE, S. T. Social cognition. In: TESSER, A. (Ed.). Advanced social psychol-
ogy. New York: McGraw-Hill, 1994. p. 149-193.
FISKE, S. T.; TAYLOR, S. E. Social cognition. New York: McGraw-Hill, 1991.
FLYVBJERG, B. Making social science matter: why social inquiry fails and how
it can succeed again. Cambridge: Cambridge University Press, 2001.
GABBAY, J.; LE MAY, A. Evidence based guidelines or collectively constructed
“mindlines”? Ethnographic study of knowledge management in primary care.
BMJ, v. 329, n. 7473, p. 1013, 2004.
GARRISON, J. John Dewey’s theory of practical reasoning. Educational Phi-
losophy and Theory, v. 31, n. 3, p. 291-312, 1999.
GRIMMELIKHUIJSEN, S. et al. Behavioral public administration: combining

insights from public administration and psychology. Public Administration
Review, v. 77, n. 1, p. 45-56, 2017.
HEAD, B. W. Toward more “evidence‐informed” policy making? Public Admin-
istration Review, v. 76, n. 3, p. 472-484, 2016.
HERTIN, J. et al. Rationalising the policy mess? Ex ante policy assessment and
the utilisation of knowledge in the policy process. Environment and Planning
A, v. 41, n. 5, p. 1185-1200, 2009.
HISSCHEMÖLLER, M.; HOPPE, R. Coping with intractable controversies: the
case for problem structuring in policy design and analysis. Knowledge, Technol-
ogy and Policy, v. 8, n. 4, p. 40-60, 1995.
HOOD, C. Using bureaucracy sparingly. Public Administration, v. 61, n. 2,
p. 197-208, 1983.
HOWLETT, M. Designing public policies: principles and instruments. New
York: Routledge, 2010.
HOWLETT, M.; RAMESH, M.; PERL, A. Studying public policy: policy cycles
and policy subsystems. Toronto: Oxford University Press, 1995.
HOWLETT, M.; WELLSTEAD, A. M. Policy analysts in the bureaucracy revisited:
the nature of professional policy work in contemporary government. Politics and
Policy, v. 39, n. 4, p. 613-633, 2011.
JAMES, O.; JILKE, S. R.; VAN RYZIN, G. G. Behavioural and experimental
public administration: emerging contributions and new directions. Public Ad-
ministration, v. 95, n. 4, p. 865-873, 2017.
JENKINS-SMITH, H. C. Analytical debates and policy learning: analysis and
change in the federal bureaucracy. Policy Sciences, v. 21, n. 2, p. 169-211, 1988.
KAHNEMAN, D. A perspective on judgment and choice: mapping bounded
rationality. American Psychologist, v. 58, n. 9, p. 697-720, 2003.
KAHNEMAN, D.; FREDERICK, S. Representativeness revisited: attribute substi-
tution in intuitive judgment. In: GILOVICH, T.; GRIFFIN, D.; KAHNEMAN,
D. (Ed.). Heuristics and biases: the psychology of intuitive judgment. Cambridge:
Cambridge University Press, 2002. p. 49-81.
KHATRI, N.; NG, H. A. The role of intuition in strategic decision making.
Human Relations, v. 53, n. 1, p. 57-86, 2000.
KLEIN, R. Research, policy, and the National Health Service. Journal of Health
Politics, Policy and Law, v. 15, n. 3, p. 501-523, 1990.
LARSEN, J. K. Knowledge utilization: what is it? Knowledge, Creation, Diffu-

sion, Utilization, v. 1, n. 3, p. 421-442, 1980.
LARSON, D. W. The role of belief systems and schemas in foreign policy decision-
making. Political Psychology, v. 15, n. 1, p. 17-33, 1994.
LASSWELL, H. D. The policy sciences of development. World Politics, v. 17,
n. 2, p. 286-309, 1965.
______. The emerging conception of the policy sciences. Policy Sciences, v. 1,
n. 1, p. 3-14, 1970.
LAUGHLIN, P. R. Social combination processes of cooperative, problem-solving
groups on verbal intellective tasks. In: FISHBEIN, M. (Ed.). Progress in social
psychology. London: Psychology Press, 1980. v. 1. p. 127-155.
LINDBLOM, C. E. The science of muddling through. Public Administration
Review, v. 19, n. 2, p. 79-88, 1959.
LINDBLOM, C. E.; COHEN, D. K. Usable knowledge: social science and social
problem solving. New Haven: Yale University Press, 1979.
LINDER, S. H.; PETERS, B. G. A design perspective on policy implementation:
the fallacies of misplaced prescription. Review of Policy Research, v. 6, n. 3,
p. 459-475, 1987.
LINKE, S.; JENTOFT, S. Exploring the phronetic dimension of stakeholders’
knowledge in EU fisheries governance. Marine Policy, v. 47, p. 153-161, 2014.
LIVERANI, M.; HAWKINS, B.; PARKHURST, J. O. Political and institutional
influences on the use of evidence in public health policy: a systematic review. PloS
One, v. 8, n. 10, p e77404, 2013.
MINTZBERG, H. Managerial work: analysis from observation. Management
Science, v. 18, n. 2, p. B97-B110, 1971.
MUKHERJEE, I.; BALI, A. S. Policy effectiveness and capacity: two sides of the
design coin. Policy Design and Practice, v. 2, n. 2, p. 103-114, 2019.
MYERS, D. G. Intuition: its powers and perils. New Haven; London: Yale Uni-
versity Press, 2004.
OAKSFORD, M.; CHATER, N. Conditional probability and the cognitive sci-
ence of conditional reasoning. Mind and Language, v. 18, n. 4, p. 359-379, 2003.
OLIVER, K.; LORENC, T.; INNVÆR, S. New directions in evidence-based
Systems, v. 12, n. 1, p. 1-11, 2014.
PARKHURST, J. O. Appeals to evidence for the resolution of wicked problems:

the origins and mechanisms of evidentiary bias. Policy Sciences, v. 49, n. 4,
p. 373-393, 2016.
PERRY, J. L. The 2017 John Gaus award lecture: what if we took professionalism
seriously? PS: Political Science and Politics, v. 51, n. 1, p. 93-102, 2018.
RAMESH, M. et al. Rethinking governance capacity as organizational and
systemic resources. Singapore: Lee Kuan Yew School of Public Policy, 2016.
(Working Paper, n. 16-12).
RAMESH, M.; HOWLETT, M. P.; SAGUIN, K. Measuring individual-level
analytical, managerial and political policy capacity: a survey instrument. Sin-
gapore: Lee Kuan Yew School of Public Policy, 2016. (Working Paper, n. 16-07).
RITTEL, H. W.; WEBBER, M. M. Dilemmas in a general theory of planning.
Policy Sciences, v. 4, n. 2, p. 155-169, 1973.
ROURKE, F. E. Bureaucratic autonomy and the public interest. American Be-
havioral Scientist, v. 22, n. 5, p. 537-546, 1979.
RYCROFT‐MALONE, J. et al. What counts as evidence in evidence‐based prac-
tice? Journal of Advanced Nursing, v. 47, n. 1, p. 81-90, 2004.
SABATIER, P. A. Knowledge, policy-oriented learning, and policy change an advo-
cacy coalition framework. Science Communication, v. 8, n. 4, p. 649-692, 1987.
______. An advocacy coalition framework of policy change and the role of policy-
oriented learning therein. Policy Sciences, v. 21, n. 2, p. 129-168, 1988.
SADIKI, L. Towards a ‘democratic knowledge’ turn? Knowledge production in
the age of the Arab Spring. The Journal of North African Studies, v. 20, n. 5,
p. 702-721, 2015.
SAGUIN, K.; PALOTTI, P. L. de M. How do middle managers matter in poli-
cymaking? Examining managerial work and influence in Brazil. International
Journal of Public Administration, p. 1-10, 2020.
SAGUIN, K.; RAMESH, M. Bringing governance back into education reforms:
the case of the Philippines. International Review of Public Policy, v. 2, n. 2,
p. 159-177, 2020.
SAGUIN, K.; RAMESH, M.; HOWLETT, M. Policy work and capacities in a
developing country: evidence from the Philippines. Asia Pacific Journal of Public
Administration, v. 40, n. 1, p. 1-22, 2018.
SAGUIN, K.; TAN, S. Y.; GOYAL, N. Mapping scientific research on policy

capacity: a bibliometric analysis and qualitative framework synthesis. In: IN-
TERNATIONAL WORKSHOPS ON PUBLIC POLICY, 1., 2018, Pittsburgh.
Proceedings… Pittsburgh: IPPA, 2018.
SALTELLI, A.; GIAMPIETRO, M. What is wrong with evidence based policy,
and how can it be improved? Futures, v. 91, p. 62-71, 2017.
SANDERS, M.; SNIJDERS, V.; HALLSWORTH, M. Behavioural science and
policy: where are we now and where are we going? Behavioural Public Policy,
v. 2, n. 2, p. 144-167, 2018.
SANDERSON, I. Making sense of ‘what works’: evidence based policy mak-
ing as instrumental rationality? Public Policy and Administration, v. 17, n. 3,
p. 61-75, 2002.
SCHÖN, D. A. The reflective practitioner: how professionals think in action.
New York: Basic Books, 1984.
SHAPIRO, S.; SPENCE, M. T. Managerial intuition: a conceptual and operational
framework. Business Horizons, v. 40, n. 1, p. 63-69, 1997.
SIMON, H. A. “The decision-making schema”: a reply. Public Administration
Review, v. 18, n. 1, p. 60-63, 1958.
______. Administrative behavior: a study of decision-making processes in ad-
ministrative organizations. New York: The Free Press, 1967.
______. Making management decisions: the role of intuition and emotion. Acad-
emy of Management Perspectives, v. 1, n. 1, p. 57-64, 1987.
______. Models of my life. New York: MIT Press, 1996.
______. Models of bounded rationality: empirically grounded economic reason.
London: MIT Press, 1997.
STANOVICH, K. E. Who is rational? Studies of individual differences in reason-
ing. [S.l.]: Psychology Press, 1999.
STANOVICH, K. E.; WEST, R. F. Individual differences in reasoning: impli-
cations for the rationality debate? Behavioral and Brain Sciences, v. 23, n. 5,
p. 645-665, 2000.
STEWART, T. R.; DENNIS, R. L.; ELY, D. W. Citizen participation and judg-
ment in policy analysis: a case study of urban air quality policy. Policy Sciences,
v. 17, n. 1, p. 67-87, 1984.
STIVERS, C. Democratic knowledge: the task before us. Administration and
Society, v. 42, n. 2, p. 248-259, 2010.
TENBENSEL, T. Policy knowledge for policy work. In: COLEBATCH, H. K.

(Ed.). The work of policy: an international survey. Lanham: Lexington Books,
2006. p. 199-216.
THOMPSON, G. F. Between hierarchies and markets: the logic and limits of
network forms of organization. Oxford: Oxford University Press, 2003.
TIERNAN, A. Advising Australian federal governments: assessing the evolving
capacity and role of the Australian public service. Australian Journal of Public
Administration, v. 70, n. 4, p. 335-346, 2011.
TVERSKY, A.; KAHNEMAN, D. Judgment under uncertainty: heuristics and
biases. Science, v. 185, n. 4157, p. 1124-1131, 1974.
WALTERS, L. C.; AYDELOTTE, J.; MILLER, J. Putting more public in policy
analysis. Public Administration Review, v. 60, n. 4, p. 349-359, 2000.
WEBBER, D. J. The distribution and use of policy knowledge in the policy process.
Knowledge and Policy, v. 4, n. 4, p. 6-35, 1991.
WEBER, M. On charisma and institution building. Chicago: University of
Chicago Press, 1968.
WEIMER, D. L.; VINING, A. R. Policy analysis. 5th ed. Ann Arbor: Longman,
2011.
Review, v. 39, n. 5, p. 426-431, 1979.
WU, X.; RAMESH, M.; HOWLETT, M. Policy capacity: a conceptual framework
for understanding policy competences and capabilities. Policy and Society, v. 34,
n. 3-4, p. 165-171, 2015.
YOUNG, K. et al. Social science and the evidence-based policy movement. Social
CAPÍTULO 3
MAPEAMENTO E CARACTERIZAÇÃO DO MOVIMENTO DAS

POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS NO BRASIL1
Carlos Aurélio Pimenta de Faria2
André Emilio Sanches3
1 INTRODUÇÃO
À medida que a pandemia de covid-19 se alastrava pelo mundo, o desempenho dos
governos negacionistas no combate ao novo coronavírus foi se revelando cada vez
mais deficiente. Nesse contexto, em que se esperava que as soluções recomendadas
pela comunidade científica, baseadas em evidências, se tornassem virtualmente
consensuais, parece não ter havido, mundo afora, uma plena superação de posturas
negacionistas, lastreadas em crenças diversas e na aposta política por uma crescente
polarização. A Organização Mundial da Saúde (OMS) e a Organização Pan-Americana
de Saúde (Opas), por seu turno, alertaram quanto aos efeitos perversos da chamada
“infodemia”, ou seja, do “excesso de informações, algumas precisas e outras não, que
tornam difícil encontrar fontes idôneas e orientações confiáveis quando se precisa”
(Opas/OMS, 2020, p. 2). Ainda segundo a Opas/OMS:
A palavra infodemia se refere a um grande aumento no volume de informações
associadas a um assunto específico, que podem se multiplicar exponencialmente em
pouco tempo devido a um evento específico, como a pandemia atual. Nessa situação,
surgem rumores e desinformação, além da manipulação de informações com intenção
duvidosa. Na era da informação, esse fenômeno é amplificado pelas redes sociais e
se alastra mais rapidamente, como um vírus (idem, ibidem).
Mas esse excesso não é problemático apenas em função dos boatos e notícias
falsas (fake news), uma vez que apenas em seus primeiros meses, mais especifica-
mente até meados de junho de 2020, a “covid-19 inspirou mais de 23 mil artigos
científicos, e urgência traz problemas: periódicos tradicionais encurtam prazo de
publicação e textos sem revisão por outros cientistas monopolizam repositórios
digitais” (Santos, 2020, p. 1).
1. Os autores agradecem a Henrique Gomes e Silva o auxílio na tabulação de parte dos dados.
2. Professor dos departamentos de ciências sociais e de relações internacionais da Pontifícia Universidade Católica de
Minas Gerais (PUC-Minas). E-mail: <carlosf@pucminas.br>.
3. Consultor independente e analista de informações. E-mail: <asanches@gmail.com>.
Entretanto, se ainda perdura alguma desconfiança em relação aos especialistas

e à expertise, há décadas se reconhecem as inúmeras dificuldades que a ciência tem
para pautar os processos de tomada de decisão no setor público e para informar a
produção das políticas públicas. Já no final dos anos 1950, por exemplo, o sociólogo
Robert Merton afirmava que “a lua de mel dos intelectuais com os produtores das
políticas públicas (policy-makers) é frequentemente desagradável, selvagem e curta
(nasty, brutish and short)” (Merton, 1957, p. 222 apud Monaghan, 2011, p. 38,
tradução nossa). A questão relativa às dificuldades de fazer com que a avaliação das
políticas públicas seja efetivamente utilizada para a melhoria da ação governamental
ou na retroalimentação do chamado “ciclo das políticas públicas” também tem
sido discutida e problematizada há décadas (Faria, 2005).
Não obstante, desde meados dos anos 1990, intensificou-se, por diversos
motivos e particularmente no mundo anglo-saxão, a demanda pela adoção de
políticas públicas baseadas em evidências, demanda essa que tem se alastrado
globalmente desde então (Faria, 2021). De acordo com Parkhurst (2017, p. 4,
tradução nossa), “essas demandas para que as políticas públicas sejam baseadas em
evidências proliferaram tão amplamente nas últimas décadas que constituíram um
movimento por si sós”.4
As chamadas políticas públicas baseadas em evidências (PPBEs) são um tipo de
política “baseada na investigação, que aplica procedimentos rigorosos e sistemá-
ticos para a coleta de dados e se preocupa com a transformação desses dados em
conhecimento formal que seja efetivamente útil na tomada de decisões”5 (Bracho,
2010, p. 307, tradução nossa). É importante ressaltarmos que, reconhecendo as
inúmeras dificuldades de naturezas diversas para que esse objetivo seja atingido,
alguns autores mais realistas preferem utilizar o termo políticas públicas informadas
por evidências.
No Brasil, o chamado Movimento das Políticas Públicas Baseadas em Evi-
dências (MPPBE) ainda é bastante incipiente (Sandim e Machado, 2020). Este
capítulo pretende apresentar um mapeamento e uma caracterização do MPPBE
no país. Seu objetivo é rastrear a penetração do movimento tanto na administração
pública brasileira, dos três níveis de governo (federal, estadual e municipal), como
nas instituições produtoras de conhecimento, principalmente nas universidades,
e nas organizações da sociedade civil e do mercado. Trata-se de levantamento
abrangente, mas decerto não exaustivo.
4. Do original: “such calls for policies to be evidence-based have proliferated so widely in the past few decades as to
become a movement unto itself”.
5. Do original: “basada en investigación, que aplica procedimientos rigurosos y sistemáticos para la recolección de datos
y se preocupa por la transformación de éstos en conocimiento formal de carácter utilizable para la toma de decisiones”.
Mapeamento e Caracterização do Movimento das Políticas Públicas Baseadas em | 109
Evidências no Brasil
O capítulo está dividido em: introdução; breve metodologia e limitações da

pesquisa; teses e dissertações, que lista, classifica e analisa as pesquisas finalizadas,
desenvolvidas no âmbito da pós-graduação stricto sensu no país, disponibilizadas
pelo Catálogo de Teses e Dissertações (CTD) da Coordenação de Aperfeiçoamen-
to de Pessoal de Nível Superior (Capes); artigos científicos, que lista, classifica e
analisa os trabalhos publicados no Brasil até o início de 2021; instituições, eventos
e promoções relacionados à temática das PPBEs no Brasil, nos âmbitos público
e privado; e considerações finais, que sintetizam as descobertas e apresentam um
panorama geral do MPPBE no país.
Antes de iniciarmos, contudo, devemos fazer uma ressalva importante, qual
seja: os distintos métodos empregados no mapeamento produziram, inevitavelmen-
te, algumas distorções, que serão discutidas de modo sintético na segunda seção,
ao longo do texto e mais detalhadamente ao fim do capítulo (apêndice D). Talvez
a principal delas seja a falta de sensibilidade desses métodos para formas impor-
tantes e por vezes tradicionais de produção de conhecimento e de interação entre
os tomadores de decisão do setor público e os especialistas. Essas formas, também
capazes de informar a produção das políticas públicas, estão sob a responsabilidade
de distintos atores governamentais e não governamentais, como as avaliações das
políticas, as assessorias técnicas e a produção de dados e estatísticas. Isso porque, em
ampla medida, os métodos que empregamos privilegiaram atores e instâncias que
se reconhecem e são divulgados como produtores ou consumidores de evidências
para as políticas públicas. Essa discrepância reflete o fato de que a emergência do
movimento das PPBEs, que, no âmbito internacional, ocorreu na década de 1990,
nem inaugura nem esgota a preocupação, muito mais antiga e abrangente, de que
as políticas públicas não operem pautadas apenas pela ideologia, pela tradição ou
pelo exemplo alheio.
2 BREVE METODOLOGIA E LIMITAÇÕES DA PESQUISA

Os mapeamentos de teses e dissertações, artigos científicos e instituições, eventos
e promoções apresentados neste capítulo foram realizados em março de 2021.
Foram utilizados diversos motores de busca específicos, bem como a pesquisa mais
ampla do Google e do Google Acadêmico. Os problemas e limitações dos métodos
empregados são discutidos com mais detalhe no apêndice D. Realizamos, também,
uma análise de conteúdo dos dados encontrados, cujos resultados são apresentados,
de maneira sintética, em tabelas específicas.
Para a produção da seção Teses e dissertações foi realizado um levantamento
utilizando-se o motor de buscas do CTD da Capes, dentro de suas especificidades.
Esta é uma base de dados lançada em 2002, que indexa o material produzido pelo
Coleta Capes desde 1987, com busca direta na Plataforma Sucupira a partir de 2014.
Para o mapeamento de artigos científicos, foi utilizado o motor e os algoritmos de

busca da base de dados de produções brasileiras da Scientific Electronic Library
Online (SciELO), lançada em 1997 e que agrega periódicos das mais diversas áreas
do conhecimento. Fizemos, também, pesquisas específicas no Google Acadêmico,
em busca de periódicos não indexados, além do rastreamento de outros trabalhos
nas bibliografias dos artigos previamente encontrados. Finalmente, para a pesquisa
de instituições, eventos e promoções, foi utilizado o Google dentro de sua mais
diversa gama de possibilidades de combinação de termos e estratégias de pesquisa,
bem como a busca direta nos sítios principais da administração pública dos 26
estados brasileiros e do Distrito Federal.
Em que pese a abrangência buscada, é essencial explicitar algumas das li-
mitações da utilização das bases de dados e motores de busca por nós escolhidos,
em detrimento de outros. No que tange às teses e dissertações, é importante frisar
que a base é alimentada pelos dados gerados pelo Coleta Capes, que, por sua vez,
são responsabilidade de cada programa de pós-graduação (PPG), o que pode
gerar lacunas, atrasos e revisões periódicas dos dados ali divulgados, alterando os
resultados das buscas conforme essas revisões ocorrem. Sua alternativa, a Biblioteca
Digital Brasileira de Teses e Dissertações, do Instituto Brasileiro de Informação
em Ciência e Tecnologia (IBICT), ainda não contempla todas as instituições de
pesquisa, visto que a participação é voluntária.
No caso de artigos científicos, a opção pela base de dados de produções
nacionais da SciELO se justifica por sua relevância, impacto e abrangência, ainda
que a base não contemple outros indexadores importantes e que são bastante es-
pecíficos em relação às suas áreas de conhecimento, como a Biblioteca Virtual em
Saúde (BVS) e suas bases agregadas. Muito provavelmente, essa opção redundou
na subapreciação, neste capítulo, da produção específica da área da saúde.
Por fim, na busca por instituições, eventos e promoções, é fundamental deixar
claro que a maneira como o Google e outros buscadores menos populares indexam
as páginas públicas para retornar suas buscas interfere diretamente na quantidade,
abrangência e exatidão dos resultados, sendo estes condicionados por buscas ante-
riores e até mesmo pelo histórico de navegação de quem realiza a pesquisa. Mesmo
adotando estratégias para minimizar essas externalidades, a própria realização de
uma busca por determinados termos impacta na próxima busca a ser feita, por
outros indivíduos, pelos mesmos termos. Com isso, informações em páginas mais
internas ou subpáginas de determinado sítio tendem a retornar em número menor
do que nas páginas principais ou, muitas vezes, encontram-se obscurecidas por
muitas camadas de navegação. Para além disso, páginas na internet, em especial
de autarquias e outras instituições, são atualizadas, desativadas ou reaproveitadas
frequentemente, fazendo com que uma busca em determinada data represente
uma fotografia dos dados naquele momento, porém sem a informação completa
do histórico de criação, alteração e exclusão até então.
3 TESES E DISSERTAÇÕES RELACIONADAS ÀS PPBEs

O número de teses e dissertações defendidas no Brasil relacionadas às PPBEs
ainda é muito pequeno, sendo bastante recente a sua produção, como veremos
nesta seção. Levantamento feito no CTD da Capes em março de 2021, realizado
com a metodologia descrita no apêndice D, apontou a existência de apenas 23
trabalhos (apêndice A). Note-se, porém, que o referido catálogo, que é importante
fonte de pesquisas, não retrata todo o universo da produção dos PPGs do país,
mesmo que ele seja a sua principal referência.6 A grande maioria destas 23 teses e
dissertações ali catalogadas foi defendida na segunda metade da década de 2010,
como mostra a tabela 1.
TABELA 1
Ano de defesa das teses e dissertações sobre PPBEs
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 Total
1 0 2 0 1 3 3 4 2 7 23
Fonte: CTD da Capes.

Elaboração dos autores.
Desses 23 trabalhos de conclusão, oito são dissertações defendidas em mestra-

dos profissionais, dez em mestrados acadêmicos e cinco são teses de doutoramento.
Esses dados sugerem que, entre os pesquisadores em formação no Brasil, são os
mais jovens que parecem ter maior preocupação com a questão das PPBEs. Note-
-se, também, a importância dos mestrados profissionais no país, os quais, como se
sabe, são em número muito menor do que os mestrados acadêmicos.
No que diz respeito à distribuição geográfica dessas 23 teses e dissertações
defendidas, não chega a ser surpreendente a prevalência da região Sudeste, dada
a grande concentração dos PPGs do país nessa região. A tabela 2 apresenta essa
distribuição de maneira mais detalhada.
Dessas 23 teses e dissertações, treze foram defendidas em instituições
federais; seis, em instituições estaduais; e quatro, em instituições comunitárias
ou particulares.
É também pouco surpreendente o fato de a grande maioria das pesquisas
que deram origem às teses e dissertações (T&Ds) que estamos analisando aqui ter
sido desenvolvida na grande área das ciências da saúde. Isso é pouco surpreendente
6. Uma outra fonte importante, não consultada nesta pesquisa, é a Biblioteca Digital Brasileira de Teses e Dissertações
(BDBTD), do IBICT, vinculado ao Ministério da Ciência, Tecnologia e Inovações.
porque é bem sabido que o próprio movimento das PPBEs teve como uma de suas
principais fontes a chamada medicina baseada em evidências (MBE), que mundo
afora continua tendo grande capilaridade no campo da saúde (Baron, 2018). A tabela
3 apresenta a distribuição destes 23 trabalhos de conclusão de acordo com as áreas e
subáreas do conhecimento a que pertencem os PPGs em que eles foram defendidos.
TABELA 2
Teses e dissertações brasileiras relacionadas ao MPPBE: distribuição geográfica
Pará = 1
Norte 2
Tocantins = 1
Nordeste 0 -
Centro-Oeste 1 Distrito Federal = 1
São Paulo = 10
Sudeste 16 Rio de Janeiro = 5
Minas Gerais = 1
Rio Grande do Sul = 3
Sul 4
Paraná = 1
Total 23 -

TABELA 3
Áreas do conhecimento dos PPGs em que foram defendidas as teses e dissertações
relacionadas ao MPPBE
Área do conhecimento Número de T&Ds Subárea do conhecimento
Saúde coletiva = 4
Ciências da saúde 14
10 outras subáreas, com 1 trabalho cada
Economia = 2
Ciências sociais aplicadas 5 Gestão = 2
Direito = 1
Ciências humanas 2 Ciências sociais = 2
Política científica e tecnológica = 1
Interdisciplinar 2
Ciência, tecnologia e sociedade = 1
Total 23 -

Mesmo sendo muito variados os objetos, questionamentos, abordagens,

preocupações e metodologias deste conjunto de trabalhos sobre as PPBEs, vale
a pena tentarmos analisar o seu conteúdo, ainda que essa grande variedade nos
obrigue a uma mirada mais panorâmica. A tabela 4 sintetiza algumas questões
importantes, que são discutidas na sequência (uma versão mais detalhada dessa
tabela é apresentada no apêndice E).
TABELA 4
Análise de conteúdo das teses e dissertações sobre PPBEs do catálogo da Capes
Frequência
Categorias analíticas Número de sim
(%)
Defende que as políticas públicas sejam informadas por evidências? (Sim ou
1 21 de 23 91
pouco claro)
2 Dialoga diretamente com o movimento das PPBEs? (Sim ou não) 10 de 23 43
Trabalhos da área da saúde que dialogam apenas com a medicina baseada em

3 7 de 18 39
evidências
Teoriza sobre o manejo das evidências ou sobre a produção das PPBEs? (Sim ou
4 8 de 23 35
não)
5 Enfatiza a produção das evidências? (Sim ou não) 19 de 23 83
Enfatiza o uso das evidências ou a interação entre gestores públicos e produtores

6 10 de 23 43
do conhecimento? (Sim ou não)
7 Explora ou desenvolve instrumentos para a produção das PPBEs? (Sim ou não) 15 de 23 65
Vejamos com um pouco mais de cuidado as categorias analíticas apresentadas

na tabela 4. A primeira pergunta teve o objetivo de aferir o viés normativo dessas
teses e dissertações. A leitora não deve ter se surpreendido com a descoberta de
que a grande maioria dos trabalhos (91%) defende que as políticas públicas sejam
informadas por evidências. As duas únicas exceções são as dissertações defendidas
em um PPG em ciências sociais, que adotam uma posição mais neutra ou equi-
librada, encampando de modo central algum ceticismo quanto às expectativas
racionalizadoras do movimento das PPBEs. Isso não quer dizer, é claro, que os
demais trabalhos sejam defesas acríticas ou apenas laudatórias das PPBEs. De toda
maneira, fica claro que nesses trabalhos prevalece amplamente uma postura de
defesa dos princípios, objetivos e métodos do MPPBE, ainda que essa defesa seja
normalmente temperada por críticas mais tópicas.
Os valores da segunda linha da tabela 4, por seu turno, talvez possam ser con-
siderados inesperados. Nossa análise de conteúdo, também baseada na bibliografia
dessas teses e dissertações, descobriu que apenas 43% delas dialogam diretamente
com o movimento das PPBEs, isto é, abordam problemas, suscitam questões e/
ou fazem referências a trabalhos e tradições para além do foco mais específico do
próprio trabalho de conclusão. Parece-nos possível entender esse dado da seguinte
maneira: se o movimento das PPBEs tem ganhado grande capilaridade em diver-
sos países, sua apropriação no universo acadêmico, pelo menos no brasileiro, tem
sido muitas vezes parcial e fragmentada (poderíamos sugerir também que, talvez,
esses trabalhos sejam, de algum modo, prisioneiros de seu próprio pragmatismo).
Como mencionado anteriormente, a medicina baseada em evidências deve ser
entendida como uma das primeiras e mais importantes propulsoras do movimento
das PPBEs. Mundo afora, a MBE continua gozando de grande prestígio e ampliando
sua penetração entre os profissionais, instituições e políticas da área da saúde, sendo
a saúde um campo do conhecimento que, ao mesmo tempo em que fomenta as
abordagens multidisciplinares, produz também um forte efeito gravitacional. Assim,
não chega a surpreender a nossa descoberta de que 39% das teses e dissertações sobre
as PPBEs da área da saúde dialogam apenas com a MBE, e não com o movimento
mais amplo das PPBEs (terceira linha da tabela 4).
De maneira para nós surpreendente, a quarta linha da tabela 4 revela que
somente 35% das teses e dissertações que analisamos teorizam sobre o manejo das
evidências ou sobre a produção das PPBEs. Tratando-se de trabalhos de conclu-
são da pós-graduação stricto sensu, talvez a nossa expectativa seja a de uma quase
obrigatoriedade da mobilização dos arcabouços teóricos disponíveis. Contudo,
a grande maioria dos trabalhos de nossa amostra parece ter preocupações mais
pragmáticas, tendo prescindido de maiores teorizações sobre o movimento das
PPBEs, o que reflete a chamada “guinada utilitária” da ciência e da produção
do conhecimento (Solesbury, 2001). Essa perspectiva parece encontrar respaldo
nos dados da sétima linha da tabela 4, que nos mostram que 65% dessas T&Ds
exploram ou desenvolvem instrumentos específicos para a produção das PPBEs.
Esses instrumentos serão apresentados adiante. Antes, porém, devemos explorar
com mais cuidado os dados apresentados nas quinta e sexta linhas.
De uma maneira geral, o movimento das PPBEs reconhece que a busca pela
melhoria da qualidade da ação governamental envolve tanto a necessidade de fazer
com que o processo de produção das políticas seja mais permeável às evidências
científicas quanto, igualmente, o reconhecimento da importância de fazer com que
os produtores do conhecimento compreendam as necessidades e especificidades
dos tomadores de decisões e de seu contexto. Por isso, as quinta e sexta questões
procuram aferir se as T&Ds da amostra enfatizam a produção das evidências (83%
delas o fazem) e/ou enfatizam o uso das evidências ou a interação entre gestores
públicos e produtores do conhecimento (apenas 43% delas o fazem). Fica claro,
assim, que a maioria das T&Ds se concentra na questão da produção das evidên-
cias, negligenciando, em maior ou menor medida, os fatores que obstaculizam a
sua efetiva utilização no processo de produção das políticas públicas. Vale ressaltar,
não obstante, um dado que não consta da tabela 4: dessas 23 T&Ds, seis enfatizam
tanto a produção como o uso das evidências, abarcando, assim, uma gama bem
mais ampla de questões e problemas específicos do campo.
Por fim, cabem alguns comentários rápidos sobre os 65% das T&Ds que ex-
ploram ou desenvolvem instrumentos para a produção das PPBEs (sétima questão).
Mais especificamente, as quinze T&Ds que tiveram essa preocupação mais destacada
exploraram oito tipos de instrumentos, quais sejam: revisão sistemática; experimentos
aleatórios controlados; revisão de escopo; capacitação de técnicos e mudança na cultura

organizacional; análise de custos; avaliação de impacto; escore de políticas municipais
públicas; e tradução do conhecimento. Cabe destacar, também, que as revisões sistemá-
ticas foram o único instrumento explorado por mais de uma única tese ou dissertação,
tendo sido privilegiadas por nove desses quinze trabalhos (60%).7
4 ARTIGOS CIENTÍFICOS RELACIONADOS ÀS PPBEs

Dado o nosso objetivo de realização de um levantamento o mais exaustivo possível,
o mapeamento dos artigos relacionados às PPBEs que apresentamos nesta seção foi
feito a partir de buscas no SciELO Brasil, no Google Acadêmico (Google Scholar)
e nas próprias bibliografias dos artigos encontrados. No apêndice D, a metodolo-
gia utilizada é apresentada em todos os seus detalhes. Essas buscas resultaram em
uma listagem de 41 artigos que consideramos fazerem parte do “braço brasileiro”
do movimento das PPBEs (apêndice B). Note-se, porém, que, a exemplo do que
ocorre no caso das teses e dissertações, esses 41 artigos se vinculam de distintas
maneiras ao que, neste capítulo, chamamos de movimento das PPBEs no Brasil.
Se essas distintas formas de vinculação ao MPPBE muitas vezes ficam evidentes
apenas pela leitura de seus títulos, essa diversidade ganhará contornos mais precisos
quando apresentarmos uma análise de conteúdo desses trabalhos, nos mesmos
moldes da análise que fizemos das T&Ds. Antes, porém, devemos analisar suas
datas de publicação e os periódicos em que foram veiculados.
A tabela 5 apresenta o ano de publicação dos 41 artigos que encontramos.
Ainda que a sua dispersão no tempo seja maior do que aquela das teses e dissertações,
fica claro que, a exemplo do que vimos no caso das T&Ds, a maior parte desses
artigos foi publicada bem recentemente, ou seja, na segunda metade da década de
2010. Sendo assim, os dados apresentados nas tabelas 1 e 5 nos permitem afirmar
que, do ponto de vista analítico ou acadêmico, o enraizamento do movimento das
PPBEs no Brasil é recente, frágil e tardio. Recente, porque a maioria das T&Ds
e dos artigos veio à luz na segunda metade da década passada. Frágil, porque o
seu número pode ser considerado bastante pequeno (dados adicionais, que serão
apresentados e discutidos adiante, parecem corroborar essa fragilidade). E tardio,
porque o movimento vem ganhando força desde a década de 1990 (Faria, 2021).
A exemplo do que descobrimos em nossa caracterização das teses e disserta-
ções brasileiras que podem ser pensadas como de alguma maneira vinculadas ao
MPPBE, no caso dos artigos, a maior parcela deles foi publicada em periódicos
da grande área das ciências da saúde. Contudo, diferentemente do que foi exposto
na tabela 3, os artigos do “braço brasileiro” do MPPBE estão distribuídos de
7. Para uma visão geral, ainda que não exaustiva, dos instrumentos do MPPBE ou de seus métodos e técnicas, ver
Faria (2021).
maneira um pouco mais equânime entre as áreas do conhecimento, como deixa

claro a tabela 6. Note-se que, no caso dos artigos, as ciências sociais aplicadas
foram quase tão importantes quanto as ciências da saúde.
TABELA 5
Ano de publicação dos artigos relacionados às PPBEs
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
0 0 0 4 0 0 2 0 0 0 2
2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 Total
2 1 0 5 3 3 4 7 7 1 41
TABELA 6
Áreas do conhecimento dos periódicos brasileiros em que foram publicados os artigos
relacionados às PPBEs
Área do conhecimento Número de artigos Subáreas
Ciências biológicas 2 Biodiversidade, genética
Ciências da saúde 17 Saúde pública, saúde coletiva, genética, enfermagem
Administração pública, administração de empresas, agricultura e socieda-
Ciências sociais aplicadas 16
de, ciências econômicas, turismo, educação, ciência da informação
Ciências humanas 5 Sociologia, filosofia, políticas públicas
Interdisciplinar 1 Comunicação, saúde, educação
Total 41
Esses 41 artigos foram escritos por 108 autores e publicados por 25 perió-
dicos diferentes, das cinco áreas do conhecimento apresentadas na tabela 6. Esses
dados evidenciam que, também no Brasil, o MPPBE vai se constituindo como
um movimento francamente multidisciplinar.
Vale destacar que quase 15% dos autores dos artigos aqui sob análise, ou de-
zesseis deles, são estrangeiros. Na grande maioria dos casos, esses autores estrangeiros
publicaram em parceria com brasileiros, fato que revela algumas das formas pelas
quais o MPPBE, fortemente transnacionalizado (Faria, 2021), vai ganhando capilari-
dade no país (apenas três dos artigos são assinados exclusivamente por estrangeiros).
Observar a frequência com que determinados periódicos e autores apareceram
em nosso mapeamento nos permite avançar um pouco mais em nossa caracteri-
zação do MPPBE no Brasil. Se os dados que apresentaremos a seguir não revelam
nenhuma concentração que nos pareça anormal ou capaz de sugerir que, no país,
o MPPBE está concentrado em uns poucos periódicos ou autores, esses dados por
certo nos mostram que alguns deles têm maior centralidade.
No que diz respeito aos periódicos, dezessete dos 25 que publicaram artigos sobre
as PPBEs o fizeram apenas uma única vez. Dos demais, cinco publicaram dois artigos
cada; um publicou três (Revista de Administração Pública); outro publicou quatro (Boletim
de Análise Político-Institucional, três deles em um número especial, cujos outros artigos
não foram detectados por nossa metodologia); e o último, que publicou nada menos
do que sete artigos, dispersos por seis números diferentes (Ciência e Saúde Coletiva).
No que concerne aos autores, a concentração é menor, mas acreditamos que
ela não é menos importante. Isso porque, dos 108 autores, apenas cinco assinam
mais de um artigo. Se três deles são parceiros em dois artigos e um outro escreveu
dois artigos sozinho, uma outra autora, Maria José Carneiro, da Universidade
Federal Rural do Rio de Janeiro (UFRRJ), assina sozinha ou em parceria nada
menos do que quatro dos artigos aqui sob avaliação. Cabe destacar, também, que
essa pesquisadora foi orientadora de duas das dissertações de mestrado analisadas
na seção anterior. Fica claro, assim, que quando o universo de análise é tão restrito
quanto o nosso, um único pesquisador pode fazer uma diferença significativa.
No entanto, a nossa análise dos artigos brasileiros vinculados ao MPPBE
não seria satisfatória sem uma apreciação, ainda que genérica, de seu conteúdo.
Para tanto, empregamos as mesmas categorias analíticas que utilizamos na nossa
discussão sobre as teses e dissertações. A tabela 7 apresenta uma síntese da nossa
análise de conteúdo dos 41 artigos (no apêndice E, esses dados são apresentados
de maneira desagregada).
TABELA 7
Síntese da análise de conteúdo dos artigos relacionados às PPBEs publicados no Brasil
Categorias analíticas Número de sim Frequência (%)
Defende que as políticas públicas sejam informadas por evidências? (Sim ou

1 26 de 41 63
pouco claro)
2 Dialoga diretamente com o movimento das PPBEs? (Sim ou não) 23 de 41 56
Trabalhos da área da saúde que dialogam apenas com a medicina baseada em

3 7 de 21 33
evidências
Teoriza sobre o manejo das evidências ou sobre a produção das PPBEs? (Sim
4 33 de 41 80
ou não)
5 Enfatiza a produção das evidências? (Sim ou não) 27 de 41 66
Enfatiza o uso das evidências ou a interação entre gestores públicos e produto-

6 28 de 41 68
res do conhecimento? (Sim ou não)
7 Explora ou desenvolve instrumentos para a produção das PPBEs? (Sim ou não) 21 de 41 51
A tabela 7 nos mostra, em sua primeira linha, que, a exemplo do que vimos nas
T&Ds, a maioria dos artigos (63%) defende com clareza que as políticas públicas sejam
informadas por evidências. Essa constatação revela que, na sua vertente acadêmica, o
“braço brasileiro” do MPPBE tem um forte viés normativo, que é mais acentuado no
caso das T&Ds (91% delas, conforme a tabela 4). Sendo o movimento assumidamente
propositivo, uma tal constatação não deveria ser surpreendente.
A segunda linha da tabela 7 nos mostra que, ao contrário do que vimos no
caso das T&Ds, uma pequena maioria (56%) dos artigos dialoga diretamente
com o MPPBE (43% das teses e dissertações o fazem). No que diz respeito aos
artigos da área da saúde que dialogam apenas com a MBE (terceira linha), apenas
33% deles o fazem. Assim, a maior parte dos artigos da área da saúde dialoga mais
amplamente com o MPPBE.
Na seção anterior, vimos que apenas 35% das teses e dissertações teorizam
sobre o manejo das evidências ou sobre a produção das PPBEs. Essa cifra sobe
vertiginosamente no caso dos artigos, atingindo 80% (quarta linha). Essa diferença
talvez seja explicada pelo fato de que, normalmente, autores de artigos publicados
são mais maduros e experientes do que pós-graduandos.
As quinta e sexta linhas, por sua vez, nos mostram que uma porcentagem se-
melhante de artigos enfatiza a produção das evidências (66%) e o uso das evidências
ou a interação entre gestores públicos e produtores do conhecimento (68%). Assim,
se a maioria das T&Ds, como vimos, se concentra na questão da produção das
evidências, negligenciando, em maior ou menor medida, os fatores que dificultam
a sua efetiva utilização no processo de produção das políticas públicas, o mesmo
parece não acontecer com os artigos.
Por fim, cabe destacar que, a exemplo do que tínhamos visto, mas com maior
intensidade no caso das T&Ds (65%), a maioria dos artigos (51%) explora ou
desenvolve instrumentos para a produção das PPBEs. Se, como vimos, as T&Ds
enfatizaram oito tipos diferentes de instrumentos, os artigos, que são um número
bem maior, dão destaque a onze tipos de instrumentos, quais sejam: avaliação de
políticas públicas; revisão sistemática; monitoramento de horizonte tecnológico;
aprendizagem de máquina; translação do conhecimento; diálogos deliberativos;
elaboração de listas de produtos estratégicos; evidências comportamentais; projeto
descentralização on-line; mapa causa e efeito; e avaliação de impacto na saúde (health
impact assessment). Vale destacar, ainda, que a exemplo do que constatamos no caso
das teses e dissertações, as revisões sistemáticas foram amplamente privilegiadas
nos artigos, visto que, dos 21 daqueles que exploraram mais cuidadosamente ins-
trumentos para a produção das PPBEs, quase a metade deles (dez) deu destaque
às revisões sistemáticas.
Tendo discutido até aqui duas das vertentes acadêmicas do MPPBE no Brasil,
o capítulo trata, a seguir, da institucionalização do movimento no país e do que tem
sido feito em outros âmbitos para promovê-lo por estas latitudes. Antes, porém,
devemos deixar registrada aqui uma lacuna importante de nosso mapeamento: dada
a inexistência (ou nosso desconhecimento) de um mecanismo de busca capaz de

tornar mais possível o trabalho de localização e registro, nada será dito aqui das
maneiras como o movimento vem sendo difundido no país por meio da oferta de
cursos específicos pelas universidades brasileiras.
5 INSTITUIÇÕES, EVENTOS E PROMOÇÕES DO “BRAÇO BRASILEIRO”

DO MPPBE
No plano internacional, o movimento das PPBEs tem mobilizado toda uma
multiplicidade de atores, individuais e institucionais, governamentais e não go-
vernamentais, da academia e do setor privado, locais, nacionais e internacionais
(Faria, 2021). Nesta seção, trataremos exclusivamente dos atores institucionais que
têm atuado para promover o movimento no Brasil, mas deve-se recordar também
o papel central que determinados indivíduos, usualmente denominados “empre-
endedores de políticas públicas”, desempenham na inovação, na negociação e no
processo mais geral de produção das políticas públicas e também, por certo, no
MPPBE (Cairney, 2018).
Entendemos que qualquer mapeamento do movimento das PPBEs, mesmo em
um único país, como o que se pretende aqui, dificilmente conseguirá ser exaustivo,
em função mesmo da grande capilaridade de seus processos e da multiplicidade
de seus atores e agentes. O que se pretende aqui, então, é, tão somente, apresentar
uma amostra do complexo mosaico institucional que sustenta e promove o MPPBE
no Brasil, amostra essa que padece das limitações inerentes a qualquer busca feita
pela internet. A metodologia usada neste levantamento é igualmente apresentada
adiante (apêndice D), quando também discutimos, com mais detalhe, as suas
limitações inevitáveis.
Na pesquisa que fizemos, foram detectadas 32 instituições, eventos ou pro-
moções que associamos ao “braço brasileiro” do MPPBE, que estão igualmente
listados adiante (apêndice C). Também aqui fica claro que são iniciativas bastante
recentes, como mostra a tabela 8.
TABELA 8
Ano de criação das instituições ou de realização dos eventos e promoções relacionadas
às PPBEs no Brasil
2007 2008 - 2013 2016 - 2018 2019 2020 2021 Total
1 1 - 1 2 - 6 7 13 1 32
Acreditamos que a cifra de 32 surpreende, uma vez que a nossa expectativa era
de encontrar um universo muito mais vicejante, mesmo levando-se em consideração
as limitações do método de busca. Não obstante, essas 32 instituições, eventos e
promoções encontradas, se em menor número do que o esperado, revelam, por outro

lado, que também no Brasil o movimento vai ganhando capilaridade a partir do
trabalho, frequentemente articulado, de uma notável diversidade de atores. Desses
32, metade (dezesseis) são instituições e a outra metade são eventos ou promoções.
Dos 32, doze são de natureza governamental; onze, não governamental; e nove
são instituições, eventos ou promoções das universidades do país. Ainda que possa
ser polêmica a nossa decisão de considerar as universidades como uma categoria à
parte, acreditamos que essa distinção é importante, por uma diversidade de motivos,
como a própria natureza do movimento e a necessidade de aferirmos, também por
essa via, a penetração do MPPBE na universidade brasileira.
Quando pensamos em como instituições, eventos e promoções do MPPBE
se distribuem entre os distintos setores no país, o que também é apresentado com
detalhes na listagem que consta do apêndice C, chegamos ao seguinte resultado:
no âmbito governamental, foram encontradas cinco instituições e sete eventos e
promoções; no plano não governamental, detectamos oito instituições e três eventos
e promoções; ao passo que, nas universidades, foram encontradas três instituições
e seis eventos e promoções.
Vejamos com mais cuidado a atuação governamental que associamos ao
desenvolvimento do MPPBE no Brasil. Antes, porém, cabe reiterar que muito do
que o Estado faz, que poderia estar ligado ao movimento ou à promoção da sua
causa, como toda a atividade de avaliação das políticas públicas e sua institucio-
nalização nos governos, acabou não sendo detectado, porque o método de coleta
que utilizamos privilegia iniciativas que, em alguma medida, se compreendem e
se divulgam como produção ou consumo de evidências. Dito de outra maneira, a
metodologia empregada limita, em proporções que não conseguimos dimensionar,
o mapeamento aqui apresentado e discutido.
Feita essa ressalva, acreditamos que as descobertas sejam importantes mesmo
assim. Primeiramente, devemos notar que das doze iniciativas governamentais
encontradas, dez se referem ao governo federal (foram encontrados apenas dois
eventos de governos subnacionais: um curso ofertado pela Escola de Governo do
Distrito Federal e outro pela Escola de Governo do Ministério Público do Rio de
Janeiro). Note-se que as buscas que fizemos nos sítios eletrônicos oficiais de todos
os 26 estados brasileiros, bem como no do Distrito Federal, não nos apontaram
iniciativa alguma. Isso não quer dizer, é claro, que não existam outras iniciativas dos
governos subnacionais brasileiros no sentido da promoção das PPBEs. A Secretaria
da Educação do Estado de São Paulo, por exemplo, criou, em 2020, o Escritório
de Evidências. Ainda assim, parece claro que o MPPBE ainda não ganhou maior
capilaridade ou visibilidade nos governos subnacionais brasileiros, o que talvez
possa ser pensado como resultado tanto das menores capacidades dos governos
subnacionais quanto da flagrante incipiência do movimento no país. Como já

ressaltado, das doze iniciativas governamentais, cinco são instituições ligadas ao
governo federal (um conselho, uma assessoria, duas plataformas eletrônicas e um
mestrado profissional, criado pela Escola Nacional de Administração Pública –
Enap) e sete são eventos ou promoções (cursos, seminários, oficinas e um edital
para contratação de pesquisas, este último também da Enap). Cabe ressaltar ainda,
por fim, que dessas doze iniciativas governamentais, quatro delas estão ligadas à
Enap, o que a torna a principal promotora do MPPBE no Brasil, pelo menos de
acordo com nossa metodologia. A Enap é também parceira da Fundação Getulio
Vargas (FGV) e do Instituto Mobilidade e Desenvolvimento Social (IMDS) na
criação do Prêmio Evidência.
No que diz respeito às iniciativas não governamentais, o que se nota é uma
interessante inversão nas frequências encontradas, posto que foi detectado um nú-
mero muito maior de instituições do que de eventos e promoções (8 x 3). Se a maior
maleabilidade e autonomia do setor não governamental talvez explique o maior número
de instituições, explicar o pequeno número encontrado de eventos e promoções
(três) parece-nos bem mais complicado. É grande a diversidade das instituições
não governamentais que encontramos em nossa pesquisa, abarcando três think
tanks, uma organização não governamental (ONG), uma associação apartidária,
uma plataforma, uma startup e uma rede, esta última vinculada a uma organização
internacional, a Organização Mundial da Saúde (OMS). Cabe destacarmos ainda,
exemplificando uma vez mais as limitações da metodologia empregada aqui, que
qualquer pesquisa rápida no YouTube vai demonstrar também que diversas outras
instituições não governamentais brasileiras se encontram envolvidas com o MPPBE,
sendo talvez as mais conhecidas delas o Instituto Unibanco e o Instituto Ayrton
Senna. Essa pesquisa vai mostrar também, em menor escala, o envolvimento de
outras instituições governamentais e de universidades.
Por fim, no que diz respeito à universidade, se os seis eventos e promoções
detectados são do tipo esperado (seminários e debates, uma disciplina e um projeto
de extensão), as três instituições são as seguintes: o Prêmio Evidência, instituído
pela FGV e pelo IMDS; o Núcleo de Inteligência Social, criado pela PUC-Minas
em parceria com o ChildFund Brasil; e o Observatório Covid-19 BR, que se
anuncia como uma “iniciativa independente de 85 pesquisadores associados a 28
instituições”,8 a grande maioria delas universidades. Vale destacar, também, que,
nessa terceira categoria, a do mundo universitário, destacou-se a FGV, responsável
por um terço dos itens da categoria (três de nove).
Finalizado, assim, o nosso percurso, serão sintetizadas as nossas descobertas
e apresentado a seguir um panorama geral do MPPBE no Brasil.
8. Disponível em: <https://bit.ly/3K8DfFw>. Acesso em: 10 mar. 2021.

A conclusão mais geral de nosso mapeamento é que o enraizamento do movimento
das PPBEs no Brasil é recente, frágil e tardio. Ele é recente porque a maioria das
teses e dissertações, dos artigos, das instituições e dos eventos e promoções asso-
ciados é datada da segunda metade da década de 2010 e do ano de 2020. Frágil,
porque o seu número é modesto, ainda que, também no país, o MPPBE mobilize
atores e instituições de grande prestígio. Ele pode ser considerado tardio quando
se recorda que o movimento foi deslanchado na década de 1990. Os dados que
apresentamos e discutimos nos permitem afirmar ainda que, também no Brasil, o
MPPBE é acentuadamente multidisciplinar, ainda que prevaleçam os aportes das
ciências da saúde e das ciências sociais aplicadas, como nos parece natural. Não
obstante, nosso questionamento acerca das interlocuções estabelecidas nas teses e
dissertações e nos artigos evidenciou que, se o MPPBE tem ganhado capilaridade
no universo acadêmico brasileiro, ele normalmente dialoga de maneira restrita
com toda a fortuna analítica e propositiva do movimento.
Certamente não surpreende a descoberta de que parte significativa dos traba-
lhos acadêmicos que entendemos como compondo o “braço brasileiro” do MPPBE
tem preocupações mais pragmáticas, tendo prescindido de mais teorizações sobre
a produção das PPBEs (65% das teses e dissertações e 20% dos artigos). No nosso
entender, se o viés era esperado, ele não deixa de refletir também um fenômeno mais
geral: a chamada “guinada utilitária” da ciência e da produção do conhecimento.
No que concerne aos instrumentos para a promoção das PPBEs explorados mais
frequentemente, ganharam destaque, no plano acadêmico, como visto, as revisões
sistemáticas. Vimos também que, se a maioria das teses e dissertações privilegia a
produção das evidências, negligenciando em alguma medida os fatores que dificultam
a sua efetiva utilização no processo de produção das políticas públicas, isso parece
não acontecer com os artigos.
Nossa análise das instituições, dos eventos e das promoções associados ao
MPPBE no país, ainda que restrita a um universo que consideramos modesto,
revelou que também nessa seara o movimento tem ganhado certa capilaridade
no país, ainda que apenas em anos mais recentes. Vimos também que, em sua
faceta governamental, as iniciativas, de diversas ordens, concentram-se no plano
federal, sendo escassas as iniciativas dos governos subnacionais. No âmbito federal,
ganhou destaque o trabalho realizado pela Enap, que talvez possamos considerar a
principal promotora do MPPBE no país, pelo menos no âmbito governamental.
Nosso mapeamento também mostrou uma grande diversidade de instituições não
governamentais atuando nesse campo, muitas vezes de maneira articulada. No
mundo universitário, parece se destacar a FGV, descoberta que não surpreende
quando levamos em consideração todos os esforços feitos pela instituição para
atuar e ser reconhecida também como um think tank.
Quer o movimento das PPBEs seja considerado um acréscimo importante

aos bem-vindos esforços em benefício da modernização do Estado brasileiro, quer
ele seja entendido como um imprescindível instrumento para a maximização da
eficácia e da eficiência das políticas públicas brasileiras, quer ele seja interpretado
como expressão da busca de despolitização da ação governamental, como instru-
mento de promoção do neoliberalismo ou apenas como mais uma grife, fato é
que o mapeamento feito aqui parece indicar que o MPPBE vem se implantando
celeremente no país.
REFERÊNCIAS
BARON, J. A brief history of evidence-based policy. The Annals of the American
Academy of Political and Social Science, v. 678, n. 1, p. 40-50, 2018.
BRACHO, T. Políticas basadas en evidencia: la política pública como acción in-
formada e objeto de investigación. In: MERINO, M.; CEJUDO, G. M. (Eds.).
Problemas, decisiones y soluciones: enfoques de política pública. México: FCE/
CIDE, 2010. p. 291-320.
CAIRNEY, P. Three habits of successful policy entrepreneurs. Policy and Politics,
v. 46, n. 2, p. 199-215, 2018. Disponível em: <https://bit.ly/3kqbehV>. Acesso
em: 20 set. 2021.
FARIA, C. A. P. de. Produção e manejo de evidências para as políticas públicas:
aprendendo com a experiência comparada de cinco tipos de instituições especia-
lizadas. Cadernos ENAP, 2021. No prelo.
______. A política da avaliação de políticas públicas. Revista Brasileira de Ci-
ências Sociais, v. 20, n. 59, p. 97-110, out. 2005. Disponível em: <https://bit.
ly/3kqlPsV>. Acesso em: 20 set. 2021.
MONAGHAN, M. Evidence versus politics: exploiting research in UK drug
policy making? Bristol: The Policy Press, 2011.
OPAS – ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE/OMS – ORGA-
NIZAÇÃO MUNDIAL DA SAÚDE. Entenda a infodemia e a desinformação na
luta contra a Covid-19. Página Informativa, n. 5, 2020. Disponível em: <https://
bit.ly/3Czn5QX>. Acesso em: 20 set. 2021.
PARKHURST, J. The politics of evidence: from evidence-based policy to the
good governance of evidence. New York: Routledge, 2017.
SANDIM, T. L.; MACHADO, D. A. O paradigma das políticas públicas baseadas
em evidências na gestão pública brasileira: uma análise das publicações acadêmicas.
Boletim de Análise Político-Institucional, n. 24, p. 41-47, nov. 2020. Disponível
em: <https://bit.ly/3Czny5F>. Acesso em: 20 set. 2021.
SANTOS, Y. Pandemia de papers. Revista Piauí, 18 jun. 2020. Disponível em:

<https://bit.ly/3CtmPCT> Acesso em: 20 set. 2021.
SOLESBURY, W. Evidence based policy: whence it came and where it’s going.
London: ESRC UK Centre for Evidence Based Policy and Practice, Oct. 2001.
(Working Paper, n. 1). Disponível em: <https://bit.ly/3lHZOVZ>. Acesso em:
20 set. 2021.
APÊNDICE A
LISTAGEM DAS TESES E DISSERTAÇÕES BRASILEIRAS SOBRE POLÍTICA

PÚBLICA BASEADA EM EVIDÊNCIA
AGLIO, F. J. C. Ciência ou senso comum? O uso do conhecimento científico
no discurso político da revisão do Código Florestal Brasileiro. 2012. 115 f. Dis-
sertação (Mestrado) – Universidade Federal Rural do Rio de Janeiro, Seropédica,
2012. (Biblioteca depositária: Centro de Documentação Ivan de Otero Ribeiro).
ALVARENGA, A. C. O Pronaf na antropologia, economia, geografia e socio-
logia: uma revisão sistemática da produção bibliográfica (2007 A 2014). 2015. 80 f.
Dissertação (Mestrado) – Universidade Federal Rural do Rio de Janeiro, Seropédica,
2015. (Biblioteca depositária: Centro de Documentação Ivan de Otero Ribeiro).
CACAPIETRA, R. S. Pequenos incentivos, grandes mudanças: economia
comportamental aplicada a políticas públicas. 2019. 91 f. Dissertação (Mes-
trado) – Centro Universitário do Estado do Pará, Belém, 2019. (Biblioteca
depositária: Centro Universitário do Pará – Cesupa).
CAYETANO, M. H. Panorama do recrutamento, contratação e remuneração
dos recursos humanos em odontologia no serviço público. 2019. 158 f. Tese
(Doutorado) – Universidade de São Paulo, São Paulo, 2019. (Biblioteca deposi-
tária: Serviço de Documentação Odontológica da Faculdade de Odontologia da
Universidade de São Paulo – SDO/FOUSP).
FARIAS, A. L. S. Percepções de gestores do Sistema Único de Saúde sobre o
uso de evidências no processo decisório de gestão de políticas de saúde. 2017.
47 f. Dissertação (Mestrado) – Instituto Sírio-Libanês de Ensino e Pesquisa, São
Paulo, 2017. (Biblioteca depositária: Fadlo Haidar).
GAIOTTO, E. M. G. Elaboração de uma síntese de evidências para políticas de
saúde: reduzindo a mortalidade perinatal no município de Porto Feliz-SP. 2016. 83
f. Dissertação (Mestrado) – Coordenadoria de Recursos Humanos da Secretaria de
Estado da Saúde de São Paulo, São Paulo, 2016. (Biblioteca depositária: Biblioteca
do Instituto de Saúde da Secretaria de Estado da Saúde).
GALLASSI, A. D. Análise do custo social do uso do álcool no Brasil no ano
de 2007. 2010. 358 f. Tese (Doutorado) – Universidade de São Paulo, São Paulo,
2010. (Biblioteca depositária: Biblioteca Central da Faculdade de Medicina da
Universidade de São Paulo – FMUSP).
HOFFMANN, J. F. Modelagem estatística para avaliação de impacto de políticas
públicas de saúde no contexto de quase-experimentos longitudinais. 2019. Tese
(Doutorado) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019.
HORTA, R. L. Consequences of adversity on the development of attachment-

related neurotransmitter systems: integrative review and analysis of Brazilian
federal policies for early childhood. 2012. 148 f. Dissertação (Mestrado) – Uni-
versidade Federal de Minas Gerais, Belo Horizonte, 2012. (Biblioteca depositária:
Biblioteca Central da Universidade Federal de Minas Gerais e do Instituto de
Ciências Biológicas).
JANUARIO, L. A. Subsídios para o delineamento de uma política pública
para seleção e disseminação de evidências em saúde. 2018. Dissertação (Mes-
trado) – Universidade Federal de São Carlos, São Carlos, 2018.
MASTROROCCO FILHO, D. A. M. Políticas farmacêuticas informadas por
evidências. 2015. 149 f. Dissertação (Mestrado) – Universidade de Sorocaba,
Sorocaba, 2015. (Biblioteca depositária: Aluísio de Almeida).
MENEGOTTO, G. Ambiente obesogênico escolar e obesidade em adolescentes
brasileiros: teoria e evidências. 2019. 83 f. Dissertação (Mestrado) – Universidade
Federal do Rio Grande do Sul, Porto Alegre, 2019. (Biblioteca depositária: Facul-
dade de Ciências Econômicas da Universidade Federal do Rio Grande do Sul).
MOREIRA, L. G. Da política sobre drogas até a gestão pública baseada em
evidências: uma análise qualitativa na capital do Brasil. 2015. 46 f. Dissertação
(Mestrado) – Hospital de Clínicas de Porto Alegre, Porto Alegre, 2015. (Biblioteca
depositária: James Inciardi – Hospital das Clínicas de Porto Alegre).
OLIVEIRA, N. C. L. Análise do escore de políticas municipais públicas no
contexto da atenção integral à saúde. 2014. 79 f. Dissertação (Mestrado) – Uni-
versidade Federal Fluminense, Niterói, 2014. (Biblioteca depositária: Faculdade
de Medicina da Universidade Federal Fluminense).
ONOUE, E. Y. Determinantes econômicos e sociodemográficos da demanda
por importações de produtos farmacêuticos: análise para países em desenvol-
vimento. 2019. 64 f. Dissertação (Mestrado) – Universidade Estadual de Maringá,
Maringá, 2019. (Biblioteca depositária: Biblioteca Central da Universidade Estadual
de Maringá – BCE/UEM).
RAMOS, M. C. O processo de regionalização via Coap informado por evi-
dências: estamos no caminho certo? 2017. 116 f. Dissertação (Mestrado) – Uni-
versidade de Brasília, Brasília, 2017. (Biblioteca depositária: Biblioteca Central da
Universidade de Brasília).
REIS, G. R. A utilização do uso de evidências científicas como política pública
para a otimização na disponibilidade de vagas em UTI no Tocantins. 2018. 74 f.
Dissertação (Mestrado) – Universidade Federal do Tocantins, Palmas, 2018. (Biblioteca
depositária: Biblioteca da Universidade Federal do Tocantins – campus de Palmas).
SILVA, D. R. M. Obstacles to innovation in Brazil: an empirical analysis based

on the Brazilian innovation survey (PINTEC). 2019. 202 f. Tese (Doutorado) –
Universidade Estadual de Campinas, Campinas, 2019. (Biblioteca depositária:
Biblioteca Digital da Universidade Estadual de Campinas).
SILVA, F. M. Síntese de evidências para políticas de saúde: prevenção e controle
do pé diabético na atenção primária à saúde. 2016. 170 f. Dissertação (Mestrado) –
Fundação Oswaldo Cruz, Rio de Janeiro, 2016. (Biblioteca depositária: Biblioteca
Central da Urca).
SILVA, M. A. Influência da dieta do exercício físico e dos medicamentos so-
bre a pressão arterial sistêmica: síntese de evidências. 2016. 123 f. Dissertação
(Mestrado) – Instituto Nacional de Cardiologia, Rio de Janeiro, 2016. (Biblioteca
depositária: Biblioteca Virtual do Instituto Nacional de Cardiologia).
SIMOYAMA, F. O. Política baseada em evidências. 2017. 118 f. Dissertação
(Mestrado) – Universidade Federal de São Paulo, Osasco, 2017. (Biblioteca de-
positária: Universidade Federal de São Paulo – campus Osasco).
SOUZA, S. A. O uso de evidências científicas na gestão de políticas municipais
de saúde na região nordeste de Santa Catarina. 2017. 69 f. Dissertação (Mestra-
do) – Instituto Sírio-Libanês de Ensino e Pesquisa, São Paulo, 2017. (Biblioteca
depositária: Fadlo Haidar).
YUBA, T. Y. Política Nacional de Gestão de Tecnologias em Saúde: um estudo
de caso da Comissão Nacional de Incorporação de Tecnologias no SUS. 150 f.
2019. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2019. (Biblioteca
depositária: Faculdade de Medicina da Universidade de São Paulo).
APÊNDICE B
LISTAGEM DOS ARTIGOS SOBRE POLÍTICA PÚBLICA BASEADA EM EVIDÊNCIA

PUBLICADOS NO BRASIL
AKERMAN, M.; MENDES, R.; BÓGUS, C. M. É possível avaliar um imperativo
ético? Ciência e Saúde Coletiva, v. 9, n. 3, p. 605-615, set. 2004. Disponível em:
<https://bit.ly/3hUumTo>. Acesso em: 21 set. 2021.
BARRETO, M. L. O conhecimento científico e tecnológico como evidência para
políticas e atividades regulatórias em saúde. Ciência e Saúde Coletiva, v. 9, n. 2, p.
329-338, jun. 2004. Disponível em: <https://bit.ly/3hT33sL>. Acesso em: 21 set. 2021.
CAMPOS, G. W. S. et al. Políticas e práticas em saúde mental: as evidências em
questão. Ciência e Saúde Coletiva, v. 18, n. 10, p. 2797-2805, out. 2013. Dis-
ponível em: <https://bit.ly/3lImoOp>. Acesso em: 21 set. 2021.
CARNEIRO, M. J.; DANTON, T. Agricultura e biodiversidade nas ciências sociais
brasileiras: alimentando a comunicação entre ciência e políticas públicas. Sociolo-
gias, v. 14, n. 30, p. 252-289, ago. 2012. Disponível em: <https://bit.ly/2XyqFeL>.
Acesso em: 21 set. 2021.
CARNEIRO, M. J.; PALM, J. L. Informando política pública: uma revisão biblio-
gráfica sobre Pronaf e qualidade de vida (2006-2013). Raízes, v. 36, n. 1, p. 61-74,
jan-jun. 2016. Disponível em: <https://bit.ly/2XALWEC>. Acesso em: 21 set. 2021.
CARNEIRO, M. J. T.; SANDRONI, L. T. Ciência e política pública na perspectiva
dos gestores: clivagens e confluências. Sociedade e Estado, v. 33, n. 1, p. 39-59,
abr. 2018. Disponível em: <https://bit.ly/3EEGjGA>. Acesso em: 21 set. 2021.
CARNEIRO, M. J.; ROSA, T. S. A ciência e seus usos na política: uma reflexão sobre
a política baseada em evidências. Estudos Sociedade e Agricultura, v. 26, n. 2, p. 331-
352, jun. 2018. Disponível em: <https://bit.ly/3EEsBmV>. Acesso em: 21 set. 2021.
CARVALHO, A. I. et al. Concepts and approaches in the evaluation of health
promotion. Ciência e Saúde Coletiva, v. 9, n. 3, p. 521-529, Sept. 2004. Dispo-
nível em: <https://bit.ly/3hTk326>. Acesso em: 21 set. 2021.
CÔRTES, P. R.; LARA, F. T. R.; OLIVEIRA, A. M. A. Políticas públicas baseadas
em evidências comportamentais: reflexões a partir do Projeto de Lei 488/2017 do
Senado. Revista Brasileira de Políticas Públicas, v. 8, n. 2, p. 428-454, 2018.
Disponível em: < https://bit.ly/2ZnUKyD>. Acesso em: 22 set. 2021.
COSTA, C. G. F.; DA SILVA, E. V. O que realmente importa no processo de
tomada de decisão considerando políticas públicas baseadas em evidência. Revista
Administração em Diálogo – RAD, v. 18, n. 2, p. 124-143, maio-ago. 2016. Dis-
ponível em: Disponível em: <https://bit.ly/3CCZkaH>. Acesso em: 21 set. 2021.
CRAVEIRO, I. M. R. et al. Desigualdades sociais, políticas de saúde e formação

de médicos, enfermeiros e dentistas no Brasil e em Portugal. Ciência e Saúde
Coletiva, v. 20, n. 10, p. 2985-2998, out. 2015. Disponível em: <https://bit.
ly/3lExvry>. Acesso em: 21 set. 2021.
CRUMPTON, C. D. et al. Evaluation of public policies in Brazil and the United
States: a research analysis in the last 10 years. Revista de Administração Pública,
v. 50, n. 6, p. 981-1001, nov./dez. 2016. Disponível em: <https://bit.ly/3kt4PCi>.
DIAS, R. I. S. C. et al. Estratégias para estimular o uso de evidências científicas
na tomada de decisão. Cadernos Saúde Coletiva, v. 23, n. 3, p. 316-322, jul.-set.
2015. Disponível em: <https://bit.ly/3krIOE0>. Acesso em: 21 set. 2021.
DUAILIBI, Sérgio; LARANJEIRA, R. Políticas públicas relacionadas às bebidas
alcoólicas. Revista de Saúde Pública, v. 41, n. 5, p. 839-848, out. 2007. Dispo-
nível em: <https://bit.ly/3kscfWs>. Acesso em: 21 set. 2021.
DUARTE, T. R. O painel brasileiro de mudanças climáticas na interface entre
ciência e políticas públicas: identidades, geopolítica e concepções epistemológi-
cas. Sociologias, v. 21, n. 51, p. 76-101, ago. 2019. Disponível em: <https://bit.
ly/3lLJljB>. Acesso em: 21 set. 2021.
FERREIRA, H. R. S. Análise de qualidade de evidências científicas utilizadas
em política pública: aplicação a documentos relativos à tramitação do PL n o
3.722/2012, que flexibiliza o controle de armas de fogo. Boletim de Análise
Político-Institucional, n. 24, p. 125-134 nov. 2020. Disponível em: <https://
bit.ly/3CAgWUo>. Acesso em: 21 set. 2021.
GIATTI, L. L. et al. Emerging complexities and rising omission: contrasts among
socio-ecological contexts of infectious diseases, research and policy in Brazil. Ge-
netics and Molecular Biology, v. 44, n. 1, p. 1-9, 2021. Disponível em: <https://
bit.ly/3nVdSyg>. Acesso em: 21 set. 2021.
GOMES, P. T. C. et al. Horizon scanning in Brazil: outputs and repercussions. Re-
vista de Saúde Pública, v. 53, n. 111, p. 1-10, 2019. Disponível em: <https://bit.
ly/3kvvb6E>. Acesso em: 21 set. 2021.
GUIMARÃES, R. M. et al. Os desafios para a formulação, implantação e imple-
mentação da Política Nacional de Vigilância em Saúde. Ciência e Saúde Coletiva,
v. 22, n. 5, p. 1407-1416, mai. 2017. Disponível em: <https://bit.ly/39njkRW>.
HASSENTEUFEL, P. et al. Policy diffusion and translation: the case of evidence-
based health agencies in Europe. Novos Estudos, v. 36, n.1, p. 77-96, mar. 2017.
Disponível em: <https://bit.ly/3lM6K4v>. Acesso em: 21 set. 2021.
IVAROLA, L. Consecuencias alternativas: la importancia de su conocimiento en

la implementación de políticas. Trans/Form/Ação, v. 42, n. 2, p. 195-212, jun.
2019. Disponível em: <https://bit.ly/3lK8qLY>. Acesso em: 21 set. 2021.
KOGA, N. M. et al. O que informa as políticas públicas: survey sobre o uso e
o não uso de evidências pela burocracia federal brasileira. 2020. Brasília: Rio de
Janeiro, Ipea, 2020. (Texto para Discussão, n. 2619). Disponível em: <https://bit.
ly/3Cy2nAL>. Acesso em: 21 set. 2021.
KOGA, N. M. et al. Instrumentos de políticas públicas para o enfrentamento do
vírus da Covid-19: uma análise dos normativos produzidos pelo Executivo Federal.
2020. Boletim de Análise Político-Institucional, n. 22, abr. 2020. Disponível
em: <https://bit.ly/3hW3nH7>. Acesso em: 22 set. 2021.
MATHEUS, F. S.; RAIMUNDO, S. The results of ecotourism policies in protected
areas in Brazil and Canada. Revista Brasileira de Pesquisa em Turismo, v. 11,
n. 3, p. 454-479, set./dez. 2017. Disponível em: <https://bit.ly/2W057XY>.
MEDEIROS, H.; SANTIAGO, K. Políticas públicas educacionais baseadas em
evidências: tomada de decisão apoiada em algoritmos de mineração de dados a
partir dos questionários da Avaliação Nacional da Educação Básica (Aneb). Revista
Tecnologias na Educação, v. 31, p. 1-16, dez. 2019. Disponível em: <https://bit.
ly/3u5tjoG>. Acesso em: 22 set. 2021.
OELKE, N. D.; LIMA, M. A. D. S.; ACOSTA, A. M. Knowledge translation:
translating research into policy and practice. Revista Gaúcha de Enfermagem,
v. 36, n. 3, p. 113-117, set. 2015. Disponpivel em: <https://bit.ly/3EHWl2n>.
PELLEGRINI FILHO, A. Public policy and the social determinants of health: the
challenge of the production and use of scientific evidence. Cadernos Saúde Pú-
blica, v. 27, p. 135-140, 2011. Disponível em: <https://bit.ly/3kCx7L3>. Acesso
em: 22 set. 2021.
PEDROSO, R. T.; JUHÁSOVÁ, M. B.; HAMANN, E. M. A ciência baseada em
evidências nas políticas públicas para reinvenção da prevenção ao uso de álcool
e outras drogas. Interface, v. 23, p. 1-16, 2019. Disponível em: <https://bit.
ly/3AxxjRh>. Acesso em: 22 set. 2021.
PINHEIRO, M. M. S. Políticas públicas baseadas em evidências (PPBEs): deli-
mitando o problema conceitual. 2020. Brasília: Ipea, 2020. (Texto para Discussão,
n. 2554). Disponível em: <https://bit.ly/3o12b98>. Acesso em: 22 set. 2021.
______. Políticas públicas baseadas em evidências: uma avaliação crítica. 2020.
Boletim de Análise Político-Institucional, n, 24, novembro de 2020. Disponível
em: <https://bit.ly/3u5G5Ua>. Acesso em: 22 set. 2021.
RAMOS, M. C.; SILVA, E. N. Como usar a abordagem da política informada por

evidência na saúde pública? Saúde Debate, v. 42, n. 116, p. 296-306, jan.-mar. 2018.
Disponível em: <https://bit.ly/3kuy87C>. Acesso em: 22 set. 2021.
RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliação de políticas
públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administra-
ção Pública, v. 46, n. 5, p. 1271-1294, out. 2012. Disponível em: <https://bit.
ly/3AxZH5H>. Acesso em: 22 set. 2021.
RESENDE, F. M. et al. A conceptual model to assess the impact of anthropogenic driv-
ers on water-related ecosystem services in the Brazilian Cerrado. Biota Neotropical, v.
20, p. 1-20, 2020. Disponível em: <https://bit.ly/3hSX9rq>. Acesso em: 22 set. 2021.
REZENDE, K. S.; SILVA, G. O.; ALBUQUERQUE, F. C. Parcerias para o
desenvolvimento produtivo: um ensaio sobre a construção das listas de produtos
estratégicos. Saúde Debate, v. 43, n. esp. 2, p. 155-168, nov. 2019. Disponível
em: <https://bit.ly/3EEqu2B>. Acesso em: 22 set. 2021.
RIBEIRO, P.; SOPHIA, D. C.; GRIGÓRIO, D. A. Gestão governamental e so-
ciedade: informação, tecnologia e produção científica. Ciência e Saúde Coletiva,
v. 12, n. 3, p. 623-631, jun. 2007. Disponível em: <https://bit.ly/3o1DXvs>.
em: <https://bit.ly/3kCRPuh>. Acesso em: 22 set. 2021.
SILVA, D. A. V. S.; FONSECA, M. V. A. Monitoramento para avaliação do
desempenho regulatório do Instituto Nacional de Metrologia, Qualidade e Tecno-
logia. Revista de Administração Pública, v. 49, n. 2, p. 447-472, mar./abr. 2015.
Disponível em: <https://bit.ly/2XCyobU>. Acesso em 22 set. 2021.
SOUZA, L. E. P. F.; CONTANDRIOPOULOS, A.-P. O uso de pesquisas na for-
mulação de políticas de saúde: obstáculos e estratégias. Cadernos Saúde Pública,
v. 20, n. 2, p. 546-554, mar.-abr. 2004. Disponível em: <https://bit.ly/3CsS1SO>.
TOLOSANA, E. S. Reducing health inequalities: the use of health impact assess-
ment on rural areas. Saúde e Sociedade, v. 24, n. 2, p. 515-526, abr.-jun. 2015.
Disponível em: <https://bit.ly/2XJ4XVG>. Acesso em: 223 set. 2021.
TRACTENBERG, L; STRUCHINER, M. Revisão realista: uma abordagem de
síntese de pesquisas para fundamentar a teorização e a prática baseada em evidências.
Ciência da Informação, v. 40, n. 3, p. 425-38, 2011. Disponível em: <https://
bit.ly/3EHyjEU>. Acesso em: 22 set. 2021.
YONEKURA, T. et al. Revisão realista como metodologia para utilização de

evidências em políticas de saúde: uma revisão integrativa. Revista da Escola de
Enfermagem, v. 53, p. 1-12, 2019. Disponível em: <https://bit.ly/3ocgZlF>.
APÊNDICE C
LISTAGEM DAS INSTITUIÇÕES, EVENTOS E PROMOÇÕES DO MOVIMENTO

BRASILEIRO DAS POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS (PPBEs)
1 DOZE INICIATIVAS GOVERNAMENTAIS
1.1 Instituições governamentais

1) Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP),
instituído em dezembro de 2016 com o objetivo de, junto à Contro-
ladoria-Geral da União (CGU), Casa Civil e ministérios, avaliar as
políticas públicas implantadas no Brasil. Disponível em: <https://bit.
ly/3o2qdAD>. Acesso em: 21 set. 2021.
2) Plataforma +Brasil, lançada pelo governo federal em 2019 e gerida
pelo Serviço Federal de Processamento de Dados (Serpro) sob a égide
de viabilizar políticas públicas baseadas em evidências tecnológicas.
Disponível em: <https://bit.ly/3ktt0Rg> e <https://bit.ly/2W1ekiK>.
3) Assessoria Estratégica de Evidências doMinistério da Educação (MEC),
criada em julho de 2018 com a missão de promover o uso apropriado
das evidências e fomentar a cultura de inovação para melhorar a qua-
lidade das políticas educacionais brasileiras. Disponível em: <https://
bit.ly/3lMw4aB>. Acesso em: 21 set. 2021.
4) Mestrado Profissional da Escola Nacional de Administração Pública
(Enap) em Avaliação e Monitoramento de Políticas Públicas. Disponível
em: <https://bit.ly/3kxvmPa>. Acesso em: 21 set. 2021.
5) Plataforma GovData: plataforma de inteligência para aplicação de
políticas públicas baseadas em evidências. Disponível em: <https://bit.
ly/3hXssBu>. Acesso em: 21 set. 2021.
1.2 Eventos e promoções governamentais

1) Webinário da Casa Civil do governo federal realizado em 4 de dezem-
bro de 2020 como parte do Ciclo de Webinários sobre o Centro de
Governo e Revisão por Pares da Organização para a Cooperação e De-
senvolvimento Econômico (OCDE), em que se discutiu a importância
de políticas públicas baseadas em evidências. Disponível em: <https://
bit.ly/2XGZrTq>. Acesso em: 21 set. 2021.
2) Curso rápido promovido pela Enap sobre a temática, ocorrido em

março de 2019. Disponível em: <https://bit.ly/3CFe7lg>. Acesso em:
21 set. 2021.
3) Escola de Governo do Distrito Federal tem em sua programação para
o triênio 2020-2022 curso relacionado a políticas sociais baseadas em
evidências. Disponível em: <https://bit.ly/3kxEAeg>. Acesso em: 21
set. 2021.
4) Oficina de políticas públicas baseadas em evidências promovida pela
Câmara de Direitos Sociais e Fiscalização de Atos Administrativos em
Geral do Ministério Público Federal, com temática Modelo lógico para
políticas públicas: um instrumento para avaliação de políticas públicas ba-
seadas em evidências, ocorrida em 18 de novembro de 2019. Disponível
em: <https://bit.ly/3EHk56G>. Acesso em: 21 set. 2021.
5) Curso de Capacitação do Instituto de Educação Roberto Bernardes
Barroso (IERRB) – Escola de Governo do Ministério Público do Rio
de Janeiro sobre políticas públicas baseadas em evidências, ocorrido
em 26 e 28 de agosto e 2 e 4 de setembro de 2020. Disponível em:
<https://bit.ly/3u4GBll>. Acesso em: 21 set. 2021.
6) Edital da Enap para concessão de bolsas de pesquisa no âmbito do
Programa Cátedras Brasil contemplando, entre as temáticas, a comu-
nicação de evidências em políticas públicas, publicado no Diário Ofical
da União (DOU) em 11 de junho de 2019. Disponível em: <https://
bit.ly/3o29U6S>. Acesso em: 21 set. 2021.
7) Curso Governança Pública e Políticas Baseadas em Evidências, pro-
movido pela Enap em 19 de outubro de 2018, com participação de
autoridades ligadas ao governo federal. Disponível em: <https://bit.
ly/3ELmJZ4>. Acesso em: 21 set. 2021.
2 ONZE INICIATIVAS NÃO GOVERNAMENTAIS
2.1 Instituições não governamentais

1) Impulso Gov – think tank criado em 2019 com o intuito de, a partir
de dados abertos da saúde pública no Brasil, apoiar o desenvolvimento
de soluções e a tomada de decisão de governos estaduais e municipais
quanto à gestão do Sistema Único de Saúde (SUS). Disponível em:
<https://bit.ly/2XDxCvg>. Acesso em: 21 set. 2021.
2) Instituto Questão de Ciência – think tank criado em 2018 com o objetivo
de promover as PPBEs a partir de pesquisa científica, jornalismo científico
e defesa do uso de dados científicos. Possui, em seu site, artigos de opinião

e periódico científico. Disponível em: <https://bit.ly/3lIq0Qo>. Acesso
em: 21 set. 2021.
3) Open Knowledge Brasil – organização da sociedade civil, capítulo
brasileiro da Open Knowledge International. Constituída no Brasil
em 2013, desenvolve ferramentas cívicas, projetos, análises de políticas
públicas e jornalismo de dados com o objetivo de pautar a transparência
entre governo e sociedade. Disponível em: <https://bit.ly/3kA3zxz>.
4) Iniciativa RIO+ – associação apartidária que tem como objetivo con-
tribuir para a retomada socioeconômica do Rio de Janeiro, por meio
da análise de dados, do incentivo à pesquisa local, do fomento ao
surgimento de talentos e levando evidências para o ambiente político.
Organizou, em junho de 2020, o I SemináRIO – Políticas Públicas
Baseadas em Evidências. Disponível em: <https://bit.ly/3zxKm3L>.
5) Centro de Liderança Pública (CLP) – think tank e promotor de cursos
na área de políticas públicas e gestão com cursos na temática de PPBEs.
Disponível em: <https://bit.ly/3EKu0IX>; <https://bit.ly/3ELtb2j>; e
<https://bit.ly/3kupsye>. Acesso em: 21 set. 2021.
6) Nexo Políticas Públicas – plataforma científico-jornalística ligada ao
veículo de mídia Nexo Jornal com o objetivo de dialogar com diversos
públicos, do acadêmico ao político, e a população em geral, visto que
as evidências têm papel fundamental na formulação, implementação
e avaliação das políticas públicas e são resultado direto de pesquisa
acadêmica. Disponível em: <https://bit.ly/3u43t4i>. Acesso em: 21
set. 2021.
7) Gove Digital – startup, autodefinida como uma govtech, que trabalha
para transformar o jeito que gestores públicos municipais tomam suas
decisões diárias e, também, para aumentar a eficiência das finanças
públicas. Disponível em: <https://bit.ly/3AxZAHm>. Acesso em: 21
set. 2021.
8) Evidence Informed Policy Network Brasil (EVIPNET Brasil) é o braço
brasileiro de uma rede promovida pela Organização Mundial da Saúde
(OMS) para promover o uso sistemático de evidências de pesquisas
científicas na formulação de políticas públicas de saúde. Disponível
em: <https://bit.ly/2XKIdF8>. Acesso em: 21 set. 2021.
2.2 Eventos e promoções não governamentais

1) Transparência Covid-19 – iniciativa da Open Knowledge Brasil com
o objetivo de avaliar a qualidade dos dados e informações relativos à
pandemia do novo coronavírus publicados pela União e pelos esta-
dos brasileiros em seus portais oficiais. Disponível em: <https://bit.
ly/3ACfJLV>. Acesso em: 21 set. 2021.
2) III Congresso Internacional de Controle e Políticas Públicas, organi-
zado pelo Instituto Rui Barbosa, foi realizado em Belo Horizonte, em
2018, perpassando a temática das PPBEs. Disponível em: <https://bit.
ly/39xbqWk>. Acesso em: 21 set. 2021.
3) Curso Política Pública Baseada em Evidência, organizado pelo coletivo
A Ponte, rede de mulheres com expertise acadêmica e em prática de
governo que busca prover informação para melhorar o desenho das
políticas públicas no Brasil. Disponível em: <https://bit.ly/3hY6ezc>.
3 NOVE INICIATIVAS DAS UNIVERSIDADES
3.1 Instituições criadas pelas universidades

1) Observatório Covid-19 BR – iniciativa independente de 85 pesquisado-
res associados a 28 instituições com o objetivo de tabular e disseminar
informações sobre a covid-19 com base em metodologia científica
para informar as autoridades responsáveis pelas políticas públicas e a
população em geral. Disponível em: <https://bit.ly/2ZoQmPY>. Acesso
em: 21 set. 2021.
2) Prêmio Evidência – criado, em 2020, pela Fundação Getulio Vargas
(FGV), pela Enap e pelo Instituto Mobilidade e Desenvolvimento Social
(IMDS) com o intuito de reconhecer e promover a interação entre a
ciência e a política pública. Disponível em: <https://bit.ly/3EGo6bP>.
3) Núcleo de Inteligência Social (NIS) – iniciativa da Pontifícia Uni-
versidade Católica de Minas Gerais (PUC-Minas) e do ChildFund
Brasil para a criação de um centro de pesquisas que visa à produção de
indicadores científicos para a tomada de decisão de gestores públicos.
Disponível em: <https://bit.ly/3AzX4QI>. Acesso em: 21 set. 2021.
3.2 Eventos e promoções das universidades

1) Seminário de pós-graduação da Universidade Federal do Espírito Santo
(UFES) sobre PPBEs ocorrido on-line em junho de 2020. Disponível
em: <https://bit.ly/2W5PFtr> e <https://bit.ly/3AEUGZ1>. Acesso
em: 21 set. 2021.
2) Projeto de extensão, com seleção de bolsistas, implementado pela
Faculdade de Direito e Ciências de Estado da Universidade Federal de
Minas Gerais (UFMG), denominado Políticas Públicas Baseadas em
Evidências, realizado em maio de 2018. Disponível em: <https://bit.
ly/3zzWIbu>. Acesso em: 21 set. 2021.
3) Evento on-line do Centro de Política e Economia do Setor Público (CE-
PESP/FGV) sobre políticas públicas no combate à covid-19, ocorrido
em 4 de junho de 2020. Disponível em: <https://bit.ly/3AErAZY>.
4) Disciplinas de políticas públicas: Avaliação e Evidências I e II, ofer-
tadas, em 15 de julho de 2020, pelo Programa de Pós-Graduação em
Economia da Faculdade de Economia, Administração e Contabilidade
da Universidade de São Paulo (FEA/USP), em caráter remoto, para o
público externo à universidade cursar na condição de aluno especial.
Disponível em: <https://bit.ly/3i2QXgz>. Acesso em: 21 set. 2021.
5) I Seminário sobre Políticas Públicas Baseadas em Evidências no Sis-
tema de Justiça Criminal Brasileiro, realizado em novembro de 2020
pela Universidade Federal do Ceará (UFC) e pela Fundação Konrad
Adenauer. Disponível em: <https://bit.ly/3kzHBul>. Acesso em: 21
set. 2021.
6) Webinário FGV – experiências e desafios sobre o uso de evidências nas
políticas públicas, no dia 22 de abril de 2021. Disponível em: <https://
bit.ly/3CE287d>. Acesso em: 21 set. 2021.
APÊNDICE D
METODOLOGIA DA PRODUÇÃO DOS MAPEAMENTOS
1 METODOLOGIA DO LEVANTAMENTO DE TESES E DISSERTAÇÕES BRASILEI-

RAS RELACIONADAS ÀS PPBEs
O motor de buscas do Catálogo de Teses e Dissertações (CTD) da Coordenação
de Aperfeiçoamento de Pessoal de Nível Superior (Capes)9 apresenta uma caixa
simples de busca, a ser preenchida com as palavras desejadas, as quais podem, se
preciso, ser concatenadas em expressões mais longas. Para tanto, é necessário o uso
de aspas duplas. Não há, nesse primeiro momento, a possibilidade de orientar a
busca por campos específicos, como título, autor ou palavra-chave, sendo que, a
posteriori, é permitido o refinamento das buscas, que então podem ser realizadas
pelos seguintes critérios: tipo, ano, autor, orientador, banca, grande área do conhe-
cimento, área do conhecimento, área de avaliação, área de concentração, nome do
programa, instituição e biblioteca.
A pesquisa por muitas palavras sem a devida delimitação por aspas produz
resultados normalmente exorbitantes. A busca, por exemplo, por políticas públicas
baseadas em evidências (sem aspas) forneceu como resultado 1.137.292 teses ou
dissertações, de um total de 1.213.947 trabalhos que compõem o banco de dados
da Capes (as buscas no catálogo da Capes, para este capítulo, foram realizadas entre
os dias 5 e 15 de março de 2021).
Em contrapartida, delimitando com aspas os diversos conjuntos de palavras
para a busca e elencando as várias maneiras como o tema pesquisado pode apare-
cer nos manuscritos, como “políticas públicas baseadas em evidências” ou ainda
“política baseada em evidências” e suas demais variações, o sistema passa a retornar
um número mais exequível para o refinamento e a análise.
Por isso, optamos por buscar os termos completos na base encerrando-os entre
aspas, para que fossem assim buscados no conteúdo disponível para pesquisa. Na
tentativa de angariar o maior número possível de resultados, foram buscados os
vinte termos listados a seguir.
1) “Políticas públicas baseadas em evidências”.
2) “Políticas públicas baseadas em evidência”.
3) “Política pública baseada em evidências”.
4) “Política pública baseada em evidência”.
5) “Políticas públicas informadas por evidências”.
9. Disponível em: <https://bit.ly/3udIPik>.

6) “Políticas públicas informadas por evidência”.

7) “Política pública informada por evidências”.
8) “Política pública informada por evidência”.
9) “Gestão pública baseada em evidências”.
10) “Evidence based policy”.
11) “Políticas baseadas em evidências”.
12) “Políticas baseadas em evidência”.
13) “Política baseada em evidências”.
14) “Política baseada em evidência”.
15) “Políticas informadas por evidências”.
16) “Política informada por evidências”.
17) “Políticas informadas por evidência”.
18) “Política informada por evidência”.
19) “Gestão pública baseada em evidência”.
20) “Evidence based policies”.
Cabe ressaltarmos, com o nosso perdão pela obviedade, que o CTD da Capes
contabiliza os trabalhos disponibilizados, e não necessariamente todos aqueles
defendidos no âmbito dos programas de pós-graduação (PPGs) do país. O CTD
abarca o período 1987-2019, abrangendo todas as áreas do conhecimento. As teses
e dissertações defendidas em 2020 e 2021 não estavam registradas ainda na ocasião
do nosso levantamento, em março de 2021. Além disso, vale acrescentarmos que
só há informações expandidas para os trabalhos defendidos e catalogados a partir
de 2013, o que coincide com o ano da primeira inserção de dados completos na
Plataforma Sucupira, lançada em março de 2014.
O levantamento assim realizado conseguiu detectar 23 teses e dissertações
(apêndice A).
2 METODOLOGIA DO LEVANTAMENTO DOS ARTIGOS RELACIONADOS ÀS

PPBEs PUBLICADOS NO BRASIL
Para a pesquisa por artigos que tratem do assunto das políticas públicas baseadas
em evidências (PPBEs), optamos por realizar a busca tanto na base de dados de
um indexador de publicações científicas de impacto reconhecido, o Scientific
Electronic Library Online (SciELO) Brasil, como também no Google Acadêmico
(Google Scholar), de modo a obter resultados de diferentes origens. A busca foi

realizada também na bibliografia dos artigos encontrados.
É importante salientar que ainda que o catálogo de artigos da SciELO Bra-
sil seja bastante extenso e o Google Acadêmico valha-se da indexação de todo o
material publicamente disponível na internet, uma busca em suas bases de dados
não trará como resposta todo o material produzido a respeito do tema, mas sim
todo o material indexado por seus respectivos motores de busca.
No que diz respeito diretamente à busca, a base de dados do SciELO
Brasil10 permite a pesquisa tanto de artigos avulsos quanto de periódicos comple-
tos catalogados em seus bancos de dados. Em se tratando de artigos, existem três
modalidades de busca: por autor, por assunto e por palavras constantes de diversos
campos indexados desses artigos.
No caso das duas últimas modalidades, a busca por assunto revela-se um
tanto quanto mais restrita que a pesquisa por palavras, haja vista que há um limite
finito de assuntos já catalogados na base. Uma busca breve por esses assuntos revela
que há diversas maneiras em que a temática das PPBEs já está inserida, indicando,
inclusive, um conjunto de palavras que também podem ser usadas na pesquisa
mais ampla disponível no ambiente.
Sendo assim, os assuntos já indexados na base são os listados a seguir:
• política basada en la evidencia;
• política baseada em evidências;
• política baseada na ciência;
• política informada por evidências;
• política informada por la evidencia;
• política pública baseada em evidência;
• políticas baseadas em evidências;
• políticas informadas por evidências;
• interface ciência/políticas públicas;
• evidence-based policies;
• evidence-based policy;
• evidence-based public policy;
• evidence-informed policy;
10. Disponível em: <https://bit.ly/3i3f9Q6>.

• evidence-informed policy making; e

• science-based policy.
Um aprofundamento nesses assuntos já catalogados aponta que vários artigos
se encontram indexados em mais de uma categoria, haja vista que o campo assunto
é composto pelas palavras-chave definidas nos artigos, e estas estão muitas vezes
presentes em diversos idiomas, evidenciando o porquê da existência de termos
semelhantes em idiomas diferentes, como politica basada en la evidencia e política
baseada em evidências, cuja pesquisa leva aos mesmos artigos.
Além dos assuntos já indexados, existem artigos que contemplam o tema,
porém estão registrados sob outros assuntos. Para encontrá-los, foi utilizada a fer-
ramenta de pesquisa mais ampla, que busca por palavras ou conjuntos de palavras
específicos nos seguintes campos relevantes: título, autor, assunto e resumo. Com
um retorno maior de resultados, filtra-se de acordo com as informações presentes
no resumo do trabalho.
Para essa busca, foram selecionados os seguintes conjuntos de palavras:
i) politica(s) pública(s) + evidência(s); ii) policy making + evidence(s); e iii) public
policy(ies) + evidence(s).
Por sua vez, no caso do Google Acadêmico, seu motor de buscas funciona de
maneira similar ao motor de buscas do Google, tratando-se de uma pesquisa difusa
que busca encontrar em todo o material indexado todas as palavras digitadas, dando
mais relevância àqueles que contenham todas as palavras, especialmente na ordem
escolhida, sendo que é possível forçar associações específicas de palavras com o uso
de aspas duplas e operadores de busca, como + e -, para indicar a obrigatoriedade
de presença ou ausência de determinadas palavras.
Nesse caso, como a abrangência do material indexado é global e é impossível
especificar que são desejados apenas resultados de um determinado país, podendo
escolher se desejamos páginas em qualquer idioma ou apenas em um idioma espe-
cífico, optou-se por selecionar produções apenas em português e que contivessem
as palavras “política”, “pública” e “evidência”, tanto no singular quanto no plural,
e especificando que os conjuntos importantes são “política pública” + “evidência”,
em uma ordenação por relevância.
Tal arranjo foi escolhido visto que o conjunto “políticas públicas baseadas
em evidências”, por ser bastante restritivo, tende a resultar em um número muito
pequeno de resultados, enquanto o conjunto escolhido retorna na casa dos mi-
lhares, e a ordenação por relevância ajuda a filtrar, nas páginas iniciais da busca,
eventuais falsos positivos, como apresentações de slides e arquivos de texto sem
origem definida, que também acabam sendo indexados pela base.
É importante salientar que, como qualquer pesquisa no Google, os resultados

tendem a variar com o tempo e com o número de acessos a determinadas páginas
em detrimento de outras, modificando, assim, a ordem em que os artigos aparecem
em suas buscas, uma vez que a própria pesquisa e acesso aos artigos selecionados já
muda o grau de relevância que estes passam a ter para pesquisas subsequentes. O
levantamento assim realizado conseguiu detectar 41 artigos (apêndice B).
3 METODOLOGIA DE PESQUISA DAS INSTITUIÇÕES, DOS EVENTOS E DAS

PROMOÇÕES BRASILEIROS RELATIVOS ÀS PPBEs
Para a busca de eventos (cursos, seminários, congressos, colóquios etc.) e institui-
ções, governamentais ou não, foram utilizados tanto o Google, com seu processo
de pesquisa difusa, quanto os sítios principais da administração pública de todos
os 26 estados da federação e do Distrito Federal.
No primeiro caso, foi buscado o conjunto de palavras “políticas públicas ba-
seadas em evidências” delimitado por aspas, seguido de outros termos, quais sejam:
organização, congresso, seminário, colóquio, palestra e evento, de tal sorte que o
motor de buscas desse relevância a todas as palavras pesquisadas, com maior ênfase
àquelas que se encontram exatamente da maneira e na ordem como foram escritas,
e, então, trazendo aproximações que são consideradas relevantes pelos algoritmos.
No segundo caso, foram pesquisados nos motores de busca dos sítios dos 26
estados e do Distrito Federal pelas palavras “avaliação” e “evidências”, em conjunto
ou separadas, na expectativa de que resultados relevantes fossem levantados acerca
daquela Unidade Federativa, seu organograma, programas etc.
Há que se pontuar que o Google traz sempre resultados aproximados e,
muitas vezes, já condicionados a quem faz a busca, com seus algoritmos utilizando-
-se de informações como buscas anteriores, outros sítios acessados, localização
geográfica, entre outros para, assim, determinar quais resultados podem ser mais
ou menos relevantes a quem está realizando a pesquisa. Mesmo ao se abrir uma
janela privada ou incógnita do navegador e realizar nela essa busca, no intento
de minimizar ou limitar os efeitos de buscas e acessos anteriores, esses efeitos
continuam sendo notados.
Ademais, também é necessário compreender que o processo de indexação
do motor de buscas não faz, a princípio, diferenciações entre uma notícia em um
portal on-line, uma chamada de artigos em um periódico acadêmico ou mesmo
informações contidas em arquivos de slides ou de textos carregados para serviços
de nuvem e compartilhados de maneira pública na rede, identificando-os todos
como resultados possíveis da busca realizada. Também é transparente ao busca-
dor a particularidade desses resultados continuarem disponíveis ou já terem sido
descontinuados de suas localizações originais, gerando, assim, ligações fantasmas

para sítios que já estiveram no ar, mas não existem mais.
Por fim, também é importante entender que os processos de priorização de
resultados do buscador dão maior relevância a materiais publicados ou modifica-
dos em data mais próxima da realização da busca, retrocedendo temporalmente
conforme se pedem mais resultados, até que estes percam a relevância ou retornem
mais links quebrados do que resultados positivos.
De maneira oposta, os buscadores dos diversos sítios das Unidades Federativas
têm um conjunto finito e comparativamente menor de resultados a retornar, porém
esbarram na falta de padronização entre as unidades, bem como na não indicação
de quais tipos de informação estão catalogadas para busca, como leis, eventos,
organogramas, notícias etc. Dessa forma, podem trazer resultados inconsistentes
ou diferentes entre os diversos entes da federação.
Com isso, após a pesquisa realizada entre os dias 15 e 20 de março de 2021 e
a devida filtragem dos resultados para que fossem ressaltados aqueles sobre os quais
era possível obter mais detalhes, chegamos a um total de 32 itens (apêndice C).
APÊNDICE E
144 |
DETALHAMENTO DA ANÁLISE DE CONTEÚDO DAS TESES E DISSERTAÇÕES E DOS ARTIGOS
QUADRO E.1
Análise detalhada de conteúdo das teses e dissertações sobre PPBEs do catálogo da Capes
Número da tese ou dissertação
Categorias analíticas
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Total
Defende que as políticas públicas
1 sejam informadas por evidên- PC PC Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim 21 sim
cias? (Sim ou pouco claro)
Dialoga diretamente com o
2 Sim Sim Não Não Sim Não Não Não Não Sim Sim Não Sim Não Não Sim Não Não Não Não Sim Sim Sim 10 sim
MPPBE? (Sim ou não)
Dialoga apenas com a medicina
7 de
3 baseada em evidências? (Não se NA NA NA Não Não Sim Sim Não Sim Não Não Não Não Sim Não Não Sim NA Sim Sim NA Não Não
18
aplica, sim ou não)
Teoriza sobre o manejo das
4 evidências ou sobre a produção Sim Sim Sim Não Sim Não Não Não Não Sim Sim Não Não Não Não Sim Não Não Não Não Sim Não Não 8 sim
das PPBEs? (Sim ou não)
Enfatiza a produção das evidên-
5 Não Sim Sim Sim Não Sim Sim Sim Sim Sim Sim Sim Não Sim Sim Sim Sim Sim Sim Sim Sim Não Sim 19 sim
cias? (Sim ou não)
Enfatiza o uso das evidências
ou a interação entre gestores
6 Sim Não Não Não Sim Não Não Não Não Sim Sim Não Sim Não Não Sim Não Não Sim Não Sim Sim Sim 10 sim
públicos e produtores do conhe-
cimento? (Sim ou não)
Explora ou desenvolve instru-
7 mentos para a produção das Não Sim Sim Sim Não Sim Sim Sim Sim Não Sim Não Não Sim Não Sim Sim Não Sim Sim Sim Sim Não 15 sim
PPBEs? (Sim ou não)
Tipo de instrumento enfatizado
8 NA a b c d a a e f NA a NA NA g NA a a NA a a a h NA –
ou defendido

Políticas Públicas e Usos de Evidências no Brasil:
Obs.: PC = pouco claro; NA = não se aplica; índice da linha 8: a = revisão sistemática; b = experimento aleatório controlado; c = revisão de escopo; d = capacitação de técnicos e mudança na cultura
organizacional; e = análise de custos; f = avaliação de impacto; g = escore de políticas municipais públicas; e h = tradução do conhecimento.
QUADRO E.2
Análise ampliada de conteúdo dos artigos relacionados às PPBEs publicados no Brasil
Número do artigo
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Subtotal
Defende que as políticas públicas

1 sejam informadas por evidên- Sim Sim Sim Sim Sim Sim Sim PC Sim Sim PC Sim PC PC PC PC PC Sim PC PC PC PC PC -
cias? (Sim ou pouco claro)

Dialoga diretamente com o
2 Não Sim Não Sim Sim Sim Sim Sim Sim Não Não Sim Não Não Sim Não Não Sim Não Sim Sim Sim Não -
MPPBE? (Sim ou não)
Dialoga apenas com a medicina
3 baseada em evidências? (Não se Sim Não Sim NA NA NA NA Não NA Sim NA Não Não NA NA Não Sim Não Sim Não NA NA NA -
aplica, sim ou não)
Teoriza sobre o manejo das
4 evidências ou sobre a produção Sim Sim Sim Sim Sim Sim Sim Sim Sim Não Sim Não Não Sim Sim Sim Não Não Não Sim Sim Sim Não -
das PPBEs? (Sim ou não)
Enfatiza a produção das evidên-
5 Sim Sim Sim Sim Sim Não Não Sim Não Sim Sim Sim Sim Sim Sim Sim Sim Não Não Não Não Não Não -
cias? (Sim ou não)
Enfatiza o uso das evidências
ou a interação entre gestores
6 Sim Sim Sim Não Não Sim Sim Não Sim Não Não Sim Não Sim Não Sim Sim Não Não Sim Sim Sim Não -
públicos e produtores do conhe-
Explora ou desenvolve instru-
7 mentos para a produção das Sim Não Não Sim Sim Não Não Sim Não Sim Sim Sim Sim Não Não Não Sim Não Não Não Não Não Não -
PPBEs? (Sim ou não)
Tipo de instrumento enfatizado
8 a NA NA b b NA NA b NA b b b b NA NA NA c NA NA NA NA NA NA -
ou defendido
(Continua)
Mapeamento e Caracterização do Movimento das Políticas Públicas Baseadas em
| 145
(Continuação)
146 |
Número do artigo
24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 Total
Defende que as políticas públicas sejam infor-
1 Sim Sim Sim Sim PC PC Sim PC Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim 26 sim
madas por evidências? (Sim ou pouco claro)
Dialoga diretamente com o MPPBE? (Sim ou
2 Não Não Não Sim Sim Sim Sim Não Não Não Sim Sim Sim Não Sim Não Sim Sim 23 sim
não)
Dialoga apenas com a medicina baseada em 7 sim;14
3 NA Não Sim Não NA NA Não NA NA Sim NA Não NA NA Não Não NA Não
evidências? (Não se aplica, sim ou não) não
Teoriza sobre o manejo das evidências ou sobre
4 Sim Sim Sim Sim Sim Sim Sim Sim Sim Não Sim Sim Sim Sim Sim Sim Sim Sim 33 sim
a produção das PPBEs? (Sim ou não)
Enfatiza a produção das evidências? (Sim ou
5 Sim Sim Sim Não Não Não Não Sim Sim Sim Sim Sim Sim Sim Não Sim Sim Sim 27 sim
não)
Enfatiza o uso das evidências ou a interação
6 entre gestores públicos e produtores do conhe- Não Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Não Não 28 sim
Explora ou desenvolve instrumentos para a
7 Sim Sim Não Não Não Não Sim Sim Sim Sim Sim Sim Não Sim Não Sim Sim Sim 21 sim
produção das PPBEs? (Sim ou não)
8 Tipo de instrumento enfatizado ou defendido d e NA NA NA NA b+f a a g h i NA a+j NA k b b -

Obs.: PC = pouco claro; NA = não se aplica; índice da linha 8: a = avaliação das políticas; b = revisão sistemática; c = monitoramento de horizonte tecnológico; d = aprendizagem de máquina; e = translação
do conhecimento; f = diálogos deliberativos; g = elaboração de listas de produtos estratégicos; h = evidências comportamentais; i = projeto descentralizado on-line; j = mapa de causa e efeito;
e k = avaliação de impacto na saúde (health impact assessment).
Seção II
Discussão sobre Métodos e Abordagens
na Produção de Evidências
CAPÍTULO 4
CONECTANDO PESQUISA A GESTÃO MUNICIPAL: AVALIAÇÕES DE

IMPACTO INFLUENCIAM A FORMULAÇÃO DE POLÍTICA PÚBLICA?1
Diana Moreira2
Juan Francisco Santini3
1 INTRODUÇÃO
O processo pelo qual políticas são escolhidas e postas em prática é complexo. En-
volve vários atores com interesses diversos, muitas vezes com objetivos que pouco
se relacionam com o bem-estar do público atingido pela política. Mas mesmo
quando a política pública é concebida com a melhor das intenções, objetivando
sanar um problema do público, a solução não é facilmente atingida.4 Apenas a boa
intenção não faz uma boa medicina. A boa medicina requer uma série de passos
que, em conjunto, levam ao progresso e à melhora do paciente.
Antes de propor o tratamento, consulta-se o que já comprovadamente fun-
cionou em uma parcela grande de pacientes e se tem conhecimento dos eventuais
efeitos colaterais. Uma vez que o tratamento é dado, o acompanhamento continua,
observando-se erros de percurso, alterando-se o tratamento até que o problema seja
sanado ou ao menos suavizado. Nem sempre existe um tratamento comprovado,
e a médica trata o paciente de forma ainda mais cautelosa com doses menores e
maior acompanhamento, às vezes até construindo essa comprovação do tratamento.
A resolução de problemas depende desse processo sistemático de busca de acertos e
erros de tentativas passadas, e contínuo acompanhamento de acertos e erros futuros.
A vida do gestor público é bem mais difícil, mas a formulação de política pública
poderia funcionar assim, de forma integrada com evidência empírica.
1. Agradecemos os comentários de Diana Kaplan Barbosa e Richard Martins da Cunha, que contribuíram para melhoria
deste capítulo. Em conjunto com Diana Moreira e Juan Francisco Santini, Gautam Rao (Harvard University e National
Bureau of Economic Research – NBER) e Jonas Hjort (Columbia University, NBER, The Bureau for Research and Economic
Analysis of Development – Bread e Centre for Economic Policy Research – CEPR) são também autores do artigo original
em inglês no qual este capítulo se baseia. Qualquer referência a este capítulo deve citar o artigo original (Hjort et al.,
2021). Erros nas análises adicionais apresentadas, adaptações e tradução devem ser atribuídos apenas aos autores
deste capítulo.
2. Professora assistente na Universidade da Califórnia, Davis, Estados Unidos. E-mail: <dsmoreira@ucdavis.edu>.
3. Pesquisador na Innovations for Poverty Action (IPA). E-mail: <jsantini@poverty-action.org>.
4. Além dos objetivos dos agentes envolvidos na tomada de decisão, existem, claro, restrições. Desde a falta de recursos
financeiros e rigidez de processos na máquina pública até a falta de pessoal qualificado. Este capítulo procura discutir se,
na prática, a falta de conhecimento da efetividade das diferentes soluções é de fato uma restrição relevante adicional.
Existem diversas formas pelas quais evidências empíricas podem entrar no

processo de decisão, desde o diagnóstico do problema até a elaboração, o refinamento
e a implementação de potenciais soluções. O foco deste capítulo consiste no uso,
por parte de gestores públicos municipais, de evidência advinda de avaliação de
impacto quanto à efetividade de políticas públicas. Note que esse enfoque acaba
por gerar diferenças com relação a usos de pesquisa debatidos em outros contextos.
A primeira diferença é que nossos resultados são relevantes para políticas
públicas municipais. O acesso, as instituições e o nível de polarização ideológica
tendem a variar com nível de governo e, infelizmente, é difícil prever se tais resulta-
dos se aplicariam para a esfera federal, que é o foco principal dos demais capítulos
deste livro. A segunda diferença diz respeito ao tipo de evidência empírica da qual
tratamos: avaliação de impacto. Esta consiste em uma análise empírica testando
uma hipótese de causa e efeito, tendo um critério previamente estabelecido para
confirmar ou rejeitar a hipótese. Isso exclui, portanto, uma camada grande de
pesquisas, como aquelas que selecionam casos de sucesso para serem estudados a
fundo, ou análises que observam apenas beneficiários de uma política antes e depois
da implementação, ou análises correlacionais entre a existência de uma política e
o seu objetivo que não usam métodos para isolar os efeitos de outras causas pre-
valentes no ambiente onde são estudadas. Este capítulo não oferece aprendizados
quanto a esses outros tipos de pesquisa.
Estudos de avaliação de impacto têm um potencial enorme de revolucionar
a prática de políticas públicas. Bilhões de reais são gastos anualmente em inter-
venções concebidas para reduzir a pobreza, aumentar a produtividade, melhorar
os aprendizados nas escolas, reduzir a mortalidade infantil, entre outros. Entender
se uma intervenção atinge ou não seus objetivos, e porque sim e porque não, é
crucial para a prestação de contas e o uso eficiente dos recursos. Estudos que ava-
liam rigorosamente o impacto de políticas públicas não só permitem descobrir os
efeitos de tais políticas, mas também permitem ajustar o percurso caso o caminho
inicial destas se mostre inadequado. O aprendizado com respeito à efetividade de
políticas tem crescido muito nas últimas décadas. Apenas no registro da American
Economic Association, desde 2013 iniciou-se mais de 4,5 mil estudos de avaliação
de impacto. Indiscutivelmente, estudos de avaliação de impacto não são a panaceia e
estão sujeitos, por exemplo, a diferentes questionamentos de validade externa e viés
de publicação. Porém, este tipo de estudo permite revelar êxitos e, principalmente,
fracassos, o que é fundamental para formular políticas que realmente progridam.
Conectar pesquisa com a gestão pública no Brasil parece talvez um sonho
distante. O gráfico 1A mostra que os prefeitos raramente utilizam as universidades
e as instituições de pesquisas como fontes para informar-se sobre uma política
Conectando Pesquisa a Gestão Municipal: avaliações de impacto influenciam a | 151
formulação de política pública?
pública.5 Entretanto, o gráfico 1B oferece uma visão promissora, pois indica que
universidades e instituições de pesquisas foram indicadas pelos prefeitos entrevis-
tados como as fontes mais confiáveis (diferença para outras fontes estatisticamente
significantes) para obtenção de informação.
Apesar do potencial das avaliações de impacto de mudar a prática de formular
política pública, o quanto de fato muda ou pode mudar depende de fatores adicio-
nais. Até que ponto os líderes políticos estão interessados e abertos a pesquisas de
avaliações de impacto? E, na medida em que “consomem” pesquisas, eles conseguem
agir com base nas novas descobertas? Considerando o volume enorme de estudos
e aprendizados “comprovados”, o entendimento dessas questões é fundamental
para que essa capacidade em potencial seja realizada: se os líderes políticos valo-
rizam essas pesquisas; se isso muda suas crenças sobre a efetividade de políticas;
e se os líderes implementam políticas públicas a que, de outra forma, não teriam
acesso, em resposta às novas descobertas científicas. Em suma, a falta de (acesso a)
informações provindas de pesquisas de avaliações de impacto é uma restrição na
tomada de decisão de políticas públicas?
Neste capítulo, damos um primeiro passo para responder a essas perguntas,
fornecendo evidências de dois experimentos. Em parceria com a Confederação
Nacional de Municípios (CNM) no Brasil, a pesquisa descrita a seguir atingiu
prefeitos(as) e gestores por todo o Brasil, em um total de 2.150 municípios. Faz-se
importante notar que grande parte das análises aqui apresentadas apareceu origi-
nalmente no artigo publicado na revista acadêmica American Economic Review e
vários trechos foram traduzidos e adaptados do artigo original de Hjort et al. (2021).
GRÁFICO 1
Utilização e grau de confiança em fontes de informação
1A – Obtenção de informação por fonte (%)
70,4
66,7
61,1
50,0
33,3
22,2
14,8
7,4
Mídia (jornal, Universidades Empresários Colegas Integrantes Agências Partido Outros

TV e rádio) e instituições de locais de outros do seu governamentais político partidos
pesquisa municípios governo local estaduais e próprio políticos
federais
5. O gráfico 1 baseia-se em um estudo de caso com setenta prefeitos.

1B – Grau de confiança por fonte

3,55
3,35
3,08
2,80
2,48 2,45
2,30
1,82
Mídia (jornal, Universidades Empresários Colegas Integrantes Agências Partido Outros

TV e rádio) e instituições de locais de outros do seu governamentais político partidos
pesquisa municípios governo local estaduais e próprio políticos
federais

Obs.: 1. O gráfico 1A mostra respostas de prefeitos(as) à seguinte pergunta: “De modo geral, a partir de quais fontes você
aprende sobre uma nova política ou obtém novas informações sobre uma política já existente (por exemplo: que ela
não funciona ou fica sabendo de uma melhor forma de implementá-la)? Por favor, selecione mais de uma opção caso a
informação provenha de diferentes fontes”. O gráfico 1B mostra respostas de prefeitos(as) à seguinte pergunta: “Para
cada um dos seguintes grupos/instituições, por favor, indique o quanto você confia neles como fonte de informação
relevante para formulação de políticas locais”, sendo: (1) nada; (2) não muito; (3) bastante; e (4) muito.
2. Quando se trata de obtenção de informações, as universidades e instituições de pesquisa ficaram acima somente de
empresários locais e partidos políticos, que são as fontes menos confiáveis. A pesquisa foi feita com setenta prefeitos
e não foi desenhada para ser representativa. Deve ser interpretada como um estudo de caso.
2 EXPERIMENTO DE ADOÇÃO DE POLÍTICA

Nesta seção, descrevemos um experimento de campo que foi desenhado para analisar
se o fornecimento de evidências empíricas sobre a efetividade de políticas públicas
aos chefes de governos municipais influencia as políticas que são adotadas em seus
municípios. Notamos que informar os prefeitos brasileiros sobre a efetividade de
uma política que tem como objetivo aumentar a conformidade tributária afeta,
causalmente, não apenas as crenças em relação à efetividade da política, mas também
a própria adoção da política um a dois anos após o experimento. Esclarecemos a
seguir, em detalhes, a política utilizada, assim como o experimento implementado
e seus resultados.
2.1 Política: cartas-lembrete ao contribuinte

A essência do experimento de adoção de política é informar a um grupo de prefeitos
os resultados de um conjunto de avaliações rigorosas de impacto, evidenciando
que cartas-lembrete aumentam a probabilidade de que os contribuintes paguem
seus tributos em dia.
Escolhemos a política de cartas-lembrete por três motivos. Em primeiro lugar,
o desenho, a aplicação e a arrecadação de impostos estão majoritariamente sob o
controle e a responsabilidade dos governos municipais. Porém, como na maioria
dos países em desenvolvimento, a conformidade do contribuinte é um desafio no

Brasil. De acordo com De Cesare e Smolka (2004), estima-se, por exemplo, que
pelo menos 20% dos contribuintes não cumprem com o pagamento do Imposto
Predial e Territorial Urbano (IPTU). Em nossas pesquisas descritivas e grupos
focais, os prefeitos participantes relataram um interesse considerável em receber
informações sobre como aumentar as receitas tributárias de seus municípios.
Em segundo lugar, a efetividade das cartas-lembrete foi amplamente estu-
dada em diversos experimentos, incluindo dois na América Latina (Coleman,
1996; Hasseldine et al., 2007; Del Carpio, 2013; Fellner, Sausgruber e Traxler,
2013; Castro e Scartascini, 2015; Hallsworth et al., 2017). Intervenções desse
tipo mostraram-se surpreendentemente efetivas. Por exemplo, Del Carpio (2013)
encontrou que cartas-lembrete incluindo unicamente a data de vencimento dos
tributos aumentaram o pagamento de impostos no Peru em 10%, enquanto cartas
que também incluíam normas sociais, enfatizando que a maioria das pessoas paga
seus impostos no prazo, aumentaram o cumprimento em 20%.
Em terceiro, políticas de cartas-lembrete são relativamente baratas e de fácil
implementação, ao mesmo tempo que não possuem um alto custo do ponto de
vista político. Por um lado, isso significa que, caso o formulador de políticas seja
convencido da efetividade da política apresentada, a probabilidade de que ele ve-
nha implementá-la é alta. Por outro lado, cartas-lembrete são provavelmente uma
ferramenta de política pública custo-efetiva, em parte porque são de baixo custo
e fáceis de implementar.
Cartas-lembrete para os contribuintes são incomuns, mas estão longe de
serem inéditas no Brasil. No questionário final, implementado neste experimen-
to, 32% dos municípios do grupo controle relataram o uso de alguma forma
de mensagens-lembrete para os contribuintes, envolvendo não somente o envio de
cartas, mas também incluindo outros canais de comunicação, como mensagens
de texto, folhetos e propaganda na mídia.
2.2 Contexto experimental

O experimento de adoção de política foi implementado em uma das maiores
conferências da CNM: o seminário Novos Gestores, no qual participam prefeitos
recém-eleitos e reeleitos. O seminário é realizado a cada quatro anos, geralmente
em outubro e novembro, e tem como propósito fornecer formação técnica aos
prefeitos que estão prestes a iniciar seus mandatos em janeiro. Os prefeitos podem
participar de uma variedade de sessões de treinamento lideradas por especialistas da
CNM em tópicos que vão desde planejamento financeiro e orçamentário até áreas
de política pública, como desenvolvimento urbano, educação, saúde e turismo.
Várias sessões acontecem em paralelo durante a conferência, exceto por um número
limitado de sessões plenárias. A conferência em si decorre em etapas, com prefeitos

de diferentes regiões do país presentes em dias diferentes, devido às limitações de
capacidade. Cada prefeito comparece por dois dias.
A amostra do experimento é constituída por prefeitos dos municípios com
populações entre 5 mil e 100 mil habitantes e que participaram do seminário
Novos Gestores, realizado entre outubro e novembro de 2016. A amostra total é
composta por 1.818 municípios, o que representa 45% de todos os municípios
brasileiros nessa faixa populacional. A figura 1 ilustra a distribuição geográfica dos
municípios da amostra.
FIGURA 1
Experimento de adoção de política: municípios da amostra
A tabela 1 fornece estatísticas descritivas sobre a amostra de prefeitos e mu-

nicípios. Vemos, por exemplo, que quase 90% dos prefeitos são homens, cerca de
60% possuem pelo menos um diploma de bacharel e 16% estão em seu segundo
e último mandato.6 O município médio da amostra tem uma população de cerca
de 21 mil habitantes.
TABELA 1
Experimento de adoção de política: estatísticas descritivas e balanceamento
Linha de base final Linha final
Variáveis Média controle Média controle
tratamento P-valor tratamento P-valor
(%) (%)
Características dos prefeitos
Homem 88,26 1,41 0,34 90,01 -0,14 0,93
Idade 46,76 1,32 0,01 47,08 1,61 0,00
Ensino superior ou mais 57,74 -0,76 0,74 57,66 0,73 0,78
Segundo mandato 15,69 1,56 0,37 15,18 0,91 0,63
Margem de vitória eleitoral 16,73 0,36 0,68 16,61 0,46 0,63
Partido político de esquerda 32,98 2,10 0,35 32,76 1,36 0,58
Características dos municípios
População 20,86 -0,06 0,94 20,23 0,06 0,95
População com ensino superior 5,17 -0,15 0,25 5,47 -0,14 0,31
Funcionário público com ensino superior 32,50 0,89 0,21 33,32 0,25 0,74
Pobreza 26,40 -0,27 0,76 23,05 0,11 0,91
Gini 50,33 -0,19 0,54 49,37 0,17 0,61
Grande sul 51,01 -0,62 0,79 59,92 -2,36 0,36
Renda per capita 457,64 3,42 0,75 489,23 2,78 0,81
Receitas de impostos municipais (2010-2015) 6,06 0,09 0,68 6,40 0,08 0,75
F-test conjunto - - 0,17 - - 0,20
Atrito
Município - - - 19,85 -1,69 0,36
Prefeito - - - 48,35 2,28 0,33
Equipe de finanças - - - 24,97 -0,80 0,69

Obs.: Médias amostrais do grupo de controle e diferenças de médias em relação ao grupo de tratamento na linha de base e na
linha final. Havia 937 (751) municípios no grupo de controle e 881 (721) no grupo de tratamento na linha de base (na linha
final). O primeiro bloco de variáveis relata características dos prefeitos que administram os municípios. Partido político de
esquerda equivale a 1 para prefeitos pertencentes a um partido de centro-esquerda, de acordo com plataformas políticas
históricas, e 0 para caso contrário. O segundo bloco de variáveis reporta as características do município. População é o
número de habitantes do município (em milhares). População com ensino superior é a parcela de adultos do município
com formação superior. Funcionário público com ensino superior é a parcela de funcionários públicos municipais com
formação superior. Pobreza é a taxa de pobreza do município. Gini é o coeficiente de Gini do município. Grande sul é
igual a 1 para os municípios das regiões Sul, Sudeste e Centro-Oeste, 0 para caso contrário. A renda per capita é a renda
mensal per capita do município. Receitas de impostos municipais (2010-2015) indica a participação média das receitas
tributárias locais no total das receitas municipais de 2010 a 2015. Teste F de significância conjunta e taxa de atrito na
linha final do experimento – município, prefeito e equipe de finanças.
6. Esta baixa participação de prefeitos em seu segundo mandato é explicada, em parte, pela crise política que o Brasil
estava passando na época das eleições municipais de 2016, o que levou a uma diminuição na proporção de políticos
em exercício vencendo a reeleição.
2.3 Desenho experimental

A amostra de prefeitos foi dividida aleatoriamente em grupos de tratamento
(n = 881) e controle (n = 937).7 Todos os prefeitos podiam comparecer livremente
a quaisquer das sessões regulares de treinamento do Novos Gestores, mas apenas
prefeitos do grupo de tratamento foram convidados, por e-mail e mensagem de
texto, para participarem de nossas sessões informativas sobre pesquisas de avalia-
ções de impacto – intervenção experimental. A nossa sessão foi anunciada com o
tema como aumentar as receitas tributárias locais e enquadrada como uma sessão
de treinamento organizada pela CNM, em conjunto com pesquisadores das
universidades de Columbia e Harvard. Como a participação era opcional, nosso
experimento deve ser considerado como tendo um desenho de promoção aleatória
(encouragement design). A tabela 1 mostra que os grupos de tratamento e controle
estão amplamente balanceados nas características dos prefeitos, bem como nas
características municipais.
As sessões de informação duraram 45 minutos e foram conduzidas por um
experiente instrutor brasileiro, sem a presença de investigadores estrangeiros.
O instrutor começou a sessão apresentando e definindo o que é o impacto de uma
política pública, a relação custo-benefício de uma política, e o que são pesquisas de
avaliação de impacto. Em seguida, forneceu uma descrição das cartas-lembrete ao
contribuinte, incluindo uma carta-exemplo. Finalmente, apresentou os resultados
(ou seja, o tamanho dos efeitos estimados) de um conjunto de estudos rigorosos
que avaliaram o impacto de cartas-lembrete aos contribuintes. A apresentação
enfatizou as características que uma carta-lembrete deveria possuir (segundo as
evidências) para ser efetiva, por exemplo, indicar o prazo de pagamento do imposto,
mencionar a possibilidade de multas e auditorias pelo não pagamento dos tributos
em dia e afirmar que a maioria das pessoas paga seus impostos em dia, assim como
enfatizou os efeitos estimados pelos estudos científicos.
As informações apresentadas foram simplificadas, e a apresentação foi concisa.
Evitaram-se jargões acadêmicos e tabelas de regressão. A apresentação de trinta
minutos foi seguida por uma sessão de quinze minutos aberta para perguntas dos
prefeitos.8 No final da sessão, os prefeitos receberam um documento resumido
7. A aleatorização foi estratificada com base: no nível de escolaridade do prefeito, se o prefeito estava no segundo
mandato, no nível médio de educação entre os funcionários públicos municipais, no tamanho da população do município,
no coeficiente de Gini e na região geográfica. Uma parcela um pouco maior de municípios foi designada para o grupo de
controle devido a questões logísticas associadas à nossa capacidade de gerenciar um grande número de participantes
do grupo de tratamento e à capacidade da sala que a CNM designou para o experimento.
8. Durante os quinze minutos reservados para perguntas, os prefeitos fizeram questionamentos interessantes sobre
cartas-lembrete e outras políticas alternativas sobre conformidade tributária: por exemplo, se os efeitos seriam os mes-
mos se as mensagens fossem enviadas por e-mail ou mensagens de texto, em vez de enviadas por cartas em papel; se
a política podia ser usada para encorajar os devedores de impostos a pagar seus débitos; e se incentivos financeiros,
como descontos ou loterias para pagamento dos impostos em dia, são políticas efetivas. Evitamos fornecer respostas
claras a essas perguntas.
(policy brief) produzido profissionalmente com o mesmo conteúdo informativo

da apresentação, incluindo referências aos estudos citados.
A sessão de informação ocorreu três ou quatro vezes durante cada etapa da
conferência. Os prefeitos do grupo de tratamento, portanto, podiam escolher
participar quando seu custo de oportunidade de tempo fosse o mais baixo possível.
Metade de nossas sessões colidiu com uma sessão plenária que lecionou aos prefei-
tos sobre finanças e orçamentos municipais e enfatizou o planejamento financeiro
e a responsabilidade fiscal. A outra metade entrou em conflito com horários de
expediente da CNM e com uma variedade de sessões paralelas. A nossa sessão não
entrou em conflito com outras sessões que tratassem de políticas sociais, políticas
de desenvolvimento urbano e políticas econômicas; e nenhuma outra sessão da
conferência enfatizou informações de estudos acadêmicos ou avaliações de impacto.
A julgar por nossas observações informais, a alternativa mais comum em relação à
nossa sessão de informação foi fazer networking com outros prefeitos.
2.4 Dados
Para medir se o fornecimento de informações sobre estudos de avaliações de im-
pacto afetou as crenças dos líderes políticos e a adoção de políticas, conduzimos
um questionário 15 a 24 meses após a sessão de informação, por telefone, com
funcionários relevantes da administração pública dos municípios de tratamento e
controle. Procuramos entrar em contato com o gestor responsável pela execução
da política tributária de cada município e com o próprio prefeito.9
A aplicação do questionário foi supervisionada por um assistente de pesquisa e
conduzida por uma equipe de nove entrevistadores que desconheciam a atribuição
dos municípios aos grupos de tratamento e controle e as hipóteses do experimento.
Após dez meses de telefonemas, entrevistamos com sucesso pelo menos uma pessoa
em 81% de nossa amostra de municípios – 75% dos gestores tributários e 51%
dos prefeitos da amostra. Não conseguimos fazer nenhum tipo de contato com
10% dos municípios da amostra, por não termos conseguido localizar um número
de telefone em funcionamento.10 Não houve atrito diferencial entre os grupos de
tratamento e controle, e as características observáveis dos municípios contatados
com sucesso são semelhantes em ambos os grupos, conforme relatado na tabela 1.
9. Normalmente, os secretários de finanças são os responsáveis pela divisão tributária dos municípios brasileiros. No
entanto, solicitamos especificamente aos atendentes do telefonema que passassem a chamada para o responsável
pela divisão de impostos. Assim que fomos transferidos, confirmamos se a pessoa realmente ocupava aquele cargo ou
solicitamos o número de telefone do responsável pela administração da política tributária municipal.
10. Em média, muitas horas de trabalho foram necessárias para que pudéssemos falar com os gestores tributários e
prefeitos, principalmente para coletar os números de telefone dos municípios. Nem todos os municípios brasileiros
publicam ou têm informações de contato atualizadas em seus sites, então coletamos números de telefone por meio de
pesquisas no Google e no Facebook e ligamos para outras instituições locais, como hospitais e escolas.
O questionário durou aproximadamente quinze minutos. Indagamos se o

município enviou aos contribuintes lembretes para o pagamento de seus impostos e
se as mensagens enviadas apresentavam as características descritas em nossas sessões
informativas, como: o prazo de vencimento dos tributos, a possibilidade de mul-
tas ou auditorias e a norma social de pagar os impostos em dia. Os participantes
também foram questionados sobre suas crenças em relação à efetividade da política
de cartas-lembrete. Especificamente, perguntamos sobre o provável impacto de tal
política em seus municípios, em termos de mudanças percentuais na conformidade
tributária, mesmo se o município relatou não usar cartas-lembrete. Além disso,
fizemos perguntas que serviram como verificações de atenção e compreensão, bem
como perguntas sobre um possível substituto da política de cartas-lembrete (incen-
tivos financeiros para contribuintes) e perguntas placebo nas quais esperaríamos
efeitos do tratamento nulos (o uso de pregão eletrônico nas compras da prefeitura).
Além dos dados coletados nesse questionário final, coletamos dados demo-
gráficos, eleitorais e orçamentários de fontes oficiais para todos aqueles municípios
que tinham dados disponíveis.11 Como não é possível observar a conformidade
tributária nos dados oficiais, nossa variável de interesse principal é se o município
implementou a política de lembretes tributários. Levando em consideração que
possam existir vieses de relato e efeitos de demanda nas respostas dos prefeitos,
na próxima subseção, discutimos separadamente as respostas dos prefeitos e dos
gestores tributários.
2.5 Resultados
2.5.1 Participação nas sessões de informação

Optaram por participar de nossa sessão 37,9% dos prefeitos do grupo de tratamen-
to. Em contraste, menos de 1% dos prefeitos do grupo de controle compareceu
à sessão. Os custos de oportunidade de participar – renunciar à oportunidade de
participar de outras sessões de treinamento paralelas, ou conduzir reuniões com
outros prefeitos, políticos e funcionários – foram significativos, embora difíceis de
quantificar. Além disso, alguns prefeitos não tinham informações de contato precisas
armazenadas no sistema da CNM e, portanto, não receberam nossas mensagens de
convite. Em vista disso, consideramos 37,9% uma taxa de participação bastante alta.
11. Os dados demográficos são disponibilizados pelo Instituto Brasileiro de Geografia e Estatística (IBGE) e podem ser
encontrados em: <https://bit.ly/3ewUhi3> e <https://bit.ly/3EEZHlo>. O Tribunal Superior Eleitoral do Brasil fornece
dados sobre resultados eleitorais e características dos prefeitos (disponível em: <https://bit.ly/3HZQPsQ>). Os dados
sobre a escolaridade da administração pública foram obtidos da Relação Anual de Informações Sociais (Rais), que é
coletada e compilada anualmente pelo Ministério do Trabalho (disponível em: <https://bit.ly/3pCbmgN>). Os dados
orçamentários foram obtidos do Tesouro Nacional, que compila e divulga anualmente registros contábeis autorrelatados
de todos os municípios brasileiros (disponíveis em: <https://bit.ly/34EB7Vy> e <https://bit.ly/3FxhYlq>).
A análise de preditores de participação na sessão de informação, relatada na

tabela 2, revela que prefeitos mais jovens e com educação universitária são, respec-
tivamente, 7 pontos percentuais (p.p.) e 15 p.p. mais prováveis de participarem do
que outros, mas, em contrapartida, prefeitos no segundo mandato não têm menor
probabilidade de participar do que prefeitos em seu primeiro mandato. Nenhuma
das características municipais, como taxas de pobreza, desigualdade ou renda per
capita, prediz a participação no experimento.
TABELA 2
Experimento de adoção de política: preditores individuais e municipais de participação
na sessão de informação
(1) (2) (3)
Variável
Sessão de informação Sessão de informação Sessão de informação
0,0157 -0,0014
Homem -
(0,0546) (0,0560)
-0,0719 -0,0771
Idade -
(0,0328) (0,0336)
0,1616 0,1562
Ensino superior ou mais -
(0,0328) (0,0333)
-0,0007 0,0057
Segundo mandato -
(0,0448) (0,0456)
0,0265 0,0231
Margem de vitória eleitoral -
(0,0326) (0,0330)
0,0314 0,0379
Partido político de esquerda -
(0,0347) (0,0352)
-0,0079 -0,0141
População -
(0,0343) (0,0340)
0,0634 0,0492
População com ensino superior -
(0,0466) (0,0463)
-0,0345 -0,0442
Funcionário público com ensino superior -
(0,0339) (0,0337)
-0,1015 -0,0753
Pobreza -
(0,0903) (0,0926)
0,0449 0,0462
Gini -
(0,0382) (0,0382)
0,0258 0,0593
Grande sul -
(0,0662) (0,0660)
-0,0762 -0,0663
Renda per capita -
(0,0839) (0,0854)
-0,0245 -0,0166
Receitas de impostos municipais (2010-2015) -
(0,0459) (0,0454)
0,2876 0,4343 0,3376
Constante
(0,0631) (0,0937) (0,1124)
Observações 874 878 871

Obs.: Estimativa de mínimos quadrados ordinários (MQO). A variável dependente é uma dummy que é igual a 1 se o prefeito
participou da sessão de informação, e 0 para caso contrário. O modelo é estimado considerando unicamente a amostra
de municípios do grupo de tratamento. Expressamos todas as variáveis contínuas como indicadores de acima-abaixo da
mediana da distribuição dos municípios. As características dos prefeitos incluídas no modelo são: homem (1/0); idade acima
ou abaixo da mediana (1/0); ensino superior (1/0); segundo mandato (1/0); margem de vitória eleitoral acima/abaixo da
mediana (1/0); e partido político de esquerda (1/0, prefeitos pertencentes a um partido de centro-esquerda de acordo com
plataformas políticas históricas). As características dos municípios incluídas no modelo são: população acima/abaixo da
mediana (1/0); população com ensino superior acima da mediana abaixo (1/0); funcionário público com ensino superior
acima da mediana abaixo (1/0); pobreza acima da mediana (1/0); Gini acima/abaixo da mediana (1/0); Grande sul (1/0,
em que 1 são as regiões Sul, Sudeste e Centro-Oeste; e 0 são as regiões Norte e Nordeste); renda per capita mensal acima/
abaixo da mediana (1/0); e participação das receitas tributárias locais acima e abaixo da mediana (1/0). Erros-padrão
robustos agrupados no nível do município estão entre parênteses.
2.5.2 Adoção de política

Observamos que a sessão de informação sobre resultados de avaliações de im-
pacto leva a um aumento entre 10 p.p. e 11 p.p. no uso de cartas-lembrete aos
contribuintes no grupo de tratamento. Isso é equivalente a um aumento de apro-
ximadamente 33% em relação à parcela dos municípios do grupo de controle que
começaram a usar essa política de cartas-lembrete em algum momento durante o
período analisado.
A tabela 3 apresenta as estimativas do efeito do tratamento sobre os tratados
(ToT), usando a atribuição aleatória ao tratamento como um instrumento para a
participação na sessão de informação (resultados também apresentados no gráfico
2). A variável dependente é uma dummy igual a 1 se o respondente relatou que a
política de lembretes tributários é usada em seu município, e 0 caso contrário. Os
erros-padrão são agrupados no nível municipal. Na coluna 1, o coeficiente ToT é
de 10,3 p.p. (erros-padrão 5,3 p.p.), em comparação com 31,7 p.p. do grupo de
controle. Adicionar controles na coluna 2 deixa a estimativa praticamente inal-
terada. A coluna 3 elimina os participantes que falharam na pergunta que tinha
como objetivo verificar a atenção do respondente às perguntas do questionário
por telefone, deixando novamente o coeficiente inalterado.12 Mais importante, as
estimativas são muito semelhantes se restringirmos nossa atenção às respostas de
prefeitos (coluna 4) ou gestores tributários (coluna 5). Diante disso, e tendo em
vista que os funcionários dos departamentos tributários não participaram de nossas
sessões de informação, aumenta nossa confiança de que os efeitos estimados não
são causados por vieses de resposta.
12. A pergunta de verificação de atenção foi: “Os lembretes tributários enviados aos contribuintes os informaram de
que a constituição brasileira foi reformada em 1988”. Uma vez que consideramos isso extremamente improvável como
texto para um lembrete tributário, inferimos que os participantes que responderam “sim” a esta pergunta simplesmente
não estavam prestando atenção ou compreendendo as perguntas.
TABELA 3
Experimento de adoção de política: lembretes tributários
(1) (2) (3) (4) (5)
Variável
Adotou Adotou Adotou Adotou Adotou
0,1031 0,1065 0,1024 0,1177 0,1094
Sessão de informação
(0,0531) (0,0526) (0,0546) (0,0791) (0,0653)
Observações 2.271 2.239 2.027 898 1.341
Respondentes Todos Todos Todos Prefeitos Gestores tributários
Sem desatentos Não Não Sim Não Não
Características dos prefeitos Não Sim Sim Sim Sim
Características dos municípios Não Sim Sim Sim Sim
Municípios 1.465 1.447 1.395 898 1.341
Média do grupo controle 0,317 0,314 0,294 0,364 0,280

Obs.: Estimativas de mínimos quadrados em dois estágios (MQ2E). A variável dependente é uma dummy que é igual a 1 se o
respondente diz que a política foi adotada no município, e 0 para caso contrário. Sessão de informação é uma dummy
que é igual a 1 se o prefeito do município participou da sessão de informação sobre cartas-lembrete aos contribuintes,
0 para caso contrário. Esta última variável é instrumentalizada com a atribuição ao tratamento. Nas linhas abaixo dos
coeficientes, sem desatentos refere-se a se os respondentes que responderam incorretamente à pergunta de verificação
de atenção ao questionário de linha final são excluídos do modelo, no qual a pergunta de verificação de atenção foi “Os
lembretes tributários enviados aos contribuintes os informaram de que a constituição brasileira foi reformada em 1988”.
Expressamos todas as variáveis contínuas como indicadores de acima-abaixo da mediana da distribuição dos municípios.
As características dos prefeitos incluídas no modelo são: homem (1/0); idade acima ou abaixo da mediana (1/0); ensino
superior (1/0); segundo mandato (1/0); margem de vitória eleitoral acima/abaixo da mediana (1/0); e partido político de
esquerda (1/0, prefeitos pertencentes a um partido de centro-esquerda de acordo com plataformas políticas históricas).
As características dos municípios incluídas no modelo são: população acima/abaixo da mediana (1/0); população com
ensino superior acima da mediana abaixo (1/0); funcionário público com ensino superior acima da mediana abaixo
(1/0); pobreza acima da mediana (1/0); Gini acima/abaixo da mediana (1/0); Grande sul (1/0, onde 1 são as regiões Sul,
Sudeste e Centro-Oeste; e 0 são as regiões Norte e Nordeste); renda per capita mensal acima/abaixo da mediana (1/0);
e participação das receitas tributárias locais acima e abaixo da mediana (1/0). Erros-padrão robustos agrupados no nível
do município estão entre parênteses.
A análise exploratória de heterogeneidades nos efeitos do tratamento por

características dos prefeitos e dos municípios (tabela de resultados não reportada
neste capítulo) não revela nenhuma evidência clara de efeitos heterogêneos, em
parte, talvez, pelo limitado poder estatístico da análise. Os sinais dos coeficientes
estimados sugerem que prefeitos no segundo mandato não são substancialmente
menos propensos a adotar cartas-lembrete, prefeitos com idade e margens de vitória
eleitoral acima da mediana parecem menos propensos a adotar cartas-lembrete, e
prefeitos de esquerda parecem mais propensos a adotar esse tipo de política. Porém,
é importante frisar que nenhuma dessas estimativas é estatisticamente significante.
A tabela 4, a seguir, relata os efeitos do tratamento separadamente para os
diferentes tipos de mensagens que uma carta-lembrete poderia incluir, segundo
as evidências apresentadas na nossa sessão de informação. Os efeitos são bastante
semelhantes na probabilidade de usar cartas que: enfatizam a data de vencimento
dos tributos; especificam a possibilidade de auditorias e/ou penalidades por não
pagar os tributos em dia; e mencionam as normais sociais de pagar os impostos –
embora este último tipo de mensagem tenha um efeito maior em termos relati-
vos, uma vez que é particularmente improvável que seja usado nos municípios do
grupo de controle.
TABELA 4
Experimento de adoção de política: características dos lembretes tributários
(1) (2) (3)

Variável
Data de vencimento Auditorias Norma social
0,1014 0,0720 0,0990

(0,0522) (0,0471) (0,0374)
Observações 2.239 2.239 2.239
Respondentes Todos Todos Todos
Sem desatentos Não Não Não
Características dos prefeitos Sim Sim Sim
Características dos municípios Sim Sim Sim
Municípios 1.447 1.447 1.447
Média do grupo controle 0,310 0,220 0,112

Obs.: Estimativas de MQ2E. A variável dependente é uma dummy que é igual a 1 se o respondente diz que a política foi adotada
no município, 0 para caso contrário. Data de vencimento refere-se a uma mensagem de lembrete destacando o prazo de
pagamento do imposto. Auditoria refere-se a uma mensagem de lembrete destacando a possibilidade de auditorias por
não pagar o imposto em dia. Norma social refere-se a uma mensagem de lembrete destacando a norma social de paga-
mento de impostos. Sessão de informação é uma dummy que é igual a 1 se o prefeito do município participou da sessão
de informação sobre cartas-lembrete aos contribuintes, 0 para caso contrário. Esta última variável é instrumentalizada
com a atribuição ao tratamento. Nas linhas abaixo dos coeficientes, sem desatentos refere-se a se os respondentes que
responderam incorretamente à pergunta de verificação de atenção ao questionário de linha final são excluídos do modelo,
no qual a pergunta de verificação de atenção foi “Os lembretes tributários enviados aos contribuintes os informaram de
que a constituição brasileira foi reformada em 1988”. Expressamos todas as variáveis contínuas como indicadores de
acima-abaixo da mediana da distribuição dos municípios. As características dos prefeitos incluídas no modelo são: homem
(1/0); idade acima ou abaixo da mediana (1/0); ensino superior (1/0); segundo mandato (1/0); margem de vitória eleitoral
acima/abaixo da mediana (1/0); e partido político de esquerda (1/0, prefeitos pertencentes a um partido de centro-esquerda
de acordo com plataformas políticas históricas). As características dos municípios incluídas no modelo são: população
acima/abaixo da mediana (1/0); população com ensino superior acima da mediana abaixo (1/0); funcionário público com
ensino superior acima da mediana abaixo (1/0); pobreza acima da mediana (1/0); Gini acima/abaixo da mediana (1/0);
Grande sul (1/0, onde 1 são as regiões Sul, Sudeste e Centro-Oeste; e 0 são as regiões Norte e Nordeste); renda per capita
mensal acima/abaixo da mediana (1/0); e participação das receitas tributárias locais acima e abaixo da mediana (1/0).
Erros-padrão robustos agrupados no nível do município estão entre parênteses.
Finalmente, a tabela 5 relata efeitos do tratamento nulos sobre o uso de pre-

gão eletrônico nas compras do governo municipal – pergunta placebo – e sobre
o uso de incentivos financeiros para o cumprimento de impostos – uma política
relativamente comum nos municípios brasileiros, que concebivelmente poderia
ter sido considerada como substituta da política de cartas-lembrete.
TABELA 5
Experimento de adoção de política: incentivos financeiros e pregão eletrônico
(1) (2)
Variável
Incentivos financeiros Pregão eletrônico
0,0033 0,0153
(0,0557) (0,0644)
Observações 2.177 1.675
Respondentes Todos Todos
Sem desatentos Não Não
Características dos prefeitos Sim Sim
Características dos municípios Sim Sim
Municípios 1.434 1.178
Média do grupo controle 0,600 0,447

Obs.: Estimativas de MQ2E. A variável dependente é uma dummy que é igual a 1 se o respondente diz que a política foi adotada
no município, 0 para caso contrário. Sessão de informação é uma dummy que é igual a 1 se o prefeito do município
participou da sessão de informação sobre cartas-lembrete aos contribuintes, 0 para caso contrário. Esta última variável é
instrumentalizada com a atribuição ao tratamento. Nas linhas abaixo dos coeficientes, sem desatentos refere-se a se os
respondentes que responderam incorretamente à pergunta de verificação de atenção ao questionário de linha final são
excluídos do modelo, no qual a pergunta de verificação de atenção foi “Os lembretes tributários enviados aos contribuin-
tes os informaram de que a constituição brasileira foi reformada em 1988”. Expressamos todas as variáveis contínuas
como indicadores de acima-abaixo da mediana da distribuição dos municípios. As características dos prefeitos incluídas
no modelo são: homem (1/0); idade acima ou abaixo da mediana (1/0); ensino superior (1/0); segundo mandato (1/0);
margem de vitória eleitoral acima/abaixo da mediana (1/0); e partido político de esquerda (1/0, prefeitos pertencentes a
um partido de centro-esquerda de acordo com plataformas políticas históricas). As características dos municípios incluídas
no modelo são: população acima/abaixo da mediana (1/0); população com ensino superior acima da mediana abaixo (1/0);
funcionário público com ensino superior acima da mediana abaixo (1/0); pobreza acima da mediana (1/0); Gini acima/
abaixo da mediana (1/0); Grande sul (1/0, onde 1 são as regiões Sul, Sudeste e Centro-Oeste; e 0 são as regiões Norte e
Nordeste); renda per capita mensal acima/abaixo da mediana (1/0); e participação das receitas tributárias locais acima e
abaixo da mediana (1/0). Erros-padrão robustos agrupados no nível do município estão entre parênteses.
GRÁFICO 2
Adoção de política: resultado principal
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
Lembrete de pagamento Incentivos financeiros Pregão eletrônico
de impostos
Controle Convidados (ITT) Participantes (ToT)

Obs.: 1. Proporção de participantes por grupo que disseram que a respectiva política foi adotada em seus municípios. As polí-
ticas indagadas foram: o envio aos contribuintes de lembretes tributários, incentivos financeiros para os contribuintes
pagarem seus tributos e o uso de pregão eletrônico nas compras da prefeitura. Controle refere-se ao grupo que não
recebeu convite; convidados (ITT), ao grupo que recebeu convite para participar da sessão informativa; e participantes
(ToT), grupo que recebeu o convite e compareceu à sessão.
2. Em torno das estimativas pontuais, relatam-se intervalos de confiança de 95% de erros-padrão robustos agrupados
no nível do município.
2.5.3 Crenças
Por meio do questionário final, também medimos as crenças dos participantes
sobre a efetividade da política de cartas-lembrete. Crenças sobre a efetividade da
política é um mecanismo plausível por meio do qual o impacto da sessão informa-
tiva sobre a adoção de cartas-lembrete poderia operar. Perguntamos aos prefeitos e
aos gestores tributários qual seria o efeito da política caso fosse implementada em
seu município, independentemente se a política foi de fato implementada ou não.
Comparamos suas crenças com um efeito estimado de 12%, que foi a principal
estimativa de cartas-lembrete que compartilhamos com os prefeitos durante as
sessões de informação.
O painel A da tabela 6 mostra que comparecer à sessão de informação – ins-
trumentalizada usando a atribuição aleatória ao tratamento – aumentou a “precisão”
das crenças, mesmo 15 a 24 meses após o tratamento. Especificamente, o desvio
absoluto das crenças no grupo de tratamento em relação ao tamanho do efeito
mencionado na sessão de informação é 20% menor do que no grupo de controle.
Comparando as colunas 4 e 5, podemos ver que as crenças se tornaram mais pre-
cisas não apenas entre os prefeitos, mas também entre os gestores tributários, o que
sugere a existência de um fluxo de informação dentro do governo municipal. Isso
talvez tenha sido facilitado ao fornecer aos prefeitos participantes um documento
compartilhável contendo o resumo da nossa sessão.
O painel B da tabela 6 estima o efeito da precisão das crenças na adoção de

cartas-lembrete, agora instrumentalizando a precisão das crenças com a atribuição
aleatória ao tratamento. Certamente, isso requer fazer a discutível suposição de que
o tratamento afeta a adoção da política apenas por meio das crenças. As estimativas
implicam que aumentar a precisão da crença em 1 p.p. (ou seja, reduzir o desvio
absoluto em 1 p.p. em uma base de cerca de 7 p.p.) aumenta a adoção da política em
8 p.p. (erros-padrão 5 p.p.). Obviamente, os efeitos podem operar também por meio
de outros canais, como confiança, relevância etc., conforme discutido em seguida.
Esses achados devem, portanto, ser tratados como puramente descritivos. Também é
importante notar que as crenças relevantes eram presumivelmente aquelas ponderadas
no momento da decisão de adoção da política, informação que não temos disponível.
TABELA 6
Experimento de adoção de política e precisão das crenças: lembretes tributários
Painel A (1) (2) (3) (4) (5)
Variável Precisão das crenças Precisão das crenças Precisão das crenças Precisão das crenças Precisão das crenças
Sessão de informação 1,3975 (0,5209) 1,3541 (0,5201) 1,5031 (0,5589) 1,1923 (0,7396) 1,5125 (0,6839)
Média d o grupo controle -6,980 -6,983 -6,998 -6,869 -7,060
Painel B (1) (2) (3) (4) (5)
Variável Adotou Adotou Adotou Adotou Adotou
Precisão das crenças 0,0856 (0,0500) 0,0935 (0,0537) 0,0819 (0,0483) 0,1344 (0,1084) 0,0799 (0,0562)
Média d o grupo controle 0,310 0,306 0,285 0,357 0,271
Observações 2.172 2.141 1.936 842 1.299
Respondentes Todos Todos Todos Prefeitos Gestores tributários
Sem desatentos Não Não Sim Não Não
Características dos prefeitos Não Sim Sim Sim Sim
Características dos municípios Não Sim Sim Sim Sim
Municípios 1.434 1.416 1.360 842 1.299

Obs.: Estimativas de MQ2E. Atribuição de tratamento é o instrumento para sessão de informação (painel A) e para precisão
das crenças (painel B). No painel A, a variável dependente – precisão das crenças – é a diferença absoluta multiplicada
por -1 entre as crenças dos participantes em relação ao efeito que os lembretes tributários teriam sobre as receitas
tributárias locais e o efeito de 12% informado durante a sessão de informação. Sessão de informação é uma dummy que
é igual a 1 se o prefeito do município participou da sessão de informação sobre cartas-lembrete aos contribuintes, 0 para
caso contrário. No painel B, a variável dependente é uma dummy que é igual a 1 se o respondente diz que a política foi
adotada no município, 0 para caso contrário. Precisão das crenças é a diferença absoluta multiplicada por -1 entre as
crenças dos participantes em relação ao efeito que os lembretes tributários teriam sobre as receitas tributárias locais e o
efeito de 12% informado durante a sessão de informação. Nas linhas abaixo dos coeficientes, sem desatentos refere-se
a se os respondentes que responderam incorretamente à pergunta de verificação de atenção ao questionário de linha
final são excluídos do modelo, no qual a pergunta de verificação de atenção foi “Os lembretes tributários enviados aos
contribuintes os informaram de que a constituição brasileira foi reformada em 1988”. Expressamos todas as variáveis
contínuas como indicadores de acima-abaixo da mediana da distribuição dos municípios. As características dos prefeitos
incluídas no modelo são: homem (1/0); idade acima ou abaixo da mediana (1/0); ensino superior (1/0); segundo mandato
(1/0); margem de vitória eleitoral acima/abaixo da mediana (1/0); e partido político de esquerda (1/0, prefeitos perten-
centes a um partido de centro-esquerda de acordo com plataformas políticas históricas). As características dos municípios
incluídas no modelo são: população acima/abaixo da mediana (1/0); população com ensino superior acima da mediana
abaixo (1/0); funcionário público com ensino superior acima da mediana abaixo (1/0); pobreza acima da mediana (1/0);
Gini acima/abaixo da mediana (1/0); Grande sul (1/0, onde 1 são as regiões Sul, Sudeste e Centro-Oeste; e 0 são as
regiões Norte e Nordeste); renda per capita mensal acima/abaixo da mediana (1/0); e participação das receitas tributárias
locais acima e abaixo da mediana (1/0). Erros-padrão robustos agrupados no nível do município estão entre parênteses.
2.6 Experimento de adoção de política: discussão

Este experimento tem um resultado simples, mas importante: quando os líderes
políticos no Brasil recebem informações de estudos acadêmicos sobre o impacto
de uma política custo-efetiva que tem como objetivo aumentar a conformidade
tributária, eles mudam as políticas em uso em suas jurisdições. Isso implica que os
formuladores de políticas públicas estão abertos a novas evidências, preocupam-se
com a efetividade das políticas e possuem pelo menos alguma capacidade e desejo
de traduzir evidências científicas em decisões práticas de política.
Algumas ressalvas são importantes de serem discutidas. Em primeiro lugar, não
podemos descartar que os efeitos estimados sejam explicados, em parte, pelo simples
fato de os prefeitos ficarem sabendo da existência da política de cartas-lembrete, e
não devido aos seus impactos informados pelos estudos científicos apresentados.
Conforme observado nos resultados, no entanto, a política de cartas-lembrete
ao contribuinte está longe de ser desconhecida no Brasil. Aproximadamente um
terço dos municípios do grupo de controle relatou usar alguma forma de lembrete
tributário. Em contrapartida, também encontramos evidência de que as crenças
são mais precisas no grupo de tratamento, embora não possamos descartar que os
efeitos teriam sido semelhantes se simplesmente tivéssemos fornecido uma reco-
mendação de política sem qualquer tipo de evidência científica.
Em segundo lugar, o experimento está baseado em uma política que é barata,
relativamente fácil de implementar e que tem um objetivo preciso em um contexto
econômico que ampara sua implementação. Outras políticas efetivas podem ter
custos de implementação mais elevados, requererem uma maior capacidade técnica
para ser implementadas, ou serem mais controversas do ponto de vista político ou
ideológico. Nesses casos, a mudança de crenças sobre a efetividade de um programa
pode não se traduzir em mudança de políticas adotadas.
Em terceiro lugar, estimamos o efeito de fornecer informações sobre estudos
de avaliações de impacto em um contexto particular, no caso uma sessão de infor-
mação elaborada e organizada por pesquisadores de universidades estrangeiras de
renome, e em uma conferência organizada por uma organização local confiável.
Resultados de estudos científicos recebidos de outras fontes, como centros de
pesquisas locais, organizações não governamentais (ONGs), ou da mídia, podem
ser ponderados de forma diferente. Da mesma forma, os formuladores de políticas
públicas que buscam localizar informações relevantes sobre estudos científicos
podem ter dificuldade em encontrar e interpretar essas informações. Por sua vez,
nosso experimento de adoção de política também não captura os numerosos canais
menos diretos por meio dos quais estudos científicos podem influenciar a escolha
de políticas, como mudar gradualmente as formas de pensar e influenciar doadores
e outros atores estatais e não estatais.
3 EXPERIMENTO DE CRENÇAS
Nesta seção, descrevemos um experimento que foi desenhado para medir: i) se os
formuladores de políticas municipais no Brasil possuem interesse em se informar
sobre estudos de avaliação de impacto; e ii) como tais informações afetam suas cren-
ças em relação à efetividade de políticas. A área de política em que este experimento
se concentrou foi em programas de desenvolvimento na primeira infância (DPI),
um tópico muito estudado nas ciências sociais. Observamos que os formuladores
de políticas públicas valorizam os resultados de estudos científicos sobre os efeitos
de programas de DPI e que atualizam suas crenças substancialmente em resposta
às informações dos estudos. A descrição do experimento e de seus resultados é
fornecida a seguir.
3.1 Contexto experimental

O experimento de crenças foi implementado com 764 funcionários municipais de
579 municípios em catorze conferências da CNM em todo o Brasil, entre 2017 e
2018.13 As conferências tiveram a participação de prefeitos, vice-prefeitos, secretários
municipais e vereadores. Desenhamos um experimento de meia hora de duração
que foi autoadministrado pelos participantes usando tablets. O experimento não
foi anunciado com antecedência aos participantes. Em vez disso, os assistentes de
pesquisa recrutaram participantes das conferências durante os intervalos entre as
sessões regulares da CNM, conforme descrito na subseção 3.2.
Quase 50% dos participantes do experimento eram prefeitos; 26%, vereadores;
18%, secretários municipais; e 6%, vice-prefeitos. A distribuição geográfica dos
municípios representados pelos participantes é ilustrada na figura 2, e a tabela 7
fornece estatísticas descritivas. Cerca de 38% dos municípios representados têm
prefeitos filiados a um partido político de esquerda, e, aproximadamente, 20%
das crianças de 0 a 3 anos e 78% das crianças de 4 a 5 anos nestes municípios
frequentam a pré-escola. Quarenta e dois por cento dos participantes relataram
que seus municípios implementaram programas de DPI.
13. As conferências compreenderam duas conferências nacionais realizadas em Brasília (maio de 2017 e 2018) e doze
conferências regionais Diálogo Municipalista organizadas de agosto a dezembro de 2017 em Alagoas, na Bahia, no
Ceará, no Espírito Santo, no Maranhão, em Mato Grosso do Sul, em Minas Gerais, no Paraná, no Piauí, no Rio Grande
do Sul, em Santa Catarina e em São Paulo. Além disso, outro grupo de 134 funcionários municipais de 117 municípios
completou um questionário descritivo sobre as vantagens e desvantagens dos diferentes estudos usados neste experimento.
FIGURA 2
Experimento de crenças: municípios da amostra

TABELA 7
Experimento de crenças: estatísticas descritivas e balanceamento
Média controle
Variáveis ∆ desenvolvimento P-valor ∆ grande P-valor
(%)
Homem 91,46 -1,32 0,38 -4,04 0,00
Idade 48,61 -0,11 0,82 -0,49 0,28
Ensino superior 57,62 2,80 0,20 0,13 0,95
Segundo mandato 18,29 0,44 0,82 -0,07 0,97
Margem de vitória eleitoral 14,19 0,18 0,81 0,36 0,55
Partido político de esquerda 38,72 -0,99 0,64 1,80 0,42
População 24,49 1,45 0,48 1,24 0,40
População com ensino superior 4,915 -0,07 0,52 0,02 0,87
Funcionário público com ensino superior 34,16 -0,97 0,09 -0,85 0,17
Pobreza 26,45 0,48 0,55 0,41 0,61
Gini 49,48 0,48 0,09 0,44 0,13
Grande sul 51,22 -0,75 0,74 -1,07 0,63
Renda per capita 457,1 -8,79 0,40 1,02 0,93
Crianças na escola (0-3 anos) 19,88 -1,04 0,04 0,08 0,87
Crianças na escola (4-5 anos) 78,34 -0,41 0,54 0,16 0,83
Características questionário etapa introdutória
Prefeito 49,70 -0,16 0,94 -1,33 0,55
Político de carreira 29,27 0,74 0,72 -0,47 0,81
Esquerdista 23,78 -2,37 0,19 -1,79 0,35
Implementou DPI 41,77 0,40 0,85 -3,02 0,17
Ouviu sobre DPI 26,22 -0,81 0,68 -0,11 0,95

Obs.: Médias amostrais das observações de controle. ∆ desenvolvimento e ∆ grande relatam o coeficiente estimado, com seu
respectivo p-valor, de uma regressão linear de cada característica do prefeito, do município e do questionário da etapa
introdutória do experimento, em duas variáveis dummy. Uma dummy que é igual a 1 para Jamaica e Colômbia e 0 para
caso contrário (desenvolvimento), e uma dummy que é igual a 1 para Colômbia e Estados Unidos e 0 para caso contrário
(grande). Observações de controle são aquelas para as quais a dummy desenvolvimento e a dummy grandes são iguais a
0. A regressão linear é estimada com 1.368 observações. Erros-padrão robustos são agrupados no nível individual (764
agrupamentos). A média de controle é calculada com 368 observações. O primeiro bloco de variáveis relata característi-
cas dos prefeitos que administram os municípios. Partido político de esquerda é igual a 1 para prefeitos pertencentes a
um partido de centro-esquerda de acordo com plataformas políticas históricas, 0 para caso contrário. O segundo bloco
de variáveis reporta as características do município. População é o número de habitantes do município (em milhares).
População com ensino superior é a parcela de adultos do município com formação superior. Funcionário público com
ensino superior é a parcela de funcionários públicos municipais com formação superior. Pobreza é a taxa de pobreza do
município. Gini é o coeficiente de Gini do município. Grande sul é igual a 1 para os municípios das regiões Sul, Sudeste
e Centro-Oeste, 0 para caso contrário. A renda per capita é a renda mensal per capita do município. Crianças na escola
(0-3 anos) é a proporção de crianças de 0 a 3 anos no município que frequentam a pré-escola. Crianças na escola (4-5
anos) é a proporção de crianças de 4 a 5 anos no município que frequentam a pré-escola. O terceiro bloco de variáveis
relata características autorrelatadas pelos participantes do experimento. Prefeito é a proporção de prefeitos entre os
participantes do experimento. Político de carreira é igual a 1 se o participante ocupou cargo eletivo no mandato anterior,
0 para caso contrário. Esquerdista é igual a 1 se o participante se autoidentificou como esquerdista (0-4) em uma escala
de 0 a 10, 0 para caso contrário. Implementou DPI é igual a 1 se o participante relatou que o município já implementou
um programa de DPI, 0 para caso contrário. Ouviu sobre DPI é igual a 1 se o participante relatou que já ouviu falar sobre
programas de DPI, 0 para caso contrário.
Recrutamos 38% dos prefeitos presentes, 49% dos vice-prefeitos, 35% dos
secretários municipais e 41% dos vereadores. A participação foi limitada pelo
número de tablets disponíveis e pelo número de intervalos na programação das
conferências, mas os participantes também poderiam ter se autosselecionado para
o experimento com base no incentivo de participação que oferecemos (bilhetes de
um sorteio) ou por seus interesses em políticas educacionais.14 Este último motivo,
potencialmente, poderia enviesar para cima nossas estimativas de demanda por
informações de estudos científicos. Não obstante, a única diferença observada entre
os prefeitos participantes do experimento e aqueles que não participaram – mas
que estavam presentes nas conferências – é que os prefeitos participantes tinham
maior probabilidade (7 p.p.) de serem de partidos de esquerda (tabela de resultados
não reportada neste capítulo).
3.2 Desenho experimental

A estrutura do experimento, representada graficamente na figura 3, é descrita a
seguir. Começamos apresentando a política de DPI. Em seguida, extraímos as
crenças iniciais dos participantes sobre a efetividade da política e sua disposição
a pagar (DAP) para saber os resultados de um estudo de avaliação de impacto
de DPI. Logo, revelamos os achados do estudo e, por fim, extraímos as crenças
posteriores dos participantes para avaliar até que ponto os resultados do estudo
afetaram suas crenças.
3.2.1 Etapa introdutória

Começamos com um breve questionário levantando informações demográficas e
profissionais. Perguntamos aos participantes, por exemplo, sua filiação partidária,
suas visões políticas definidas em uma escala esquerda-direita e qual função pro-
fissional desempenhava antes do início do mandato 2017-2020 – cargo eletivo,
funcionário público, funcionário no setor privado etc. Em seguida, descrevemos as
características principais dos programas de DPI: como são geralmente implementa-
dos – via creches ou visitas aos domicílios; a frequência e o tipo de atividades que
são desenvolvidas – jogos educativos, uso de livros ilustrados, por exemplo, um
dia por semana por um período de dois anos; e os objetivos que têm – aumentar
as habilidades cognitivas das crianças. Para facilitar a compreensão da política e de
seus objetivos, fornecemos referências de programas semelhantes no Brasil, como
o programa Criança Feliz. Logo, perguntamos aos funcionários municipais se eles
já tinham ouvido falar sobre, ou se os seus municípios tinham implementado,
programas com as características descritas.
14. Bilhetes de sorteio são para participar de um evento que debate o Brasil e tem grande visibilidade política. Por
vezes, chamamos de bilhete de loteria apenas neste texto para torná-lo menos repetitivo. O termo bilhete de loteria, e
a conotação que traz, nunca foi usado no trabalho de campo com os gestores.
Finalmente, descrevemos as principais variáveis de resultado por meio das

quais esses programas podem ser avaliados – notas de testes – e como esses resul-
tados são relatados – tamanho de efeito padronizado. Novamente, apresentamos
exemplos ilustrativos para promover o entendimento dessas variáveis e métricas. Por
exemplo, evidenciamos os ganhos em notas de teste associados a um ano adicional
de estudo no ensino médio (0,2 desvio-padrão) segundo a Prova Brasil. No final da
etapa introdutória, fizemos perguntas de compreensão sobre o que foi apresentado.
Os participantes só conseguiam avançar às próximas etapas do experimento após
terem respondido corretamente às perguntas de compreensão ou terem recebido
auxílio e maiores esclarecimentos por parte da nossa equipe em campo.
FIGURA 3
Experimento de crenças: estrutura
Levantamento das crenças iniciais sobre
o tamanho do efeito do programa de DPI
Levantamento da DAP por um estudo

selecionado aleatoriamente
Preço sorteado > DAP
Não obtém informação
Preço sorteado ≤ DAP

Obtém informação
Levantamento das crenças posteriores
Levantamento da DAP por três outros estudos
Um estudo selecionado aleatoriamente

Um preço sorteado aleatoriamente
Preço sorteado > DAP
Não obtém informação
Preço sorteado ≤ DAP

Obtém informação
Levantamento das crenças posteriores novamente
DAP por informações sobre

implementação de políticas de DPI
3.2.2 Crenças iniciais

Começamos a parte principal do experimento obtendo as crenças iniciais dos parti-
cipantes. Especificamente, perguntamos o que eles consideravam que seria o efeito
da política DPI sobre as habilidades cognitivas das crianças, caso a política fosse
implementada em seu próprio município.15 É importante salientar que as crenças
15. Para simplificar, e devido ao tempo limitado com cada participante, levantamos apenas previsões pontuais (sobre
os efeitos nas habilidades cognitivas), em vez de levantar crenças probabilísticas completas. Essa é uma limitação
importante do estudo, a qual discutiremos posteriormente.
só podiam ser relatadas em intervalos de 0,1 desvio-padrão entre um mínimo de

0 desvio-padrão e um máximo de 1 desvio-padrão. Imediatamente depois, fizemos
uma pergunta semelhante sobre o impacto esperado em outros dois contextos.
Esses outros contextos foram escolhidos aleatoriamente entre quatro contextos
nos quais estudos acadêmicos estimaram o impacto dos programas de DPI usando
experimentos. Os estudos variam em localização e tamanho da amostra. Eles avaliam
comparáveis programas de DPI na Colômbia (n = 1.420) (Attanasio et al., 2014);
na Jamaica (n = 130) (Grantham-McGregor et al., 1991; Walker et al., 2005); em
Michigan (n = 123) (Barnett, 2011); e em vários estados dos Estados Unidos (n =
4.667) (Puma et al., 2010). Quando os estudos relevantes foram apresentados ao
participante, destacamos o local do estudo e o tamanho da amostra.16
TABELA 8
Características dos estudos
Atributos Amostra pequena Amostra grande
País em desenvolvimento Jamaica (n = 130) Colômbia (n = 1.420)
País rico Michigan (n = 123) Estados Unidos (n = 4.667)
Como não é possível observar o verdadeiro efeito da política nos municípios

dos participantes, não pudemos incentivar as crenças iniciais dos participantes em
termos da sua precisão. No entanto, aleatorizamos incentivos para prever com pre-
cisão o efeito nos outros dois contextos – nos quais podemos comparar a previsão
do participante com as estimativas dos estudos. Na prática (tabela de resultados
não reportada neste capítulo), notamos que o tamanho dos incentivos não tem
efeito nenhum sobre as crenças iniciais, DAP ou crenças posteriores, sugerindo
que os participantes levaram as questões a sério mesmo na ausência de incentivos;
e que fazer melhores previsões com o intuito de obter um retorno maior dentro do
experimento não é um fator importante para a interpretação dos nossos resultados.
3.2.3 DAP e atualização de crenças: rodada 1

Depois que os participantes relataram suas crenças iniciais, oferecemos a eles a
chance de comprar os resultados (ou seja, obter o tamanho do efeito estimado) de
um estudo escolhido aleatoriamente. A moeda de troca experimental que utilizamos
para extrair a DAP consistia em bilhetes de loteria, os quais também foram utili-
zados para incentivar a participação no experimento. Inicialmente, demos a cada
16. Não usamos os rótulos “país em desenvolvimento” ou “país rico”, nem “amostra pequena” ou “amostra grande”.
Simplesmente apresentamos a localização e o tamanho da amostra.
participante cem desses bilhetes de loteria.17 Os participantes poderiam guardar

seus bilhetes de loteria para o sorteio ou usar alguns, ou todos, para comprar os
resultados das avaliações de impacto.
Seguindo o procedimento de Becker-DeGroot-Marschak (BDM), medimos
a DAP máxima do participante [0 a 100] para saber os resultados do estudo em
questão.18 Em seguida, sorteamos um preço aleatório para o estudo. Se o preço
estava abaixo da DAP do participante, revelávamos os resultados e deduzíamos o
preço sorteado do estoque de bilhetes de loteria do participante. Para lidar com a
autosseleção em saber o resultado do estudo com base na própria DAP, e mantendo
a compatibilidade de incentivos do procedimento BDM, o preço foi sorteado de
uma distribuição com alta massa em zero. Consequentemente, de 80% a 90%
(dependendo da conferência) dos participantes receberam o resultado do estudo
independentemente de sua DAP. Nas tabelas de resultados de atualização de
crenças, apresentamos tanto as estimativas considerando a amostra total quanto
as estimativas considerando a subamostra que recebe sem seleção as informações
dos estudos (ou seja, participantes que receberam um preço de zero).
Para aqueles participantes que receberam os resultados do estudo, subsequen-
temente perguntamos novamente suas crenças (posteriores) sobre o efeito esperado
da política em seu próprio município, assim como no contexto do estudo que
não foi oferecido para compra nessa rodada. Para aqueles que não receberam as
informações (ou seja, o preço sorteado foi maior que sua DAP), não perguntamos
novamente sobre suas crenças. Como é padrão em experimentos sobre atualização
de crenças, presumimos que as crenças não mudam em questão de minutos na
ausência de novas informações (Benjamin, 2019; Vivalt e Coville, 2021; Mobius
et al., 2011; Eil e Rao, 2011).19
3.2.4 DAP e atualização de crenças: rodada 2

Na segunda rodada do experimento, apresentamos ao participante um menu com
os três estudos que não foram oferecidos para compra na rodada 1, novamente
destacando a localização de cada estudo e o tamanho da amostra. O participante
recebeu um novo orçamento de cem bilhetes de loteria e foi informado de que um
dos três estudos seria oferecido de forma aleatória para compra. Solicitamos aos
17. Cada bilhete com uma chance de ganhar uma viagem gratuita para participar de um evento com grande visibilidade
política debatendo o Brasil na Universidade de Harvard nos Estados Unidos, onde também participava de um passeio
pelo campus da universidade.
18. Em um procedimento BDM, um indivíduo relata um lance para um item. O preço do item é logo sorteado aleato-
riamente. Se o lance for superior (ou igual) ao preço sorteado, o indivíduo recebe o item e paga o preço sorteado. Se o
lance for inferior ao preço sorteado, o indivíduo não recebe o item e não faz pagamento nenhum.
19. Isso elimina a possibilidade de que ser questionado uma segunda vez causaria uma mudança sistemática nas
crenças, por exemplo, devido a pensar mais profundamente na questão. Sob nossa suposição, a mudança de crenças é
o efeito de ter recebido os resultados do estudo.
participantes que declarassem sua DAP para cada estudo, de forma a comparar a
DAP com o preço sorteado caso o estudo em questão fosse escolhido aleatoriamente
para venda. Desse modo, obtivemos DAPs incentivo-compatíveis para cada um
dos três estudos. Revelamos os resultados do estudo correspondente seguindo o
mesmo procedimento anteriormente descrito e, novamente, perguntamos sobre
suas crenças (posteriores).
Ter essa segunda rodada nos permite observar uma segunda instância de
atualização de crenças por participante, aumentando o poder estatístico da aná-
lise. Também nos permite entender como o peso atribuído às informações sobre
estudos de avaliação de impacto diminui (ou não) do primeiro para o segundo
aprendizado sobre o tema.
3.3 Resultados
Interpretamos os resultados através de uma estrutura simplificada de aprendiza-
gem bayesiana. Suponha que o formulador de política i tenha uma crença inicial
, em que é a média das crenças iniciais de i e , a variância
percebida ou incerteza de sua crença inicial sobre o provável efeito da política de
DPI, se implementada em seu município. O resultado (ou seja, o tamanho do
efeito) do estudo informado pode ser considerado um sinal ruidoso ,
extraído de uma distribuição centrada em torno do valor verdadeiro , mas com
variância , em que indexa características do estudo, como seu tamanho de
amostra ou localização. Então, um formulador de política bayesiana que pretende
ter crenças precisas (de forma de minimizar o erro quadrático médio) formará uma
crença atualizada :
,
com o parâmetro de ponderação . Ou seja, a crença posterior
de um indivíduo com aprendizado bayesiano será uma combinação convexa de
sua crença inicial e do “sinal” (ou seja, o resultado do estudo), com ponderação
proporcional à precisão relativa percebida de cada componente. Embora não pos-
samos testar as suposições deste modelo – particularmente que as crenças sigam
uma distribuição normal –, uma vez que medimos apenas crenças pontuais, esta
estrutura fornece uma referência útil para o processo de atualização de crenças que
estudamos com o experimento.
Podemos pensar nos atributos do estudo – localização e tamanho da amos-
tra – como fatores que afetam a precisão percebida ou a informatividade do sinal
ruidoso. Se os participantes pensarem que os estudos de amostras maiores são
mais informativos , eles colocarão um peso maior no sinal de
estudos de amostra grande ao formar sua atualização de crenças. É importante
ressaltar que, se os formuladores de política valorizam ter crenças precisas sobre

a efetividade das políticas de DPI, sua DAP pelo resultado de estudos será maior
para os resultados daqueles estudos que, ex-post, eles ponderarão mais fortemente
no seu processo de atualização de crenças.
3.3.1 Crenças iniciais sobre o efeito de DPI

Começamos analisando as crenças iniciais dos formuladores de política sobre a
efetividade das políticas de DPI (tabela de resultados não reportada neste capítulo).
O formulador de política médio parece sensato, embora um pouco otimista. Em
média, o formulador de política da nossa amostra acredita que as políticas de DPI
são mais efetivas nos países ricos (tamanho do efeito de 0,45-0,50 desvio-padrão)
do que nos países em desenvolvimento (tamanho do efeito de 0,37-0,42 desvio-
-padrão).
As autoridades municipais acreditam que o efeito em seu próprio município
(tamanho do efeito de 0,42 desvio-padrão) está muito próximo da média da crença
inicial para os países em desenvolvimento. No entanto, isso esconde uma hetero-
geneidade substancial nas crenças iniciais: o desvio-padrão das crenças iniciais é de
0,22, o que sugere um desacordo substancial entre os formuladores de política.20
Como apenas medimos crenças pontuais, em vez de crenças probabilísticas comple-
tas, não temos uma medida da incerteza nas crenças de cada formulador de política.
3.3.2 Disposição a pagar pelos estudos de DPI

Depois que os formuladores de política relataram suas crenças iniciais, nós soli-
citamos suas DAPs para saber os resultados das avaliações de impacto de um dos
quatro estudos (atribuídos aleatoriamente). Se os formuladores de política valori-
zam crenças precisas, a DAP deve ser maior quanto mais informativo o sinal for
percebido. Estimamos a seguinte equação:
,
(1)
em que é a DAP (em termos de bilhetes do sorteio) do formulador de política
i, na rodada , para comprar o resultado do estudo Michigan, Estados
Unidos, Jamaica, Colômbia. é uma variável dummy igual a 1 para
estudos na Jamaica ou na Colômbia, e 0 em outros lugares. é uma variável
dummy igual a 1 para os dois estudos de amostra grande (Colômbia com n = 1.420
e Estados Unidos com n = 4.667), e 0 para caso contrário (Jamaica com n = 130
e Michigan com n = 123). Os erros-padrão são agrupados no nível individual.
20. É claro que parte do desacordo nas crenças iniciais pode refletir ruído no processo de obtenção de crenças imple-
mentado no experimento.
A tabela 9 apresenta os resultados da estimação por MQO da especificação

(1). A coluna 1 agrupa as duas rodadas, enquanto as colunas 2 e 3 apresentam
separadamente as estimativas para as rodadas 1 e 2, respectivamente. Observamos
que os formuladores de política alocam em média 45 bilhetes do sorteio (dos cem
bilhetes que recebem em cada rodada) para se informar sobre o efeito de um estudo
específico. Embora essa seja uma proporção grande de sua dotação de bilhetes,
é difícil interpretar o nível diretamente, pois a moeda experimental é bilhete de
loteria, cujo valor subjetivo não é observado.
Para ter uma referência do nível da DAP, oferecemos a uma subamostra de
participantes a possibilidade de comprar com os bilhetes do sorteio e utilizando o
mesmo procedimento BDM, cartões-presente de uma grande rede de varejo on-
-line (Lojas Americanas). Com as informações desse exercício, calculamos uma taxa
de câmbio entre dinheiro e a moeda experimental. Encontramos que um bilhete
adicional foi trocado por aproximadamente US$ 0,80 em cartões-presente. Esta
taxa de câmbio deve ser interpretada com cautela, mas sugere que a DAP média
pelos resultados dos estudos é equivalente a US$ 36 – entre 0,4% e 0,9% do salário
mensal de um prefeito.
Há uma heterogeneidade substancial na demanda: o desvio-padrão da DAP
é de 32 bilhetes do sorteio. Ainda assim, 99% dos participantes declararam uma
DAP estritamente positiva.21 A DAP diminui da rodada 1 para a rodada 2: o se-
gundo estudo oferecido a um formulador de política é valorado 11% menos do
que o primeiro estudo.
21. Os leitores talvez se perguntem por que os participantes simplesmente não consultam os resultados por sua pró-
pria conta. Embora isso possa acontecer até certo ponto, acreditamos que a falta de familiaridade com as fontes de
informação de estudos de avaliação de impacto, as barreiras linguísticas e a dificuldade de interpretação da redação
acadêmica são fatores que tornam essa estratégia difícil para os participantes do experimento. Nossas estimativas
podem ser interpretadas como capturando a DAP por informações simplificadas e convenientemente apresentadas.
TABELA 9
Experimento de crenças: DAP por atributos dos estudos
(1) (2) (3)
Variável
DAP DAP DAP
3,8221 2,3554 4,4182
Grande
(0,7912) (2,3944) (1,0152)
0,3783 1,5948 -0,2735
Desenvolvimento
(0,7907) (2,3951) (1,0039)
Observações 2.573 764 1.809
Rodada 1e2 1 2
Indivíduos 764 764 604
Média 44,62 48,39 43,03
Desvio-padrão 31,77 33,06 31,09

Obs.: Estimativas de MQO. A variável dependente é a DAP, para saber os resultados de estudos de avaliação de impacto de
programas de DPI, que são obtidos em duas rodadas diferentes. Desenvolvimento é uma dummy que é igual a 1 para
Jamaica e Colômbia, 0 para caso contrário. Grande é uma dummy que é igual a 1 para Colômbia e Estados Unidos, 0 para
caso contrário. A diferença no número de indivíduos entre as colunas 2 e 3 deve-se em parte a um desenho experimental
diferente utilizado na última conferência da CNM, na qual apenas um estudo foi oferecido para compra. Média é a DAP
média no lado esquerdo de cada equação. Desvio-padrão é o desvio-padrão da DAP no lado esquerdo de cada equação.
Erros-padrão robustos agrupados no nível individual estão entre parênteses. O p-valor do teste grande (coluna 2) igual
a grande (coluna 3) é 0,484. O p-valor do teste desenvolvimento (coluna 2) igual a desenvolvimento (coluna 3) é 0,524.
Em seguida, analisamos se a demanda pelos resultados de avaliações de

impacto varia com os atributos dos estudos e observamos que os líderes políticos
estão dispostos a pagar cerca de 9% a mais por estudos de amostra grande do que
por estudos de amostra menor. Os formuladores de política, portanto, parecem
valorizar, ex-ante, antes da obtenção de informação, a precisão estatística dos
resultados de um estudo. Essa relação é mais forte na segunda rodada, quando
os estudos são oferecidos lado a lado, mas a estimativa da segunda rodada não é
estatisticamente diferente da estimativa da primeira rodada (p-valor 0,484). Em
contraste, e ao contrário de nossas expectativas iniciais, não encontramos diferenças
significativas entre a DAP por resultados de avaliações de impacto da Colômbia
e da Jamaica em relação a Michigan ou aos Estados Unidos. Isso sugere que, em
média, os formuladores de política municipal no Brasil não consideram os estudos
de outros países em desenvolvimento mais informativos – com maior validade
externa para eles – do que estudos de países ricos.
Na tabela 10, apresentamos as correlações entre as características dos par-
ticipantes e dos municípios e suas DAPs. Apenas três características de um total
de vinte são significativamente associadas à DAP: i) se o participante é do sexo
masculino; ii) se o município onde trabalha o participante já implementou uma
política de DPI; e iii) se o participante relatou ter ouvido falar sobre essas políticas,
apesar de não as ter implementado em seu município.
Essas últimas duas correlações não são anormais se considerarmos o arcabouço

teórico utilizado: os formuladores de política com mais experiência ou conhecimento
em determinada política podem ter uma crença inicial mais precisa e, portanto, não
valorizar informações adicionais sobre a política. Em vez disso, notamos que são
precisamente aqueles formuladores de política que implementam e gastam recursos
municipais em programas de DPI que têm maior DAP por informações de estudos
sobre o tema. Presumivelmente, isso acontece porque ter crenças precisas sobre esse
tipo de programa é mais valioso para esses formuladores. Os prefeitos no segundo
mandato e aqueles com maior margem de vitória eleitoral (que presumivelmente
enfrentam menor competição eleitoral), por sua vez, não têm menor DAP por
informações de estudos de avaliação de impacto.
TABELA 10
Experimento de crenças: DAP por outros determinantes
(1) (2) (3) (4)
Variável
DAP DAP DAP DAP
Homem 6,74 (3,16) - - 6,33 (3,11)
Idade -0,82 (2,10) - - -0,93 (2,11)
Ensino superior 1,12 (2,16) - - 2,45 (2,21)
Segundo mandato 1,16 (2,59) - - 1,47 (2,88)
Margem de vitória eleitoral 1,08 (2,13) - - 1,45 (2,09)
Partido político de esquerda 0,98 (2,15) - - 0,45 (2,22)
População - 2,64 (2,22) - 2,05 (2,20)
População com ensino superior - -0,52 (2,65) - -0,67 (2,68)
Funcionário público com ensino superior - 2,09 (2,27) - 0,74 (2,29)
Pobreza - -1,41 (5,13) - 0,32 (5,14)
Gini - -0,61 (2,53) - -0,88 (2,51)
Grande sul - 1,93 (4,94) - 4,93 (5,00)
Renda per capita - -5,21 (4,59) - -3,80 (4,51)
Crianças na escola (0-3 anos) - 1,19 (2,34) - 0,74 (2,34)
Crianças na escola (4-5 anos) - 2,31 (2,45) - 2,20 (2,41)
(Continua)
(Continuação)
(1) (2) (3) (4)
Variável
DAP DAP DAP DAP
Características questionário etapa introdutória
Prefeito - - -1,07(2,08) -0,98(2,16)
Político de carreira - - -0,50(2,34) -1,40(2,49)
Esquerdista - - 0,06(2,50) 0,37(2,54)
Implementou DPI - - 11,45(2,39) 11,90(2,47)
Ouviu sobre DPI - - 6,84(2,68) 6,89(2,75)
Observações 2.542 2.573 2.573 2.542
Indivíduos 754 764 764 754
Média 44,27 44,62 44,62 44,27

Obs.: Estimativas de MQO. A variável dependente é a DAP, para saber os resultados de estudos de avaliação de impacto de
programas de DPI, que são obtidos em duas rodadas diferentes. Expressamos todas as variáveis contínuas como indica-
dores de acima-abaixo da mediana da distribuição dos municípios. As características dos prefeitos incluídas no modelo
são: homem (1/0); idade acima ou abaixo da mediana (1/0); ensino superior (1/0); segundo mandato (1/0); margem
de vitória eleitoral acima/abaixo da mediana (1/0); e partido político de esquerda (1/0, prefeitos pertencentes a um
partido de centro-esquerda de acordo com plataformas políticas históricas). As características dos municípios incluídas
no modelo são: população acima/abaixo da mediana (1/0); população com ensino superior acima da mediana abaixo
(1/0); funcionário público com ensino superior acima da mediana abaixo (1/0); pobreza acima da mediana (1/0); Gini
acima/abaixo da mediana (1/0); Grande sul (1/0, em que 1 são as regiões Sul, Sudeste e Centro-Oeste; e 0 são as regiões
Norte e Nordeste); renda per capita mensal acima/abaixo da mediana (1/0); crianças na escola (0-3 anos) acima/abaixo
da mediana (1/0) da proporção de crianças de 0 a 3 anos de idade no município que frequentam a pré-escola; crianças
na escola (4-5 anos) acima/abaixo da mediana (1/0) da proporção de crianças de 4 a 5 anos de idade no município
que frequentam a pré-escola. Características do questionário etapa introdutória: prefeito (1/0); político de carreira (1/0);
esquerdista (1/0); implementou DPI (1/0) indica se o participante relatou que o município já implementou um programa
de DPI; ouviu sobre DPI (1/0) indica se o participante relatou que já ouviu falar sobre programas de DPI. Média é a DAP
média no lado esquerdo de cada equação. Erros-padrão robustos agrupados no nível do indivíduo estão entre parênteses.
3.3.3 Atualização de crenças

Na análise da DAP, observamos que os líderes políticos municipais valorizam os
resultados de estudos de avaliação de impacto e pagam mais por estudos que tem
uma amostra maior. A seguir, analisamos se os formuladores de política atualizam
suas crenças ao serem informados sobre os resultados dos estudos. Observe que,
se os formuladores de política compraram os resultados dos estudos apenas para
usá-los como motivação para persuadir outras pessoas, por exemplo, eles talvez
não atualizem suas próprias crenças ao receber as informações.
Seguindo a estrutura bayesiana, estimamos a seguinte equação:
(2)
em que é a crença posterior do formulador de política i, na rodada j,
sobre o provável efeito em seu próprio município da política de DPI, após rece-
ber o resultado do estudo , que tem um tamanho de efeito s. As crenças
posteriores após a rodada 1 são utilizadas como crenças iniciais para a rodada 2.
Os erros-padrão são agrupados no nível individual.
A tabela 11 apresenta as estimativas de MQO da especificação (2). A coluna

1 agrupa as duas rodadas, enquanto as colunas 2 e 3 apresentam separadamente as
estimativas para as rodadas 1 e 2, respectivamente. Consistente com o arcabouço
utilizado, e são positivos, estatisticamente significantes e somam aproximada-
mente 1. Os participantes colocam, em média, cerca de dois terços do peso em suas
crenças iniciais e um terço no sinal do estudo. Isso indica que eles não simplesmente
aceitam ou repetem o sinal do estudo, o que reduz potenciais preocupações sobre
efeitos de demanda nas respostas dos participantes.
Os formuladores atribuem um peso semelhante ao sinal do estudo tanto
quando atualizam suas crenças em relação ao seu próprio município como quando
atualizam suas crenças em relação ao contexto alternativo (coluna 2 versus coluna 4).
Eles colocam mais peso na sua crença inicial na segunda rodada, quando já incorpo-
raram o achado do primeiro estudo que receberam, do que na primeira rodada. Em
outras palavras, o peso atribuído aos resultados de um estudo cai 30% do primeiro
para o segundo estudo sobre o qual um formulador de política recebe informações.
Conforme descrito anteriormente, pelo desenho do experimento, entre 80% e 90%
dos participantes receberam um preço zero e, por conseguinte, receberam as infor-
mações sobre os resultados dos estudos independentemente de sua DAP. A coluna 5
restringe a atenção a essas observações e encontra resultados muito semelhantes aos
da amostra completa.
TABELA 11
Experimento de crenças: atualização de crenças
(1) (2) (3) (4) (5)
Variável
Posterior Posterior Posterior Posterior Posterior
0,6824 0,5902 0,7902 0,6528 0,6813
Inicial
(0,0214) (0,0295) (0,0237) (0,0280) (0,0224)
0,3230 0,3749 0,2607 0,3622 0,3209
Sinal
(0,0194) (0,0261) (0,0234) (0,0293) (0,0203)
Observações 1.240 700 540 543 1.131
Rodada 1e2 1 2 1 1e2
Estudo
Crenças sobre Município Município Município Município
aleatório
Recebeu estudo gratuitamente Não Não Não Não Sim
Indivíduos 755 700 540 543 731

Obs.: Estimativas de MQO. A variável dependente é a crença posterior, que é declarada após comprar com sucesso os resultados
de um estudo em cada rodada. Inicial é a crença do entrevistado sobre o efeito, logo antes de comprar um estudo. Sinal
é o tamanho do efeito do estudo comprado. As crenças posteriores após a rodada 1 são utilizadas como crenças iniciais
na rodada 2. Nas linhas abaixo dos coeficientes, crenças sobre especifica para que contexto as crenças são solicitadas,
seja o próprio município do participante (colunas 1, 2, 3 e 5), seja um dos quatro possíveis contextos dos estudos (coluna
4). Recebeu estudo gratuitamente indica se o participante recebeu as informações dos estudos independentemente de
sua DAP. A diferença no número de indivíduos entre as colunas 2, 3, e 4 deve-se em parte a um desenho experimental
diferente utilizado na última conferência da CNM, na qual apenas um estudo foi oferecido para compra. Erros-padrão
robustos agrupados no nível individual estão entre parênteses.
A análise exploratória de heterogeneidade na atualização das crenças (tabela

de resultados não reportada neste capítulo) sugere que prefeitos com formação
universitária e esquerdistas colocam menos peso em suas crenças iniciais e mais
peso nos resultados dos estudos que seus colegas. Os prefeitos mais velhos fazem
o inverso: eles atualizam menos suas crenças quando confrontados com informa-
ções de estudos científicos. Embora os prefeitos que implementaram programas
de DPI tenham maior DAP por estudos, conforme descrito anteriormente, eles
não atualizam mais que outros prefeitos com base nos sinais recebidos. Por fim,
os incentivos à reeleição e à competição política não têm uma relação sistemática
com a atualização de crenças. Assim como os prefeitos com mandato limitado e
aqueles com maiores margens de vitória eleitoral não tiveram uma DAP menor,
eles também não atribuem menor peso aos resultados dos estudos. É importante
mencionar que essas heterogeneidades são resultados sugestivos e não podem ser
interpretadas causalmente.
A fim de testar se os participantes atualizam mais com base em estudos de
amostras grandes ou de países em desenvolvimento, estimamos a seguinte equação:
(3)
em que e são definidos como na equação (1). Segundo

o nosso modelo, se um indivíduo percebe que um estudo é mais informativo, ele
colocará mais peso no sinal desse estudo e, correspondentemente, menos peso em
sua crença inicial. Portanto, para testar se os participantes percebem (digamos)
estudos de amostras grandes como mais informativos, podemos testar se e
ou, em vez disso (um teste mais fraco), se .
A tabela 12 apresenta os resultados de MQO da especificação (3). Novamente,
a coluna 1 agrupa as duas rodadas, enquanto as colunas 2 e 3 apresentam separa-
damente as estimativas de cada rodada. Encontramos evidências consistentes de
que os participantes atribuem maior importância aos sinais de estudos de amostras
grandes, mas não aos sinais de estudos de países em desenvolvimento. Isso está de
acordo com os achados sobre a DAP e confirma que esses formuladores de política
consideram os estudos de amostras grandes mais informativos, mas não consideram
que os estudos de países ricos e países em desenvolvimento sejam diferentes. O
maior peso atribuído aos estudos de amostras grandes fica evidente também na
primeira rodada, quando um estudo é apresentado isoladamente. O padrão de
resultados se mantém, e de fato é ligeiramente reforçado, quando restringimos a
atenção aos casos em que o preço sorteado foi zero (coluna 5).
TABELA 12
Experimento de crenças: atualização de crenças por atributos dos estudos
(1) (2) (3) (4) (5)
Variável
Posterior Posterior Posterior Posterior Posterior
0,6388 0,5600 0,7509 0,6685 0,6420

Inicial
(0,0368) (0,0531) (0,0471) (0,0543) (0,0384)
0,3306 0,3780 0,2653 0,3351 0,3280

Sinal
(0,0284) (0,0397) (0,0384) (0,0429) (0,0299)
-0,0093 -0,0247 -0,0106 -0,0920 -0,0083

Inicial * desenvolvimento
(0,0389) (0,0599) (0,0477) (0,0574) (0,0414)
0,0091 0,0082 0,0189 0,0682 0,0039

Sinal * desenvolvimento
(0,0349) (0,0515) (0,0472) (0,0578) (0,0367)
-0,0535 -0,0904 -0,0307 -0,0563 -0,0663

Inicial * grande
(0,0480) (0,0690) (0,0600) (0,0714) (0,0501)
0,3233 0,4068 0,2413 0,2744 0,3510

Sinal * grande
(0,0712) (0,0963) (0,0942) (0,1176) (0,0745)
Observações 1.240 700 540 543 1.131
Rodada 1e2 1 2 1 1e2
Estudo
Crenças sobre Município Município Município Município
aleatório
Recebeu estudo gratuitamente Não Não Não Não Sim
Indivíduos 755 700 540 543 731
P-valor inicial * desenvolvimento = sinal * desenvolvimento 0,791 0,755 0,742 0,142 0,869
P-valor inicial * grande = sinal * grande 0,001 0,002 0,064 0,069 0,001

Obs.: Estimativas de MQO. A variável dependente é a crença posterior, que é declarada após comprar com sucesso os resultados
de um estudo em cada rodada. Inicial é a crença do entrevistado sobre o efeito, logo antes de comprar um estudo. Sinal
é o tamanho do efeito do estudo comprado. As crenças posteriores após a rodada 1 são utilizadas como crenças iniciais
na rodada 2. Desenvolvimento é uma dummy que é igual a 1 para Jamaica e Colômbia, 0 para caso contrário. Grande é
uma dummy que é igual a 1 para Colômbia e Estados Unidos, 0 para caso contrário. Nas linhas abaixo dos coeficientes,
crenças sobre especifica para que contexto as crenças são solicitadas, seja o próprio município do participante (colunas
1, 2, 3 e 5), seja um dos quatro possíveis contextos dos estudos (coluna 4). Recebeu estudo gratuitamente indica se o
participante recebeu as informações dos estudos independentemente de sua DAP. A diferença no número de indivíduos entre
as colunas 2, 3, e 4 deve-se em parte a um desenho experimental diferente utilizado na última conferência da CNM, na qual
apenas um estudo foi oferecido para compra. Erros-padrão robustos agrupados no nível individual estão entre parênteses.
O gráfico 3, a seguir, mostra a atualização de crenças usando gráficos de disper-

são agrupada. O eixo y traça o tamanho e a direção da atualização
para um dado choque de informação devido ao sinal no eixo x.
O gráfico 3A inclui todas as instâncias de atualização, agrupando estudos e rodadas,
e adiciona uma linha de regressão (MQO) ajustada.
Alguns pontos são importantes de salientar. Primeiro, a relação parece ser
linear, conforme o modelo bayesiano e nossa especificação empírica em (2). Segun-
do, não há evidências de atualização assimétrica (otimista), que apareceria como
uma torção na origem, com uma inclinação mais acentuada à direita de zero. Os
outros painéis, por sua vez, descrevem a atualização separadamente para estudos
de amostra grande e pequena (gráfico 3B) e para estudos de países ricos e em
desenvolvimento (gráfico 3C). A atualização mais forte para estudos de amostras

grandes é evidente, assim como a atualização semelhante entre estudos de países
ricos e em desenvolvimento.
GRÁFICO 3
Experimento de crenças: atualização de crenças
3A – Amostra completa
6
0,4
(Posterior - Inicial)
0,2
-0,2
Coef. = 0,319
-0,4 EP = 0,019
N = 1.240
-0,6
-1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1

(Sinal - Inicial)
3B – Estudos com amostras grande versus pequena

6
0,4
0,2
Coef. amostra grande = 0,457

-0,2 EP = 0,047
N = 645
-0,4 Coef. amostra pequena = 0,326
EP = 0,033
N = 595
-0,6
-1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1

(Sinal - Inicial)
Amostra grande Amostra pequena
3C – Estudos com países ricos versus países em desenvolvimento

6
0,4
0,2
0
Coef. país desenv. = 0,290
-0,2 EP = 0,036
N = 624
-0,4 Coef. país rico = 0,274
EP = 0,036
N = 616
-0,6
-1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1

(Sinal - Inicial)
País em desenvolvimento País rico

Obs.: 1. Comparação entre a diferença nas percepções dos participantes depois de comprar um estudo (ou seja, crenças
posteriores menos crenças iniciais) e a diferença nas percepções dos participantes antes de comprar um estudo (ou
seja, sinal menos crenças iniciais), média ponderada da rodada 1 e 2. Inicial é a crença do participante sobre o efeito,
logo antes de comprar um estudo. Sinal é o tamanho do efeito do estudo comprado. As crenças posteriores após a
rodada 1 são utilizadas como crenças iniciais na rodada 2. O gráfico 3A mostra estatísticas para a amostra completa.
Os gráficos 3B e 3C comparam estatísticas entre estudos de amostra grande e pequena (controlando para o atributo
de localização do estudo) e entre estudos de países em desenvolvimento e ricos (controlando para o atributo tamanho
de amostra do estudo), respectivamente. Estudos de amostra grande (pequena) incluem Colômbia e Estados Unidos
(Jamaica e Michigan); enquanto os estudos de países em desenvolvimento (ricos) incluem Colômbia e Jamaica (Michi-
gan e Estados Unidos). A inclinação e os erros-padrão robustos agrupados no nível individual são baseados em uma
regressão linear com um termo constante.
2. EP – erro-padrão; N – número de observações.
O gráfico 4 apresenta o histograma das respostas de atualização de crenças.

Especificamente, para cada instância de atualização, calculamos
e, em seguida, calculamos a média dessas respostas para cada in-
divíduo. O gráfico 4 revela uma heterogeneidade substancial no peso atribuído
aos resultados dos estudos: 28% dos formuladores de política parecem ignorar os
resultados dos estudos e não atualizam suas crenças ; 43% dos formuladores
têm pesos de atualização estritamente entre zero e um; e 15% atualizam na direção
errada , enquanto 13% reagem exageradamente . Esta distribuição é
bastante semelhante à encontrada em Vivalt e Coville (2021), os quais apresentam
aos participantes de um workshop de avaliação de impacto do Banco Mundial um
estudo hipotético em um exercício de atualização de crenças. Eles também en-
contram uma parcela substancial de participantes que não atualizam suas crenças
, e cerca de 55% exibem . O peso médio de atualização em nossa
amostra, cerca de 0,37 na primeira rodada, também é comparável ao peso médio
de 0,5 encontrado por Vivalt e Coville (2021).
GRÁFICO 4
Experimento de crenças: distribuição das atualizações de crenças
(Em %)
30
25
20
15
10
0
-0,5 0 0,5 1 1,5
(Posterior - Inicial) / (Sinal - Inicial)

Obs.: Distribuição da proporção da diferença nas percepções do entrevistado depois de comprar um estudo (ou seja, crenças
posteriores menos crenças iniciais) e a diferença nas percepções do entrevistado antes de comprar um estudo (ou seja,
sinal menos crenças iniciais), média ponderada entre as respostas do indivíduo nas rodadas 1 e 2.
O que explica o fato de que aproximadamente um quarto dos participantes

não reagiu aos resultados dos estudos? Uma possibilidade é simplesmente desa-
tenção ou minimização de esforço por parte dos participantes. No entanto, o
desenho do experimento garantiu que os participantes registrassem pelo menos
brevemente os resultados dos estudos. Ao mesmo tempo, os participantes também
foram requeridos a declarar ativamente uma crença posterior durante cada rodada.
A interpretação pelas lentes do modelo bayesiano seria, em vez disso, que esses
formuladores de política têm crenças iniciais muito confiantes e, portanto, pensam
que os estudos não são informativos. Embora isso seja possível, é pelo menos um
pouco inconsistente com o fato de que 99% dos participantes declararam uma
DAP estritamente positiva.
Um outro fator que poderia explicar a falta de atualização das crenças é
um problema de arredondamento na mensuração das crenças no experimento.
As crenças só podiam ser relatadas em intervalos de 0,1 desvio-padrão. Assim,
atualizações de crenças subjacentes de, por exemplo, 0,46 a 0,54 resultariam em
atualização nenhuma, se ambas fossem arredondadas para 0,5. Esses problemas
de arredondamento também podem inflar a parcela que parece ter uma reação
exagerada, uma vez que a atualização de 0,44 para 0,46 pode ser medida como
uma atualização de 0,1. Esta é uma ressalva importante para a interpretação da
distribuição de atualização de crenças em nível individual do nosso experimento.
Essa preocupação é provavelmente menor ao medir as respostas médias de muitos

participantes, que é onde se foca a maior parte da nossa análise.22
3.3.4 Ressalvas gerais

Os atributos dos estudos, o tamanho de amostra e o local da avaliação podem estar
correlacionados nas mentes dos formuladores de política com variáveis omitidas,
como a qualidade das avaliações, com a escala de implementação do programa
DPI etc. Para tentar esclarecer isso, implementamos um questionário descritivo
com um subconjunto da amostra (n = 294). Encontramos que 59% dos formu-
ladores, que, no questionário descritivo, preferiram estudos de amostras grandes,
escolheram a precisão estatística como motivo. Curiosamente, uma parcela menor
também relatou preferir estudos com amostras grandes, porque é mais provável
que avaliassem programas implementados em escala (23%) e pelo governo (15%).
No caso do local do estudo, os resultados do questionário não são tão claros:
enquanto os indivíduos que preferiram estudos da Colômbia ou da Jamaica relataram
que esses países têm (baixos) padrões de vida e capacidade estatal semelhante à de seus
municípios, uma parte substancial dos participantes que relatou preferir os estudos
dos Estados Unidos também apontou o (alto) padrão de vida e a capacidade estatal
como razões. Uma interpretação é que alguns formuladores de política no Brasil
percebem seus municípios como mais próximos dos países em desenvolvimento,
enquanto outros os percebem como mais próximos dos países ricos.
Uma fraqueza importante do nosso experimento é que consideramos apenas
estudos de três países. O que interpretamos como um “efeito país rico” poderia,
em vez disso, ser um “efeito Estados Unidos”: os políticos locais brasileiros podem
não valorizar estudos de outros países ricos. Da mesma forma, pode ser que eles
atribuam um peso muito maior às evidências do Brasil e as considerem muito mais
relevantes do que as evidências da Colômbia ou da Jamaica. A nossa capacidade
de explorar essas questões foi limitada devido à falta de estudos comparáveis de
mais países, incluindo o Brasil.
Os resultados sobre a atualização das crenças (mas não aqueles da DAP) têm
outro potencial problema na interpretação: os dois estudos com amostras grandes,
na prática, estimaram efeitos menores. Essa é uma característica que seguem os
quatro estudos que usamos, e também é uma característica documentada de forma
mais geral na literatura de DPI (Barnett, 2011). Pode acontecer que os participan-
tes simplesmente atualizem mais (em termos proporcionais) em resposta a efeitos
pequenos, digamos devido a preocupações sobre um viés de publicação maior em
estudos com amostras pequenas, ou porque efeitos grandes parecem implausíveis.
22. Os resultados não mudam se eliminarmos os participantes que nunca atualizam (π = 0), ou que têm π ≤ 0 ou π
≥ 1 (tabela de resultados não reportada neste capítulo).
Durante a implementação do experimento, tivemos algumas variações não

planejadas que podem lançar luz sobre esta preocupação: em seis das quatorze
conferências nas quais o experimento foi implementado, relatamos diferentes
tamanhos de efeitos para certos estudos. Especificamente, apenas para os estudos
de amostras pequenas, relatamos os efeitos estimados em um horizonte de tempo
muito mais longo (sem sinalizar essa discrepância), o que resultou em um sinal
informado menor. Aproveitamos essa variação para testar se o peso nos sinais de
estudos de amostra grande é menos pronunciado nessas conferências. Consistente
com nossa interpretação inicial, o peso colocado no tamanho da amostra não varia
significativamente entre essas conferências (tabela de resultados não reportada
neste capítulo).
3.3.5 DAP por informações de implementação

O acesso a resultados de estudos científicos leva à adoção de políticas mais efetivas?
No final do experimento de crenças, os participantes tiveram a oportunidade de
adquirir informações práticas sobre como implementar políticas de DPI, usando um
novo orçamento de bilhetes de loteria. Interpretamos a DAP por essas informações
práticas como uma proxy de preferência revelada sobre o interesse na implementa-
ção da política. Uma vez que variamos experimentalmente os estudos e, portanto,
os atributos – tamanho do efeito, local da avaliação e tamanho da amostra – e
notamos que afetam as crenças posteriores, podemos usar esses atributos como
instrumentos para as crenças posteriores dos participantes.
A tabela 13 mostra os resultados, nos quais observamos que crenças mais
positivas sobre programas de DPI – formadas por meio da recepção dos sinais dos
estudos de avaliação de impacto – aumentam causalmente a DAP por informações
de implementação. Isso fornece evidências experimentais claras sobre os efeitos
que as informações de estudos de avaliações de impacto podem ter, via mudança
de crenças, na demanda por implementação de políticas.
TABELA 13
Experimento de crenças: DAP por reporte de implementação
MQO MQ2E
(1) (2)
Variável
Reporte de implementação Reporte de implementação
16,4909 41,1943
Crença posterior final
(5,2677) (21,0608)
Observações 737 737
Instrumentalizou posterior final Não Sim
Indivíduos 737 737
Média 59,72 59,72
Desvio-padrão 33,69 33,69

Obs.: Estimativas de MQO (coluna 1) e de MQ2E (coluna 2). A variável dependente é a disposição de pagar por informações
práticas sobre como implementar políticas de DPI. Crença posterior final é a última crença atualizada, ou seja, após a
compra de um ou dois resultados. Na coluna 2, esta última variável é instrumentalizada usando o sinal recebido ou a
média dos sinais recebidos, caso o participante tenha comprado dois estudos. Média é a DAP média no lado esquerdo
de cada equação. Desvio-padrão é o desvio-padrão da DAP no lado esquerdo de cada equação. Erros-padrão robustos
agrupados no nível do indivíduo estão entre parênteses.
3.4 Experimento de crenças: discussão

Este experimento tem dois resultados principais. Em primeiro lugar, os líderes
municipais do Brasil valorizam o aprendizado de resultados sobre a efetividade de
políticas públicas. Em segundo lugar, eles também mudam suas crenças quando
confrontados com evidências de estudos de avaliação de impacto, pois colocam
um peso substancial nas novas informações – nesse caso mais peso em estudos de
amostras maiores, mas não em estudos de países em desenvolvimento.
O experimento tem alguns pontos fracos notórios. Comparamos os efeitos
de um número limitado de estudos de apenas três países. A medida da DAP é um
tanto artificial e sai do orçamento privado do formulador de política, em vez de
sair do orçamento municipal, o que provavelmente seria mais relevante ao ter, por
exemplo, diferentes usos alternativos. Estimamos efeitos sobre as crenças consi-
derando um período muito curto de tempo, pelo que não podemos estabelecer a
persistência dos efeitos no tempo. O experimento de adoção de políticas descrito
anteriormente, em contraste, fornece evidências de mudança nas crenças em um
período de tempo maior (15-24 meses) e descreve efeitos na política municipal real.
4 CONCLUSÃO
Políticas públicas são fundamentais para o desenvolvimento econômico. Qual
o papel que a pesquisa científica sobre a efetividade de políticas públicas pode
desempenhar para estimular a disseminação de políticas efetivas e o abandono de
políticas não efetivas? Uma possibilidade é que a falta de (acesso a) informações
sobre evidências de avaliações de impacto não seja uma restrição à escolha de

políticas, por exemplo, porque: as evidências são contestadas e não existe uma
visão única de como se deve resolver um problema; as soluções não são viáveis ou
válidas, dado o contexto local ou temporal; o processo político exige que os líderes
tomem decisões rápidas, sem conceder o tempo necessário para processar todas as
informações disponíveis; os líderes têm interesse próprio, e as pressões competitivas
eleitorais são muito fracas para motivar o esforço necessário para mudar a política;
ou, simplesmente, os líderes possuem poder de decisão limitado sobre as políticas
públicas em uso. Alternativamente, a existência de fricções de informação pode
restringir o acesso dos líderes políticos às pesquisas existentes.
Neste capítulo, investigamos experimentalmente como informar os resultados
de estudos de avaliações de impacto afeta as crenças e práticas de política pública
dos formuladores de políticas municipais no Brasil. Mostramos que fornecer aos
prefeitos resultados de estudos que documentam o impacto positivo de uma política
barata e fácil de implementar aumenta a probabilidade de que seus municípios
implementem a política. Também mostramos que os líderes locais valorizam o
acesso às avaliações de impacto e atualizam suas crenças quando informados sobre
os resultados de estudos científicos. Tornar as informações de estudos de avaliações
de impacto facilmente disponíveis e entendíveis para os formuladores de políticas
públicas parece influenciar as políticas adotadas.
Isso sugere que fricções de informação podem desempenhar um papel impor-
tante na adoção de políticas públicas efetivas no nível municipal. Surpreendente
que tais falhas de informação persistam. Afinal, mesmo que os próprios líderes
políticos não leiam revistas acadêmicas, as barreiras de informação deveriam gerar
incentivos para que os atores interessados em melhorar o bem-estar social conectem
as pesquisas acadêmicas com os formuladores de políticas de forma a ultrapassar
essas barreiras. Porém, é custo-efetivo tentar fazer essa conexão?
Com relação à análise de custo-benefício, exploremos como exemplo o forneci-
mento de informações de evidências empíricas sobre a efetividade de cartas-lembrete
do experimento de adoção de política. De acordo com os cálculos e suposições
explicitados a seguir, por cada real gasto em produzir e fornecer as evidências dos
estudos se teriam gerado R$ 27 a mais no orçamento dos municípios.
Os custos para produzir as informações foram de aproximadamente R$ 4,7 mil
em preços de 2016.23 Junte-se a isso os custos para apresentar as informações,
23. Estes correspondem aos custos de cem horas de um pesquisador com mestrado – considerando o salário-hora pago
por organizações internacionais de desenvolvimento – e de desenho do documento-resumo por parte de um designer
profissional. As horas do pesquisador se distribuíram aproximadamente em sessenta horas para revisão de literatura,
vinte horas para escritura de documento resumo e vinte horas para elaboração de dispositivos para a apresentação.
que foram de aproximadamente R$ 29 mil em preços de 2016.24 No total, 334

prefeitos participaram das nossas sessões de informação. Consequentemente,
o custo total de produzir e fornecer as informações foi de aproximadamente
R$ 100 por prefeito participante. Claro que existem custos adicionais fora do nosso
orçamento, por exemplo, a passagem aérea dos prefeitos a Brasília. Entretanto, as
oportunidades de eventos que já reúnem gestores e políticos no Brasil são inúmeras.
Apenas o nosso parceiro, a CNM, organiza vários eventos como esse anualmente,
além de outras associações de setores específicos como o Conselho Nacional de
Secretarias Municipais de Saúde (Conasems), na saúde, e a União Nacional dos
Dirigentes Municipais de Educação (Undime) e o Conselho Nacional de Secretários
de Educação (Consed), na educação. É possível, portanto, continuar provendo
informação apenas com o custo marginal que explicitamos aqui.
Para estimar os benefícios das sessões de informação, usamos primeiramente
os resultados obtidos no estudo: as sessões de informação aumentam em 10,3
p.p. a adoção de cartas-lembrete em comparação a uma base de uso de 31,7 p.p.
sem o fornecimento de evidências sobre a efetividade das cartas-lembrete (tabela
3, coluna 1). Além disso, no cálculo, tomamos como base o município médio da
amostra do experimento de adoção de política. A média das receitas tributárias totais
entre 2010 e 2015 do município médio do experimento foi de aproximadamente
R$ 4.056.344 em preços de 2016. Combinamos a isso as seguintes suposições:
i) a política de cartas-lembrete aumenta a conformidade tributária em 12% (prin-
cipal estimativa compartilhada com os prefeitos durante as sessões de informação)
e esse aumento na conformidade se traduz em um aumento de 12% na arrecadação
tributária; e ii) todos os municípios que adotam a política aumentam sua arreca-
dação tributária em 12%.25
Sob este cenário, por cada real gasto em produzir e fornecer as evidências
dos estudos, o conjunto dos municípios do grupo de tratamento teria gerado
R$ 1.274 a mais em arrecadação tributária. Se adicionarmos aos custos de produção
e fornecimento da informação os custos variáveis de implementação da política de
cartas-lembrete (por exemplo, impressão das cartas, envelopes, envio das cartas),
24. Nessa categoria incluíram, entre outros, a contratação de um instrutor brasileiro com experiência internacional
por dez dias – considerando o salário-hora pago por organizações internacionais de desenvolvimento –, o aluguel de
uma sala privada dentro da conferência para implementar as sessões de informação, as cópias do documento-resumo
utilizando uma impressão de alta qualidade e gastos de viagem do instrutor (passagem área, hotel etc.).
25. Note que um aumento de conformidade tributária não implica necessariamente um aumento de arrecadação. É possível
que apenas a data em que os tributos são pagos se modifique, aumentando a conformidade sem aumentar arrecadação.
ter-se-iam gerado R$ 27 a mais por cada real gasto.26 Se os prefeitos decidissem

focar as cartas-lembrete unicamente em aumentar a conformidade tributária do
IPTU, por exemplo, teriam sido gerados R$ 296 a mais por cada real gasto – sem
custo de implementação – e R$ 6 a mais com custo de implementação.
Estas estimativas sugerem que aproximar o conhecimento produzido nos
centros de pesquisa e as demandas dos gestores públicos municipais pode ser alta-
mente custo-efetivo. Eventos que reúnem lideranças e técnicos municipais, assim
como parcerias entre municípios e centros de ensino e pesquisa, são espaços natu-
rais de compartilhamento e transmissão de conhecimentos que (potencialmente)
podem ser utilizados para aprimorar a formulação de políticas na administração
pública municipal. De fato, a CNM já desenvolve iniciativas tentando fazer essa
junção – iniciativas como o Prêmio MuniCiência do projeto UniverCIDADES,
que conecta universidades com municípios em seu redor.27
Acreditamos que há, entretanto, um potencial enorme que atualmente não é
explorado indo além da influência localizada da atuação de universidades em seus
arredores geográficos. Existe um volume de conhecimento substancial produzido
por universidades internacionais e nacionais sobre a efetividade de políticas e prá-
ticas específicas que atualmente não chega nos tomadores de decisão municipal.
A consolidação desse conhecimento e fornecimento direto para gestores não é
papel usualmente feito por pesquisadores, e mais, não necessitaria da atuação de
pesquisadores – isto é, que atuam criando conhecimento –, mas apenas de pessoas
capazes de “consumir” e compreender pesquisa.
Algumas organizações já empreendem o papel de resumir e traduzir tais
conhecimentos, como o The Abdul Latif Jameel Poverty Action Lab (JPAL) e o
Innovations for Poverty Action (IPA). Entretanto, em sua maioria, atuam (e fo-
ram fundadas) para servir pesquisadores a constituir parcerias com gestores com
a finalidade de gerar mais conhecimento. Entidades que têm o foco central em
política pública podem fazer essa consolidação e beneficiar muito seus clientes e
membros, pois terão como objetivo a política pública em si, e não a produção de
conhecimento. Iniciativas recentes como A Ponte vão exatamente nessa direção e
são muito bem-vindas.28
26. Para simplificar a estimativa dos custos de implementação da política de cartas-lembrete, consideramos um custo
fixo igual a zero – uma suposição bastante plausível, tendo em conta o tipo de política. Para estimar os custos variáveis,
pressupomos que as prefeituras enviam uma carta-lembrete a todos os domicílios do município. Segundo o IBGE, em
cada domicílio brasileiro, moram, em média, aproximadamente três pessoas. Como o município médio da amostra do
experimento tem uma população de 21 mil habitantes, pressupomos que as prefeituras enviam 7 mil cartas-lembrete.
Levando em conta, em preços de 2016, um custo de R$ 0,13 por carta impressa, de R$ 0,85 por envelope tipo comercial
e de R$ 1,5 por carta enviada, o custo total de enviar uma carta-lembrete a todos os domicílios de um município é de
aproximadamente R$ 17.360.
27. Disponível em: <https://bit.ly/3z9qxkv>.
28. Ver o site da iniciativa A Ponte: <https://bit.ly/34gSzz8>.
Podem existir diferentes barreiras à adoção de políticas públicas custo-efetivas

em municípios brasileiros, desde, por exemplo, a falta de capacidade técnica até a
falta de incentivos políticos. Os resultados discutidos neste capítulo que focaram
em duas políticas, uma sobre arrecadação tributária e outra sobre desenvolvimento
da primeira infância, demonstram que (a falta de) acesso a evidências científicas é
uma barreira relevante na elaboração e implementação de políticas públicas no nível
local. Ainda mais, mostramos que a comunicação direta com gestores municipais
foi um instrumento efetivo para tornar a política pública com base em evidência
uma realidade em municípios brasileiros.
REFERÊNCIAS
ATTANASIO, O. et al. Using the infrastructure of a conditional cash transfer
program to deliver a scalable integrated early child development program in Co-
lombia: cluster randomized controlled trial. BMJ, n. 349, 2014.
BARNETT, W. S. Effectiveness of early educational intervention. Science, v. 333,
n. 6045, p. 975-978, Aug. 2011.
BENJAMIN, D. J. Errors in probabilistic reasoning and judgment biases. In:
Handbook of behavioral economics: applications and foundations 1. Elsevier,
2019. v. 2. p. 69-186.
CASTRO, L.; SCARTASCINI, C. Tax compliance and enforcement in the Pampas
evidence from a field experiment. Journal of Economic Behavior and Organiza-
tion, v. 116, p. 65-82, 2015.
COLEMAN, S. The Minnesota income tax compliance experiment: state tax
results. Minnesota Department of Revenue, 1996.
DE CESARE, C.; SMOLKA, M. Diagnóstico sobre o IPTU. Lincoln Institute
of Land Policy, 2004.
DEL CARPIO, L. Are the neighbors cheating? Evidence from a social norm
experiment on property taxes in Peru. Princeton: Princeton University, 2013.
(Working Paper, n. 8544).
EIL, D.; RAO, J. M. The good news-bad news effect: asymmetric processing of
objective information about yourself. American Economic Journal: Microeco-
nomics, v. 3, n. 2, p. 114-138, 2011.
FELLNER, G.; SAUSGRUBER, R.; TRAXLER, C. Testing enforcement strategies
in the field: Threat, moral appeal and social information. Journal of the European
Economic Association, v. 11, n. 3, p. 634-660, 2013.
GRANTHAM-MCGREGOR, S. M. et al. Nutritional supplementation, psy-

chosocial stimulation, and mental development of stunted children: the Jamaican
study. Lancet, v. 338, n. 8758, p. 1-5, 1991.
HALLSWORTH, M. et al. The behavioralist as tax collector: using natural field
experiments to enhance tax compliance. Journal of Public Economics, v. 148,
p. 14-31, 2017.
HASSELDINE, J. et al. Persuasive communications: tax compliance enforcement
strategies for sole proprietors. Contemporary Accounting Research, v. 24, n. 1,
p. 171-194, 2007.
HJORT, J. et al. How research affects policy: experimental evidence from 2,150
Brazilian municipalities. American Economic Review, v. 111, n. 5, May 2021.
MOBIUS, M. M. et al. Managing self-confidence: theory and experimental evi-
dence. National Bureau of Economic Research, 2011. (Working Paper, n. 17014).
PUMA, M. et al. Head start impact study: final report. Washington, United
States: Office of Planning, Research and Evaluation; U.S. Department of Health
and Human Services; Administration for Children & Families, 2010.
VIVALT, E.; COVILLE, A. How do policymakers update their beliefs? 2021.
Disponível em: <https://bit.ly/3GuKN2U>.
WALKER, S. P. et al. Effects of early childhood psychosocial stimulation and nu-
tritional supplementation on cognition and education in growth-stunted Jamaican
children: prospective cohort study. Lancet, v. 366, n. 9499, p. 1804-1807, 2005.
CAPÍTULO 5
SIMULAÇÕES COMPUTACIONAIS APLICADAS À TOMADA

DE DECISÃO PÚBLICA
Bernardo Alves Furtado1
Antonio Lassance2
1 INTRODUÇÃO
O objetivo deste capítulo é apresentar algumas das inúmeras possibilidades da
utilização de simulações computacionais em apoio à tomada de decisão de políticas
públicas. Em assuntos complexos, multicausais, submetidos ao crivo simultâneo de
várias arenas decisórias e expostas à diversidade de pontos de vista e a confrontos
intensos, não raro de cunho ideológico, simulações desse tipo podem ajudar os
contendores a visualizar os impactos de suas escolhas e a reagir aos efeitos que elas
podem acarretar. De forma prática, um gestor pode testar alternativas de políticas
habitacionais, por exemplo, e observar se uma política de subsídio ao aluguel ou de
compra e repasse de imóveis resulta em maior ou menor desigualdade, ao mesmo
tempo que gera impactos na produção e no consumo. A cobertura da modelagem
e da simulação poderia indicar, ainda, se um montante de investimento fixo traria
melhores resultados se investidos na melhoria da qualidade da educação ou na
política habitacional.
Adicionalmente, para além da capacidade de simulações de sistematizarem
a racionalidade de planejamento e sua capacidade de antecipar efeitos de políticas
públicas, métodos computacionais adicionais atuam em conjunto para que os
resultados das políticas sejam mais bem detalhados, factíveis e permitam aos in-
terlocutores compreender efeitos e participar do processo decisório, antes que as
decisões sejam tomadas. Fundamentalmente, observam-se os resultados antes de
implementar, de olhos cerrados, políticas públicas.
Gestores da coisa pública, técnicos da burocracia e representantes do povo – os
políticos – realizam diagnósticos, identificam problemas, melhorias, necessidades
sob sua jurisdição, priorizam e atuam para minimizar entraves e otimizar soluções.
1. Técnico de planejamento e pesquisa na Diretoria de Estudos e Políticas Setoriais de Inovação e Infraestrutura (Diset)
do Ipea. E-mail: <bernardo.furtado@ipea.gov.br>.
(Diest) do Ipea. E-mail: <antonio.lassance@ipea.gov.br>.
Isso em tese. Na prática, a sequência de identificação, priorização e ação – melhor

ainda quando seguida de avaliação – é, de forma permanente, complexificada pelos
acontecimentos e pela “realidade”. No entanto, a verificação do acerto ou desacerto
das decisões só ocorre, de fato, a posteriori. Ou seja, usualmente, nem o gestor nem a
comunidade conhecem com clareza suficiente os resultados de políticas públicas. O
gestor inicia a construção de um projeto habitacional, por exemplo, sem antecipar
se os futuros moradores conseguirão empregos acessíveis ou escolas para seus filhos.
Adicionalmente, ainda que a política formulada inclua resultados futuros
previstos, não é usual comparar os efeitos de uma política específica, como a
construção de um posto de saúde, com outras alternativas, como a reforma de
uma escola. Simulações computacionais permitem não só antever resultados de
políticas antes que o investimento seja realizado, como também comparar, a partir
de indicadores, políticas distintas entre si.
Na prática, quando não há sistematização específica do desenho da política
e de seus efeitos, interferem no curso “ótimo”, previsto e metrificado, os jogos de
interesse e poder, a comunicação, a falta dela ou sua interpretação, a adequação
do diagnóstico e do prognóstico para a situação concreta e, fundamentalmente,
a alteração desses elementos no tempo e no espaço. A sociedade – como nexo e
principal interessada nos efeitos da ação pública –, bem como seus componentes,
é mutável, se adapta, evolui (ou retrocede), responde de forma ativa às propostas,
à implementação das propostas e a eventuais resultados das propostas.
Simular cenários futuros é algo cada vez mais factível de ser feito, de forma
muito variada e adaptada a diferentes tipos de problemas. As técnicas que podem
ser empregadas, entretanto, não têm o condão de transformar questões comple-
xas em assuntos simples. Eles continuarão a ser problemas multifacetados, mal
estruturados, multivariados e sujeitos a fatores imponderáveis, entre eles, com-
portamentos erráticos e estratégias de atores que tentam surpreender adversários.
O que as simulações proporcionam não é, portanto, abolir as incertezas, mas
reduzir seu espectro e transformá-las em um leque de possibilidades que possam
ser minimamente aferidas e antecipadas.
Portanto, as oportunidades abertas com as simulações não têm a pretensão de
encarar problemas complexos como se fossem simples e de transformar a incerteza
em uma questão banal e passível de ganhar feições exatas. Ao contrário, há que se
considerar que o futuro é visualizado por meio de probabilidades e cenários possíveis,
alternativas, ponderações e decisões cujas consequências exigirão monitoramento,
adaptação, negociação, enfim, política, na melhor acepção da palavra.
De fato, essa descrição imbricada de elementos sintetizam a interação e a dinâmica
típicas de sistemas complexos. Pode-se dizer que a sociedade (Tessone, 2015), as cidades
(Bettencourt, 2015), o sistema econômico (Dawid, 2015), a burocracia, os processos
Simulações Computacionais Aplicadas à Tomada de Decisão Pública | 197
e sistemas de apoio à decisão (Allison, 1971; Neustadt e May, 1986; Bekman e Neto,
2009; Berger, 2013) são todos sistemas complexos. As ciências sociais que os estudam
buscam, justamente, entender tal complexidade e dar tratamento às incertezas que
os cercam, ou, de outra forma, sistematizar em fluxos, quantidades, probabilidades,
trajetórias e resultados das alternativas e intervenções realizadas por gestores públicos.
Sistemas complexos começaram a ser conceituados, compreendidos e des-
critos como tais, de forma paulatina, a partir da metade do século XX (Furtado e
Sakowski, 2014). São sistemas que contêm partes múltiplas e descentralizadas que
interagem entre si, que não estão necessariamente em equilíbrio, cuja interação
promove propriedades emergentes do sistema (inovações) e que podem não ser
plenamente deduzíveis a partir da estratégia mais cartesiana de análise individual
de seus componentes (Anderson, 1972).
Sistemas complexos se adaptam, aprendem, evoluem e entram em crise, como
se fossem eles próprios organismos vivos. Os atores emprestam muitos de seus atri-
butos quando, no processo de interação, reagem, se retroalimentam e demonstram
resiliência (Simon, 1959), erram, ganham, perdem e aprendem.
A tomada de decisão e a manutenção (ou não) da decisão tomada – espe-
cialmente para as questões de políticas públicas – situam-se nesse contexto de
características complexas. Ainda mais quando se somam aspectos de criticidade,
urgência, dimensão (amplitude do problema a um grande público-alvo), multicau-
salidade, multiplicidade político-institucional das arenas decisórias e limitações de
prazo de implementação (por exemplo, a um mandato dos dirigentes ou a trocas
de comando de pastas encarregadas de coordenar as soluções).
Em suma, tanto o processo de tomada de decisão quanto a política em si e seu
contexto podem ser considerados como sistemas complexos, compostos pelos agentes
promotores e os beneficiários da política (ou os que foram excluídos por ela), que in-
teragem entre si, de forma não simétrica; e cuja interação pode resultar em alterações
na política, ou desvios na sua observância, que geram efeitos de retroalimentação, que
podem resultar em efeitos, novamente, não ótimos, por exemplo.
A constatação de que políticas públicas são sistemas complexos (Mueller, 2015)
não significa um convite à inação. De forma alguma. Significa que o processo em si
deve ser abordado incorporando sua complexidade, e não simplificando essa tarefa
a partir de sua repartição em compartimentos menores e estanques.
O que se buscará expor, doravante, é que há um repertório de métodos e me-
todologias que, em conjunto com a compreensão do fenômeno, podem contribuir –
de forma marcantemente significativa – na condução do processo na direção de
resultados socialmente mais benéficos, com base em decisões melhor informadas,
inclusive em relação a opções que signifiquem algo diferente ao jogo de soma zero.
Ações que buscam não apenas atingir um objetivo unilateralmente, descuidando

da reação dos demais atores, mas estimulando o comportamento cooperativo, na
linha do que se convencionou chamar de soft power (Nye, 1990; Wilson III, 2008),
ou, mais recentemente, conforme a teoria do nudge (“empurrão”) (Saghai, 2013),
podem ser algumas das simulações possíveis em busca de denominadores comuns
a uma multiplicidade de atores normalmente contrapostos.
De fato, uma vez compreendidos os conceitos e indicada a abordagem de
sistemas complexos para atuar em sintonia, há vasta gama de métodos que podem
contribuir com o exercício de observar o funcionamento do sistema, compreender
seus mecanismos, estudar alternativas, realizar experimentos controlados – in silico
(em ambiente computacional) – antes que recursos vultosos e ações danosas sejam,
atabalhoadamente, executados.
Com esse contexto de abordagem de sistemas complexos e seus métodos
aplicados à análise da decisão em políticas públicas, este texto, preliminarmente,
indica como testes, experimentos, simulações e confrontações de hipóteses podem
ser realizados antes que tais políticas públicas sejam implementadas.
Um dos argumentos essenciais é o de que modelos computacionais são pouco
custosos e podem ser utilizados como ferramentas de forward-looking (prognósticos)
ao se implementar políticas públicas, ao se tomarem decisões de envergadura e
com externalidades públicas sensíveis ou mesmo críticas. Deve-se ressaltar que a
apresentação de uma grande variedade de opções de simulações possíveis, no es-
paço de um único capítulo, torna factível tão somente a indicação sumária de que
tais métodos existem e se aplicam a determinadas questões. Não é possível, dada
a limitação dessa escolha, demonstrar, em detalhes, de que modo cada um deles
funciona. A proposta aqui apresentada é mais um convite ao admirável público do
que propriamente a descrição detalhada do programa de cada espetáculo.
Para além desta introdução, a seção 2 discorre brevemente sobre a utilização de
experimentos em ciências sociais e de como já há vasto campo de estudos e análises
que orientam como proceder, descrever e raciocinar, considerando a abordagem de
sistemas complexos. Em seguida, são apresentados sumariamente alguns métodos
computacionais disponíveis, as vantagens e limitações de cada um, advogando o
princípio fundamental de que múltiplos métodos informam melhor a tomada de
decisões de políticas públicas, com ênfase na conceituação e aplicação de modelagem
baseada em agentes (ABM). Apresentam-se, então, várias referências de aplicações
de modelos computacionais a problemas de políticas públicas (seção 3). A seção
4 lista outros métodos computacionais que podem ser usados em conjunto, de
forma complementar ou comparativa como apoio à tomada de decisão. A seção 5
vincula a utilização de métodos computacionais à tomada de decisão política e é
seguida das considerações finais.
2 MÉTODOS, CIÊNCIAS SOCIAIS E POLÍTICAS

Antes de mais nada, ressalte-se: múltiplos métodos informam melhor a tomada de
decisões (Page, 2018). Page é muito feliz quando advoga que não há um método
melhor que outro, mas sim que a coletânea de múltiplos métodos, analisando
o mesmo fenômeno, pode contribuir de maneira aditiva à compreensão mais
completa3 dos processos. Essa concepção é mais relevante para fenômenos mais
complexos, multicausais, com múltiplos agentes heterogêneos, que interagem de
forma assimétrica e assíncrona com variadas intensidades. Assim, este capítulo não
pressupõe métodos computacionais, exclusivamente, mas sim adicionalmente,
complementarmente. Simulações computacionais contribuem não exatamente
para prescrever decisões incontestáveis, mas para reduzir a incerteza que cerca a
formulação de alternativas e a escolha de decisões que sejam o mais sustentável
possível no longo prazo.
Nossa segunda ressalva é justamente quanto à construção de prognósticos.
Muitos métodos se voltam quase exclusivamente a observar o passado. Embora não
haja problema algum nessa escolha, a construção específica de tomada de decisões
em relação à coisa pública necessita também de métodos que contribuam para o
olhar adiante.
De fato e historicamente, para o caso brasileiro, em especial, o processo de
planejamento, enquanto prática, se deteve muito na construção de belíssimos
diagnósticos (Maricato, 1997). No entanto, é necessário também que se reservem
recursos, engajamento, pessoal, momentum – para o prognóstico, a implantação,
a avaliação e o espaço dos ajustes, da adaptação.
Tradicionalmente, as ciências utilizaram-se de métodos indutivos e argumen-
tativos – a palavra, a retórica, o discurso –, que constroem padrões, narrativas,
explicações, do singular para o geral. Abarcaram também processos dedutivos,
preferencialmente com linguagem matemática formalizada, na qual, a partir de
pressupostos, novamente, constroem-se explicações, aplicáveis para casos gerais –
que se encaixam no conjunto de hipóteses necessárias.4
Neste capítulo, enfatizaremos modelos computacionais que podem con-
tribuir com processos indutivos e dedutivos e, possivelmente, uma terceira via
alternativa: a algorítmica. Rob Axelrod (1997) sugere que simulações seriam uma
forma adicional de se realizar ciência. Parte-se de regras explícitas, conhecidas ou
hipotéticas, de forma dedutiva. Porém, em vez de depreender teoremas a partir do
regramento inicial, geram-se dados, relatórios, informações, que são avaliados de
forma indutiva, podendo ser, inclusive, comparados a dados reais.
3. Ou, do inglês, comprehensive, abrangente, em português.

4. As famosas “curvas bem-comportadas”.
A proposta algorítmica é, portanto, iniciada a partir de hipóteses da experi-

ência, da literatura, descritas ou observadas, e simula mecanismos encapsulados
em modelos. Esses modelos são descritos em algoritmos, equações, texto, código –
e produzem resultados. Esses resultados confrontados com a realidade empírica
podem ser validados, contestados, analisados e aperfeiçoados continuamente para
servir de apoio à decisão, a partir de sua retroalimentação (feedback).
Essa proposta adicional de método científico se torna relevante em um mo-
mento, especialmente a partir da década de 1970, no qual há profusão de dados
e capacidade de processamento como nunca vistos. Embora a complexidade de
experimentos computacionais nunca tenha sido impedimento per se para o avanço
da ciência,5 a facilidade, o acesso a metodologias e a ubiquidade, tanto das infor-
mações quanto da capacidade de processá-las, impactaram o uso de modelagem
computacional de forma exponencial.
Finalmente, vale ressaltar que as ciências sociais, em especial, e a prática de
proposição, monitoramento e avaliação de políticas públicas enfrentam a difi-
culdade adicional – em relação às ciências exatas, em geral – pela dificuldade de
realização de experimentos, seja pelo custo, sejam pelas dificuldades éticas, seja
pela impossibilidade de se reverterem danos possíveis gerados a partir dos testes.
Na busca por contornar essa dificuldade prática, cientistas e gestores públi-
cos buscam agregar alternativas, na lógica de múltiplos modelos e ferramentas.
Armam-se de fundamentação teórica, estudos de caso, análises comportamentais
e surveys (questionários), pesquisas diretas a partir de entrevistas ou observações in
loco. Todavia, há espaço para subjetividade que pode, por vezes, impactar a ava-
liação isenta e interferir nos resultados. Há exemplos claros de percepção social
de usuários muito positiva, com avaliações técnicas bem menos benevolentes.6
Adicionalmente, como todo método ou teoria, é passível de críticas. Regras
explícitas, comunicação clara e transparente, fundamentação teórica e técnica são
recomendáveis. E, nesse caso, modelos computacionais têm a vantagem adicional de
serem mais facilmente, embora nem sempre, reproduzíveis. Está muito disseminada,
entre cientistas e pesquisadores, a necessidade de se promover acessibilidade a dados
e métodos, com documentação completa que permita a reprodução dos resultados.
Busca-se, com isso, garantir que os resultados sejam testados, avaliados, validados.
É importante que os resultados não sejam ocasionais e espúrios, mas que reflitam
padrões e comportamentos que possam ser, assim, aplicados em espectros distintos.
5. Haldane e Turrel (2018) ilustram o exercício feito por Enrico Fermi no início do século XX, à mão, para simular o
comportamento de neutros individualmente feito de forma mecânica, uma vez que a solução analítica da equação
era impraticável.
6. Veja, a título de exemplo, a avaliação oficial do Programa Minha Casa Minha Vida e a avaliação do conjunto de
técnicos e pesquisadores.
2.1 Modelagem baseada em agentes (ABM)

A modelagem baseada em agentes é uma abordagem descrita como bottom-up, ou
seja, de baixo para cima, porque enfatiza os menores elementos atuantes de um
sistema e, a partir das relações entre as menores partes, elabora a compreensão do
fenômeno. Esses elementos são, usualmente, agentes, no sentido de que agem,
tomam decisões – iniciativas e cursos de ação –, escolhem, a partir aspectos obje-
tivos – incentivos, restrições, sanções e informações disponíveis – e subjetivos –
percepções. A partir, portanto, das interações entre agentes heterogêneos e desses
com o ambiente, os resultados globais emergem.
A título de comparação, abordagens tradicionais na economia neoclássica
utilizam-se do paradigma top-down, de cima para baixo. Assim, a teoria determi-
na os comportamentos esperados, tidos como ótimos, e, a partir da construção
teórica, calculam-se os equilíbrios. Das equações em equilíbrio derivam-se os com-
portamentos dos agentes e as possíveis trajetórias, a partir de alterações exógenas
no equilíbrio.
Embora utilizem construção conceitual distinta, há autores (Sasaki e Box, 2003)
que demonstram que os resultados – a compreensão do fenômeno e sua contribuição
para a tomada de decisões – podem, em vários casos, ser exatamente os mesmos.
A ABM pode ser conceituada como a análise de um fenômeno a partir do
desenho das ações de suas mínimas partes constituintes e das interações entre as
partes e o ambiente. Essa definição é formal, computável7 e determinística, ainda
que contenha elementos estocásticos. É possível realizar inúmeras interações e obter
exatamente o mesmo resultado, para várias casas decimais, em todas as simulações.
. (1)
. (2)
Além de formal e computável, a ABM pode ser inspecionável. Isto é, para
além da descrição algorítmica, as linhas do código de programação podem ser
verificadas e validadas. Aliás, a recomendação padrão de boas práticas entre a
comunidade científica ABM é que o código esteja sempre disponível (Edmonds
et al., 2019; Grimm et al., 2020).
A grande vantagem da ABM é que seus resultados não dependem de resolução
analítica das equações. Dadas as regras de comportamento, descritos os estados dos
agentes e do ambiente, é possível apenas deixá-los interagir e observar o resultado.
Nesse sentido, não é necessário impor restrições matemáticas, tais como que a “curva
seja bem-comportada”, convexa, ou que a segunda derivada seja positiva, por exemplo.
7. A equação informa que o estado dos agentes (A) em t+1 é função do estado dos agentes e do ambiente (E) em t.
O ambiente, por sua vez, em t+1, é função também do estado dos agentes e do ambiente em t (Epstein e Axtell, 1996).
Por seu turno, é necessário que a teoria ou as observações permitam estabelecer

qual é o leque de condutas possíveis dos agentes. Como se processa a transformação
entre estados? Qual o comportamento dos agentes?8
Essa tarefa de descrição do comportamento dos agentes não é trivial e é
marcantemente distinta da abordagem tradicional. Em economia, por exemplo,
ponderemos as ações das firmas no caso neoclássico. As firmas conhecem o merca-
do e o comportamento dos consumidores. Todas maximizam lucro e utilidade e,
portanto, a firma sabe identificar quais são: i) os salários a pagar; ii) os empregados
a contratar; e iii) os preços a cobrar. Na abordagem ABM (e na prática cotidiana),
as firmas não conhecem todos os agentes e não sabem a intensidade da demanda.
Com isso, fica mais difícil estimar qual preço maximiza lucro. Não se consegue
prever exatamente se a produção corrente será suficiente para a demanda ou se é
necessário contratar ou despedir.
Com isso, recorre-se à literatura. Blinder (1994) descreve uma pesquisa com
firmas reais e lista os procedimentos utilizados para a tomada de decisão sobre preços.
Seppecher (2012) investiga como firmas decidem sobre salários. Vários modelos suge-
rem que as firmas observam o próprio inventário ao tomar decisões sobre contratações
(Furtado, 2018a; Gaffeo et al., 2008; Lengnick, 2013). Essas práticas já são usuais para
ABM em economia e estão descritas e justificadas no capítulo de Dawid e Gatti (2018).
A ABM – entendida como simulação artificial de um fenômeno em meio
computacional – traz ainda outras vantagens, para além da tratabilidade analítica:
• incorpora informações espaciais, com refinamento e granularidade per-
mitidos hoje por programas de informações geográficas (GIS);
• incorpora a heterogeneidade de perfil e o comportamento dos agentes,
sendo que a tomada de decisão – sobre compra ou sobre emprego, por
exemplo – pode ser feita a partir das informações e condicionantes locais
(no espaço e no tempo);
• incorpora comportamentos não lineares, crises, inovação, ou seja, fatores
exógenos que normalmente são excluídos dos modelos tradicionais, mas
que, em geral, têm peso determinante sobre os fenômenos (razão pela qual
muitos modelos são incapazes de incorporar o peso de crises e grandes
inovações a seus prognósticos);
• permite, e isso é fundamental, a realização de experimentos em situações
que empiricamente não seriam possíveis, especialmente para o caso das
ciências sociais e humanas;
8. De todo modo, há ABM que busca exatamente avançar na contribuição teórica e simular regras hipotéticas, observando
se, como resultado, o sistema se comporta como observado empiricamente.
• é flexível. A escala de detalhes da modelagem depende da intenção e do

propósito do modelador (Edmonds et al., 2019); e
• é pouco custosa financeiramente e em termos de gasto de tempo, se
comparado com uma pesquisa de campo ou survey, por exemplo, ao
mesmo tempo que permite a prototipagem de eventos e cenários provendo
resultados em termos probabilísticos.
Uma das grandes desvantagens da ABM, a nosso ver, é a flexibilidade. Esta
abordagem é tão simples e relativamente tão rápida que a proliferação de modelos
alternativos é significativa. Com isso, há dificuldades para se identificarem padrões
de modelagem e realizar avanços científicos a partir de trabalhos anteriores. Essa
crítica recebeu a atenção de vários teóricos que estabeleceram o Protocolo ODD,
com recomendações para a descrição e compreensão dos modelos, de modo a
torná-los comparáveis (Edmonds et al., 2019; Galán et al., 2009; Grimm et al.,
2006; 2010; 2014; 2020; Grimm e Railsback, 2012).
2.2 Propósitos para a ABM

Edmonds et al. (2019) listam vários propósitos para ABM. Embora a ideia seja vin-
cular um modelo ao seu propósito, qual seja, o modelo é tão bom quanto consiga
responder ao seu propósito, os autores listam sete propósitos distintos que podem ser
investigados via ABM. Em uma descrição livremente organizada do mais específico
para o mais geral, do que demanda mais detalhes e dados ao mais abstrato, os autores
listam três propósitos explicitamente empíricos: previsão, explicação e descrição.
O modelo que pressupõe realizar previsões deve antecipar de forma confiável
padrões, dados e informações que não estão disponíveis (Edmonds et al., 2019).
Confiável, nesse caso, significa que há alguma medida de acurácia que garanta
utilidade ao modelo, ao mesmo tempo que o código esteja disponível (para averi-
guação) e que testes tenham sido realizados e relatados.
Um segundo propósito de ABM seria a capacidade de explicação. Compre-
ender “por que” algum fenômeno ocorre. Ainda que ele não possa ser previsto,
é possível descrever, a posteriori, as razões subjacentes para sua ocorrência.
Edmonds et al. (2019, p. 6) descrevem a explicação como “uma sequência
causal do desenho inicial para os efeitos decorrentes por meio de mecanismos
embutidos em uma simulação”.9
O terceiro propósito empírico é o descritivo. Nesse caso, os modeladores
buscam representar aspectos do fenômeno que são relevantes. No âmago de sen-
tido de modelo em si, trata-se de identificar e representar o cerne, o relevante, ao
9. Tradução livre do original, em inglês: “a possible causal chain from a set-up to its consequences in terms of mecha-
nisms in a simulation”.
mesmo tempo que se excluem detalhes e irrelevâncias. Os autores lembram que a

descrição deve ter como referência e embasamento listas de evidências, observações,
documentos, experiências e dados que suportem a modelagem realizada.
Edmonds et al. (2019) listam outros quatro propósitos.
1) Exposição teórica – modelos que permitem avaliar hipóteses e compor-
tamentos, dado um conjunto de mecanismos. Assim como na análise
matemática, a partir de pressupostos e seu desenvolvimento, é possível
construir hipóteses e verificá-las, com os resultados válidos para o con-
junto de conjecturas utilizadas.
2) Ilustração – qual seja, o fato de prover concretude para um conjunto
de mecanismos e ideias que compõem uma estrutura. Sobre o modelo
estabelecido, é possível realizar inspeções, críticas, comunicar, discutir,
experimentar e realizar alterações e testes, de forma aditiva e modular.
3) Analogia – que seria a capacidade de utilizar conceitos e mecanismos de
um contexto em outro. Ou utilizar-se de conhecimentos mais aprofunda-
dos em determinada área e usar a mesma moldura para guiar o raciocínio
em área distinta. Nesse sentido, a modelagem pode ser uma ferramenta
poderosa de comunicação, de suporte para a construção do raciocínio. A
contribuição, nesse caso, é a produção de novas compreensões, indicações
de direções para aprofundamento, por exemplo.
4) Aprendizado social – finalmente, um último propósito sugerido por
Edmonds et al. (2019) é que a ABM sirva como uma ferramenta estru-
turada que permita, de forma mais concreta e sistemática que o usual, a
discussão sobre os mecanismos de um sistema. Dessa forma, espera-se,
reduzem-se os desentendimentos e essa discussão pode ser mais bem
orientada e especificada. Esse modo é utilizado especialmente quando a
base da construção é o conhecimento tácito de especialistas.
3 APLICAÇÕES COMPUTACIONAIS E MODELAGEM BASEADA EM AGENTES

No intuito de ilustrar aplicações reais de computação e ABM, esta seção lista vários
modelos disponíveis para análise de políticas e detalha três com maior profundidade.
Descrições sobre o processo de construção de ABM podem ser encontradas
de forma mais geral em Wilensky e Rand (2015) e com ênfase em economia em
Hamil e Gilbert (2016) e Terna (2015). Macroeconomistas, em especial, encontrarão
detalhes em Dawid e Gatti (2018), enquanto cientistas sociais podem consultar
Helbing (2012) e Edmonds e Meyer (2017). Geógrafos devem referir-se ao con-
junto de textos organizados por Heppenstall et al. (2012). Cientistas sociais podem
se interessar pelos textos de Colander e Kupers (2014) e Geyer e Cairney (2015).
Existe, ainda, toda uma tradição de publicações em várias áreas das ciências
naturais e exatas, com especial atenção nas áreas de epidemiologia, ecologia e
comunicação e cognição.
3.1 Aplicações às políticas urbanas e regionais: PolicySpace2

No âmbito do Ipea, desenvolvemos uma plataforma de modelagem de código
aberto que se utiliza de dados empíricos disponibilizados pelo Instituto Brasileiro
de Geografia e Estatística (IBGE) e permite análises que vinculam aspectos eco-
nômicos, fiscais e municipais, metropolitanos. Denominado PolicySpace2 – PS210
(Furtado, 2021) – como evolução do PolicySpace (Furtado, 2018a; 2018b).
PolicySpace2 é uma simulação artificial calibrada para municípios urbanos
de 46 regiões metropolitanas (RMs) brasileiras que simula produção, demografia,
mercados de trabalho, de bens e serviços, imobiliário, de crédito, com coleta de
impostos – com proxies para Imposto de Renda da Pessoa Física (IRPF), Imposto
de Renda da Pessoa Jurídica (IRPJ), Imposto sobre Circulação de Mercadorias e
Serviços (ICMS), Imposto de Transmissão de Bens Imóveis (ITBI), Imposto Predial
e Territorial Urbano (IPTU) – e distribuição municipal, de 2010 a 2020. Os agentes
do modelo são trabalhadores, famílias, firmas, firmas de construção civil, municípios,
e o detalhamento de dados é intraurbano, no nível das áreas de ponderação do IBGE.
A partir da decisão individual e do local dos agentes (firmas decidindo sobre
preços e salários, por exemplo, enquanto trabalhadores decidem sobre ofertas de
emprego e locais de consumo) e da interação deles com o ambiente local (determi-
nante para a composição de preços no mercado imobiliário), a dinâmica econômica
endógena se estabelece e permite vislumbrar efeitos de políticas que incorporam
as reações dos agentes nos momentos subsequentes.
A figura 1 ilustra, de forma genérica, aplicações de ABM e também é ade-
quada para ilustrar o caso do PS2 (Furtado, 2021, p. 2). Na fase de modelagem, os
dados que caracterizam os agentes são organizados de forma a refletir o status quo
do fenômeno a ser simulado. Para o caso do PS2, a fase de dados corresponde às
informações de famílias por áreas de ponderação do IBGE, com dados do Censo
Demográfico 2010, que incluem a composição da família (número de membros),
idades correspondentes, anos de estudo, mortalidade, fertilidade, localização de
empresas, delimitação municipal, número de habitantes, juros de empréstimos
imobiliários, dentre outras informações.
A fase de literatura reflete os consensos da comunidade científica que inves-
tiga o fenômeno e contém detalhes sobre como os agentes interagem. No caso do
PS2, essa fase se deu pela descrição dos mercados de bens e serviços, do mercado
10. Disponível em: <github.com/bafurtado/policyspace2>.

imobiliário, do processo produtivo das empresas e da forma como o financiamento

imobiliário ocorre, por exemplo. É essa fase que dá suporte ao pesquisador para
definir as regras que estabelecem as interações. Possivelmente, também é nesse
momento que técnicos, políticos e comunidade podem atuar para garantir que os
processos de interação estão modelados de forma que capture os aspectos centrais
do fenômeno, tais como realmente ocorrem.
Uma vez concluído o modelo, parte essencial é a verificação do código. Neste
momento, as instruções computacionais são conferidas para garantir que o modo
como o computador processa o modelo está de acordo com o entendimento dos
pesquisadores sobre como o modelo deve operar. A validação se refere à compa-
tibilidade entre os resultados gerados pela simulação e os padrões observados ou
conhecidos do fenômeno. No caso do PS2, por exemplo, o código foi verificado
a partir da conferência cuidadosa por parte dos pesquisadores, para além da pro-
dução de vários testes, indicadores e gráficos que refletissem exatamente como os
processos embutidos na codificação do modelo estavam operando. No total, mais
de 6 mil simulações foram realizadas. A validação referiu-se à capacidade do PS2
de reproduzir padrões espaciais similares dos preços dos imóveis, da concentração
de empregos e da desigualdade observada, entre outros.
Finalmente, quando o modelo está verificado e modelado e é capaz de reproduzir
padrões observados, realiza-se o contraste entre o caso-padrão, chamado de linha de
base, e a simulação com alternativas de políticas. Os resultados observados entre as
alternativas são comparados e é possível antecipar qual política apresentou melhores
resultados, de acordo com os indicadores escolhidos. No caso do PS2, testaram-se
algumas políticas de habitação (aquisição e distribuição de imóveis, pagamento de
aluguel e distribuição de auxílio monetário). O resultado sugere que o auxílio mone-
tário – na prática, menores aportes para número maior de famílias – gera resultados
socialmente mais benéficos, com aumento de produção e redução da desigualdade.
FIGURA 1
Ilustração do processo de simulação para o caso do PolicySpace2
Modelagem Dados Literatura
Verificação e validação Padrões simulados Realidade empírica

observada
Testes de políticas Alternativas e Avaliação melhor

caso-padrão cenário

3.2 Aplicações a políticas de grande envergadura

Furtado, Fuentes e Tessone (2019) listam três estudos de grande envergadura que
se utilizam de sistemas complexos e abordagem de ABM para análises de políticas
públicas. O primeiro, denominado de “sistema de sistemas”, é operado por um
consórcio de sete universidades do Reino Unido, que, em conjunto com a auto-
ridade nacional em infraestrutura, desenvolveu o modelo National Infrastructure
Model (Nismod). O Nismod busca incorporar os efeitos cruzados entre os sistemas
de infraestrutura, de modo a capturar possíveis vulnerabilidades e construir um
sistema mais confiável, resistente a múltiplas e inesperadas pressões.
O segundo estudo é o denominado “Keynes encontra Schumpeter” (KS),
desenvolvido por Dosi, Fagiolo, Roventini e outros da Scuola Superiore Sant’Anna.
Dentre a profusa publicação do grupo, os autores listam onze análises de políticas,
incluindo inovação nas firmas, oportunidades tecnológicas, antitruste, entre outras
(Dosi et al., 2013; 2015; Dosi, Fagiolo e Roventini, 2010).
O terceiro é o conjunto de estudos originalmente denominados UrbanSim
(Waddell, 2011), que evoluiu para um sistema proprietário em uma plataforma 3D
denominado Urban Canvas. Os agentes do modelo incluem famílias, indivíduos e
firmas, focando especialmente na integração entre sistemas de transportes, decisões
das famílias, parcelamento do solo e construção de propriedades. Há aplicações
para Óregon, Estados Unidos (Waddell, 2002), e outras localidades (Waddell et
al., 2007; Waddell, Wang e Charlton, 2007; Waddell, Wang e Liu, 2008).
3.3 Aplicações aos serviços

SPREE é um modelo genérico de ABM que investiga a transição de mercados
baseados em produtos para mercados baseados em serviços (Van der Veen, Kisjes
e Nikolic, 2017). Basicamente, o modelo enfatiza o processo de transformação
da firma que deixa de vender o produto em si e passa a oferecer a função que o
produto exerce. Um dos casos analisados, por exemplo, é a substituição da venda
da bicicleta por um sistema de aluguéis de bicicletas.
O fenômeno descrito envolve a tomada de decisão da firma a partir da evo-
lução das escolhas dos consumidores e de suas preferências, de forma integrada e
com retroalimentação. Ao mesmo tempo em que aumenta o tamanho do mercado
de um determinado produto, aumentam as chances de o consumidor testar uma
nova tecnologia.
O modelo SPREE é aplicado a três estudos de caso tematicamente bastante
distantes. Para além do serviço de empréstimo de bicicletas, Van der Veen, Kisjes
e Nikolic (2017) investigam um processo de proteção a plantações e um sistema
doméstico de economia de água.
No intuito de garantir a aplicação a contextos diferentes, os autores fazem

uma descrição da ontologia do modelo, buscando coerência entre os conceitos e
as interações. É feita uma clara separação entre agentes e objetos, sendo agentes
atores ativos e objetos conceitos (abstratos) presentes no modelo. Há dois tipos
de bens finais: ferramentas – que são objetos físicos, portanto, transferíveis e es-
tocáveis; e serviços (prestados pelas firmas), os quais indicam que uma função (de
deslocamento, por exemplo) foi oferecida.
A pergunta de pesquisa que o modelo busca responder é o potencial impacto
da política de oferecer serviços em “desacoplamento absoluto”11 – que é conceitu-
ado como a redução de recursos naturais ao mesmo tempo que se observa crescimento
econômico. Os autores justificam a utilização de ABM porque consideram que é a
metodologia que permite incluir, de forma simultânea, heterogeneidade, interações
e relacionamentos entre as partes e comportamento singular para cada um dos
atores. Com isso, incorporam preferências não racionais, por exemplo, quando o
consumidor opta por um bem ligeiramente mais caro, porém com maior susten-
tabilidade ambiental.
Van der Veen, Kisjes e Nikolic (2017) listam as contribuições do SPREE.
De acordo com os autores, o processo de decisão ocorre de forma interativa entre
vendedores e compradores. O modelo inclui modelos de negócios baseados em
produtos ou baseados em serviços. A modelagem inclui ainda mudanças de grande
magnitude, tanto no consumo quanto na produção. O mecanismo de decisões
sobre preços envolve pesquisa de mercado “sofisticada” por parte das firmas. E a
parametrização dos atributos dos participantes do mercado é muito flexível.
Por fim, vale ressaltar a ênfase dos autores de SPREE no formato descritivo,
chamado de “narrativo” por Dahlstrom (2014), para além da descrição lógica-
-científica feita em material suplementar. Como dizem Van Dam, Nikolic e Lukszo
(2012), a ABM formaliza “qual agente faz o que com quem, quando”.12
3.4 Aplicações variadas

A título de ilustração, concluímos esta seção com uma demonstração de aplicações
de ABM nas mais variadas áreas. Student, Amelung e Lamers (2016) utilizam ABM
para explorar um sistema autorregulatório de turismo na Antártica. A International
Association of Antarctica Tour Operators (IAATO), associação baseada em tratado
internacional – portanto, sem meios formais de coerção, senão o consenso –, identi-
fica quatro desafios para o turismo na região: i) o envolvimento da operadora (cada
uma do total de sete que participam da IAATO); ii) o crescimento do turismo; iii)
11. No original, em inglês, absolute decoupling.

12. No original: “the behaviour of each of the agents can be captured in a story which explains which agent does what
and with whom and when” (Van Dam, Nikolic e Lukszo, 2012, p. 88, grifo no original).
a diversificação de operações de cada operadora; e iv) a ocorrência de acidentes. O

propósito do modelo era emular o comportamento de cada operadora por meio
de regras simples, sendo o sucesso medido pela adequação do modelo ao universo
dos membros participantes e a identificação de alcance em relação a atividades
conjuntas adequada e benéfica.
Outro exemplo de aplicação de ABM no gerenciamento de práticas foi apli-
cado no Quênia e em Gana (Bellaubi e Pahl-Wostl, 2017). Os autores modelam
a dinâmica institucional e as inter-relações entre a sociedade e o ambiente, com
vistas a explorar como práticas de corrupção e gerenciamento afetam a performance.
Os agentes se envolvem em vários jogos que refletem diferentes dilemas sociais,
de forma que os benefícios (payoffs) sejam definidos com base em transparência,
participação e custos sociais.
De volta à discussão política, Silvia e Krause (2016) investigam quatro políticas
distintas para a promoção de veículos elétricos. De especial relevância, esse tipo
de exercício permite iluminar trajetórias de investimentos para políticas públicas,
antecipando magnitude de custos e resultados. As políticas testadas incluíram: i)
redução de preços, via subsídios; ii) expansão do sistema de abastecimento elétrico;
iii) aumento do número de veículos com baterias elétricas; e iv) uma combinação
das anteriores. Veja que esse modelo descreve as características específicas de um
fenômeno sem a intenção de replicar uma situação específica. É uma composição
qualitativa similar à observada. Ademais, o foco da análise é na reação, na resposta
do consumidor à proposta de políticas públicas.
Instituições de países desenvolvidos, como bancos (Bank of England, Federal
Reserve Bank, Bank of Spain); organismos multilaterais (Organização para a Coo-
peração e Desenvolvimento Econômico – OCDE, União Europeia); e instituições
de pesquisa (Massachusetts Institute of Technology – MIT, University of Michigan,
Turing Institute, Irish Auditing and Accounting Supervisory Authority – IAASA,
University of Oxford, entre muitas outras), já fazem uso de ABM para investigação
cotidiana (Furtado, Fuentes e Tessone, 2019).13
Finalmente, o campo de aplicações em outras ciências é bastante amplo,
incluindo desde o comportamento de células e seus efeitos para câncer colorretal
(Ingham-Dempster, Walker e Corfe, 2017) até o consumo de bebidas (Scott et
al., 2016), que serve como suporte à tomada de decisão a partir da modelagem de
padrões de consumo e agressão, e de tabaco (Luke et al., 2017), que busca iden-
tificar a efetividade de mecanismos de controle de tabaco por meio da densidade
permitida de revendedores.
13. Para interessados, recomendamos, em especial, os artigos publicados no Journal of Artificial Societies and Social
Simulation. Disponível em: <http://jasss.soc.surrey.ac.uk>.
4 MÉTODOS COMPUTACIONAIS ADICIONAIS
4.1 Big data, estatística e econometria

Três fenômenos simultâneos facilitaram a utilização (e a produção) de dados em
maior quantidade e detalhamento. Em primeiro lugar, a rede de computadores,
a internet, iniciando seu processo de acessibilidade a partir de meados da década
de 1990, fez com que a comunicação (por e-mail, inicialmente) se tornasse mais
ágil. Com isso, um pedido de documentos ou informação de Brasília a uma
biblioteca no Rio de Janeiro, por exemplo, deixou de levar vários dias (ou uma
ligação interurbana), para ocorrer em questão de horas. Em segundo lugar, a di-
gitalização de processos – por exemplo, a mesma comunicação com a biblioteca –
passa a ter seu conteúdo registrado e, portanto, sujeito a contabilidade, pesquisa,
armazenamento, comparação e análise. Especialmente nesse quesito, ressalta-se a
relevância da informação espacial, antes muito restrita a mapas e cartas de difícil
cópia e consulta. Por último, de forma crescente, uma série de empresas mundiais
surgiram e foram dando forma e agilidade à conexão entre pontos da rede mundial,
simultaneamente, de forma que os usuários se acostumaram com as tecnologias e
os custos financeiros se diluíram.
Mais recentemente, juntaram-se ao processo as redes sociais e a ampliação
do acesso móvel à internet, catalisando efeitos e gerando mais dados. Uma revisão
dos processos e das tecnologias envolvidas quando o volume de dados é gigantesco
pode ser encontrada em Oussous et al. (2018).
A disponibilidade de dados, o poder computacional e os programas de
computação acessíveis alavancaram desenvolvimentos de análise multivariada
(Mingoti, 2005) e processos estatísticos, por exemplo, a regressão, conhecida
entre os economistas como econometria (Greene, 2008; Wooldridge, 2003).
A econometria utiliza grandes bases de dados para derivar parâmetros econômi-
cos que informam modelos econômicos, tal como em Groom e Maddison Pr.
(2019). Todavia, há exemplos – como no caso do mercado imobiliário – em que
a volatilidade é de tal magnitude que exercícios baseados em dados pretéritos
não são capazes de capturar a excessiva volatilidade e heterogeneidade intrínseca
(Glaeser e Nathanson, 2015).
Kydland e Prescott (1996) argumentam que a econometria pode ser con-
siderada, de maneira ampla, como um experimento computacional que permite
identificar quantitativamente implicações teóricas. Os autores detalham, inclusive,
os passos necessários para se montar um experimento computacional. Segundo eles:
i) elabore uma questão; ii) use uma teoria testada (e aprovada); iii) construa um
modelo econômico – cujo nível de detalhamento pode variar; iv) calibre o modelo
econômico, de modo que “replique o mundo tão próximo quanto possível em um
número limitado, mas bem especificado, de dimensões” (Kydland e Prescott, 1996,

p. 74);14 e v) rode o experimento.
Avanços recentes em econometria tentam incorporar modelos causais – in-
ferência causal – com origem na epidemiologia (Robins, Hernan e Brumback,
2000) e ciências computacionais (Pearl, Glymour e Jewell, 2016), por meio de
grafos acíclicos dirigidos (DAGs15).
4.2 Aprendizado de máquinas

O aprendizado de máquinas (ML)16 – colocado de forma rápida – se utiliza de
métodos da matemática, da estatística, da análise multivariada e da econometria
e os combina com grande capacidade de dados e de processamento, com foco
quase exclusivo em predição (Hastie, Tibshirani e Friedman, 2009; James et al.,
2015; Tan, Steinbach e Kumar, 2006). Abandona, em certa medida, a construção
teórica e a busca por explicações da econometria para contribuir com resultados
mais eficientes, do ponto de vista de previsibilidade. É mais flexível, já que é so-
lucionado numericamente (e não analiticamente). Com isso, traz possibilidades
mais amplas de utilização de modelos não lineares e polinomiais, que se ajustam
mais facilmente aos dados disponíveis.
Talvez a grande questão de ML seja exatamente conseguir distinguir entre o
ajuste que se quer aos dados e a capacidade desse ajuste de ser adequado para novos
dados desconhecidos. Dada uma base de dados, o algoritmo escolhido busca ajustar
o comportamento observado aos dados. Para utilizar o aprendizado em uma nova
base de dados e realizar previsões confiáveis, o treinamento precisa ser transferível
à nova base de dados. Se o ajuste feito ao longo do treinamento é muito preciso,
ele só será eficaz na mesma base de dados, mas perde capacidade de generalização
para bases que diferem da utilizada no treinamento.
Na prática, essa calibragem de ajuste – que consiga capturar a essência de
uma base de dados, mas não a tal ponto que permita previsões apenas para a base
conhecida – é, muitas vezes, feita de forma recorrente e automática, computa-
cionalmente, de modo que resultados ótimos – de previsão – sejam alcançados.
Essa calibragem usualmente é feita alterando-se vários parâmetros internos
do modelo e se utilizando de algoritmos distintos. Entre as técnicas mais comuns,
vale citar: i) árvores de decisão, que depois evoluíram para “florestas aleatórias”; ii)
máquinas de suporte vetorial, baseadas em análise multivariada; e iii) redes neurais,
cujos resultados recentes têm sido promissores.
14. Tradução livre do original em inglês: “it mimics the world as closely as possible along a limited, but clearly specified,
number of dimensions”.
15. Do original em inglês: Directed Acyclic Graph.
16. Machine Learning, em inglês.
4.3 Redes
A grande contribuição de redes, estudos de redes e até “ciência de redes” para a
análise de fenômenos e mecanismos é a compreensão de que redes trazem conceitos
de estrutura para análise, caminhos e conexões entre agentes (ou instituições, por
exemplo) que são facilmente representados matematicamente (Clauset, Moore e
Newman, 2008; Newman, 2010; Newman, Barabási e Watts, 2006). A melhor
definição de redes é um conjunto de nós ou nódulos e conexões (vertices e edges,
em inglês) que estão conectados. Essa estrutura subjacente pode contribuir na
análise de conexões entre pessoas (todas partes de uma seita, por exemplo) ou de
terminais de computador ligados a uma central.
O interessante é que, dada sua descrição matemática – por meio de uma ma-
triz de adjacências, por exemplo –, várias medidas e definições contribuem com a
descrição e a compreensão da rede. A noção de redes oferece suporte ao raciocínio
de como ocorrem as interações e as conexões entre partes (agentes) de um sistema.
De forma ilustrativa, pense em um modelo espacial que localiza os agentes.
A rede pode tornar a análise mais detalhada, especificando quais pontos estão
efetivamente interligados por vias transitáveis. É possível, com isso, dar mais con-
cretude à análise abstrata inicial.
4.4 DSGE
Equilíbrio Geral Estocástico e Dinâmico (DSGE, do inglês Dynamic Stochastic
General Equilibrium) refere-se ao método computacional preferencial para análise
macroeconômica, com vistas à compreensão de ciclos econômicos e crescimento
econômico, inserido na classe de Ciclos Reais de Negócios (Kydland e Prescott,
1982). Baseados no equilíbrio geral walrasiano, DSGEs descrevem a economia
por meio de agentes representativos que operam em mercados competitivamente
perfeitos. Estabelecido o modelo, é possível inserir choques exógenos e observar o
comportamento econômico resultante.
O DSGE básico inclui: i) mercados perfeitos e competitivos; ii) ajuste de
preços instantâneo; iii) expectativas racionais; iv) informação perfeita; e v) firmas
tomadoras de preços, bem como famílias que vivem indefinidamente.
Várias críticas foram realizadas em relação aos modelos DSGE, o que acabou
resultando em ajustes e melhorias no processo, com incorporação paulatina, por
exemplo, de agentes heterogêneos, mercados imperfeitos, preços com ajuste lento
e até comportamento subótimo. Há críticas ferrenhas aos modelos DSGE, de or-
dem teórica, procedural e empírica (Fagiolo e Roventini, 2017), ao mesmo tempo
em que também há defensores que argumentam que modelos novo-keynesianos
também seriam insuficientes (Chari, Kehoe e Mcgrattan, 2009).
5 DISCUSSÃO
Uma das mais importantes possibilidades de aplicação da ABM é poder incidir sobre
a montagem e o refinamento de sistemas de apoio à decisão em políticas públicas.
Decisões de Estado de alta complexidade, tomadas sobre questões de grande
envergadura, rodeadas por fatores críticos, sensíveis a impactos prolongados no
longo prazo e premidas pela urgência e incerteza, exigem altos custos ao processo
de construção das decisões (Lassance, 2021).
Para tornar esse tipo de problema melhor conhecido e manuseável pelos
dirigentes, as organizações públicas buscam apoio interno ou externo para que as
circunstâncias e a formulação de alternativas sejam antecedidas por processos de
apoio à decisão.
Isso permite que o problema possa ser esmiuçado em parte menores, mas
interligadas. São recolhidas informações – de dados quantitativos a percepções
e suposições prospectivas – e oferecidas recomendações mais consistentes, com
alguma simulação de prós e contras.
Tradicionalmente, dirigentes valem-se de apoio técnico especializado externo
e de assessoria própria para contar com o devido o apoio à decisão. Conforme
lembra Lassance (2021, p. 52):
a existência ou inexistência prévia de estruturas montadas tornam o apoio à decisão
mais estruturado, profissionalizado e especializado ou, ao contrário, os dirigentes terão
que se valer de processos precários, mais amadorísticos, genéricos, menos capazes
de oferecer recomendações igualmente mais estruturadas sobre grandes problemas.
O uso de ABM permitiria pelo menos três avanços significativos. Primeiro,
o de dar tratamento técnico especializado capaz de simular impactos das decisões
com maior precisão. Não necessariamente em relação a todo e quaisquer aspectos,
mas àqueles que estejam afetados por maior incerteza e que possam contar com
recortes de objeto e especificações capazes de oferecer simulações minimamente
bem parametrizadas.
A segunda vantagem seria reservar à assessoria o papel mais estratégico e
analítico de suporte. Muitas decisões exigem informações de natureza qualitativa,
sondagens de bastidores, tratamento de problemas conforme casos similares já
ocorridos, entre outros aspectos. Em problemas de natureza política, a relação
entre as dimensões – qualitativa e quantitativa; objetiva e subjetiva; entre a lógica
da reiteração (dos jogos com estratégias repetitivas) e a opção de surpreender o
adversário e provocar mudanças de rumo – precisa ser harmoniosa. O uso da
ABM, de modo criterioso e parcimonioso, cumpre o papel de proporcionar um
convite a que diferentes tradições de pesquisa se unam em torno da solução de
problemas complexos.
A terceira vantagem seria a utilização do modelo ou protótipo que simule o

desdobramento de resultados de políticas como um meio de comunicar, visualizar,
alterar e adaptar o próprio desenho da política. A discussão deixa de ser comple-
tamente abstrata e pode ser testada, avaliada em tempo real e com a presença das
partes, dos atores e de seus representantes. Um parâmetro de entendimento comum
pode ser alterado e os dois ou mais resultados visualizados em conjunto podem
estabelecer com mais clareza as diferenças de cada decisão tomada.
A ideia, bastante sintonizada com a recomendação de Goertz e Mahoney
(2012), é permitir a construção de pontes ou vasos comunicantes entre dois tipos
de abordagens marcadas, em geral, por dissonâncias e desconfianças, sobretudo
pelo desconhecimento mútuo.
A rigor, a ABM é uma das alternativas possíveis para que estruturas de assessoria
encarregas de apoio à decisão possam dedicar-se a questões “macro”, de dimensões
agregadas e de caráter mais estratégico, podendo transferir o aprofundamento em
questões de natureza “micro” a esses sistemas de apoio à decisão permanentes ou
ad hoc (a depender da variação de questões que surjam e representem novidades),
especializados em refinar e processar informações em maior escala.
Assim, formas sistemáticas (reiteradas), ao longo do tempo, e sistematizadas,
enquanto fluxos de entrada de insumos (informações), processamento e saída de
resultados mais específicos, podem ser submetidas a tratamento prévio de especifi-
cação e refinamento, robustecendo a fase de formulação e análise de riscos (prós e
contras), amparando, clarificando e simplificando, justificada e transparentemente,
as alternativas submetidas à tomada de decisão.
Atualmente, sistemas de apoio à decisão são cada vez mais compreendidos
e montados como ferramentas customizadas, minuciosamente conectadas a “sen-
sores”, alguns deles baseados em inteligência artificial, que captam, recolhem e
armazenam informações úteis para serem, em seguida, modeladas e processadas.
Cada vez mais, essas tarefas são realizadas por meio de sistemas informatizados,
automatizando rotinas de varreduras de dados e processamento de informações.
Portanto, sistemas de apoio à decisão (SADs) são criados e se revelam úteis quando
são ferramentas práticas conectadas a processos de apoio à decisão, que, por sua vez,
interpretam e organizam os insumos dos SADs como ponderações de alternativas
a serem consideradas nos processos de tomada de decisão (Lassance, 2021, p. 42).
Os SADs são mecanismos importantes, mas não podem ser vistos como uma
nova panaceia. Eles são limitados a questões que realmente possam ser melhor
especificadas, em suas variáveis, e parametrizadas. Para que sejam úteis, exigem
um amparo de processos de apoio à decisão que realmente confiem aos SADs
tarefas bem definidas. Do contrário, toda a sofisticação possível de ser utilizada
com o uso de ABM ficará desconectada de um ciclo decisório, que deveria levar
essas simulações como parte das alternativas dispostas em mesa, e não como meros
exercícios de geração de famílias de cenários sem a possibilidade de serem devida-
mente digeridos como insumo pelos dirigentes.
Para além da utilização de ABM em contextos de políticas públicas, a abor-
dagem de sistemas complexos, vista de maneira mais ampla, contribui com o
argumento que questiona a rigidez e a certeza esperada pela burocracia.
Não há, de fato, alternativa simples que não seja prever, por meio legal, os
efeitos, o modo, os resultados, os custos e as entregas de uma determinada proposta
de política pública. Entretanto, qualquer política que estabeleça efeitos pressupõe,
de forma peremptória, que se conheçam os mecanismos, que todo o sistema, desde
a publicação da lei – qual seja: a implementação, a liberação de recursos, a reação
dos beneficiários, a reação dos não beneficiários, a magnitude dos resultados e a
capacidade da política de alterar elementos do sistema – seja conhecido. E isso não
é verdade para uma grande parte das políticas (Mueller, 2015).
Como já ilustrado, é possível que essas previsões e essa compreensão do fenô-
meno sejam mais completas, por exemplo, na engenharia de tráfego.17 Claramente,
todavia, não há consenso científico explícito de que reduzir taxas de juros gera
inflação, por exemplo. Ainda que se concorde com a relação entre taxas básicas
de juros da economia e inflação, seus modos de transmissão e, mais relevante, sua
magnitude são desconhecidas.
Essas constatações não implicam a imediata inação dos dirigentes e de suas
burocracias. De maneira alguma. Todavia, seria interessante se as certezas fossem
abandonadas e se as metas fossem probabilísticas, com intervalos plausíveis de
variação e orientadas a momentos bem mais curtos no tempo.
Nesse sentido, especificamente, a ABM pode contribuir com a produção
de: i) melhor compreensão de mecanismos que afetam sistemas e fenômenos;
e ii) indicativos sobre a magnitude e a probabilidade de efeitos resultantes
após a interação de múltiplos fatores, agentes e mudanças de ambiente.
Sugere-se, portanto, entendimentos mais amplos (embora não menos preci-
sos) de prováveis desdobramentos de implementação de políticas, a partir da
melhor compreensão dos mecanismos, sua descrição e exercícios de geração
de efeitos quantificáveis.
17. Exceto, talvez, pela criticalidade do ponto de densidade que desemboca em congestionamentos. Também se excluem
aspectos mais gerais de mobilidade urbana e distribuição de redes de transportes, tais como preferências dos usuários
na escala metropolitana, por exemplo.
Este capítulo caracteriza as políticas públicas essencialmente como sistemas com-
plexos que, como tal, exigem cuidados adicionais na sua compreensão e em pos-
síveis propostas de intervenção. Sistemas complexos envolvem a interação, a ação
e a reação de agentes heterogêneos no tempo e no espaço, não necessariamente
de forma coordenada ou hierárquica, mas que possuem informações localizadas
ou restritas, imperfeitas, e que, em conjunto, como sistema, se modificam, se
adaptam, não necessariamente da mesma forma e sempre. Em especial, sistemas
complexos se distinguem de problemas complicados que possuem várias fases, mas
cujos resultados são conhecidos, as interações descritas e o comando é seguido,
literalmente, da entrada à saída.
Métodos computacionais, adicionalmente, podem ser muito úteis para lidar
com panoramas múltiplos, detalhados, imbricados. Especialmente, o texto apre-
senta em mais detalhes a ABM, seus propósitos, vantagens e múltiplas aplicações.
A vantagem primordial para aplicação em políticas públicas parece ser a de
fornecer um ambiente formal (computacional, determinístico, equações, código)
sobre o qual vários stakeholders (partes interessadas) podem se debruçar e esmiuçar,
questionar, validar, comunicar compreensões distintas de como o processo se
desenvolve. É rápido e barato para servir de protótipo concreto e ambiente de
comunicação para a análise de possíveis efeitos esperados de implementação de
determinada política pública.
REFERÊNCIAS
ALLISON, G. T. Essence of decision. Boston: Brown & Co., 1971.
ANDERSON, P. W. More is different. Science, v. 177, n. 4.047, p. 393-396, 4
Aug. 1972.
AXELROD, R. Advancing the art of simulation in the social sciences. In: CONTE,
D. R.; HEGSELMANN, P. D. R.; TERNA, P. D. P. (Eds.). Simulating social
phenomena. Lecture notes in economics and mathematical systems. Berlin:
Springer, 1997. p. 21-40.
BEKMAN, O. R.; NETO, P. L. O. C. Análise estatística da decisão. São Paulo:
Blucher, 2009.
BELLAUBI, F.; PAHL-WOSTL, C. Corruption risks, management practices, and
performance in water service delivery in Kenya and Ghana: an agent-based model.
Ecology and Society, v. 22, n. 2, 18 abr. 2017.
BERGER, J. Statistical decision theory: foundations, concepts, and methods.
New York: Springer Science & Business Media, 2013.
BETTENCOURT, L. M. A. Cities as complex systems. In: FURTADO, B. A.;

SAKOWSKI, P. A. M.; TÓVOLLI, M. H. (Eds.). Modeling complex systems
for public policies. Brasília: Ipea, 2015. p. 217-238.
BLINDER, A. S. On sticky prices: academic theories meet the real world. In:
MANKIW, N. G. (Ed.). Monetary policy. Chicago: The University of Chicago
Press, 1994. p. 117-154.
CHARI, V.; KEHOE, P. J.; MCGRATTAN, E. R. New Keynesian Models: not
yet useful for policy analysis. American Economic Journal: Macroeconomics,
v. 1, n. 1, p. 242-266, 2009.
CLAUSET, A.; MOORE, C.; NEWMAN, M. E. Hierarchical structure and the
prediction of missing links in networks. Nature, v. 453, n. 7.191, p. 98-101, 2008.
COLANDER, D.; KUPERS, R. Complexity and the art of public policy: solving
society’s problems from the bottom up. Princeton: Princeton University Press, 2014.
DAHLSTROM, M. F. Using narratives and storytelling to communicate science
with nonexpert audiences. PNAS, v. 111, n. 4, p. 13.614-13.620, 2014.
DAWID, H. Modeling the economy as a complex system. In: FURTADO, B.
A.; SAKOWISKI, P.; TÓVOLLI, M. H. Modeling complex systems for public
policies. Brasília: Ipea, 2015. p. 169-190.
DAWID, H.; GATTI, D. D. Agent-Based Macroeconomics. In: HOMMES;
C.; LEBARON, B. Handbook on Computational Economics. [S.l.]: Elsevier,
2018. v. 4.
DOSI, G. et al. Income distribution, credit and fiscal policies in an agent-based
Keynesian model. Journal of economic dynamics and control, v. 37, n. 8,
p. 1.598-1.625, 2013.
DOSI, G. et al. Fiscal and monetary policies in complex evolving economies.
Journal of Economic Dynamics and Control, v. 52, p. 166-189, Mar. 2015.
DOSI, G.; FAGIOLO, G.; ROVENTINI, A. Schumpeter meeting Keynes: a
policy-friendly model of endogenous growth and business cycles. Journal of eco-
nomic dynamics and control, v. 34, n. 9, p. 1.748-1.767, 2010.
EDMONDS, B. et al. Different Modelling Purposes. Journal of Artificial Societies
and Social Simulation, The, v. 22, n. 3, p. 6, June 2019.
EDMONDS, B.; MEYER, R. Simulating social complexity: a handbook.
Gewerbesrasse: Springer Nature, 2017.
EPSTEIN, J. M.; AXTELL, R. Growing artificial societies: social science from
the bottom up. Cambridge: Brookings/MIT Press, 1996.
FAGIOLO, G.; ROVENTINI, A. Macroeconomic policy in DSGE and agent-

-based models redux: new developments and challenges ahead. Journal of Artificial
Societies and Social Simulation, v. 20, n. 1, 2017.
FURTADO, B. A. PolicySpace: a modeling platform. Journal on Policy and
Complex Systems, v. 4, n. 2, p. 17-30, 2018a.
______. PolicySpace: modelagem baseada em agentes. Brasília: Ipea, 2018b.
______. PolicySpace2: modeling markets and endogenous housing policies. [S.l.]:
Cornell University, 2021. Disponível em: <https://bit.ly/3oVqYvi>.
FURTADO, B. A.; FUENTES, M. A.; TESSONE, C. J. Policy Modeling and
Applications: state-of-the-art and perspectives. Hindawi Complexity, Feb. 2019.
Disponível em: <https://bit.ly/3q0eYbb>. Acesso em: 12 jun. 2019.
FURTADO, B. A.; SAKOWSKI, P. A. M. Complexidade: uma revisão dos clás-
sicos. Brasília: Ipea, 2014. (Texto para Discussão, n. 2019).
GAFFEO, E. et al. Adaptive microfoundations for emergent macroeconomics.
Eastern Economic Journal, v. 34, n. 4, p. 441-463, 2008.
GALÁN, J. M. et al. Errors and Artefacts in Agent-Based Modelling. Journal of
Artificial Societies and Social Simulation, v. 12, n. 1, 31 Jan. 2009.
GEYER, R.; CAIRNEY, P. Handbook on complexity and public policy. Chel-
tenham: Edward Elgar Publishing, 2015.
GLAESER, E. L.; NATHANSON, C. G. Housing bubbles. In: DURANTON,
G.; HENDERSON, J. V.; STRANGE, W. C. Handbook of regional and urban
economics. Amsterdam: Elsevier, 2015. v. 5, p. 701-751.
GOERTZ, G.; MAHONEY, J. A Tale of two cultures qualitative and quantita-
tive research in the social sciences. Princeton: Princeton University Press, 2012.
GREENE, W. H. Econometric Analysis. Hoboken: Pearson/Prentice Hall, 2008.
GRIMM, V. et al. A standard protocol for describing individual-based and agent-
-based models. Ecological modelling, v. 198, n. 1-2, p. 115-126, Sept. 2006.
GRIMM, V. et al. The ODD protocol: a review and first update. Ecological
modelling, v. 221, n. 23, p. 2.760-2.768, Nov. 2010.
GRIMM, V. et al. Towards better modelling and decision support: documenting
model development, testing, and analysis using Trace. Ecological modelling, v.
280, p. 129-139, May 2014.
GRIMM, V. et al. The ODD protocol for describing agent-based and other si-
mulation models: a second update to improve clarity, replication, and structural
realism. Journal of Artificial Societies and Social Simulation, v. 23, n. 2, 2020.
GRIMM, V.; RAILSBACK, S. F. Designing, formulating, and communicating
agent-based models. In: HEPPENSTALL, A. et al. Agent-based models of geo-
graphical systems. Gewerbesrasse: Springer, 2012. p. 361-377.
GROOM, B.; MADDISON PR., D. New Estimates of the Elasticity of Margi-
nal Utility for the UK. Environmental and Resource Economics, v. 72, n. 4,
p. 1.155-1.182, Apr. 2019.
HALDANE, A. G.; TURREL, A. E. An interdisciplinary model for macroeco-
nomics. Oxford Review of Economic Policy, v. 34, n. 1-2, p. 219-251, 2018.
HAMILL, L.; GILBERT, N. Agent-Based modelling in economics. Hoboken:
Wiley, 2016.
HASTIE, T.; TIBSHIRANI, R.; FRIEDMAN, J. Elements of statistical learning:
data mining, inference, and prediction. 2nd ed. New York: Springer, 2009.
HELBING, D. Social self-organization: agent-based simulations and experiments
to study emergent social behavior. New York: Springer, 2012.
HEPPENSTALL, A. J. et al. Agent-based models of geographical systems.
Gewerbesrasse: Springer, 2012.
INGHAM-DEMPSTER, T.; WALKER, D. C.; CORFE, B. M. An agent-based
model of anoikis in the colon crypt displays novel emergent behaviour consistent
with biological observations. Royal Society Open Science, v. 4, n. 4, 2017.
JAMES, G. et al. An Introduction to Statistical Learning: with Applications in
R. New York: Springer, 2015.
KYDLAND, F. E.; PRESCOTT, E. C. Time to Build and Aggregate Fluctuations.
Econometrica, v. 50, n. 6, p. 1.345-1.370, 1982.
______. The computational experiment: an econometric tool. Journal of Econo-
mic Perspectives, v. 10, n. 1, p. 69-85, Mar. 1996.
LASSANCE, A. O “making of ” de uma grande política pública: estratégia,
planejamento e apoio à decisão na construção do Plano Marshall. Brasília: Ipea,
2021. No prelo.
LENGNICK, M. Agent-based macroeconomics: A baseline model. Journal of
Economic Behavior & Organization, v. 86, p. 102-120, 2013.
LUKE, D. A. et al. Tobacco Town: computational modeling of policy options

to reduce tobacco retailer density. American Journal of Public Health, v. 107,
n. 5, p. 740-746, Apr. 2017.
MARICATO, E. Brasil 2000: qual planejamento urbano. Cadernos iPPUR,
v. 11, n. 1-2, p. 113-130, 1997.
MINGOTI, S. A. Análise de dados através de métodos de estatística multiva-
riada. Belo Horizonte: Editora UFMG, 2005.
MUELLER, B. Sistemas complexos em políticas públicas no Brasil. In: FURTA-
DO, B. A.; SAKOWSKI, P. A. M.; TÓVOLLI, M. H. Modelagem de sistemas
complexos para políticas públicas. Brasília: Ipea, 2015. p. 291-308.
NEUSTADT, R. E.; MAY, E. R. Thinking in time: the uses of history for decision-
-makers. New York: Free Press, 1986.
NEWMAN, M. Networks: an introduction. Oxford: Oxford University Press, 2010.
NEWMAN, M.; BARABÁSI, A.-L.; WATTS, D. J. The Structure and Dynamics
of Networks. 1st ed. Princeton: Princeton University Press, 2006.
NYE, J. S. Soft power. Foreign policy, n. 80, p. 153-171, 1990.
OUSSOUS, A. et al. Big data technologies: a survey. Journal of King Saud Uni-
versity: computer and information sciences, v. 30, n. 4, p. 431-448, Oct. 2018.
PAGE, S. E. The model thinker: what you need to know to make data work for
you. New York: Basic Books, 2018.
PEARL, J.; GLYMOUR, M.; JEWELL, N. P. Causal inference in statistics: a
primer. Hoboken: John Wiley & Sons, 2016.
ROBINS, J. M.; HERNAN, M. A.; BRUMBACK, B. Marginal structural models
and causal inference in epidemiology. Epidemiology, v. 11, n. 5, p. 550-560, 2000.
SAGHAI, Y. Salvaging the concept of nudge. Journal of medical ethics, v. 39,
n. 8, p. 487-493, 2013. Disponível em: <https://bit.ly/3GMBUBw>.
SASAKI, Y.; BOX, P. Agent-Based Verification of Von Thünen’s Location Theory.
Journal of Artificial Societies and Social Simulation, v. 6, n. 2, Mar. 2003.
SCOTT, N. et al. SimDrink: an agent-based netlogo model of young, heavy drinkers
for conducting alcohol policy experiments. Journal of Artificial Societies and
Social Simulation, v. 19, n. 1, p. 10, 2016.
SEPPECHER, P. Flexibility of wages and macroeconomic instability in an agent-
-based computational model with endogenous money. Macroeconomic Dynamics,
v. 16, n. S2, p. 284-297, 2012.
SILVIA, C.; KRAUSE, R. M. Assessing the impact of policy interventions on

the adoption of plug-in electric vehicles: An agent-based model. Energy Policy,
v. 96, p. 105-118, Sept. 2016.
SIMON, H. A. Theories of decision-making in economics and behavioral science.
The American economic review, v. 49, n. 3, p. 253-283, 1959.
STUDENT, J.; AMELUNG, B.; LAMERS, M. Towards a tipping point? Explo-
ring the capacity to self-regulate Antarctic tourism using agent-based modelling.
Journal of Sustainable Tourism, v. 24, n. 3, p. 412-429, Mar. 2016.
TAN, P.-N.; STEINBACH, M.; KUMAR, V. Introduction to data mining.
Boston: Addison-Wesley, 2006.
TERNA, P. From complexity to agents and their models. In: MORINI, M. et al.
Agent-based models fo the economy: from theories to applications. London:
Palgrave MacMillan, 2015. p. 10-30.
TESSONE, C. A natureza complexa dos sistemas sociais. In: FURTADO, B. A.;
SAKOWSKI, P. A. M.; TÓVOLLI, M. H. Modelagem de sistemas complexos
para políticas públicas. Brasília: Ipea, 2015. p. 157-186.
VAN DAM, K. H.; NIKOLIC, I.; LUKSZO, Z. Agent-based modelling of
socio-technical systems. Berlin: Springer Science & Business Media, 2012. v. 9
VAN DER VEEN, R. A. C.; KISJES, K. H.; NIKOLIC, I. Exploring policy
impacts for servicising in product-based markets: A generic agent-based model.
Journal of Cleaner Production, v. 145, p. 1-13, Mar. 2017.
WADDELL, P. UrbanSim: modeling urban development for land use, transporta-
tion, and environmental planning. Journal of the American Planning Association,
v. 68, n. 3, p. 297-314, 2002.
WADDELL, P. et al. Modeling interdependence in household residence and work-
place choices. Transportation Research Record, v. 2.003, n. 1, p. 84-92, 2007.
WADDELL, P. Integrated land use and transportation planning and modelling:
addressing challenges in research and practice. Transport Reviews, v. 31, n. 2,
p. 209-229, 2011.
WADDELL, P.; WANG, L.; CHARLTON, B. Integration of a parcel-level land
use model and an activity-based travel model. In: WORLD CONFERENCE
ON TRANSPORT RESEARCH, 11., 2007, Berkeley, California. Anais... Berke-
ley: TRID, 2007.
WADDELL, P.; WANG, L.; LIU, X. UrbanSim: an evolving planning support
system for evolving communities. In: BRAIL, R. K. Planning support systems for
cities and regions. Cambridge: Lincoln Institute for Land Policy, 2008. p. 103-138.
WILENSKY, U.; RAND, W. An introduction to Agent-Based Modeling.

Cambridge: The MIT Press, 2015.
WILSON III, E. J. Hard power, soft power, smart power. The annals of the Ame-
rican Academy of Political and Social Science, v. 616, n. 1, p. 110-124, 2008.
WOOLDRIDGE, J. M. Introductory econometrics: a modern approach. 2nd
ed. Mason: South Western Educational Publishing, 2003.
BIBLIOGRAFIA COMPLEMENTAR
NICOLESCU, B. Transdisciplinarity: theory and practice. New York: Hampton
Press, 2008.
CAPÍTULO 6
INSTITUIÇÕES PARTICIPATIVAS E EVIDÊNCIAS HÍBRIDAS:

DELIBERAÇÃO, RELAÇÕES FECUNDAS E ECOLOGIA DE SABERES1
Igor Ferraz da Fonseca2
João Cláudio Basso Pompeu4
Daniel Pitangueira de Avelino5
1 INTRODUÇÃO
A literatura sobre políticas públicas baseadas em evidências (PPBEs) tradicional-
mente enfatiza a conexão (e a influência) de evidências científicas no ciclo de gestão
de políticas públicas. No entanto, mais recentemente, o diálogo entre a PPBE
e as diferentes abordagens epistemológicas que emergiram nas últimas décadas
no campo de análise de políticas públicas tem aberto espaço para a inclusão de
uma perspectiva contextual, para que outras lógicas e saberes possam também ser
considerados evidências (Fischer, 2000; Yanow e Schwartz-Shea, 2006; Lejano,
2006; French, 2019; Peres, Boullosa e Bessa, 2020; Pinheiro, 2020a; 2020b).
Nesta seara, as instituições participativas (IPs) passam a ser vistas como lócus de
produção de conhecimento.
Neste capítulo, argumentamos que, por um lado, as IPs promovem a inclusão
de subsídios baseados em diferentes formas de saber para a gestão de políticas públi-
cas. Por outro lado, discutiremos como tais subsídios são debatidos, transformados
e ressignificados para que seja possível gerar evidências híbridas, que são aquelas
oriundas dos encontros, dos debates, das deliberações, dos acordos operacionali-
záveis e dos conflitos manifestados nesses espaços. São conhecimentos que surgem
das relações fecundas travadas por distintos atores, que dificilmente interagiriam
fora das IPs (Abers e Keck, 2008).
É nesse arcabouço que se situa o objetivo geral deste capítulo, que é discutir
duas perguntas-chave, a saber: i) se as IPs produzem ou não evidências para as
1. Os autores e a autora agradecem os valiosos pareceres de Ricardo Fabrino Mendonça e Mário Aquino Alves.
(Diest) do Ipea. E-mail: <igor.fonseca@ipea.gov.br>.
3. Especialista em políticas públicas e gestão governamental na Diest/Ipea. E-mail: <natalia.koga@ipea.gov.br>.
4. Especialista em políticas públicas e gestão governamental na Diest/Ipea. E-mail: <joão.pompeu@ipea.gov.br>.
5. Especialista em políticas públicas e gestão governamental na Diest/Ipea. E-mail: <daniel.avelino@ipea.gov.br>.
políticas públicas; e ii) qual a natureza (e a originalidade) das evidências produzidas

no interior desses espaços. A metodologia utilizada será qualitativa e terá um foco
predominantemente teórico, analisando – de forma complementar – as literaturas
sobre: a PPBE; a democracia deliberativa; a democracia agonística; e o conceito
de ecologia de saberes.
Além desta introdução, este capítulo conta com mais quatro seções. A seção
2 traça um panorama do diálogo estabelecido entre a literatura sobre PPBEs e
deliberação. A seção 3 aborda a contribuição potencial das IPs e dos mecanismos
de participação para a geração de evidências híbridas a partir de três perspectivas:
deliberação, agonismo e ecologia de saberes.
É importante ressaltar que este trabalho não pretende apresentar cada perspec-
tiva de forma exaustiva, a partir de seus conjuntos de autores e diálogos construídos
em campos de estudos com décadas de tradição. As abordagens contam com uma
trajetória formada por diálogos e intersecções, sendo que a própria definição dos
limites e das fronteiras entre elas é imprecisa e variável. Os diálogos estabelecidos
entre os autores também contribuem para a redefinição ou eliminação de fronteiras
e oposições teóricas.
Assim, mais que enfatizar e discutir as fronteiras entre as vertentes, este capítulo
objetiva mostrar como as formas de racionalidade e de interação entre distintos
atores – técnicos e não técnicos – contribuem para a geração de evidências que vão
além daquelas tradicionalmente preconizada pela literatura original das PPBEs.
Para tanto, na discussão de cada perspectiva, o capítulo aborda sobretudo autores
fundadores, na busca por identificar a raiz de cada uma delas e seu aporte original
para a geração de evidências híbridas.
A seção 4 sintetiza o argumento desenvolvido nas seções anteriores, cha-
mando a atenção para os momentos da participação e para a divisão do trabalho
deliberativo. Na abordagem sistêmica, há espaço para a coexistência e articulação
entre as três vertentes discutidas anteriormente, reforçando o caráter híbrido das
evidências potencialmente produzidas.
A seção 5 traz as considerações finais e indica que as evidências híbridas oriun-
das das IPs podem ser marcadas pela complementaridade, pela transformação e pela
reformulação da relação entre distintas formas de conhecimento e epistemologias.
Por fim, conclui-se o capítulo com uma breve discussão sobre os potenciais efeitos
da redução do papel das IPs no Brasil, que pode interromper o experimentalismo
em torno das evidências híbridas.
Instituições Participativas e Evidências Híbridas: deliberação, relações fecundas e | 225
ecologia de saberes
2 PARTICIPAÇÃO E EVIDÊNCIAS PARA AS POLÍTICAS PÚBLICAS: O HIATO

ENTRE TEORIA E EMPIRIA
Em que pese o extenso debate sobre racionalidade na literatura especializada,
para os fins de nossa análise, trazemos a interpretação de Ramos (1989) sobre a
distinção proposta por Weber entre a chamada racionalidade formal/instrumental
(zweckrationalitat) e a racionalidade subjetiva ou de valor (wertrationalitat), uma
vez que nos auxilia a clarear as bases das críticas à PPBE, assim como o lócus de
contribuição da participação social. De forma sintética e simplificada, utilizaremos
o termo racionalidade subjetiva para resgatarmos, como sugerido por Ramos (1989,
p. 3) o sentido antigo do termo razão como a “força ativa na psique humana que
habilita o indivíduo a distinguir entre o bem e o mal, entre o conhecimento falso
e o verdadeiro e, assim, a ordenar sua vida pessoal e social”.
Por sua vez, o termo racionalidade instrumental será utilizado para expres-
sar a conduta humana orientada ao cálculo de utilidade e consequências, isto
é, “determinada por uma expectativa de resultados ou fins calculados” (Ramos,
1989, p. 5). Percebemos, assim, que, enquanto o primeiro entendimento carrega
uma normatividade acerca de como deve ser o ordenamento social, o segundo
esvazia-se do elemento ético e foca no aspecto funcional e instrumental da con-
duta dos indivíduos.
O movimento das PPBEs traz em seu cerne a busca pelas melhores evidências
sobre o que funciona (what works) para embasar a tomada das decisões nas políti-
cas públicas (Davies, Nutley e Smith, 2000). O discurso da PPBE, originalmente
formulado a partir dos anos 1990 em países anglo-saxões, tem como alicerce as
defesas da racionalidade instrumental, plena e isenta de interferências subjetivas,
e da falseabilidade empírica como meio da construção do consenso científico.
No entanto, correntes críticas já não tão recentes apontam para a relevância
em se reconhecer os limites e riscos da exacerbação da crença na racionalidade ins-
trumental, assim como das bases epistemológicas positivistas e seus procedimentos
metodológicos. Essas correntes questionam a ênfase na busca por generalizações e
na causalidade linear em detrimento de outros atributos relevantes para a produção
da política pública como a contextualidade e o aspecto diacrônico da construção
do conhecimento, assim como a legitimidade dos argumentos (Fischer, 2000;
Landemore, 2012; Pallett, 2020). Diversas questões emergem desse embate, entre
elas o questionamento sobre o que devemos compreender por evidências capazes de
subsidiar as políticas públicas. É nesta seara que pretendemos realizar nossa discus-
são, centrando a atenção à literatura que busca analisar os substratos e extratos da
participação social como possíveis fontes de evidências para as políticas públicas.
Dois pontos iniciais merecem ser destacados antes de nos debruçarmos
nesta literatura. O primeiro trata do não ineditismo do embate anteriormente
mencionado. Podemos dizer que o movimento da PPBE traz uma nova roupagem
ao debate clássico sobre a separação entre a técnica e a política no âmbito das
discussões sobre políticas públicas em contexto democrático.6
Enquanto a PPBE revisita a ideia de que esta separação é desejável, aborda-
gens pós-positivistas, como a inaugurada pela Virada Argumentativa, rejeitam a
possibilidade dessa separação e propõem discutir meios para considerar valores,
crenças e políticas na análise do policymaking (Fischer, 2000; Yanow e Schwartz-Shea,
2006; Lejano, 2006; Spink, 2019; Pinheiro, 2020a; 2020b; Peres, Boullosa e Bessa,
2020). Desta forma, em que pese alguns desses trabalhos terem sido produzidos
antes mesmo de o termo PPBE ter sido cunhado, os argumentos por eles levanta-
dos valem ser resgatados por trazerem subsídios relevantes para discutir o papel da
participação social na produção de evidências, entendidas essas de maneira mais
alargada, isto é, como forma de conhecimento que possa ser utilizado na produção
de políticas públicas.
O segundo ponto diz respeito à diversidade de concepções de participação
social dada nos diferentes contextos de análise dessa literatura. Em alguns casos,
como nos teóricos que enfatizam o conceito de democracia participativa, a parti-
cipação é trazida como um fenômeno mais abrangente, como um dos processos
geradores de transformação social e construção democrática (Pateman, 1970, 2012;
Macpherson, 1977; Barber, 2003). Nesta vertente, a participação social possui um
fim em si mesmo, independente de seus resultados em decisões ou políticas públicas.
Outros teóricos, ligados à citada vertente argumentativa, abordam a participa-
ção social a partir da ótica da democracia deliberativa, em que o caráter deliberativo
da participação enfatiza a construção de fóruns onde teriam debates pautados pela
racionalidade comunicativa entre o conjunto de atores interessados das políticas
públicas, em tentativas de reproduzir e potencializar as esferas públicas (Habermas,
1992; 1997; 2002; Calhoun, 1996; Cohen, 1999). A participação passa a ter um
fim ligado à produção coletiva de decisões e à sua legitimação social. A ênfase
empírica passa a ser o desenho institucional de fóruns (que vão desde instâncias
pontuais como referendos, audiências públicas, reuniões com grupos de interesse,
reuniões de associações de bairro, até instâncias mais estáveis e estruturadas como
conselhos de políticas públicas, orçamento participativo e conferências nacionais).
Considerando o nosso objetivo de identificar as potencialidades e os limites
da participação como fonte de evidência para as políticas públicas, interessa-nos
examinar o conceito em diversos significados. Pelo foco comum na racionalidade e
pela crença que é necessário reformular o diálogo entre técnica e política, o debate
entre PPBE e participação tem sido feito, na literatura especializada, a partir do
6. Para uma análise mais aprofundada sobre esse debate, ver, por exemplo, Schumpeter (1961), Bobbio (1997), Dahl
(2001; 2012), Brenan (2016) e Sandel (2020).
ecologia de saberes
olhar que define participação a partir da perspectiva deliberativa. Tal definição vê

a participação social como “deliberação sobre questões prementes que preocupam
as pessoas afetadas pelas decisões em questão” (Fischer, 2000, p. 32).
Nesse contexto, podemos dizer que é possível organizar a literatura que
busca analisar e problematizar a relação entre deliberação e evidências em quatro
discussões principais: i) o tipo de uso que se pretende dar ou se dá efetivamente aos
extratos informacionais e de conhecimento da participação social; ii) as diferenças
entre as fontes de evidências científicas e deliberativas, assim como as vantagens
e desvantagens de cada uma delas; iii) os fatores que determinam essas diferenças; e
iv) as propostas de como ampliar o uso dos conhecimentos gerados pela participação
social no processo de produção de políticas públicas.
Assim como no debate sobre a relevância do conhecimento científico na
produção de políticas públicas, a discussão da contribuição do conhecimento
produzido pela deliberação deve passar pela questão sobre “para qual finalidade
de uso”. Weiss (1979) chama a atenção para a importância em se reconhecer que
pesquisas científicas não são utilizadas no mundo real da política pública apenas
para subsidiar diretamente as decisões. Outras finalidades, em verdade, são até
mais frequentes, tais como o uso para se aclarar novos contextos ou definições
de problemas públicos ou, ainda, como “munição” para legitimar uma decisão já
anteriormente tomada.
Da mesma forma, trabalhos que problematizam o uso da participação social
como fonte de evidências apontam que é necessário primeiro compreender o
objetivo esperado com a participação social para então poder analisar que tipos
de evidências ela pode produzir para subsidiar a política pública. Ou seja, cada
evento ou instância participativa pode ter intencionalidades distintas que vão
desde a troca de experiências e conhecimentos locais e tradução do conhecimento
técnico para o debate público até a mensuração da opinião pública e persuasão e
construção da legitimidade em torno de escolhas previamente definidas (Walters,
Aydelotte e Miller, 2000).
Vale esclarecer que Walters, Aydelotte e Miller (2000) partem de uma ideia de
participação como mecanismo e instrumento de deliberação e não necessariamente
como um projeto político de construção democrática. Não obstante as possíveis
críticas em relação à desejabilidade de cada um desses usos, cabe destacar que, no
mundo real, esses distintos usos são adotados e condicionam os resultados em
termos de níveis e tipos de subsídios gerados para a política pública. Importante,
portanto, ter consciência de que nenhuma fonte de conhecimento é utilizada apenas
para embasar diretamente a tomada de decisão. Outros usos podem ser dados e
vale a pena, além de reconhecê-los, investigá-los, não os descartando de antemão
como meios capazes de apoiar a política pública, como, por exemplo, o uso da
participação para elucidar contextos desconhecidos pelos burocratas ou especialistas.
Uma outra frente de análise da relação entre participação e produção de
evidência ressalta as diferenças entre evidências científicas e os conhecimentos e
subsídios produzidos por meio da participação social. Os resultados das experiências
deliberativas, que, em geral, são pesquisados e analisados a partir de metodologias
qualitativas de investigação de estudos de casos específicos, são muitas vezes des-
cartados ou pouco considerados por serem avaliados como desprovidos de rigor
ou robustez empírica que garanta a replicabilidade ou confirmações teóricas.
A predominância da lógica positivista e quantitativa para a definição da chamada
hierarquia de evidências – isto é, dos parâmetros de valoração dos tipos de evi-
dência científica7 – relega a deliberação a um segundo plano de fonte de evidência
(Pallett, 2020).
A análise das diferenças epistemológicas entre o neopositivismo e o
pós-positivismo permite-nos identificar distintas contribuições que as evidências
produzidas a partir de cada uma dessas epistemologias podem gerar (Fischer,
2000). Enquanto a abordagem neopositivista busca generalizações a partir de um
consenso construído por meio da reprodução de testes empíricos e confirmação
estatística, a abordagem pós-positivista parte do conhecimento contextualizado e
busca produzir análises de políticas por meio do exame dos processos discursivos
estabelecidos entre visões distintas no campo (Danziger, 19958 apud Fischer, 2000;
Dryzek, 2016; Yanow e Schwartz-Shea, 2006).
Em que pese a permanente busca pela objetividade científica na perspectiva
positivista e neopositivista defendida pela PPBE, seus críticos demonstram a ra-
cionalidade limitada dos agentes (Simon, 1956) e argumentam que os processos
de construção de conhecimento também são carregados de julgamentos e escolhas
que não são exclusivamente técnicas, mas permeados por valores e fatores sociais
(Fischer, 2000). Neste sentido, as deliberações teriam o condão de trazer à tona os
valores e as visões distintas sobre as questões e problemas públicos, assim como o
conhecimento local (Fischer, 2000; Pallett, 2020). Ao contextualizar as questões
e incentivar a deliberação, a participação permitiria, ainda, revelar a dimensão
política – com seus interesses, recursos e jogos de poder –, na qual os problemas
públicos estão inexoravelmente inseridos (Fischer, 2000).
Desta forma, diversas vantagens e subprodutos podem ser apontados na
promoção do encontro e da deliberação entre cidadãos, burocratas e especialistas.
7. Ainda que não haja consenso sobre todos os níveis dessa hierarquia, é possível dizer que os experimentos aleatórios
controlados, as meta-análises e as revisões sistemáticas encontram-se no topo da pirâmide da hierarquia de evidências.
8. Danziger, M. Policy analysis postmodernized: some political and pedagogical ramifications. Policy Studies Journal,
v. 23, n. 3, p. 435-450, 1995.
ecologia de saberes
Cidadãos podem ser chamados a avaliar as implicações das análises de especialistas,

permitindo a verificação das evidências científicas em função das constrições do
tempo e da localidade em questão (Fischer, 2000) ou, ainda, para reduzir os vieses
na definição de problemas públicos, uma vez que permite que uma multiplicidade
de preocupações sociais seja considerada (Parkhurst, 2017). Conhecimentos novos
podem ser identificados e conhecimentos já existentes podem ser remodelados
legitimados (Fischer, 2000).
Não obstante as possibilidades aventadas, a literatura sobre o tema demonstra
que a participação pode resultar em um empreendimento frustrante e de difícil
generalização. Trabalhos recentes buscam identificar fatores que podem conduzir à
baixa efetividade da participação, assim como meios de torná-la mais bem utilizada.
Para tanto, a questão da finalidade de uso da participação torna a ser relevante.
Pesquisas empíricas demonstram que parte da frustração com os resultados dos
processos participativos decorre do mau entendimento ou da não explicitação do
uso almejado com os participantes (Walters, Aydelotte e Miller, 2000; Mendonça
e Cunha, 2012). Walters, Aydelotte e Miller (2000) sustentam a importância em
se realizar tal definição e se comunicar aos envolvidos antes da interação participa-
tiva. Sustentam, ainda, que é importante considerar que diferentes instrumentos
e mecanismos servem melhor a distintas finalidades.
A partir do estudo de caso de um processo de debate público aberto em
Utah, nos Estados Unidos, nos anos 1990, sobre a conservação ambiental e a
demarcação de terras protegidas, os autores apontam, por exemplo, que consultas
públicas e pesquisas de opinião conduzidas serviram mais como um termômetro
do apoio público à questão ambiental do que como indicadores ou parâmetros para
a demarcação de terras a serem conservadas. Nesse mesmo sentido, Mendonça e
Cunha (2012), ao analisarem as práticas participativas da Assembleia Legislativa
de Minas Gerais, destacam a importância em se vincular os diferentes formatos
participativos aos objetivos das diferentes fases da política pública, assim como
em se explorar potencialidades da articulação entre diferentes arenas participativas
vislumbrando construção de sistemas deliberativos.
Walters, Aydelotte e Miller (2020) analisam aspectos relacionados à definição
do uso da participação em face do estágio em que a produção da política se encontra
e acrescentam, ainda, a questão do nível de conflito existente entre os interessados e
envolvidos no policymaking. Os autores argumentam que as intencionalidades de
uso da participação podem ser distintas a depender do estágio da política pública.
Nos estágios iniciais da produção da política como a definição do problema público
e identificação de critérios, a participação social seria útil para evidenciar perspec-
tivas distintas e até mesmo concorrentes existentes no contexto de intervenção.
Já para os estágios de prospecção, avaliação de alternativas e recomendações de ações,
ganhariam mais força as possibilidades de uso para esclarecer e legitimar posições

no processo de definição da política. Os autores sugerem, ainda, que problemas
de políticas públicas que envolvem mais conflitos demandam participação nos
estágios iniciais da produção da política, enquanto que, em problemas com menos
conflitos, a participação social poderia ser introduzida em estágios mais avançados
da política, como aqueles de identificação e recomendação de alternativas.
Considerando, então, os diferentes usos que podem ser dados às evidências
trazidas pela participação social, assim como os condicionantes em diferentes
contextos de uso, a literatura que se atenta para os subsídios da participação sus-
tenta que não se trata de um debate de substituição, mas sim de integração entre
as distintas fontes de conhecimento. Ou seja, o desafio não seria o de substituir as
evidências científicas pelos subsídios da participação social, mas o de integrá-los, a
partir do reconhecimento da relevância não apenas da racionalidade instrumental,
mas também da racionalidade comunicativa advinda do processo argumentativo.
Neste sentido, este tem o condão de revelar mais sobre a dependência contextual
que é, em geral, negligenciada pela lógica de argumentação formal da academia
(Fischer, 2000; 2007).
Partindo da observação de casos de confrontos discursivos entre cidadãos e
especialistas em torno de questões ambientais, Fischer (2000, p. 45, tradução nossa)
sugere que “(e)m vez de questionarmos a capacidade de participação do cidadão,
devemos perguntar como podemos interligar e coordenar os diferentes e ao mesmo
inerentemente interdependentes discursos dos cidadãos e especialistas”. Portanto,
a questão não seria a de que discurso seria melhor, mas de como esses diversos
discursos, revelados nas deliberações, podem estar e ser interligados.
Em direção convergente, podemos observar a atenção dos editores de uma das
principais revistas que abordam o tema das evidências nas políticas públicas – Policy
and Evidence – quando problematizam a hierarquização de diferentes formas de
evidência e levantam o desafio de enfrentar as dificuldades em integrá-las (Pearson
e Smith, 2018). De fato, esta parece ser a fronteira do debate acerca da contribui-
ção de outras fontes de evidência, para além da científica, nos estudos das PPBEs.
O reconhecimento da diversidade de fontes de evidência é sustentado por
trabalhos em diferentes campos. Entretanto, pouco se avançou em uma proposta de
integração. Alguns apontamentos nessa direção envolveriam levar em consideração:
dar espaço para o desenvolvimento de capacidades e habilidades de análises multi-
métodos, tanto quantitativos como qualitativos; e reavaliar os parâmetros e critérios
de avaliação das diferentes fontes de conhecimento (Pallett, 2020). De fato, não
é possível sustentar, por exemplo, que os subsídios de conhecimento participativo
sejam julgados e avaliados a partir dos mesmos parâmetros de experimentos alea-
tórios controlados conduzidos em laboratórios. Em verdade, pode-se argumentar
ecologia de saberes
que seus atributos e suas potenciais contribuições para a política pública não são
distintos, mas sim complementares.
O desafio, portanto, é o de aproximar e construir ligações entre conhecimento
especializado e opinião pública, considerando que tanto os constrangimentos téc-
nicos como as preferências públicas condicionam a produção da política pública.
A interação com os cidadãos tem o condão de alimentar os especialistas com as
experiências, as preferências e os valores presentes no contexto de política pública.
Ignorar estes valores implica a perda de subsídios importantes para os decisores e
produtores da política e dificulta a legitimidade social das decisões, que é funda-
mental em um sistema democrático. O alerta levantado por Fischer (2000, p. 9)
quanto aos perigos da exacerbação de um modo tecnocrático de tomada de decisão
não poderia ser mais acertado: “alguns autores sugerem até que a divisão entre os
que têm e os que não têm conhecimentos especializados será uma das fontes básicas
de conflito social e político no novo século”.9
3 TRÊS PERSPECTIVAS PARA COMPREENDER A RELAÇÃO ENTRE PARTICIPAÇÃO

SOCIAL E EVIDÊNCIAS
Conforme apontado na seção 2, a literatura sobre PPBEs tem tido dificuldades de
incorporar os subsídios da participação e da deliberação enquanto evidências. Esta
seção visa contribuir com esse tópico ao elencar quatro diferentes formas potenciais
de interrelação entre os resultados de mecanismos participativos e as iniciativas que
objetivam incorporar o uso de evidências em políticas públicas. Cada uma delas
trata de forma distinta a relação entre conhecimento especializado e participação,
aqui denominadas formas de evidências híbridas que, como mencionado na seção
1, seriam aquelas oriundas dos encontros, dos debates, das deliberações, dos con-
sensos e dos conflitos manifestados nos espaços participativos.
Na sequência, discutiremos em detalhes a relação entre participação e PPBE
a partir das seguintes perspectivas, cada qual abordada em uma subseção: 3.1
A deliberação racional e complementaridade a partir da legitimidade do melhor
argumento; 3.2 As relações fecundas e as evidências oriundas do conflito; e 3.3
A ecologia de saberes.
9. Esse dilema invade, por exemplo, o campo da filosofia política. Brenan (2016) defende um regime que ele chama de
epistocracia, ou seja, o domínio das pessoas que têm conhecimento. Ele argumenta que o cidadão médio americano
é pouco instruído, despreparado. As decisões do eleitor são baseadas na emoção e há pouca racionalidade nas suas
escolhas. Para o autor, as decisões políticas devem ser tomadas pelos especialistas. Em um registro oposto, o filósofo
Michael Sandel, discutindo a meritocracia, alega que um dos grandes problemas da política americana é que, desde
a década de 1960, a participação da população trabalhadora vem diminuindo cada vez mais na elite decisória. Isto
faz com que essa elite seja insensível aos problemas que afetam a maioria da população. Desde a década de 1970, a
desigualdade de renda aumenta constantemente nos Estados Unidos e há poucas propostas concretas para resolver
esse problema (Sandel, 2020).
Como ressaltado na introdução, a divisão entre as vertentes feita aqui é

fundamentalmente tipológica, direcionada para ressaltar elementos presentes na
origem de cada perspectiva. Ao longo das décadas de desenvolvimento teórico e
empírico do campo, o diálogo entre autores permite uma constante redefinição
de fronteiras entre as abordagens (Karagiannis e Wagner, 2008; Knops, 2007;
Mendonça e Selen, 2015).
3.1 A deliberação racional e complementaridade a partir da legitimidade

do melhor argumento
A relação entre técnica, política e evidências a partir da perspectiva da democracia
deliberativa é a mais desenvolvida e explorada pela literatura especializada. A litera-
tura mobilizada na seção 2 é exemplo do diálogo recorrente e já estabelecido entre
as literaturas sobre PPBEs e deliberação. Isso ocorre, entre outros motivos, pelas
bases de sustentação da teoria deliberativa. Autores centrais da corrente, tais como
Habermas (1992; 1997; 2002), Cohen (1989; 1999) e Calhoun (1996), percebem
que os espaços de participação e de deliberação têm, entre suas funções principais,
a elaboração de decisões construídas em base racional, a partir do intercâmbio e
da escolha coletiva dos melhores argumentos.
O princípio da racionalidade inerente à perspectiva deliberativa implica não só
que é possível, mas também desejável a interação entre os especialistas e o conjunto
dos cidadãos. Além disso, advoga-se a possibilidade de que cientistas e especialis-
tas em políticas públicas sejam sensíveis ao conhecimento do cidadão comum e
tratem tal conhecimento como válido dentro do debate racional. É aqui que está
fundamentada a defesa da complementaridade entre os resultados da deliberação
e as evidências científicas, absorvida mais recentemente na literatura de PPBEs.
Há que se destacar, no entanto, que a noção de racionalidade para os deli-
berativistas não coincide com a ideia de racionalidade instrumental que embasa o
discurso da PPBE. Em verdade, a perspectiva deliberacionista traz em suas raízes
um projeto emancipatório do ser humano que visa justamente contrapor-se aos
aprisionamentos da subjetividade privada gerados pelos processos de homegeneização
da sociedade industrial de larga escala e da modernidade.10 Para tanto, Habermas
(1968) defende a noção de uma razão comunicativa capaz de resguardar a auto-
nomia ética dos indivíduos e estimular a capacidade humana para autorreflexão.
10. Como destaca Ramos (1989) em sua análise sobre a visão de Habermas acerca da racionalidade: “na ‘sociedade
industrial de larga escala, a pesquisa, a ciência e a tecnologia e a utilização industrial fundiram-se num sistema’ (Ha-
bermas, 1968, p. 104), levando assim a uma forma repressiva de estrutura institucional, em que as normas de mútuo
entendimento dos indivíduos estão absorvidas, num ‘sistema comportamental de ação racional de propósito determi-
nado’ (op. cit., p. 106). Em outras palavras, num ambiente desse tipo a diferença entre a racionalidade substantiva e a
pragmática torna-se irrelevante e chega a desaparecer. De fato, a sociedade técnico-industrial legitima-se através da
escamoteação objetiva dessa diferença” (Ramos, 1989, p. 13).
ecologia de saberes
Ao se examinar as experiências concretas de deliberação, contudo, constata-se

que muitas vezes elas não seguem as condições previstas e preconizadas pelos
deliberativistas. Fischer (2009, p. 11) aponta que, enquanto as contribuições dos
democratas deliberativos “geralmente reconhecem a necessidade da expertise, elas
também têm falhado em mover-se para além de entendimentos padrões sobre
experts, o que tem atrapalhado a participação cidadã”. Ele se propõe a desenvolver
metodologias que permitam o encontro produtivo entre especialistas e leigos
salientando a importância da figura do corretor (broker), um mediador que seria
responsável por fomentar o diálogo construtivo entre especialistas e não especialistas,
atuando na tradução mútua entre as linguagens e as formas de conhecimento, na
busca por uma deliberação efetiva.
Nas experiências deliberativas ativas nos Estados Unidos e em alguns paí-
ses europeus, denominadas munipúblicos (Grönlund, Bächtiger e Setälä, 2014;
Felicetti, Niemeyer e Curato, 2016), o mediador tem uma importância funda-
mental nas tentativas de replicar a perfeita esfera pública (Ryan e Smith, 2014).
Fischer (2000) vai além e aponta que as funções de mediadores e de promotores
de experiências deliberativas podem ser os próprios agentes do Estado, burocratas
e especialistas em políticas públicas. Isso permitiria o diálogo e a integração não
só entre os conhecimentos científicos e não científicos, mas também entre os co-
nhecimentos técnicos, administrativos e políticos detidos pelos burocratas. Nesse
contexto, o servidor público pode ser visto como um facilitador do engajamento
público; como o criador de comunidades de participação (Fischer, 2009; Fischer
e Gottweis, 2013).
Dessa forma, a primeira forma da relação entre participação e evidências
aqui discutida seria marcada pela complementaridade oriunda do nivelamento en-
tre o conhecimento científico, o burocrático e o do cidadão comum. A partir do
encontro entre esses atores e processos dialógicos de tradução e busca de acordos
operacionalizáveis, seria possível a criação de evidências que incorporem essas três
formas de conhecimento e permitam, simultaneamente, o rigor técnico, a legiti-
mação social das decisões e a capacidade de sua incorporação em políticas públicas.
Apesar de teoricamente bem desenvolvidas, os estudos empíricos sobre a
relação entre especialistas, burocratas e cidadãos apontam importantes desafios à
complementariedade que servem como contribuições relevantes para a literatura
de PPBEs. Existem casos recorrentes de impermeabilidade do Estado às decisões
oriundas da participação e da deliberação. O foco desses estudos no desenho ins-
titucional de fóruns e no processo deliberativo em si relegou a um segundo plano
a questão da incorporação dos resultados dos minipúblicos ao ciclo de políticas
públicas, devido à falta de conexões com os centros de poder (Goodin e Dryzek,
2006; Pateman, 2012; Vieira e Silva, 2013). O desafio da mediação e da tradução
de conhecimentos também tem se mostrado bastante complexo, e formas de conhe-

cimentos científicas e relacionadas à de gestão pública têm sido empregadas para o
controle dos debates no interior de experiências participativas. A literatura empírica
brasileira aponta múltiplos exemplos em que técnicos e burocratas controlam os
debates e condicionam os resultados das experiências deliberativas (Wendhausen
e Caponi, 2002; Fuks e Perissinotto, 2006; Wendhausen e Cardoso, 2007).
A fim de buscar mais elementos para avançar na exploração de possíveis
dinâmicas para a construção de evidências híbridas, isto é, recursos informacionais
gerados pela integração de conhecimento nos encontros entre burocracia, cidadão
e comunidade científica, discutiremos a seguir eventuais contribuições do debate
de participação social pela perspectiva da democracia agonística.
3.2 As relações fecundas e as evidências oriundas do conflito

A partir das limitações empíricas de experiências da democracia deliberativa (tais
como os minipúblicos), autores como Mouffe (1999; 2000; 2013) e Purcell (2008)
criticam a concepção deliberativa. Eles questionam a noção de que as arenas políticas
podem ter como base o consenso a partir do debate entre argumentos racionais não
apenas na dimensão instrumental – como também o fazem os deliberacionistas,
mas também na dimensão subjetiva. Enfatizando que a perspectiva deliberativa é
despolitizada, incapaz de lidar com as contradições e os conflitos inerentes à esfera
pública, os autores defendem um pluralismo de concepção agonista.
Em que pese os desenvolvimentos recentes tanto por parte da literatura de-
liberativa como agonística no sentido da revisão de seus preceitos e aproximação
das duas correntes (Mendonça e Selen, 2015), para esta discussão entendemos
relevante ressaltar a desconfiança da perspectiva agonística quanto à possibilidade
de construção harmônica, racional e consensual de políticas públicas, a partir do
diálogo entre burocratas especialistas e cidadãos comuns. A perspectiva agonista
sustenta que fóruns deliberativos não podem ser isolados e blindados das contra-
dições políticas e das desigualdades sociais inerentes à sociedade mais ampla e,
portanto, não há como impedir que a arena deliberativa seja permeada por relações
de poder, reproduzindo desigualdades.
Contudo, apesar dessas críticas, a participação social não é irrelevante para
os agonistas. Os fóruns participativos e deliberativos são importantes exatamente
por permitir a expressão das desigualdades e das relações de poder. Ao permitir a
interação entre distintas ideologias e grupos sociais, os espaços participativos podem
circunscrever o conflito e as contradições sociais dentro de um espaço delimitado,
evitando rupturas com a ordem democrática (ainda que elementos dessa ordem
possam ser questionados).
ecologia de saberes
Mouffe (2005, p. 31, tradução nossa) entende que

é necessário um consenso sobre as instituições constitutivas da democracia e sobre os
valores “éticos e políticos” que informam a associação política – liberdade e igualdade
para todos – mas haverá sempre desacordo quanto ao seu significado e à forma como
devem ser implementadas. Em uma democracia pluralista, tais desacordos não são
apenas legítimos, mas também necessários.
Assim, essa autora defende um confronto agonístico em que os adversários – e
não os inimigos, como em um confronto antagônico – disputam em condições em
que as relações de poder podem ser contestadas e as alternativas distintas possam
surgir e ser confrontadas. É nesse sentido que os espaços participativos podem ser
vistos como lócus para o confronto agonístico.
Sem a pretensão de gerar consensos ou eliminar os conflitos, os espaços par-
ticipativos podem prevenir que tais conflitos alcancem dimensões que extrapolem
o âmbito da democracia. Nesse contexto, enquanto os espaços construídos sob
uma perspectiva deliberativa buscam identificar interesses comuns, os espaços
participativos vistos sob uma perspectiva agonista têm o propósito de permitir a
expressão e disputa de ideias e visões distintas, muitas vezes conflitantes.
É nesses termos que Abers e Keck (2008) percebem os principais méritos das
IPs como promotores de relações fecundas entre os diferentes atores. A ênfase se
dá nas formas criativas que surgem na interação entre atores profundamente distintos e
que dificilmente interagiriam se não fosse a existência dos espaços de participação
e não no intercâmbio de argumentos, buscando trazer as diferentes perspectivas
para uma linguagem comum e racional instrumental. A função desses espaços seria
permitir tal interação. O resultado dessa interação pode permitir o surgimento de
soluções inovadoras que jamais existiriam de outra forma (Abers e Keck, 2008).
Tais soluções, baseadas na diferença e não na tentativa de uniformização de
linguagens em direção ao consenso, podem ser consideradas evidências híbridas,
passíveis de serem incorporadas em políticas públicas. Trata-se não de uma evidência
estática, mas de um tipo de conhecimento que requer a abertura e a permeabilidade
dos técnicos em relação ao “saber do cidadão comum”. Muitas das deficiências das
experiências da democracia deliberativa ocorrem porque os técnicos e detentores
do poder não valorizam e não estão abertos a experiências distintas.
Do debate levantado até o momento, sustentamos uma concepção de evidên-
cia híbrida não focada no resultado direto do mecanismo participativo, mas que
vislumbre também a transformação dos múltiplos atores que ali participam em uma
perspectiva de fortalecimento democrático. São esses atores que podem modificar
as formas de criar e implementar políticas públicas. Os mecanismos de participação
podem, portanto, contribuir para a criação novas identidades que dissolvam as
fronteiras entre cidadãos, Estado e academia (Koga, 2016).
A perspectiva agonística entende que alternativas são geradas a partir da exis-

tência de diferentes identidades políticas contingentes, que carregam demandas e
projetos concorrentes que podem ser também conflitantes. As identidades coletivas,
por sua vez, são constituídas a partir de um processo de discriminação contínua
entre “nós” e “eles”. Ou seja, a oposição é um elemento constitutivo da formação
das identidades coletivas e, portanto, da real emergência de alternativas e escolhas
(Mouffe, 2010). Nesse sentido, espaços participativos agonísticos seriam espaços
simbólicos comuns em que o conflito pode ser expresso e identidades, problemas
públicos e alternativas podem emergir.
A atuação política cotidiana destes atores “transformados”, tanto fora como
dentro da arena participativa em si, é que permitirá a incorporação de evidências
híbridas em políticas públicas. A ação dos burocratas, atores fundamentais nessa
perspectiva, pode, no longo prazo, fortalecer a capacidade analítica do Estado, que
se torna mais permeável a novas fontes de conhecimento e evidências (Hsu, 2015).
Na subseção 3.3, incorporaremos, ainda, à formulação do conceito de evi-
dências híbridas as contribuições do debate acerca da ecologia de saberes.
3.3 A ecologia de saberes

A perspectiva pós-colonial, empreendida por Boaventura Santos (2007) ao de-
fender uma ecologia de saberes, acrescenta ao debate deste capítulo ao questionar
explicitamente a própria natureza do conhecimento e levantar os efeitos perversos
gerados pela predominância do conhecimento científico ocidental como forma
arquetípica de conhecimento isento e universal.
Segundo o autor, os últimos séculos têm sido marcados pela legitimação da
ciência ocidental como forma única e superior de conhecimento. A ciência passou
a deter o monopólio da distinção universal entre o verdadeiro e o falso, em detri-
mento de formas alternativas de conhecimento, tais como a filosofia e a teologia.
Como adiciona Quijano (2007), a instrumentalização da razão pelo poder dos
colonizadores não apenas expropriou os povos colonizados de seus saberes, como
reprimiu seus modos de produção de conhecimento, produzindo distorções em
paradigmas do conhecimento. A afirmação da ciência como única forma válida
de saber tem ligação com o processo histórico e contextual em torno da afirmação
desta forma de conhecimento.
A modernidade ocidental foi construída a partir da divisão do mundo que
Santos (2007) denomina como a afirmação do pensamento abissal: trata-se de uma
divisão entre um modelo de civilização dominante, que passa a ser considerado
legítimo, e outros modelos, historicamente considerados primitivos ou inferio-
res. Tal divisão teria justificado a dominação colonial, a partir de uma premissa
positivista e evolucionista. A forma dominante seria a civilização ocidental e sua
ecologia de saberes
base de conhecimento, a ciência moderna. As outras formas de civilização – assim

como suas respectivas cosmologias e formas alternativas de conhecimento – foram
consideradas subalternas e, por vezes, dizimadas naquilo que o autor denominou
como um “genocídio epistêmico”.
Conhecimentos não científicos passaram a ser considerados inválidos e des-
caracterizados enquanto formas de saber. Conhecimentos indígenas, camponeses,
populares e leigos passaram a ser vistos como falsos. A própria definição como
“conhecimento” passou a ser negada a tais formas de saber. Essas seriam, pois,
apenas crenças, opiniões, entendimentos intuitivos em geral. A legitimação do
pensamento colonial permitiu traçar uma linha que
separa, de um lado, ciência, filosofia e teologia e, de outro, conhecimentos tornados
incomensuráveis e incompreensíveis por não obedecerem nem aos critérios científicos
de verdade nem aos critérios dos conhecimentos reconhecidos como alternativos, da
filosofia e da teologia (Santos, 2007, p. 73).
Contudo, é cada vez mais visível que a ciência tem fortes limitações enquanto
fonte primária de evidências para políticas públicas. Por um lado, a literatura con-
temporânea aponta dificuldades na incorporação diretas de evidências científicas nas
políticas públicas, já que seu processo de elaboração segue regras distintas, muitas
vezes incompatíveis com os ritos considerados científicos. Por outro lado, a própria
natureza ontológica da ciência como saber universal é colocado em xeque a partir
de suas limitações em influenciar algumas áreas de política pública. Mesmo em
áreas com alto peso científico, como nas políticas ambientais, algumas soluções
apontadas pela ciência parecem ter menos efeito prático que outras formas de
saber – como os conhecimentos indígenas – na redução de impactos ambientais.
É necessário ressaltar que o próprio campo científico é uma arena de lutas
entre várias concepções distintas. Neste campo, confrontam-se posições dominan-
tes e dominadas (Bourdieu, 1983). Nas ciências humanas e sociais, aí incluídas
as políticas públicas, coexistem diferentes paradigmas e não necessariamente a
introdução de um novo paradigma torna o paradigma anterior superado, como
seria esperado nas ciências exatas (Kuhn, 2005). Dessa forma, na ciência econô-
mica, por exemplo, diferentes teorias advogam diferentes políticas públicas para
a resolução dos problemas concretos. A política econômica adotada é o resultado
das lutas concretas pela legitimidade científica daquele momento, nesse sentido
os métodos devem ser constantemente renovados. Esses procedimentos devem ser
ainda mais refinados quando os cientistas sociais propõem intervenções na realidade
na forma de políticas públicas.
A resolução de tal dilema, segundo Santos (2007, p. 83), requer um “pensamento
alternativo de alternativas”, ou seja, uma “ecologia de saberes”. Tal ecologia defen-
de que a compreensão do mundo real excede a compreensão ocidental do mundo.
A monocultura da ciência moderna é confrontada pela pluralidade de conhecimentos

heterogêneos. O cientista deve exercer uma constante vigilância epistemológica,
colocar à prova as suas pré-noções, ou seja, as concepções do que ele considera o
correto (Bourdieu, Chamboredon e Passeron, 1975).
O reconhecimento de novas formas de saber não descarta a ciência, mas a
coloca em pé de igualdade com as demais formas, a partir de interações sustentáveis,
dinâmicas e autônomas entre elas. A ecologia de saberes dá ênfase não somente ao
produto que será a base da evidência, mas sobretudo ao processo de construção do
conhecimento que deve ser, por natureza, interconhecimento. Refuta-se, portanto,
a presunção dos outros saberes como irracionais e se reconhece outros tipos de
racionalidade como possíveis meios de se alcançar o conhecimento.
Embora a materialização de uma ecologia de saberes necessite de uma ampla
transformação societal, alguns de seus princípios podem ser trabalhados em espaços
participativos, gerando formas híbridas de conhecimento. A presença, em alguns
mecanismos participativos, de atores oriundos de comunidades tradicionais, mo-
vimentos populares, entre outros, permite a incorporação de novas epistemologias
ao processo político. Tais formas de conhecimento podem, no interior de espaços
participativos, interagir com elementos de outras epistemologias, como a da ciência
moderna, gerando evidências inovadoras para a construção de políticas públicas.
Reconhecemos que as propostas da ecologia de saberes são de difícil implemen-
tação em grande parte dos contextos atuais de interação entre Estado e sociedade
e que sua promoção ainda é residual. Contudo, para a formulação do conceito de
evidência híbrida sustentada neste capítulo, entendemos que esta perspectiva muito
contribuiu ao argumentar que, para que as IPs possam promover, de fato, a ecologia
de saberes, é necessário retomar aspirações de base da democracia participativa,
tais como uma ênfase na participação enquanto processo educativo e na busca por
uma ampla transformação social, que atinge a própria fonte de conhecimento no
qual a sociedade está assentada (Barber, 2003; Macpherson, 1977; Pateman, 1970).
Lembramos, ainda, que a depender do perfil e do objetivo do espaço participativo,
uma abertura em direção à ecologia de saberes pode ser a única forma de realmente
incorporar o conhecimento do conjunto amplo dos atores envolvidos ao ciclo de
gestão de políticas públicas.
4 SÍNTESE: EVIDÊNCIAS HÍBRIDAS E DIVISÃO DO TRABALHO DELIBERATIVO

A relação entre participação e evidências implica considerar formas de evidência
híbrida que vão além do conhecimento técnico, científico ou burocrático. Para tanto,
as formas de saber não técnicas e não científicas precisam ser consideradas em pé de
igualdade com as formas clássicas valorizadas pela literatura sobre PPBEs. É impor-
tante ressaltar que não se trata de descartar as formas de conhecimento fundamen-
ecologia de saberes
tadas na racionalidade ocidental formal, mas de reconhecer a existência e respeitar

outras formas de conhecimento, integrando-as com vista ao interconhecimento.
As evidências oriundas de espaços participativos não são mutuamente exclu-
dentes. Embora este capítulo tenha utilizado – para fins didáticos – uma divisão entre
três distintas perspectivas em torno das evidências híbridas, na realidade empírica
tais vertentes apresentam diversos pontos de sobreposição. O desenvolvimento dos
campos deliberativo, agonístico e da ecologia de saberes possui um histórico de
décadas e tais fronteiras são fluidas. O debate entre os autores – e os imperativos
da empiria – tem levado a formulações teóricas cada vez mais complexas, que
combinam caraterísticas das três perspectivas.
Uma dessas formulações advoga pelo estabelecimento de sistemas delibera-
tivos (Mansbridge, 1999; Mansbridge et al., 2010). Embora a própria definição
de sistemas remeta à vertente deliberativa, os teóricos “sistêmicos” são abertos à
expressão de sentimentos e valores, reconhecem a inevitabilidade (e a utilidade)
dos conflitos, o potencial das relações fecundas e mesmo de outras formas de ra-
cionalidade que não a ocidental. Tais autores reveem o próprio conceito de razão,
incorporando e discutindo elementos agonistas.
Conforme aponta Fonseca (2019), autores “sistêmicos” atualizam a perspectiva
deliberativa – incorporando elemento das outras vertentes – a partir da percepção
da impossibilidade de conformação de uma esfera pública baseada em argumen-
tos exclusivamente racionais e em que todos os atores sociais tenham condições
materiais e cognitivas para participar de forma livre e igualitária.
Elementos agonísticos – tais como as possibilidades da barganha, do voto e
da negociação, assim como a inevitabilidade da manifestação de relações de poder
e de valores como o autointeresse –, considerados anteriormente como perniciosos
para as práticas deliberativas, são revitalizados e considerados atos legítimos dentro
de fóruns de participação (Mansbridge, 1999; Mansbridge et al., 2010). Dessa
forma, os autores “sistêmicos” reformulam a perspectiva deliberativa a partir da
inclusão de elementos conflituosos e pluralistas, sem que tal reformulação aniquile
por completo a busca por uma esfera pública capaz de produzir igualdade e gerar
deliberações públicas (Bächtiger et al., 2010).
No âmbito dos sistemas deliberativos, os conceitos de ecologia de espaços
participativos e de sequenciamento de momentos deliberativos são relevantes para
traduzir, da teoria para a prática, as evidências híbridas.
Pensar em evidências a partir de uma ecologia de espaços participativos implica
reconhecer que as IPs não são uniformes. No Brasil, por exemplo, o antigo Sistema
Nacional de Participação Social11 considerava como instâncias de participação

uma série de mecanismos, tais como conselhos de políticas públicas; comissões de
políticas públicas; conferências nacionais; ouvidorias públicas; mesas de diálogo;
fóruns interconselhos; audiências públicas; consultas públicas; e ambientes virtuais
de participação social.
Tais mecanismos são muito diferentes entre si, cada qual contando com
objetivos, composições, desenhos institucionais e formas de atuação particulares.
Isso resulta que, a depender das especificidades de cada mecanismo de participação,
este poderá mobilizar uma ou mais formas entre as evidências híbridas discutidas
ao longo deste capítulo.
Em algumas instâncias de participação, pode predominar o objetivo de
expressar conflitos; em outras, é a inclusão política de grupos marginalizados o
principal resultado do mecanismo de participação (Alencar et al. 2013). Há casos
em que o papel dos conhecimentos técnicos e científicos é de tal forma intrínseco
à própria instituição participativa que tais instâncias são mais bem definidas como
técnico-políticas (Fonseca, Bursztyn e Moura, 2012).
Também relevantes para compreender a multiplicidade de formas de incor-
poração de evidências híbridas em políticas públicas são os conceitos de divisão do
trabalho deliberativo (Mansbridge et al., 2012) e de sequenciamento da deliberação
(Goodin, 2005).
A divisão do trabalho deliberativo aponta que, se é recomendável a existência
de instâncias de interação entre especialistas e não especialistas, também se fazem
necessários processos em que a expertise e a complexidade técnica devem pautar
a tomada de decisões, sem necessariamente contar com a participação ativa de
cidadãos comuns.
Já o sequenciamento de momentos deliberativos dá concretude à proposta de
divisão do trabalho deliberativo, ao buscar definir elos – temporais e transcalares –
entre os momentos de debate e a tomada de decisão. Assim,
processos sequenciados e multiníveis podem contemplar a participação e a influência
tanto de especialistas quanto dos cidadãos comuns e ativistas interessados na temática,
em uma multiplicidade de canais e respeitando as diversas formas de conhecimento
(Fonseca, 2019, p. 99).
Ambos os conceitos são fundamentais para lidar com o “dilema dos técnicos”,
a partir do reconhecimento de que os resultados de IPs são funcionalmente diferen-
ciados e distribuídos temporalmente, respeitando os espaços de atuação, os papéis e
as lógicas próprias de cada grupo de atores (Moore, 2016).
11. Decreto no 8.243, de 23 de maio de 2014, revogado pelo Decreto no 9.759, de 11 de abril de 2019.
ecologia de saberes
Em síntese, é necessário tanto o reconhecimento e a atuação de diversas e

diferenciadas IPs quanto a previsão de múltiplos momentos e escalas de atuação das
IPs. Só assim será possível incorporar, de fato, as evidências híbridas na literatura
e nas práticas empíricas de construção de PPBEs.
Neste capítulo, debatemos as possíveis contribuições da participação social como fonte
de evidências para a produção de políticas públicas. Partindo da análise da literatura
que discute os preceitos e as críticas do movimento das PPBEs, mostramos que o
tema ainda é pouco explorado nesses trabalhos e, quando o é, toma-se a participação
social em uma visão circunscrita a alguns aspectos da perspectiva deliberativa.
Tendo em vista o caráter polissêmico do termo participação social, procura-
mos analisar as principais abordagens teóricas que o conceituam, considerando
aspectos que interessam ao debate das evidências para as políticas públicas. Três
abordagens foram destacadas neste capítulo: da democracia deliberativa, da de-
mocracia agonística e da ecologia de saberes. Elas apresentam diferentes formas
de compreender ou conceber: i) a natureza do conhecimento; ii) o objetivo do
processo participativo; iii) as formas de interação entre os atores envolvidos; e
iv) as características das evidências produzidas pela participação.
Não obstante suas diferenças, argumentamos que as três abordagens ofe-
recem contribuições para o argumento da participação social como potencial
geradora do que nomeamos de evidências híbridas, ou seja, evidências originadas
do encontro entre diferentes atores e grupos, seja por meio de debates, delibe-
rações, acordos operacionalizáveis ou mesmo conflitos manifestados no interior
dos espaços participativos.
Na visão deliberativa, a participação social seria entendida como um meio
de organizar a chegada dos diferentes substratos da racionalidade ao processo
decisório. A busca por acordos operacionalizáveis desta abordagem colocaria o
fenômeno participativo como um meio de alcance de complementaridade entre
o conhecimento científico, burocrático e do cidadão comum por meio de pro-
cessos dialógicos.
A abordagem agonística, por sua vez, parte do pressuposto de que o conflito
é inerradicável e inerente às relações sociais e, portanto, à esfera política. A pers-
pectiva agonística sustenta que o não reconhecimento do conflito traz ameaça à
democracia, uma vez que exclui posições e identidades minoritárias e discordantes
que, ao não serem reconhecidas na esfera política, terminam por encontrar vazão
apenas em outras esferas da vida, tais como a religiosa ou a privada. Dentro dessa
compreensão, os espaços participativos tornam-se, para a abordagem agonística,
potencial lócus da manifestação democrática no sentido pluralista, isto é, de garantia
de expressão, de reconhecimento e de confronto entre posições e interpretações

diferentes ou mesmo opostas existentes na sociedade.
Nesse sentido, a principal contribuição da participação estaria menos no
método de alcance de decisões comuns, mas nos extratos gerados pelo processo par-
ticipativo. A produção de relações fecundas entre atores que nunca se encontrariam
fora desses espaços, assim como a possibilidade de emergência e reconhecimento
de novas identidades coletivas, problemas públicos e soluções criativas a partir
dessas interações seriam exemplos, na perspectiva agonística, de contribuições da
participação para o processo de produção de evidências híbridas para as políticas
públicas. Passamos a vislumbrar aqui contribuições em um nível de transformação
e não apenas de complementariedade.
Seguindo nesta perspectiva transformadora, a abordagem da ecologia de sabe-
res acresce ao debate ao questionar explicitamente a hegemonia do conhecimento
científico ocidental como fonte única para a compreensão do mundo e, portanto,
dos problemas públicos. Em decorrência do modelo de civilização dominante, co-
nhecimentos oriundos de saberes indígenas, camponeses e populares, por exemplo,
são ignorados ou interpretados de antemão como falsos, uma vez que não seguem
os critérios da produção científica ocidental.
A partir desta visão crítica quanto à natureza do conhecimento, a ecologia de
saberes permite alargar o entendimento dos espaços participativos como potenciais
geradores de evidências híbridas não apenas dentro do espectro do conhecimento
formal ocidental, mas também entre saberes que partem de diferentes epistemolo-
gias, em um nível de reformulação. Não se trata de ignorar a ciência, mas de se valer
dos mecanismos participativos para viabilizar interações entre diferentes formas de
conhecimento de modo perene, dinâmico e sustentável. Na abordagem, a ênfase
está no potencial interacional da participação como processo de construção do
conhecimento e não como ferramenta de escolha da melhor evidência disponível,
confrontando diretamente os preceitos da abordagem da PPBE.
Em suma, destacamos três principais contribuições da literatura apresentada
anteriormente para o debate em torno da PPBE. Em primeiro lugar, a contribuição
literária inicial trata de trazer a política e os anseios democráticos para o centro da
política pública. Seja almejando a emancipação dos seres humanos ou a radicalização
democrática, as correntes participativas destacam a importância do pluralismo de
visões de mundo e os efeitos pedagógicos da interação no processo de organização
social. Em segundo lugar, neste mesmo sentido, essa literatura reconhece e dá lugar
ao conflito, como elemento inerente, e até mesmo desejável, nos encontros com
o outro que, além de permitir o reconhecimento do diferente, tem o condão de
gerar novos conhecimentos e identidades coletivas.
ecologia de saberes
Por fim, em terceiro lugar, sustentamos que a literatura de participação

contribuiu para a crítica à PPBE, na medida em que deixa clara a centralidade
da dimensão instrumental na visão de racionalidade que esta última defende em
detrimento da dimensão subjetiva que a participação busca resgatar. Em outras
palavras, para além do cálculo dos melhores meios para os resultados imediatos
almejados, a literatura de participação colabora em resgatar aspectos normativos
da racionalidade humana, tornando explícitas, debatíveis e contestáveis posições
distintas acerca de questões como em que sociedade desejamos viver e que modo
consideramos certo para chegarmos a ela.
Em que pese as relevantes construções teórico-analíticas das três correntes
apresentadas, há que se reconhecer que ainda há muito que se investigar empiri-
camente sobre a efetiva realização das potencialidades da participação social para
a construção de evidências híbridas. É certo que desafios para implementação de
uma visão da ecologia de saberes, por exemplo, são de grande magnitude e de-
mandam processos de transformações sociais ampliados que estão ainda em estágio
inicial, que é a disputa acerca do reconhecimento da relevância de outras fontes
de conhecimento que não as produzidas pela ciência ocidental.
De todo modo, sustentamos que os aprendizados da literatura de participação
social abrem um caminho vasto e profícuo para avançar no debate não apenas acerca
do que pode ser considerado como evidências para informar e embasar as políticas
públicas, mas também para vislumbrar e problematizar meios de integração de dis-
tintas fontes de conhecimento, como a própria literatura de PPBEs já reconheceu.
A proposta de se aprofundar e explorar empiricamente os processos de construção
e usos de evidências híbridas, assim como de dialogar com a literatura que trata
dos limites, das especificidades e do aperfeiçoamento das instâncias participativas,
sinaliza fortemente nesta direção.
Cabe aqui um comentário crítico em torno das possibilidades atuais das IPs
brasileiras continuarem a experimentação em torno das evidências híbridas. A partir
de 2014, tomou corpo, no cenário político nacional, um movimento explícito e
deliberado de desvalorização das IPs.
O primeiro ato foi a reação ao Decreto no 8.243, de 23 de maio de 2014, que
instituiu a “Política Nacional de Participação Social (PNPS) e o Sistema Nacional de
Participação Social (SNPS)” (Brasil, 2014). O Projeto de Decreto Legislativo (PDL)
no 1.491/2014 pleiteava a sustação de efeitos do decreto presidencial, alegando
que houve “transferência do debate institucional para segmentos eventualmente
cooptados pelo próprio governo”, com o risco de “restringir esta participação àquele
segmento social escolhido de acordo com a cartilha palaciana” (Mendonça Filho e
Caiado, 2014). Esses argumentos, que não resistem a uma análise mais criteriosa
(Avelino, Ribeiro e Machado, 2018), foram acatados pela Câmara dos Deputados
ao aprovar o PDL, que não concluiu sua tramitação no Senado Federal.
O segundo ato começou no governo de Michel Temer, que editou a Medida
Provisória no 744, de 1o de setembro de 2016, eliminando o Conselho Curador
da Empresa Brasil de Comunicação (EBC). A exposição de motivos enviada ao
Congresso Nacional justifica que a extinção do colegiado “deve-se à necessidade de
agilizar as decisões no âmbito da EBC, em observância ao princípio da eficiência”
(Oliveira e Padilha, 2016). Os riscos por trás dessa tendência também já foram
analisados (Avelino, Alencar e Costa, 2017).
Por fim, no governo de Jair Messias Bolsonaro, o argumento da eficiência
casa com o da economicidade para justificar várias medidas de restrição do fun-
cionamento de espaços participativos, como o Decreto no 9.759, de 11 de abril de
2019, que “extingue e estabelece diretrizes, regras e limitações para colegiados da
administração pública federal” (Brasil, 2019). Quando esse ato teve a sua consti-
tucionalidade questionada perante o Supremo Tribunal Federal, a Advocacia-Geral
da União fez uso desses argumentos para defender o ato presidencial, “à medida
em que (sic) implementa uma melhor racionalização da utilização dos recursos,
estrutura e mão de obra públicos ao reduzir a exorbitante quantidade de colegiados
que, na prática, acabava por onerar a máquina pública e embaraçar o alcance do
seu melhor funcionamento” (AGU, 2019, p. 4). O efeito dessas medidas sobre
os espaços de participação e o fenômeno da concentração do poder de agenda
governamental também já foram discutidos (Avelino, Fonseca e Pompeu, 2020).
Analisando tal percurso, é possível perceber que o movimento contrário à
participação social é iniciado com argumentos abertamente político-partidários
para, ao longo do tempo, incorporar um discurso aparentemente mais técnico e
sofisticado, que usa argumentos de eficiência e economicidade para justificar o
fechamento decisório da administração pública. Com os ataques à participação
social, é importante tentar identificar, além do anunciado retrocesso democrático, o
que se perde também em termos de aporte de evidências para as políticas públicas.
A percepção é que o fechamento político esconde também um fechamento
epistêmico, em linha diametralmente oposta às evidências híbridas discutidas ao
longo deste capítulo. Ficariam assim expurgadas, naquele primeiro ato, todas as
manifestações e os conhecimentos provenientes de grupos sociais não necessa-
riamente apoiadores do governo de ocasião. Além disso, como ficou evidente do
segundo ato em diante, não bastava silenciar os grupos opositores: era necessário
encerrar os diálogos “ineficientes”, assim considerados como qualquer interpelação
à administração pública que embaraçasse “o alcance do seu melhor funcionamento”
(AGU, 2019, p. 4). Esse discurso, embasado na racionalidade instrumental, mos-
trou que havia um projeto a ser cumprido pela administração pública e qualquer
ecologia de saberes
evidência em sentido divergente, seja oposição política, simples discordância ou

formas alternativas de conhecimento, não seria mais tolerada. Em um modelo de
gestão pública que não admite prova em contrário, os espaços híbridos e plurais
não são apenas indesejados; são extremamente perigosos.
REFERÊNCIAS
ABERS, R.; KECK, M. Representando a diversidade: Estado, sociedade e “relações
fecundas” nos conselhos gestores. Caderno CRH, v. 21, n. 52, p. 99-112, 2008.
AGU – ADVOCACIA-GERAL DA UNIÃO. Consultoria-Geral da União (Con-
sunião). Informações no 69/2019. Elaborada por Antônio Marinho da Rocha
Neto. Para instruir julgamento da Ação Direta de Inconstitucionalidade no 6.121.
Mensagem no 172 da AGU. Brasília: AGU, 1o maio 2019. Disponível em: <https://
bit.ly/36hZCEv>. Acesso em: 10 out. 2019.
ALENCAR, J. et al. Participação social e desigualdades nos conselhos nacionais.
Sociologias, v. 15, n. 32, p. 112-146, 2013.
AVELINO, D.; ALENCAR, J.; COSTA, P. Colegiados nacionais de políticas
públicas em contexto de mudanças: equipes de apoio e estratégias de sobrevivência.
Rio de Janeiro: Ipea, out. 2017. (Texto para Discussão, n. 2340).
AVELINO, D.; FONSECA, I.; POMPEU, J. (Org.). Conselhos nacionais de
direitos humanos: uma análise da agenda política. Brasília: Ipea, 2020.
AVELINO, D.; RIBEIRO, J.; MACHADO, D. Participação e heterogeneidade:
análise da representação da sociedade civil nos colegiados nacionais. Boletim de
Análise Político-Institucional, n. 14, p. 23-29, jan.-jun. 2018.
BÄCHTIGER, A. et al. Disentangling diversity in deliberative democracy: com-
peting theories, their blind spots and complementarities. Journal of Political
Philosophy, v. 18, n. 1, p. 32-63, 2010.
BARBER, B. Strong democracy: participatory politics for a new age. 3. ed.
Berkeley: University of California Press, 2003.
BOBBIO, N. O futuro da democracia: uma defesa das regras do jogo. 6. ed. Rio
de Janeiro: Paz e Terra, 1997.
BOURDIEU, P. O campo científico. In: ORTIZ, R. (Org.). Pierre Boerdieu.
Editora Ática, 1983.
BOURDIEU, P.; CHAMBOREDON, J. C.; PASSERON, J. C. El ofício de
sociólogo. Siglo Vinteuno Editores, 1975.
BRASIL. Decreto no 8.243, de 23 de maio de 2014. Institui a Política Nacional de

Participação Social (PNPS) e o Sistema Nacional de Participação Social (SNPS),
e dá outras providências. Diário Oficial da União, Brasília, 2014.
______. Decreto no 9.759, de 11 de abril de 2019. Extingue e estabelece diretrizes,
regras e limitações para colegiados da administração pública federal. Diário Oficial,
Brasília, 11 abr. 2019. Disponível em: <https://bit.ly/2PpNhIt>.
BRENAN, J. Against democracy. New Jersey, Princeton University Press, 2016.
CALHOUN, C. (Ed.). Habermas and the public sphere. 4th ed. Cambridge,
United States: MIT Press, 1996.
COHEN, J. Deliberation and democratic legitimacy. In: HAMLIN, A.; PET-
TIT, P. (Ed.). The good polity: narrative analysis of the State. New York: Basil
Blackwell, 1989. p. 17-34.
______. Reflections on Habermas on democracy. Ratio Juris, v. 12, n. 4, p.
385- 416, 1999.
DAHL, R. Sobre a democracia. Brasília: UnB, 2001.
______. A democracia e seus críticos. São Paulo: Martins Fontes, 2012.
DAVIES, H. T. O.; NUTLEY, S.; SMITH, P. What works? Evidence-based policy
and practice in public services. Bristol: The Policy Press, 2000.
DRYZEK, J. S. Policy analysis and planning: from science to argument. In:
FISCHER, F. et al. Introduction to critical policy studies. Handbook of Critical
Policy Studies. Northampton: Edward Elgar Pub, 2016.
FELICETTI, A.; NIEMEYER, S.; CURATO, N. Improving deliberative participa-
tion: connecting mini-publics to deliberative systems. European Political Science
Review, v. 8, n. 3, p. 427-448, 2016.
FISCHER, F. Citizens, experts, and the environment. Durham & London:
Duke University Press, 2000.
______. Deliberative policy analysis as practical reason: integrating empirical and
normative arguments. In: FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (Ed.).
Handbook of public policy analysis: theory, politics and methods. Boca Raton:
CRC Press, 2007. Disponível em: <https://bit.ly/2XVZASW>. Acesso em: 24
set. 2021.
______. Democracy and expertise: reorienting policy inquiry. Oxford; New York:
FISCHER, F.; GOTTWEIS, H. The argumentative turn in public policy revisited:
twenty years later. Critical Policy Studies, v. 7, n. 4, p. 425-433, 2013.
ecologia de saberes
FONSECA, I. Participação como método de governo: experiências transcalares

no Rio Grande do Sul, Brasil e na Toscana, Itália. Brasília: Ipea, 2019.
FONSECA, I. F.; BURSZTYN, M.; MOURA, A. M. Conhecimentos técnicos,
políticas públicas e participação: o caso do Conselho Nacional do Meio Ambiente.
Revista de Sociologia e Política, v. 20, n. 42, p. 183-198, 2012.
FRENCH, R. D. Is it time to give up on evidence-based policy? Four answers.
Policy & Politics, v. 47, n.1, p. 151-168, 2019.
FUKS, M.; PERISSINOTTO, R. Recursos, decisão e poder: conselhos gestores
de políticas públicas de Curitiba. Revista Brasileira de Ciências Sociais, v. 21,
n. 60, p. 67-81, 2006.
GOODIN, R. E. Sequencing deliberative moments. Acta Politica, v. 40, n. 2,
p. 182-196, 2005.
GOODIN, R. E.; DRYZEK, J. S. Deliberative impacts: the macro-political uptake
of mini-publics. Politics & Society, v. 34, n. 2, p. 219-244, 2006.
GRÖNLUND, K.; BÄCHTIGER, A.; SETÄLÄ, M. Deliberative mini-publics:
involving citizens in the democratic process. Colchester: ECPR Press, 2014.
HABERMAS, J. Técnica e ciência como ideologia. Lisboa: Edições 70, 1968.
______. Between facts and norms: contributions to a discourse theory of law and
democracy. Tradução de William Rehg. Cambridge, United States: MIT Press, 1992.
_______. Direito e democracia: entre facticidade e validade. Rio de Janeiro:
Tempo Brasileiro, 1997.
_______. A inclusão do outro: estudos de teoria política. São Paulo: Edições
Loyola, 2002.
HSU, A. Measuring policy analytical capacity for the environment: a case for en-
gaging new actors. Policy and Society, v. 34, n. 3-4, p. 197-208, 2015. Disponível
em: <https://bit.ly/3ihcdzd>. Acesso em: 24 set. 2021.
KARAGIANNIS, N.; WAGNER, P. Varieties of agonism: conflict, the common
good, and the need for synagonism. Journal of Social Philosophy, v. 39, n. 3,
p. 323-339, 2008.
KNOPS, A. Agonism as deliberation: on Mouffe’s theory of democracy. The
Journal of Political Philosophy, v. 15, n. 1, p. 115-126, 2007.
KOGA, N. M. Proposing an agonistic analytical framework to assess participatory
initiatives in Brazil. Revista do Serviço Público, v. 67, n. 2, p. 249-268, 2016.
KUHN, T.S. A estrutura das revoluções científicas. 9. ed. Editora Perspec-
tiva, 2005.
LANDEMORE, H. Democratic reason: politics, collective intelligence, and the

rule of the many. Princeton: Princeton University Press, 2012.
LEJANO, R. P. Framework for policy analysis: merging text and context. New
York: Taylor & Francis Goup, 2006.
MACPHERSON, C. B. A democracia liberal: origens e evolução. Rio de Janeiro:
Zahar Editores, 1977.
MANSBRIDGE, J. Everyday talk in the deliberative system. In: MACEDO,
S. (Ed.) Deliberative politics: essays on democracy and disagreement. Oxford:
Oxford University Press, 1999. p. 211-242.
MANSBRIDGE, J. et al. The place of self-interest and the role of power in delib-
erative democracy. Journal of Political Philosophy, v. 18, n. 1, p. 64-100, 2010.
MANSBRIDGE, J. et al. A systemic approach to deliberative democracy. In: PAR-
KINSON, J.; MANSBRIDGE, J. (Ed.). Deliberative systems: democracy at large
scale. Cambridge, United Kingdom: Cambridge University Press, 2012. p. 1-26.
MENDONÇA FILHO, J.; CAIADO, R. Projeto de Decreto Legislativo no
1.491, de 30 de maio de 2014. Susta a aplicação do Decreto no 8.243, de 23 de
maio de 2014, que institui a Política Nacional de Participação Social (PNPS) e o
Sistema Nacional de Participação Social (SNPS), e dá outras providências. Brasília:
Câmara dos Deputados, 2014. Disponível em: <https://bit.ly/3zP6Wow>. Acesso
em: 27 abr. 2018.
MENDONÇA, R. F.; CUNHA, E. S. M. Relatório: aprimoramento de eventos da
ALMG. Belo Horizonte: UFMG, 2012. Disponível em: <https://bit.ly/3uj8m9L>.
Acesso em: 28 mar. 2021.
MENDONÇA, R. F.; SELEN, A. E. Deliberation and protest: strange bedfellows?
Revealing the deliberative potential of 2013 protests in Turkey and Brazil. Policy
Studies, v. 36, n. 3, p. 267-282, 2015. Disponível em: <https://bit.ly/39HS6Wt>.
MOORE, A. Deliberative elitism? Distributed deliberation and the organization
of epistemic inequality. Critical Policy Studies, v. 10, n. 2, p. 191-208, 2016.
MOUFFE, C. Deliberative democracy or agonistic pluralism? Social Research,
v. 66, n. 3, p. 745-758, 1999.
______. The democratic paradox. London: Verso Books, 2000.
______. On the political. New York: Routledge, 2005.
______. Democracy revisited: in conversation with Chantal Mouffe. In: MIESSEN,
M. The nightmare of participation: crossbench praxis as a mode of criticality.
Berlin: Sternberg Press, 2010.
ecologia de saberes
______. Agonistics: thinking the world politically. London: Verso Books, 2013.
OLIVEIRA, D. H. de; PADILHA, E. L. Exposição de Motivos no 121/2016 MP/C.
Civil-PR. Exposição de Motivos à Medida Provisória no 744, de 1o de setembro
de 2016. Portal da Presidência da República, Brasília, 2 ago. 2016. Disponível
em: <https://bit.ly/39rgj39>. Acesso em: 28 mar. 2021.
PALLETT, H. The new evidence-based policy: public participation between “hard
evidence” and democracy in practice. Evidence & Policy: A Journal of Research,
Debate and Practice, v. 16, n. 2, p. 209-227, 2020. Disponível em: <https://bit.
ly/3ATwkuS>. Acesso em: 24 set. 2021.
good governance of evidence. London: Routledge, 2017.
PATEMAN, C. Participation and democratic theory. Cambridge, United King-
dom: Cambridge University Press, 1970.
______. Participatory democracy revisited. Perspectives on Politics, v. 10, n. 1,
p. 7-19, 2012.
PEARSON, M.; SMITH, K. Taking forward the study of evidence use: valuing
and integrating different forms of evidence. Evidence & Policy: A Journal of
Research, Debate and Practice, v. 14, n. 4, p. 567-569, 2018. Disponível em:
<https://bit.ly/3m4qUHe>. Acesso em: 24 set. 2021.
PERES, J.; BOULLOSA, R.; BESSA, L. F. O campo de políticas públicas na
encruzilhada: aproximações teórico-metodológicas entre os estudos críticos, o
pragmatismo e a gestão social. Nau Social, v. 12, n. 22, p. 493-515, 2020.
PINHEIRO, M. Políticas públicas baseadas em evidências (PPBEs): delimitando o
problema conceitual. Rio de Janeiro: Ipea, mar. 2020a. (Texto para Discussão, n. 2554).
de Análise Político-Institucional, n. 24, nov. 2020b. p. 17-28.
PURCELL, M. Recapturing democracy: neoliberalization and the struggle for
alternative urban futures. New York: Routledge, 2008.
QUIJANO, A. Coloniality and modernity/rationality. Cultural Studies, v. 21,
n. 2-3, p. 168-178, 2007. Disponível em: <https://bit.ly/39Oer4F>. Acesso em:
24 set. 2021.
RAMOS, G. A nova ciência das organizações: uma conceituação da riqueza das
nações. 2. ed. Fundação Getulio Vargas, 1989.
RYAN, M.; SMITH, G. Defining mini-publics. In: GRÖNLUND, K.; BÄCH-
TIGER, A.; SETÄLÄ, M. (Ed.). Deliberative mini-publics: involving citizens in
the democratic process. Colchester: ECPR Press, 2014. p. 9-26.
SANDEL, M. J. The tirany of merit: what’s become of the common good. New
York, Farrar, Stauss and Giroux Press, 2020.
SANTOS, B. Para além do pensamento abissal: das linhas globais a uma ecologia
de saberes. Revista Crítica de Ciências Sociais, n. 78, p. 3-46, 2007.
SCHUMPETER, J. Capitalismo, socialismo e democracia. Rio de Janeiro:
Fundo de Cultura, 1961.
SIMON, H. A. Rational choice and the structure of the environment. Psychological
Review, v. 63, n. 2, p. 129-138, 1956. Disponível em: <https://bit.ly/3CXlCEi>.
Acesso em: 24 set. 2021
SPINK, P. Beyond public policy: a public action languages approach. Northamp-
ton: Edward Elgar Publishing, 2019.
VIEIRA, M. B.; SILVA, F. C. Democracia deliberativa hoje: desafios e perspectivas.
Revista Brasileira de Ciência Política, n. 10, p. 151-194, 2013.
WALTERS, L. C.; AYDELOTTE, J.; MILLER, J. Putting more public in policy
analysis. Public Administration Review, v. 60, n. 4, p. 349-359, 2000. Disponível
em: <https://bit.ly/3CLCnlE>. Acesso em: 24 set. 2021.
WEISS, C. The many meanings of research utilization. Public administration
review, v. 39, n. 5, p. 426-431, 1979.
WENDHAUSEN, A.; CAPONI, S. O diálogo e a participação em um conselho
de saúde em Santa Catarina. Cad. Saúde Pública, Rio de Janeiro, v. 18, n. 6,
p. 1621-1628, 2002.
WENDHAUSEN, A; CARDOSO, S. M. Processo decisório e conselhos gestores
de saúde: aproximações teóricas. Revista Brasileira de Enfermagem, v. 60, n. 5,
p. 579-584, 2007.
YANOW, D.; SCHWARTZ-SHEA, P. (Org.). Interpretation and method: em-
pirical research methods and the interpretive turn. M.E. Sharpe, 2006.
AVRITZER, L. Sociedade civil, instituições participativas e representação: da
autorização à legitimidade da ação. Dados, v. 50, n. 3, p. 443-464, 2007.
KALBERG, S. Max Weber’s types of rationality: cornerstones for the analysis of
rationalization processes in history. American Journal of Sociology, v. 85, n. 5,
p. 1145-1179, 1980.
LUCHMANN, L. H. A representação no interior das experiências de participação.
Lua Nova, v. 70, p. 139-170, 2007.
CAPÍTULO 7
ETNOGRAFIA COMO EVIDÊNCIA: CONTRIBUIÇÕES E DESAFIOS

DO USO DE ESTUDOS ETNOGRÁFICOS PARA A ANÁLISE DE
POLÍTICAS SOCIAIS BRASILEIRAS
Isabele Villwock Bachtold1
Rut Rosenthal Robert2
1 INTRODUÇÃO
Como parte do rol de metodologias qualitativas, a pesquisa etnográfica ainda é
pouco utilizada no campo da análise de políticas públicas (Pacheco-Vega, 2020).
A obtenção de dados a partir de pesquisas quantitativas é comumente preferível,
entre os gestores públicos, aos dados obtidos por meio de pesquisas qualitativas,
nem sempre quantificáveis e fáceis de interpretar. Segundo Pires (2010), os métodos
qualitativos possibilitam a compreensão do funcionamento de projetos e progra-
mas por meio da apreensão de processos cotidianos, atividades organizacionais e
comportamentais, além das narrativas e práticas de seus agentes e do público aos
quais são direcionados. Nesse sentido, os métodos qualitativos podem ser vistos
não só como meio para auxiliar a tomada de decisão, mas também como forma
crítica de compreender ações e comportamentos que influenciam o cotidiano
operacional dos atores públicos.
Nos últimos anos, tem sido crescente, entre gestores e técnicos do governo
federal, a busca por informações e pesquisas contextualizadas, in loco, que reflitam
as complexidades, os múltiplos interesses, as perspectivas e os desafios da imple-
mentação de políticas públicas junto a cidadãos, usuários e trabalhadores da ponta.
Entender como as políticas são compreendidas, apropriadas e reproduzidas por
seus beneficiários e atores locais nos processos de implementação é fator relevante
para a construção e readequação das políticas públicas (Pires, 2019).
Segundo Howlett e Mukherjee (2018), entre os métodos qualitativos existen-
tes, a etnografia é o que melhor proporciona insights sobre o comportamento de
grupos e indivíduos, os quais podem ser utilizados como informações relevantes
no processo de desenho de políticas. A utilização de etnografia como método
1. Analista de políticas sociais no Ministério da Cidadania.

2. Indigenista na Fundação Nacional do Índio (Funai).
para análise e avaliação de políticas públicas3 é solicitada quando há a necessidade

de compreender mais profundamente determinado problema social ou, ainda,
como uma política incide sobre um dado público-alvo ou localidade específica
(Pacheco-Vega, 2020), visto que a etnografia permite assimilar fatores subjetivos,
sociais e simbólicos que, muitas vezes, não são apreendidos por meio de outros
métodos de pesquisas.
Ainda que etnografias tenham sido utilizadas em estudos organizacionais
desde os anos 1980 (Wright, 2004), foi a partir dos anos 2000 que esses estudos
se tornaram mais disseminados no campo das políticas públicas (Pacheco-Vega,
2020). Tanto no Brasil quanto no mundo, o método etnográfico é utilizado para
analisar a implementação de ampla gama de políticas, entre elas as políticas sociais
de educação (Oliveira, 2013; Jardim, 2013; Mattos, 2011), saúde (Fleischer, 2017;
Caprara e Landim, 2008; Maluf e Andrade, 2017; Castellano, 2019), assistência
social (Pereira, 2013), segurança pública e defesa do Estado (Leirner, 1997), além
de políticas que visem ao desenvolvimento urbano e projetos de infraestrutura
(Freire e Souza, 2010).
Apesar disso, embora crescente o debate sobre o uso de etnografias como
evidência na literatura referente à avaliação de políticas públicas (Marston e Wat-
ts, 2003; Stevens, 2011; Dubois, 2015; Mosse, 2006; Rhodes, 2014), no Brasil,
a intersecção entre as duas áreas é ainda incipiente. Ainda que algumas autoras
tenham chamado atenção para a importância em reconhecer dados etnográficos
como evidências que podem embasar políticas públicas (Minayo, 1991; Gussi e
Oliveira, 2016), esta discussão está principalmente relacionada ao campo específico
das políticas públicas baseadas em evidências (PBBEs). A aplicação de etnografias
para informar políticas públicas em geral e, nesse sentido, serem tratadas como
evidência, ainda requer, muitas vezes, o reconhecimento do dado etnográfico
como válido e passível de ser reproduzido quando aplicado em outros contextos
socioculturais correlatos.
1.1 Considerações metodológicas

Abordar o setor público por meio de uma ótica interna não é tarefa fácil. Como
servidoras públicas, ao mesmo tempo em que realizamos nossos trabalhos cotidianos
nas instituições, também fazemos parte delas, ou seja, somos suas representantes.
Essa representação institucional se dá tanto quando participamos de reuniões com
3. Ainda que o estudo de caso analisado seja uma pesquisa de avaliação de políticas públicas (policy evaluation), o
debate sobre o uso de etnografias como evidência trazido neste capítulo não se pretende esgotar nessa etapa do
ciclo de políticas públicas. Assim sendo, o termo “avaliação de políticas públicas” (policy evaluation) será empregado
para se referir especificamente à pesquisa etnográfica discutida e/ou à etapa específica de avaliação da execução e
implementação de uma política. O termo “análise de políticas públicas” (policy analysis) será mantido em sentido
amplo, nas hipóteses em que a discussão se referir ao processo geral de políticas públicas, envolvendo outras etapas
que não apenas a avaliação.
Etnografia como Evidência: contribuições e desafios do uso de estudos | 253
etnográficos para a análise de políticas sociais brasileiras
outros órgãos quanto quando interagimos com a sociedade civil, por meio de suas
organizações e contato individualizado com os cidadãos (Robert, 2020). Feita
essa consideração, é importante frisar que, como pesquisadoras, nos preocupamos
com a produção de dados científicos, os quais tratam tanto de questões teóricas
quanto empíricas, na busca do conhecimento dos processos sociais inerentes ao
campo estudado.
Com o objetivo de analisar o processo de produção de evidências etnográficas
pelo Ministério do Desenvolvimento Social (MDS), por meio da pesquisa inti-
tulada Estudos etnográficos do Programa Bolsa Família entre os povos indígenas, este
capítulo lança mão de três estratégias metodológicas: i) levantamento documental,
que engloba não só a referida pesquisa, mas também a análise de documentos
institucionais que se referem ao objeto em estudo; ii) realização de entrevistas
semiestruturadas com atores que participaram do processo analisado neste capítulo;
e iii) autoetnografia,4 abordagem de pesquisa que busca descrever e sistematizar, de
forma analítica, a experiência pessoal, para a compreensão da experiência cultural
(Maso, 2001).
Para o levantamento documental, foram considerados os relatórios elabora-
dos pelos antropólogos durante a pesquisa e os relatórios finais publicados pelo
MDS (Brasil, 2015; 2016); além de notas, e-mails, relatórios e demais registros
documentais. Ademais, foram realizadas cinco entrevistas com gestores e técnicos
que faziam parte do quadro de quatro secretarias do MDS, a Secretaria Nacio-
nal de Assistência Social (SNAS); a Secretaria Nacional de Renda de Cidadania
(Senarc); a Secretaria Nacional de Superação da Extrema Pobreza (Sesep) e a Secre-
taria Executiva (SE), à época da pesquisa e da Funai, sendo duas delas concedidas
em função da pesquisa para a dissertação de uma das autoras (Robert, 2020).
Não obstante, com vistas a apresentar a moldura contextual que permeou a
elaboração dos Estudos etnográficos do Programa Bolsa Família entre os povos indí-
genas, bem como a elaboração das respostas institucionais aos achados da pesquisa
e a validação dos resultados como evidências para os gestores, as autoras deste
capítulo entenderam que não bastaria analisar documentos e realizar entrevistas
com os atores que participaram do processo. Era importante também considerar
4. A autoetnografia é uma abordagem de pesquisa que busca descrever e sistematizar, de forma analítica, a experiência
pessoal, para a compreensão da experiência cultural. Enquanto se consolida como método científico para a análise de
políticas públicas, alguns pesquisadores que utilizaram essa abordagem afirmam que a autoetnografia é tanto o pro-
cesso quanto o produto da pesquisa (Ellis, Adams e Bochner, 2011). Assim, o pesquisador que se intitula autoetnógrafo
usa técnicas tanto da autobiografia quanto da etnografia no estudo das práticas relacionais de determinada cultura,
seus valores e crenças, por meio da observação participante, na qual o pesquisador divide sua experiência entre as
perspectivas nativas (insiders) e externas (outsiders).
a experiência vivenciada por elas como servidoras federais,5 tanto no momento

da realização da pesquisa quanto após a chegada de seus resultados. Assim, as me-
mórias institucionais trazidas aqui buscam complementar as informações oficiais
sobre a questão, retiradas de documentos e demais materiais escritos, por meio de
narrativas que preenchem e elucidam os fatos abordados, produzindo uma meta-
-análise acerca do processo de produção e interpretação dos resultados apresentados
pelos Estudos etnográficos.
1.2 Arcabouço teórico e estrutura do estudo

A fim de compreender quais fatores permitiram a demanda por estudos etnográficos,
com a finalidade de obter dados sobre o efeito do Programa Bolsa Família (PBF)
entre indígenas, bem como os fatores que dificultaram o uso de dados etnográficos
como evidência para elaboração de respostas institucionais aos problemas apre-
sentados pela pesquisa, utilizar-se-á a moldura contextual proposta por Pinheiro
(2020). De acordo com o autor, nem sempre o uso das evidências obedece a critérios
racionais de eficiência, eficácia e efetividade, podendo ser instrumento de poder
político, defesa de posições ideológicas e manutenção do status de certas carreiras
e cargos públicos. É, portanto, necessário que se entenda o uso das evidências a
partir de um modelo geral de estrutura da ação dos policymakers, que considere a
perspectiva dos agentes que fazem uso dessas evidências, seus acervos de crenças,
valores, habilidades, além de seus propósitos e meios para atingir seus fins.
Segundo Pinheiro (2020), pode-se compreender a estrutura da ação pública
por meio de uma moldura contextual, a qual se refere ao “estado das coisas experien-
ciados e vividos pelos policymakers” (p. 23). Sobre a moldura contextual, o autor
propõe que ela seja composta por três tipos de fatores: i) políticos, que levam em
conta a temporalidade da política e suas disputas de poder, além dos compromissos
ideológicos assumidos perante uma sociedade democrática; ii) epistemológicos, os
quais trazem à tona as incertezas inerentes ao campo do conhecimento social, ao
tempo em que evidenciam a necessidade de avaliação e reflexão sobre as políticas;
e iii) normativos, institucionais e organizacionais, que apontam como a forma
de organização das instituições, suas atribuições e competências influenciam as
possibilidades e os rumos da ação pública.
A partir do modelo teórico proposto por Pinheiro (2020), a análise que se
pretende realizar neste capítulo engloba, principalmente, dois momentos da ação
pública referentes à realização dos estudos etnográficos: i) um ex-ante, o qual se
propõe refletir sobre como se deu a escolha do método, o que se pretendia obter com
5. Isabele Villwock Bachtold é analista técnica de políticas públicas no Ministério da Cidadania (ex-Ministério do
Desenvolvimento Social) desde 2013, mestre em antropologia pela Universidade de Brasília (UnB) e em estudos do
desenvolvimento pela Universidade de Sussex. Rut Rosenthal Robert é indigenista especializada na Funai desde 2010
e mestre em desenvolvimento e governança pela Escola Nacional de Administração Pública (Enap).
esta pesquisa, quais informações que deveriam ser levantadas para o entendimento
de como a política afetava os povos indígenas em estudo e como o conhecimento
das especificidades dessas populações, narradas em peças monográficas de cunho
etnográfico, poderiam contribuir para a proposição de ações que visassem à resolução
dos problemas apresentados em cada comunidade estudada; e ii) outro ex-post, em
que se propõe debruçar sobre como o MDS recepcionou os dados apresentados,
a dificuldade da gestão pública em traduzir os dados etnográficos em linguagem
próxima à utilizada pelos gestores públicos para a avaliação de políticas, dada a
sua natureza descritiva e subjetiva, e ainda as questões políticas que envolviam a
imagem do programa perante a sociedade e os gestores das demais políticas públicas.
Para tal, este estudo está estruturado em quatro seções. Além desta introdução,
na seção 2, apresentamos as discussões sobre o que é etnografia e um breve histórico
a respeito da relação entre etnografia e políticas públicas, com vistas a introduzir
parte da literatura sobre o uso de etnografias pelo Estado. Ainda que esse histórico
não esteja enquadrado na discussão sobre PPBEs, buscamos argumentar que o uso
de etnografias como evidência para atores estatais não é recente e faz parte do desen-
volvimento da antropologia como disciplina e da etnografia como método. Na seção
3, será apresentada a moldura contextual dos dois momentos antes mencionados,
ex-post e ex-ante, com foco nos contextos político e institucional/organizacional que
influenciaram a demanda pela pesquisa e o período de recepção e interpretação dos
dados etnográficos. Por fim, na seção 4, apresentaremos os fatores epistemológicos
que envolveram a análise dos dados etnográficos, enquanto propomos enquadrá-los
como evidências de caráter complexo, que necessitam ser devidamente traduzidas
para o seu efetivo uso de informar e aprimorar as políticas públicas.
2 SOBRE A ETNOGRAFIA
A resposta à pergunta o que é etnografia está longe de ser consensual. De modo
simples, a etnografia pode ser entendida como um método de pesquisa que envolve
o estudo de determinada cultura, seus valores e suas crenças, por meio do exercício
da observação continuada e descrição detalhada do modo de vida nativo. No senso
comum, predomina a visão de que a etnografia presume o deslocamento a áreas
distantes, o estudo de populações não ocidentais e a vivência em comunidades
nativas por um longo período de tempo. Esta visão não é apenas embasada em sua
origem etimológica,6 mas também na própria gênese do método e do campo da
antropologia, que se consolidou em resposta às demandas de estados coloniais por
entender e colonizar o outro que habitava os territórios além-mar (Dubois, 2015).
Como método, a etnografia é composta de “técnicas e de procedimentos de
coletas de dados associados a uma prática do trabalho de campo a partir de uma
6. A palavra etnografia vem do grego, ethno – nação, povo; e graphein – escrever.

convivência mais ou menos prolongada do(a) pesquisador(a) junto ao grupo social

a ser estudado” (Rocha e Eckert, 2008, p. 1). No entanto, limitar a etnografia a um
único método, como a observação participante, por exemplo, seria reducionismo
de nossa parte. A definição de etnografia se complexifica concomitantemente e em
resposta ao desenvolvimento da antropologia, disciplina que tem como categoria
fundante a alteridade (Rodrigues, 2017). Se, em seus primórdios, a antropologia era
restrita ao estudo de populações indígenas e comunidades consideradas exóticas –
o outro, em contraposição ao nós, o conhecido –, é a partir de meados do século
XX que a disciplina se volta, também, para o estudo das sociedades ocidentais.
Por meio do conhecimento de diferentes visões de mundo, modos de vida, meios
de classificação e organização social, crenças, símbolos, o antropólogo passa a
questionar as categorias e os pressupostos de nossa própria sociedade. Portanto,
é este estranhamento (Peirano, 2014), tornar o familiar em estranho (Velho, 1978;
Dixon-Woods, 2003), que caracterizaria a análise etnográfica.
Nesse sentido, a etnografia pode ser entendida como um conjunto de princí-
pios teóricos, métodos e relatos narrativos, que têm como característica a descrição
densa, a análise contextual detalhada e o questionamento de práticas e visões de
mundo tidas como naturais (Savage, 2006). Por meio da observação e descrição,
os etnógrafos exercem duplo empreendimento: a partir da ótica dos insiders
(membros de determinado grupo), procura-se entender as razões nativas por trás
das ações desempenhadas; e pela ótica dos outsiders (os que não pertencem a este
grupo), busca-se entender o juízo que se faz das ações e explicações dos nativos
sob outro referencial cultural (Maso, 2001). É, de certa forma, um esforço de tra-
dução (Faulhaber, 2008), de mediação entre o eu e o outro, de tornar conhecido o
desconhecido e vice-versa – mesmo que tomemos por nativos os diversos mundos
que compõem nossa própria sociedade.
2.1 Etnografia e políticas públicas: um breve histórico

Com vistas a apresentar alguns dos marcos que influenciaram o debate sobre o uso
de etnografias como evidência para políticas públicas, trazemos um breve histórico
da relação entre pesquisa etnográfica e Estado. Ainda que este debate esteja longe
de se esgotar em poucos parágrafos, essa contextualização visa complexificar não
apenas a noção corrente de que o uso de evidências etnográficas é uma inovação
na administração pública, mas também a ideia de que políticas públicas não são,
a priori, o objeto de análises etnográficas. Conforme pretendemos argumentar,
Estado, etnografia, antropologia e políticas públicas estão muito mais imbricados
do que se depreende o senso comum.
No início do século XX, o papel dos etnógrafos junto a Estados e governos
nacionais se dava no sentido de compreender povos e comunidades existentes em
seus territórios para, de alguma forma, auxiliar no processo de adequação e submissão
desses povos às regras e leis nacionais (Dubois, 2015). Na Inglaterra dos anos
1920, etnógrafos eram empregados pelo Império Britânico em territórios coloni-
zados, cumprindo, assim, um papel consultivo e colaborativo para a empreitada
colonialista (Dubois, 2015; Bennet, 1996). Buscava-se obter conhecimento sobre
populações ditas primitivas, que estariam fadadas à extinção, conforme fossem
incorporadas à sociedade ocidental. Nos Estados Unidos, os estudos de comunidade
(ECs) estiveram em voga entre 1920 e 1950, período em que etnografias passaram
a ser utilizadas para analisar o impacto socioeconômico de políticas sociais do New
Deal, em comunidades rurais que faziam parte de programas de desenvolvimento
(Bennet, 1996).
Os ECs realizados nos Estados Unidos (1920-1950) tiveram papel fundamental
na institucionalização das ciências sociais no Brasil nos anos 1940 e 1950 (Maio e
Oliveira, 2010), refletindo o cenário global da disciplina. No caso brasileiro, entre
as décadas de 1940 e 1960, realizou-se uma série de estudos etnográficos, denomi-
nados à época de ECs, com a intenção de se conhecer o povo brasileiro por meio
de retratos de diferentes comunidades e regiões, os quais, juntos, deveriam nos dar
uma ideia de como era organizada a sociedade brasileira. Nas palavras de Nogueira
(2018, p. 130), em discurso na I Reunião Brasileira de Antropologia, em 1953,
os estudos de comunidades oferecerão ao administrador, ao político, ao homem de
gabinete, aos habitantes das capitais e das grandes cidades, um quadro realista da vida
dos pequenos e rústicos aglomerados do interior e da população rural, mostrando
o seu lado dramático e humano, seus problemas e suas dificuldades, suas condições
reais e suas aspirações, seus recursos e sua experiência. Em outras palavras, à medida
que se multiplicarem, em que se divulgarem seus resultados e se obtiver, através de
sua síntese, uma visão panorâmica mais adequada da realidade nacional, os estudos
de comunidades poderão contribuir para concentrarem os recursos disponíveis na
solução de problemas que afetam as populações.
Segundo Nogueira (2018),7 os estudos de comunidades se referem a estudos
de um grupo local, de base territorial, integrado em uma estrutura social complexa,
que é tomado como amostra para o conhecimento de determinadas situações ou
problemas. Os ECs, no Brasil, também receberam o incentivo da Organização
das Nações Unidas para Educação, Ciência e Cultura (UNESCO), que, entre
1951 e 1952, patrocinou uma série de pesquisas sobre as relações raciais no Brasil
(Maio, 1999). Essa pesquisa possibilitou o surgimento de novas leituras acerca da
sociedade brasileira, destacando a existência de complexa rede de relações sociais
7. Na década de 1950, esses estudos de comunidades ainda não recebiam o nome de estudos etnográficos, mas sim de
estudos monográficos, pois o seu resultado era uma monografia, em forma de livro, cuja metodologia abarcava tanto
a observação participante quanto a realização de entrevistas. Entre esses estudos, podemos destacar a obra de autores
como Oracy Nogueira, Emílio Willems, Charles Wagley, Antônio Cândido, entre outros.
que organizam dada comunidade delimitada, cuja análise engloba aspectos sociais,
regionais, ambientais e raciais (Maio, 1999).
Apesar disso, na década de 1960, o Estado começa a ser retratado de modo
crítico nas etnografias, em um contexto de crescente questionamento acadêmico e
político das práticas governamentais com resquícios coloniais. A investigação dos
impactos de ações estatais em sociedades nativas, indígenas e rurais, e dos fatores
de desestabilização e dominação decorrente dessas ações se tornam, então, foco das
etnografias nesse período (Spiess, 2016; Dubois, 2015). Ao mesmo tempo, a con-
solidação do campo da cooperação internacional e da indústria do desenvolvimento
fomentaram projetos de pesquisa, como o referido projeto da UNESCO, sobre o
impacto de intervenções em populações tradicionais em países do terceiro mundo
(Souza Lima e Castro, 2015). Até esse momento, no entanto, os estudos etnográ-
ficos restringiam-se, a priori, à pesquisa e descrição de populações não ocidentais,
isoladas, ou aos efeitos disruptivos do Estado em realidades consideradas exóticas.
No caso brasileiro, não foi diferente a consolidação da antropologia como
campo disciplinar. Isso ocorreu em meio ao fortalecimento do regime militar, cujos
projetos desenvolvimentistas atingiam violentamente os territórios de populações
indígenas e camponesas (Machado, Motta e Facchini, 2018; Spiess, 2016). Segundo
Leirner (2013), a “situação colonial de lá correspondia à situação nacional daqui”,
e muitas das etnografias realizadas nesse período tinham como objeto de análise as
frentes de expansão territorial e as consequências avassaladoras dos projetos estatais
em populações indígenas e tradicionais. Não obstante, as consequências do êxodo
rural e o crescimento desordenado trazia à tona discussões sobre favelas, migração,
trabalho assalariado; começam a surgir etnografias realizadas na cidade de grupos
considerados marginais e minoritários (Bevilaqua e Leirner, 2000).
Seja no contexto brasileiro, seja no global, etnógrafos e antropólogos tende-
ram a trabalhar com políticas sociais, partindo da análise do ponto de vista nativo,
observando “a percepção, o uso e os mecanismos de defesa com que os setores de
classes populares encaram os serviços do Estado” (Souza Lima e Macedo, 2015,
p. 29). Até então, as etnografias eram, em grande parte, permeadas por uma tensão
inerente entre o Estado e os nativos (Leirner, 2013), sendo estes não mais apenas
as comunidades indígenas e tradicionais, mas também o pobre, o dominado, o
subalterno, o conquistado (op. cit.). A partir das décadas de 1980 e 1990 e com o
avanço dos debates pós-coloniais e do pensamento crítico sobre Estado e poder,8 o
Estado passa a ser visto como “parte nativa a ser explicada” (Leirner, 2013, p. 74) e
os pesquisadores etnógrafos passam também a se voltar para os que estão acima9 –
8. Souza Lima e Macedo (2015) apontam alguns fatores que tiveram importância decisiva para essa mudança: a dis-
seminação das obras de Michel Foucault e de Pierre Bourdieu; a crítica pós-moderna e pós-colonial; a crítica feminista;
os estudos sobre nacionalismos, desenvolvimento, subalternidade, globalização e transnacionalismo, entre outros.
9. Uma das obras precursoras é o texto Up the anthropologist: perspectives gained from studying up, de Nader (1972).
ou seja, para o estudo não apenas dos efeitos da ação estatal sobre a população e
os grupos específicos, mas a partir da perspectiva das instituições, dos processos
e dos atores que compõem a burocracia estatal e a formulação de políticas públicas.10
Nas últimas décadas, a relação entre Estado, políticas públicas, etnografia e
antropologia tem se tornado cada vez mais imbricada, seja pela crescente deman-
da por estudos etnográficos que avaliem a implementação de políticas públicas,
seja pelo interesse dos etnógrafos em trazer o Estado para dentro de suas análises.
A presença de antropólogos na esfera pública se intensificou a partir da Constituição
de 1988 (CF/1988).11 Os antropólogos passaram a se dedicar à promoção e à defesa
dos direitos de populações indígenas e tradicionais, tanto de dentro do Estado,
da academia ou em organizações da sociedade civil (Machado, Motta e Facchini,
2018). A produção de dados etnográficos como evidências é uma proposta que
vem sendo solidificada ao longo dos anos, juntamente com a atuação de antropó-
logos na esfera pública, que contribuem na elaboração de laudos antropológicos e
demais peças que compõem e instruem os processos administrativos ou judiciais,
em especial no campo de atuação junto aos povos e às comunidades tradicionais.
Nesse contexto, cumpre destacar que, por parte de atores estatais, a demanda
por estudos etnográficos está, em sua maioria, vinculada às questões afetas a grupos
indígenas e populações tradicionais, principalmente para a confecção de laudos e
perícias antropológicas para a demarcação de terras (Helm, 2011), ou para o em-
basamento de decisões judiciais (Rego, 2007) envolvendo povos indígenas.12 Em
geral, tanto as pesquisas etnográficas sobre a implementação de políticas públicas
in loco quanto as realizadas nas instituições governamentais são conduzidas por
pesquisadores autônomos, servidores e consultores contratados por instituições
públicas que utilizam esses profissionais na sua esfera de atuação, como a Funai e
o Ministério Público Federal (MPF). Porém, ainda há aquelas que são realizadas,
independentemente, por estudantes de mestrado ou doutorado, ou por grupos de
pesquisa financiados pela Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior (Capes) e pelo Conselho Nacional de Desenvolvimento Científico e
Tecnológico (CNPq),13 a fim de compreender determinado problema social,
10. No campo da antropologia, podem-se destacar duas tendências em resposta a essas demandas: i) o fortalecimento
da antropologia aplicada, que busca atender a questões específicas de governos e instituições financiadoras, de modo
a prover informações aos formuladores de políticas públicas e tomadores de decisão; e ii) o surgimento do campo da
antropologia da política, ou antropologia do Estado, que questiona as próprias premissas, símbolos, relações de poder
e discursos das políticas públicas e do fazer estatal.
11. A colaboração de antropólogos foi notável na elaboração da CF/1988. Segundo Helm (2011, p. 3), “durante os
trabalhos realizados na Assembleia Nacional Constituinte, ocorreu uma aproximação mais forte entre antropólogos,
juristas e povos indígenas. Foram elaboradas as propostas, contendo os termos adequados, para que os parlamentares
pudessem redigir o capítulo que foi incorporado à Constituição da República Federativa do Brasil de 1988”.
12. No âmbito do direito à convivência familiar e comunitária, está previsto no inciso III, do art. 28 do Estatuto da
Criança e do Adolescente (ECA), que é necessária a intervenção do órgão indigenista em ações de destituição do poder
familiar de crianças indígenas, e de antropólogos, que deverão integrar a equipe multidisciplinar que avaliará o caso.
13. Uma exceção é a etnografia realizada no Ipea entre 2013 e 2015 (Teixeira e Lobo, 2018).
circunscrito a uma comunidade ou região pré-estabelecida, em um dado período

de tempo.
Ainda que a Funai e o MPF realizem, com certa constância, a contratação de
antropólogos, a utilização do método etnográfico pela administração pública, para
a análise e avaliação de políticas públicas, não é algo usual em outros campos de
atuação das políticas setoriais. Assim, a inovação do estudo proposto pela Secretaria
de Avaliação e Gestão da Informação (Sagi/MDS) para compreender como o PBF
estava sendo vivenciado pelos povos indígenas foi, justamente, trazer o método
etnográfico como instrumento para a realização de uma avaliação que pretendia
esclarecer diversos aspectos da vida social de dada população, em seu processo de
acessibilidade aos serviços e às entregas previstos pela política de transferência de
renda condicionada.
Segundo Cairney (2016), é possível definir evidência como um fato [social]
baseado em informações.14 Nesse sentido, no contexto das políticas públicas, as
evidências produzidas por meio de métodos científicos trazem à tona informações
sobre determinado contexto ou realidade social que se pretende analisar, o que
implica, necessariamente, que haja meios de traduzir as informações obtidas, para
que elas possam ser utilizadas, de alguma forma, pelos policymakers, seja para so-
lucionar problemas que comprometem a eficácia da política, seja para chamar a
atenção para um dado problema social. Ademais, os dados etnográficos permitem
acessar outros aspectos não conhecidos ou não previstos do problema público, os
quais podem ser observados no processo de avaliação de políticas (Vedung, 2013),
enfatizando sua complexidade e multidimensionalidade.
O diferencial trazido pelos Estudos etnográficos sobre o Programa Bolsa Família
entre os povos indígenas (Brasil, 2015) é o fato de que essa foi uma das primeiras
pesquisas etnográficas financiadas e demandadas pelo Estado, com o objetivo de
avaliar uma política social em nível nacional. No caso, o então MDS coordenou a
realização dos estudos etnográficos em sete terras indígenas, com vistas a entender
os efeitos do PBF sobre esse público. A escolha das localidades foi feita de forma
que elas pudessem dar um quadro de como a situação do acesso ao PBF pelos povos
indígenas ocorria em diferentes regiões do país, buscando fazer uma amostragem
dessa realidade, por meio de dados etnográficos.
14. “Evidence is assertion backed by information” (Cairney, 2016, p. 4).

3 A PESQUISA ESTUDOS ETNOGRÁFICOS SOBRE O PROGRAMA BOLSA

FAMÍLIA ENTRE OS POVOS INDÍGENAS: ENTRE A DEMANDA POR
EVIDÊNCIAS E A DISCUSSÃO DOS RESULTADOS
Os Estudos etnográficos sobre o Programa Bolsa Família entre os povos indígenas
formaram a pesquisa que integrou o Projeto 914BRZ3002, estabelecido pela
UNESCO, em parceria com o MDS, sob o acompanhamento da Sagi. Na prática,
foi a Sagi/MDS quem elaborou, junto com a Funai, todo o desenho da consultoria
da pesquisa, que consistiu na contratação de sete antropólogos, com o objetivo
de realizarem estudos etnográficos em sete localidades pré-selecionadas, que pre-
tendiam dar uma amostragem da realidade do acesso dos povos indígenas ao PBF
no Brasil. O período do trabalho de campo dos antropólogos junto às famílias e
lideranças indígenas das terras indígenas (TIs) selecionadas teve duração mínima de
oitenta dias, ocorrendo, em sua maioria, entre setembro de 2013 e janeiro de 2014.
Um oitavo pesquisador ficou responsável pela sistematização dos dados de todas
as TIs e confecção do relatório final da pesquisa (Brasil, 2019). As TIs escolhidas
para a realização da pesquisa foram:
• TI Jaraguá (SP), das etnias Guarani-Mbya e Guarani-Ñandeva;
• TI Parabubure (MT), da etnia Xavante;
• TI Porquinhos (MA), da etnia Canela-Apanyekra;
• TI Dourados (MS), das etnias Guarani-Kaiowá, Guarani-Ñandeva e Terena;
• TI Takuaraty/Yvykuarusu (MS), da etnia Guarani-Kaiowá;
• TI Barra Velha (BA), da etnia Pataxó; e
• TI Alto Rio Negro (AM), das etnias Arapaso, Baniwa, Bará, Barasana,
Baré, Desana, Hupd’äh, Karapanã, Koripako, Kotiria, Kubeo, Maku-
na, Mirity-tapuya, Pira-tapuya, Siriano, Tariana, Tukano, Tuyuka,
Warekena, Yuhup’deh.
A lógica da escolha das localidades se baseou na representatividade que essas
comunidades possuíam no universo dos povos indígenas brasileiros. Segundo
uma entrevistada, as localidades escolhidas buscavam representar diferentes reali-
dades vivenciadas pelos povos indígenas do país, como: localização em região de
fronteira, inserção em meio urbano, existência de conflitos territoriais e disputas
de terra, problemas de segurança alimentar e nutricional, confluência de diversas
etnias em uma mesma localidade, além de buscar alcançar as nuances existentes
entre as cinco regiões do país.
Para que os estudos etnográficos pudessem trazer dados que possibilitassem
a comparação entre os relatórios a serem produzidos, a Sagi/MDS elaborou um
Roteiro Básico Comum15 (RBC), o qual deveria ser seguido pelos antropólogos
contratados para a realização da pesquisa. O direcionamento proposto por esse
roteiro buscava abarcar diferentes aspectos da vida social indígena, que iam desde
as percepções e os significados atribuídos ao PBF pelas comunidades estudadas,
possíveis efeitos sobre as atividades produtivas e a segurança alimentar, questões
de gênero, modalidades de uso do recurso, percepção sobre as condicionalidades
do PBF e seu acompanhamento, até questões estruturais e logísticas relacionadas
diretamente à elegibilidade, ao recebimento e aos gastos do benefício (Robert, 2020).
Os contratos firmados com os antropólogos previam quatro etapas de pesquisa.
Ao fim de cada uma delas, um relatório deveria ser apresentado: o primeiro, sobre
a proposta de trabalho e metodologia; dois relatórios preliminares sobre o trabalho
de campo, a serem produzidos enquanto os antropólogos ainda estavam nas TIs;
e o último, um relatório analítico, com análise dos dados coletados, principais
resultados e recomendações para a gestão, a ser apresentado em até três meses após
o fim da pesquisa.
Conforme acordado com a Funai, os consultores e as lideranças indígenas das
terras pesquisadas – e em atendimento à Convenção no 169 da Organização Inter-
nacional do Trabalho (OIT) –, os resultados da pesquisa e as respostas às demandas
dos indígenas deveriam ser apresentados in loco por meio de ações devolutivas.
Concluída a pesquisa em 2014, seus resultados só vieram a público em 2016, por
meio do Relatório final dos estudos etnográficos sobre o Programa Bolsa Família entre
povos indígenas (Brasil, 2016), compilado pelo antropólogo Ricardo Verdum, que
apresenta um resumo dos principais aspectos tratados nos relatórios específicos,
os quais estão, até hoje, sob sigilo. As ações devolutivas foram realizadas apenas
quatro anos depois, em 2017 e 2018 (Brasil, 2019).
Antes de prosseguirmos com a análise dos períodos ex-ante e ex-post dos
estudos etnográficos, cumpre uma ressalva. A opção por separar os fatores que com-
puseram a moldura contextual destes dois momentos entre fatores: i) político;
ii) institucional/organizacional; e iii) epistemológico é uma tentativa de organizar
as narrativas trazidas nas entrevistas e rememorada por nós. É inegável, no entanto,
que os fatos e as percepções narradas se entrelaçam nessas categorias, muitas vezes,
sobrepostas e indissociáveis.
15. O RBC era composto pelos seguintes temas: percepções e significados do PBF para os povos indígenas; atividades
produtivas e comerciais locais; segurança alimentar; acessibilidade ao Sistema Único de Assistência Social (Suas);
logística de pagamento/recebimento do benefício; utilização do benefício financeiro; Cadastro Único para Programas
Sociais do Governo Federal (Cadastro Único); condicionalidades; formas de relação dos indígenas com o poder público
e a sociedade local; questões de gênero.
3.1 Análise ex-ante: a demanda por dados e a escolha do método

Problemas relativos à acessibilidade dos povos indígenas ao PBF foram sendo co-
nhecidos pelo governo federal nos primeiros anos de implementação da política,
os quais chegavam ao conhecimento dos gestores do programa, principalmente
por meio dos canais de Ouvidoria do MDS e da Funai. Além dos meios típicos de
contato com os cidadãos, a Funai também recebia relatos e documentos de suas
unidades descentralizadas, os quais apontavam os desafios impostos aos indígenas
em busca do acesso aos serviços e benefícios propostos pelo PBF (Robert, 2020).
Esses relatos revelavam toda a sorte de problemas, que iam desde denúncias de
retenção dos cartões dos beneficiários indígenas, problemas com o atendimento dos
beneficiários nos equipamentos da assistência social, dificuldades para a realização
do saque do benefício, entraves na obtenção de documentação de identificação
civil, até questões decorrentes da falta de compreensão entre indígenas e presta-
dores de serviços, seja por questões linguísticas, seja pelo estranhamento advindo
das fricções interétnicas.16
Essas questões preocupavam não só a Funai, que buscava atender as comu-
nidades indígenas por meio da articulação com as secretarias e os setores respon-
sáveis pela gestão do PBF – tanto em nível local quanto federal –, mas também
os gestores federais do programa, ainda em fase de consolidação de sua imagem
perante a sociedade brasileira. A ideia de conduzir estudos de caso sobre os efeitos
do programa nas comunidades indígenas vinha sendo discutida desde 2012 em
reuniões interinstitucionais, seguindo a vontade política dos gestores, à época, de
entregar uma política social adequada aos públicos mais vulneráveis. No entanto,
segundo relato de uma entrevistada, foi a partir do pedido da então ministra do
Desenvolvimento Social, Teresa Campello, por dados que embasassem os relatos
trazidos pela Funai nessas reuniões interinstitucionais, que a ideia de uma pesquisa
qualitativa tomou força.
Foi então criado um grupo interno, composto por cinco secretarias finalísticas,17
sob a coordenação da SE. Este grupo teria a incumbência de propor o desenho de
pesquisa, acompanhar seu desenvolvimento e apresentar seus resultados. Desde as
primeiras conversas, reconhecia-se a necessidade de diálogo com a Funai, para apre-
sentar a proposta da pesquisa e construir, em parceria, o desenho e o instrumento
da consultoria. As reuniões técnicas bilaterais tiveram início em janeiro de 2013
para que, primeiramente, as pastas se conhecessem e entendessem suas limitações
e áreas de atuação e, em seguida, definissem o método de pesquisa, as TIs a serem
16. O termo fricção interétnica é utilizado aqui para chamar a atenção à relação que se estabelece entre os povos
indígenas, representados por seus membros individuais; e a sociedade nacional, representada tanto pelos agentes
públicos quanto pelos demais cidadãos brasileiros. O conceito tem origem em Roberto Cardoso de Oliveira e traz em
si noções de conflito e interesses antagônicos em uma totalidade dialética, para esclarecer uma realidade específica: o
contato entre grupos indígenas e a sociedade nacional (Peirano, 1997, p. 18).
17. Participaram desse grupo: Sagi, Senarc, SNAS, Secretaria Nacional de Segurança Alimentar (Sesan) e Sesep.
estudadas e as perguntas orientadoras. Uma vez lançado o edital de contratação

dos consultores, Funai e MDS atuaram em conjunto para mediar a relação com
as lideranças indígenas e viabilizar a inserção dos antropólogos em campo.
Ainda que a escolha pela etnografia não estivesse totalmente definida desde o
princípio, o método etnográfico apareceu como alternativa evidente, considerando
o tipo de dado que se pretendia obter e a população que seria pesquisada. Esta
opção, incomum às pesquisas de avaliação realizadas pelo ministério, foi possível
em meio a um contexto específico, que envolvia não apenas fatores políticos e
institucionais, mas também a necessidade de um tipo de evidência que os méto-
dos quantitativos e qualitativos, até então utilizados, não davam conta de trazer,
conforme mencionaremos a seguir.
3.1.1 Fatores epistemológicos: desvendando o conhecimento adquirido no trabalho de campo

Desde a sua concepção, a pesquisa vinha sendo desenhada para que fosse com-
preendida a perspectiva das famílias indígenas pelo poder público, a partir da
ótica nativa, em um esforço de se pensar em possíveis adequações das regras e dos
procedimentos do programa para atender às especificidades dessas populações.
Como mencionamos na seção anterior, por mais que o método etnográfico seja
atualmente utilizado para uma ampla gama de temas na análise e avaliação de
políticas públicas, o uso de etnografias permanece associado, no senso comum,
ao estudo de comunidades indígenas e de populações tradicionais. A opção pela
etnografia pareceu, então, como óbvia. Foi justamente o fator indígena que abriu
portas à utilização do método etnográfico, o que provavelmente não teria aconte-
cido se o objeto de estudo fosse populações urbanas ou mesmo populações rurais
não indígenas.
Além disso, com vistas à compreensão de questões tão amplas, que abarcam
vários aspectos da vida social do público indígena, havia o consenso de que não
seria possível a utilização de métodos como surveys, formulários ou outros que
pretendem realizar análises quantitativas, ou mesmo quali-quanti, métodos comu-
mente utilizados para pesquisas de avaliação conduzidas pelo ministério. Como
dito por uma servidora:
Quando falamos sobre PBF para PCT [povos e comunidades tradicionais], a minis-
tra disse “Tá, mas cadê os dados. Para discutir isso com você eu preciso dos dados”.
A gente sabia que uma pesquisa quantitativa não ia trazer a complexidade do que a
gente precisava naquele momento. Saímos de lá com aquela missão e montamos um
grupo no ministério. Fizemos uma conversa com a Sagi: nós temos esse problema,
os dados que temos são muito influenciados pelas visitas de campo que a gente faz,
pelo o que os indígenas e a comissão nos trazem, mas a gente precisa ter um dado
científico para fazer essa discussão.
Os dados que tínhamos disponíveis não davam resposta sobre a implementação.

A gente precisava entender quais eram os problemas de implementação junto a povos
indígenas. Tinha uma série de denúncias, reclamações, “bolsa com índio não funcio-
na”. Tinha esse mote: vamos gerar um diagnóstico sobre essa situação, juntar dados e
avaliar o que a gente faz com essa informação. Do ponto de vista de motivação para
geração de evidência, foi perfeito.
Para propor alterações no PBF, era necessário, antes, buscar evidências, trazer
os dados solicitados pela ministra, uma vez que os relatos apresentados em ofícios,
reuniões com a Funai e denúncias recebidas pela ouvidoria não eram suficientes
para comprovar os problemas de implementação do programa que afetavam os
indígenas. Era preciso ir a campo, ir à ponta,18 testemunhar in loco as dificuldades
vivenciadas pelas comunidades, descrever os fatos com a autoridade de quem esteve
lá, por meses.
Não obstante, se a etnografia foi uma opção preferível desde as primeiras
conversas, desconfianças quanto ao método também estiveram sempre presentes.
Com vistas a conter as supostas subjetividades dos pesquisadores, dar mais compa-
rabilidade e confiabilidade aos dados, ou seja, tornar as evidências mais científicas,
foi elaborado um roteiro de questões a ser seguido pelos antropólogos contratados
pela pesquisa. O RBC19 pretendia possibilitar a identificação de diferenças e simi-
litudes apresentadas por cada uma das comunidades estudadas, no que tange aos
pontos nevrálgicos de implementação da política, de modo que fosse possível a
realização de uma análise comparativa em profundidade e, por analogia, estender
essa compreensão às demais comunidades indígenas do país com condições so-
cioambientais e culturais similares. Assim, apesar dos estudos etnográficos serem
estudos de caso, realizados junto a uma comunidade determinada, pretendia-se que
eles pudessem elucidar outros contextos com condições socioculturais e geográficas
análogas. Havia a expectativa, portanto, de que as evidências fossem sistematizadas,
organizadas, para que o gestor pudesse entender os dados etnográficos. Como dito
por um servidor, “o que eu esperava era uma sistematização dos problemas, das
lacunas, que sabíamos que existia, com método, consistente, que poderia ser utilizada
como referência, como evidência para subsidiar medidas que fossem tomadas”.
Nesse sentido, o RBC vai ao encontro daquilo que Nogueira (2018) chama
atenção, ainda na década de 1950, a respeito da representatividade dos estudos de
comunidade: a escolha de determinadas comunidades para serem estudadas pode
18. “O termo ‘ponta’ é comumente utilizado nos órgãos públicos, sediados em Brasília, para referir-se aos locais nos
quais os programas, ações e políticas públicas são implementados” (Bachtold, 2017), ou seja, fora dos centros de decisão,
nos municípios, nas periferias, áreas rurais, áreas onde a política pública é, de fato, implementada.
19. Como citado anteriormente, o RBC apresentava temas a serem abordados pelos pesquisadores a partir do método
etnográfico que, apesar de previamente definidos, não indicavam quais categorias deveriam ser utilizadas para tratar
cada uma das questões propostas. Assim, apesar da definição de eixos temáticos, a forma de abordagem era livre, tendo
em comum unicamente o método etnográfico como premissa.
se dar pela necessidade de esclarecimento de determinado problema previamente

delimitado. No caso em tela, era sabido que as comunidades indígenas apresen-
tavam problemas no acesso ao PBF; não se sabia, no entanto, qual era a natureza
desses problemas, se tinham origem em questões socioculturais ou na dificuldade
do Estado em compreendê-las, e como fatores ambientais, sociais, territoriais e
étnicos poderiam contribuir para possíveis falhas na implementação dessa política.
3.1.2 Fatores organizacionais e institucionais: cultura de avaliação de políticas públicas

e formação de servidores
Existia, também, no ministério uma preocupação grande com PCTs, não só dentro
do Bolsa. Tinha pessoas dentro do ministério com formação, expertise e prioridade
para olhar para isso. Tinha essa conjunção: quem estava lá, a formação dessas pessoas,
uma crença compartilhada no método, mas havia também um entendimento de que
essa questão deveria ser tratada no âmbito institucional do ministério, que era um
tema para o qual a gente precisava ter um olhar.
No que concerne aos fatores organizacionais e institucionais, dois pontos
merecem atenção: o primeiro deles refere-se à existência de uma cultura de ava-
liação e monitoramento de políticas públicas no MDS, materializada na Sagi.
A existência dessa secretaria desde 2004, especializada em produção de evidências
para as políticas sociais no âmbito desse ministério, demonstrava haver uma pre-
ocupação institucional voltada à avaliação de seus programas e políticas, as quais
estavam sob constante questionamento, tornando, assim, a realização de pesquisas
parte da rotina desse ministério. Além da estrutura burocrática, contava-se com a
expertise dos servidores, com diferentes tipos de formação, não apenas nos desenhos
das pesquisas elaboradas pelo MDS, mas também para a captação de recursos, ela-
boração de editais, contratação de consultorias, entre outras atividades necessárias
para a realização de pesquisas sociais de cunho nacional.
Outro fator que contribuiu para a escolha do método foi a existência de
profissionais das ciências sociais – sociólogos, antropólogos e cientistas políticos –
no corpo de servidores20 do MDS, que possuíam familiaridade com o método
etnográfico e entendiam que a compreensão dos efeitos do PBF junto aos povos
indígenas iria requerer uma análise mais holística, que pudesse abarcar todos os
fatores da vida indígena, desde aspectos de sua organização social e cultural, até
questões relativas às fricções interétnicas, ou seja, relativas à interação entre agentes
públicos e privados – membros das sociedades urbanas locais – e o público indígena.
Atuantes no processo de desenho da pesquisa, esses servidores eram os in-
dicados pelas secretarias para participar do grupo de trabalho e, não raramente,
atuar como tradutores dos relatórios etnográficos em formas mais resumidas e
20. Muitos desses servidores haviam chegado recentemente no ministério, quando da criação do cargo de analista
técnico de políticas sociais (ATPS).
compreensíveis para seus superiores. A defesa da consulta prévia, da credibilidade

dos resultados da pesquisa, da publicação dos relatórios, bem como da realização
das devolutivas foi também creditada a esses atores, o que por vezes os levava a
serem qualificados como ativistas por seus pares – um papel relativamente comum
a antropólogos que atuam no Estado (Leirner, 2013).
3.1.3 F atores políticos: erradicação da extrema pobreza e institucionalização da

participação social21
Apesar do contexto institucional favorável, há a percepção entre as entrevistadas
de que uma pesquisa etnográfica de grande porte, financiada e coordenada pelo
governo federal, não seria possível no contexto político atual. Cumpre destacar,
portanto, dois fatores que permeavam o cenário nacional e a atuação do MDS à
época da elaboração dos estudos etnográficos. O primeiro deles reflete a prioridade
concedida às políticas sociais para erradicação da extrema pobreza no primeiro
mandato da presidente Dilma, enquanto o segundo concerne à institucionalização
dos espaços de participação social no governo federal e ao fortalecimento da agenda
de povos e comunidades tradicionais (PCTs).
O MDS ocupava, então, papel de destaque na coordenação do Plano Brasil
Sem Miséria (BSM),22 carro-chefe do primeiro governo da presidente Dilma
Roussef. A expansão do PBF e a consolidação de políticas sociais e de inclusão
produtiva permitiram a redução da pobreza em níveis sem precedentes no país.
O lema É o Estado chegando onde a pobreza está traduzia o imperativo de localizar
os invisíveis e trazer para a rede de proteção social os mais vulneráveis que, mesmo
após a expansão do Bolsa Família, ainda não tinham sido registrados e incluídos
nos serviços públicos (Bachtold, 2016). Para erradicar a extrema pobreza, consi-
derada residual,23 era imperativo elaborar estratégias específicas que atingissem o
público mais vulnerável – entre os quais, PCTs, que possuíam taxas de pobreza,
desnutrição e analfabetismo abaixo das médias nacionais.
Reconhecia-se, portanto, que, mesmo com orçamento extensivo e priorização
das políticas sociais, os programas universais ainda não eram capazes de erradicar toda
a pobreza. Era necessário um olhar mais específico para aqueles que compunham os
21. Apesar de serem tratados como povos e comunidades tradicionais na linguagem institucional, os povos indígenas
têm resistência em se considerar como povos tradicionais, tendo em vista a questão da etnicidade. Sendo assim, o
movimento indígena brasileiro usa a terminologia povos indígenas para se referir aos povos originários do Brasil.
22. Lançado em 2011, o BSM era composto de um conjunto de cerca de cem programas e ações voltados ao atendi-
mento de um público específico, os extremamente pobres, ou seja, população que vivia com renda per capita mensal
inferior a R$ 77,00, à época. Sob a coordenação do MDS, o BSM envolveu 22 ministérios e a parceria de outros entes
federados (estados e municípios), da sociedade civil e do setor privado.
23. Os dados da Pesquisa Nacional por Amostra de Domicílios (PNAD) de 2013 apontavam uma taxa de extrema pobreza
em cerca de 3% de população brasileira. Indicadores de pobreza multidimensional do Banco Mundial apontavam para
0,5% de pessoas em situação de pobreza severa, enquanto os indicadores do Human development report indicavam
2,8% de pessoas em situação de extrema pobreza (Falcão e Costa, 2015).
cerca de 2% da população em extrema pobreza ainda persistente. No âmbito do BSM,

o direcionamento de políticas sociais para povos indígenas e população quilombola
eram debatidos em salas de situação (Costa e Falcão, 2014), das quais participavam
diversos ministérios e secretarias.
O processo de institucionalização dos espaços de participação social no go-
verno federal, ocorrido no período em questão, foi outro fator que influenciou a
forma como se organizou a gestão das políticas públicas (Favilla, 2017). À época
da pesquisa, estava ativo o Conselho Nacional de Política Indigenista (CNPI),
que contava com representantes de organizações indígenas de todo o país, além
de membros do órgão indigenista, e tinha o objetivo de pautar o governo federal
acerca das políticas públicas acessadas pelos povos indígenas, sendo também uma
instância consultiva para dúvidas do governo acerca de questões que afetavam,
diretamente, os povos indígenas. Assim, o contato com a Funai era imprescindível
não só pela expertise do órgão indigenista e suas demais atribuições governamentais,
mas também para que essa demanda fosse levada ao CNPI, de forma a legitimar os
esforços do governo de adequar o PBF às realidades dos povos indígenas, perante
o movimento indígena organizado.
Além do CNPI, a agenda de PCTs24 – categoria que engloba povos indígenas,
quilombolas, ribeirinhos, extrativistas, comunidades de terreiro, caiçaras, pescadores
artesanais, entre outros – se institucionalizava no MDS. A coordenação de apoio à
Comissão Nacional de Povos e Comunidades Tradicionais (CNPCT) passou a ser
coordenada pela SE, o que aumentava seu status e relevância na gestão das políticas,
bem como seu poder de articulação junto a outras secretarias (Favilla, 2017). Durante
2013 e 2014, o ministério organizou cinco encontros regionais, que culminaram no
II Encontro Nacional de Povos e Comunidades Tradicionais, e atuou na transição
da CNPCT. O crescimento da agenda de PCTs no ministério fortalecia demandas
de adaptação ou direcionamento de políticas sociais para estes grupos.
3.2 Análise ex-post: recepção dos dados e seu uso (ou não) como evidência
para embasar mudanças na política pública
Logo após o fim do trabalho de campo e antes mesmo da conclusão dos relatórios
finais, o MDS convidou os consultores a Brasília para apresentação dos resultados
aos servidores do órgão. Durante dois dias, representantes de todas as secretarias
participaram da Oficina de sistematização dos resultados: Bolsa Família entre povos
indígenas, na qual cada um dos antropólogos relatou os principais achados da
pesquisa. Para a maioria dos servidores, era a primeira vez que visualizavam as
24. De acordo com a Política Nacional de Povos e Comunidades Tradicionais (PNPCT), povos e comunidades tradicionais são
“grupos culturalmente diferenciados e que se reconhecem como tais, que possuem formas próprias de organização social,
que ocupam e usam territórios e recursos naturais como condição para sua reprodução cultural, social, religiosa, ancestral
e econômica, utilizando conhecimentos, inovações e práticas gerados e transmitidos pela tradição” (Brasil, art. 3o, I, 2007).
dificuldades dos povos indígenas em acessar não apenas o PBF, mas também outros
serviços e políticas públicas. Os relatos, os vídeos e as fotografias apresentados em
PowerPoint traziam concretude às demandas que a Funai costumava apresentar
ao ministério nas reuniões interministeriais e salas de situação.
A sensação de que a pesquisa caiu como uma bomba foi comum entre todos
os entrevistados. Os dados sobre a realidade da população indígena que a pesquisa
trazia à tona eram consideravelmente piores do que se esperava. Acostumados,
de certa forma, a ouvir e enaltecer os impactos positivos das políticas sociais co-
ordenadas pelo ministério, os servidores se depararam com situações de extrema
pobreza, vulnerabilidade, exploração, preconceito e racismo institucional; relatos
de tratamento desumano e abuso por parte de atores locais; denúncias de crimes
e casos de polícia. Diferentemente de outros estudos divulgados pelo ministério,
eram situações que não poderiam ser solucionadas com a chegada do Estado, visto
que, muitas vezes, era o próprio Estado o causador e perpetuador das desigualdades
e violências narradas. Como relatado por uma servidora:
Eu lembro que eu fiquei muito apavorada. Por mais que a gente soubesse que a situação
era crítica, eu lembro que alguns relatos me pegaram pesado. Ver as imagens me pegou.
Aí veio esses relatos de como a população fica à mercê de uma série de restrições, e
amarras em função de serem populações indígenas, em função de suas especificidades.
Dessa forma, durante cinco meses, no primeiro semestre de 2014, os relatórios
de campo eram enviados à Sagi e encaminhados às áreas finalísticas. Considerando
que os dados apresentados eram extremamente sensíveis, optou-se por manter
os relatórios restritos ao âmbito interno, evitando seu compartilhamento com a
Funai antes que o ministério pudesse absorver e sistematizar os dados e elaborar
estratégias de resposta, incluindo a devolutiva à população pesquisada.
Indubitavelmente, a apresentação dos dados preliminares na oficina gerou
muita ansiedade entre técnicos e gestores, que buscavam acessar aos relatórios finais
e organizar tentativas de diálogo para coordenar uma resposta aos problemas apre-
sentados. Conforme as pesquisas avançavam, mais detalhados e densos tornavam-
-se os textos que chegavam aos e-mails e pen drives dos gestores. Se o número de
páginas dos relatórios aumentava, o número de pessoas que tinham acesso aos
relatórios tornava-se cada vez mais reduzido, visto que crescia a preocupação sobre
a divulgação dos dados e a inexistência de respostas para os problemas relatados,
dada a complexidade das questões por eles abordadas.
Não raro, os técnicos (em sua maioria, servidores da carreira de analista de
políticas sociais e com formação em ciências sociais e áreas correlatas) eram insta-
dos a resumir os relatórios e organizá-los para apresentar os pontos principais às
instâncias superiores. Segundo uma entrevistada:
Eu lia e resumia o que estava acontecendo, e o grau de preocupação ia crescendo

conforme os relatórios iam chegando. E aí chegou ao um ponto que vimos, bom,
precisamos reunir todas as secretarias para a gente definir como lidar com esses dados.
No início os dados estavam vindo para os técnicos, para uma leitura inicial daqueles
dados, depois esses dados passaram para as chefias e depois começou uma discussão
política de como tratar esses dados.
Ao longo de 2014, diversas tentativas de processar e sistematizar os dados dos
relatórios foram realizadas. Encaixar os dados das pesquisas em tabelas e apresenta-
ções de powerPoint; definir quais dos achados eram de competência do ministério
ou de outras pastas; identificar as áreas responsáveis por cada demanda; classificar
os dados em ordens de prioridade e urgência; elaborar respostas e estratégias de
divulgação; definir soluções, metas e prazos. Passou a ser tarefa do grupo de traba-
lho, composto pela SE e pelas cinco secretarias finalísticas,25 a produção do plano
de ação de resposta à pesquisa para pensar as ações devolutivas e elaboração da
resposta do ministério antes da publicização dos dados.
Apesar disso, ainda que houvesse certo diálogo com a Funai em salas de
situação do BSM e em reuniões bilaterais, optou-se pelo não compartilhamento
dos relatórios. De certa forma, após a recepção dos relatórios, o MDS se fechou em
si – como alegado em uma entrevista. A Funai esteve ausente das conversas minis-
teriais até a preparação das devolutivas, em 2017. A saída pensada para atender as
pressões interna (de técnicos sensíveis ao tema) e externa (da Funai, dos consultores,
de pesquisadores, ativistas e das próprias comunidades) foi a elaboração de um
sumário executivo, de quinze páginas, validado pelas áreas técnicas do ministério,
publicado em fevereiro de 2015 (Brasil, 2015). O relatório final da pesquisa foi
publicado apenas em 2016, após o processo de impeachment (Brasil, 2016), e todos
os relatórios preliminares encontram-se, até hoje, sob sigilo.
No geral, a sensação entre os entrevistados é a de que poucas mudanças ocor-
reram nas políticas e nos programas coordenados pelo ministério, em resposta à
pesquisa etnográfica. No PBF, não houve alterações ou reformulações que visassem
atender especificamente às demandas apresentadas na pesquisa – nem mesmo a
alteração do prazo de saque do benefício de 90 para 180 dias foi implementada,
o que poderia reduzir a necessidade de deslocamento até os centros urbanos.26
As poucas adaptações ocorreram na área da assistência social,27 como a criação
da cartilha de orientação de atendimento a indígenas nos Centros de Referência da
25. Senarc, Sesan, SNAS, SE e, à época, a Sesep. Parte dos achados foi também debatida com representantes da Funai,
do Ministério da Saúde (MS) e do Ministério da Educação (MEC) (Brasil, 2018).
26. A justificativa apresentada pela Senarc, à época, foi a dificuldade de operacionalização da Caixa Econômica Federal
(Caixa) e o fato de que a taxa de saque atual dos indígenas é semelhante à de outros grupos.
27. Como consequência da pesquisa do PBF junto a povos indígenas, a SNAS contratou nova pesquisa etnográfica para
aprofundar as análises relativas ao atendimento da rede de assistência social.
Assistência Social (Cras)28 e Centros de Referência Especializados de Assistência

Social (Creas).29 Tampouco houve esforço de mobilização interministerial para a
divulgação dos resultados afetos às áreas que não eram da alçada do MDS, como
saúde e educação.
As ações devolutivas30 foram realizadas apenas quatro anos após a ida a campo
dos antropólogos, entre 2017 e 2018, por gestores do MDS, da Funai e, em alguns
casos, da Caixa. Ainda assim, as respostas restringiram-se a apresentações e esclare-
cimentos do ministério sobre o programa aos indígenas e à gestão local, de modo
a tirar dúvidas e corrigir alguns equívocos de entendimento na implementação do
programa. Entre as entrevistadas, a impressão compartilhada é de que as devolu-
tivas, além de tardias, foram insuficientes para responder aos problemas trazidos
pelas etnografias. Em um dos relatos, um entrevistado alegou que as devolutivas
foram meramente burocráticas:
para mim, a devolutiva foi isso, para cumprir tabela. Em nenhum momento as pessoas
se propuseram a fazer uma devolutiva séria, assumindo os problemas e que não havia
interesse em mudar. Pra que dizer que tá estudando (as mudanças). Você não está
estudando, você já decidiu, tenha a firmeza em chegar na comunidade e dizer: nós não
vamos mudar, porque nós não vamos mudar nada no programa por conta de 10%.
Desse modo, como na definição do método de pesquisa, os contextos polí-
tico e institucional/organizacional impactaram a recepção dos dados etnográficos
e influenciaram a reação dos gestores, a elaboração da resposta institucional e o
impacto nas políticas coordenadas pelo ministério. No que concerne aos fatores
epistemológicos, conforme argumentaremos adiante, tanto a escolha do método
como as dúvidas quanto à validade da etnografia como evidência refletem não
apenas as dificuldades e os desafios do uso de etnografias na avaliação de políticas
públicas, mas também a própria dificuldade do fazer estatal em lidar com realidades
complexas e torná-las legíveis ao Estado, bem como em entender as realidades de
populações indígenas e tradicionais.
3.2.1 Fatores institucionais e organizacionais: estrutura operacional do programa,

quadro de servidores e métodos de monitoramento e avaliação
Se, por um lado, o contexto institucional do ministério permitiu a escolha por
estudos etnográficos para entender os problemas de implementação do PBF junto
aos povos indígenas, por outro, fatores institucionais e organizacionais contribuíram
para a desconfiança dos resultados da pesquisa e ausência de respostas efetivas às
principais demandas apresentadas. Três principais fatores merecem ser considerados:
28. Para mais informações, ver cartilha Trabalho social com famílias indígenas na proteção social básica (Brasil, 2017).
29. Para mais informações, ver cartilha Atendimento à população indígena na proteção social especial. Disponível em:
<https://bit.ly/3llviCs>.
30. Estão documentadas na publicação da Sagi, Caderno de Estudos: desenvolvimento social em debate, n. 32 (Brasil, 2018).
i) a estrutura operacional do PBF, que preza por soluções universais com vistas ao
atendimento de um amplo público; ii) o fator de sucesso do PBF e o quadro de
servidores da Senarc; e iii) a preferência por métodos quantitativos ou mistos para
estudos de monitoramento e avaliação de políticas públicas coordenados pela Sagi.
Com relação ao primeiro fator, à época da pesquisa, o Bolsa Família completava
dez anos desde seu surgimento e se consolidava como a principal política social
brasileira, sendo reconhecido internacionalmente como referência em transferência
de renda condicionada e como um caso de sucesso no combate à pobreza, ainda
que entre a sociedade brasileira esse reconhecimento era oscilante, como argumen-
taremos adiante. À época, o programa atendia a 13,8 milhões de famílias, cerca de
um quarto da população do país. Ainda que se reconhecesse que, para combater a
extrema pobreza residual, era necessário elaborar estratégias específicas para a in-
clusão do público mais vulnerável ainda ausente da rede de proteção social – entre
eles, povos e comunidades tradicionais –, havia certa resistência em modificar o
Bolsa Família, seja pela dificuldade de operacionalização, seja pelo pequeno im-
pacto nos números finais do programa. Justamente pelo seu reconhecimento entre
a burocracia estatal, alterações no Bolsa Família eram constantemente propostas
por outros órgãos. Cabia aos gestores, portanto, blindar o programa e evitar que
soluções específicas prejudicassem seu atendimento universal. Como alegado por
um gestor à época, “não dá para ficar colocando penduricalhos no Bolsa Família, o
programa não é árvore de Natal”. Esta postura de gestores da Senarc foi levantada
pelos entrevistados, conforme segue:
a Senarc sempre foi muito mais reativa com relação ao Bolsa, porque o Bolsa é super
complexo, todo mundo chega lá e quer dar uma ideia. Naquela época tinha uma
resistência a propor alterações no Bolsa, porque é uma operação muito difícil.
Tem uma questão quantitativa: a gente tem um programa desenhado para um país
com o grau de desigualdade do Brasil e que funciona muito bem. Mas ele conseguiu
chegar nas pessoas de uma maneira que talvez nenhum outro programa tenha con-
seguido chegar, nem a aposentadoria. E aí a gente traz o panorama da diversidade,
ainda que só a pontinha do iceberg, de fato não se faz tanto sentido em mudar algo
do programa se a gente está falando em menos de 10%. Só que ao mesmo tempo a
angústia que gerou a pesquisa era exatamente essa: será que a gente está atendendo, de
maneira adequada, a população indígena deste país? Então não importa se representa
1% do programa?
No tocante ao segundo fator, a postura defensiva da Senarc em relação ao
programa é também reflexo do quadro de servidores que, à época, ocupavam os
cargos de médio e alto escalão da secretaria. Dentro do ministério, a Senarc era
vista como uma secretaria com baixa rotatividade dos gestores, elevada profissio-
nalização, cujos cargos eram ocupados majoritariamente por servidores de carreira,
com alta qualificação e experiência em administração pública (Oliveira, Lotta e
Freitas, 2019). Ainda que a literatura aponte para um insulamento burocrático da

secretaria à época (Bichir, 2016) e para a coesão entre o corpo burocrático (Oliveira
e Lotta, 2017), a condução da resposta à pesquisa etnográfica levou a embates entre
a equipe técnica – a maioria, servidores da carreira de ATPS recém-admitidos – e
os diretores e coordenadores-gerais, que atuavam há mais tempo no programa.
Conforme apresentado por uma entrevistada, o reconhecido sucesso do Bolsa
Família e o tempo de atuação na secretaria levavam a uma postura reativa a críticas
e a propostas de alteração do programa por parte destes gestores. Os servidores
recém-chegados, por sua vez, não tinham o mesmo apego ao programa, nas palavras
da entrevistada, e pressionavam por respostas mais resolutivas:
a partir de 2013, com a chegada dos ATPS, tem um campo conflituoso. Tem uma
visão muito diferente, do que o Bolsa precisava fazer. Acho que tinha uma certa
acomodação dessa média burocracia, que fazia o link com o gabinete da ministra.
Os esforços foram muito mais dos técnicos, mas não vingavam porque não tinha
eco na alta gestão.
Tinha uma pressão muito grande dos ATPS para que a Funai fosse chamada e re-
sistência dos diretores para não chamar a Funai e buscar soluções por meio de um
GT interno.
Por fim, com relação à Sagi, mesmo que a secretaria adotasse alguns métodos
qualitativos para avaliação e monitoramento de políticas públicas, havia certa predi-
leção por métodos quantitativos – avaliações de impacto, levantamento estatísticos
a partir de base de dados, estudos econométricos, surveys, painéis longitudinais,
censos, entre outros (Ferrarezi, Januzzi e Montagner, 2016). Assim, os relatórios
etnográficos eram, de certa maneira, estranhos ao modo de se fazer pesquisa de
avaliação de políticas públicas nessa secretaria, o que levantou desconfianças quanto
ao método e aos dados apresentados pelos consultores.
A Sagi tinha uma excelência em fazer avaliação de políticas públicas, mas com métodos
quantitativos. Nunca tinha sido feita uma pesquisa etnográfica. O primeiro impacto
foi esse: estávamos lidando com gestores que lidavam com pesquisas quantitativas
ou quali-quanti, mas não pesquisas totalmente qualitativas como a etnografia. Então
eu acho que houve um estranhamento com a chegada daquele dado, porque não era
um dado direto, com números. Não era um censo, a gente não tinha pedido isso.
Não era essa a intenção. Mas era um dado que não conversava com os dados com
os quais o ministério estava acostumado. Era um sentimento de desconfiança com
o método científico, como se o método etnográfico não fosse científico.
3.2.2 Fatores políticos: Bolsa Família em disputa e impeachment

Não obstante o mencionado reconhecimento do Bolsa Família como política
social efetiva no combate à pobreza, o programa ainda era, no senso comum, vin-
culado à gestão petista e seguia sob incessante questionamento. Casos isolados de
recebimentos indevidos eram constantemente anunciados na mídia como fraude, de

modo a desacreditar o programa, apesar dos esforços institucionais que garantissem
sua boa focalização (Bachtold, 2017). Durante o período das eleições de 2014,
receava-se que novas gestões pudessem terminar ou alterar significativamente a
política de transferência de renda, ou, ainda, reduzir seus recursos e o número de
famílias beneficiárias. Assim, apesar de todas as evidências produzidas pelos órgãos
governamentais de pesquisa (Sagi e Ipea), havia a sensação de que a legitimidade
do PBF estava sempre sob constante ameaça. A divulgação de uma pesquisa que
apontava para tantos problemas poderia trazer ônus ao próprio programa. Como
destacado por uma servidora,
o Bolsa sempre esteve na berlinda. Havia uma narrativa muito forte sobre fraudes,
imprensa etc. A tônica da gestão, naquele momento, era “erro zero”. Eram duas
diretrizes: “inclui” e “erro zero”. Isso gerava um medo na gestão. Essa pesquisa es-
cancarou problemas, erros, que o programa gerava na vida de várias comunidades
indígenas. Foi uma situação de mal-estar muito grande da Senarc e Sagi para subir
a informação, sobre o relatório bombástico, de que o Bolsa não funcionava e ainda
podia prejudicar algumas famílias.
Se tinha um medo muito grande em afetar a imagem do programa. Era uma cultura
de medo, que era difícil de vencer como técnico.
Se as iniciativas de coordenação de uma resposta institucional foram dispu-
tadas e árduas ainda em 2014, há a percepção de que a urgência dos técnicos e
gestores se arrefeceu nos anos subsequentes, após as eleições presidenciais. A Sesep,
à frente da articulação institucional do BSM – estratégia de combate à extrema
pobreza, carro-chefe do primeiro governo da presidente Dilma Roussef – foi des-
mobilizada, na ausência de definições quanto à continuidade do plano. Assim, as
tentativas de formulação de ações voltadas para a população indígena por parte
dessa secretaria foram minadas ao longo do ano. Além disso, a crescente crise
econômica e a iminente crise política desviaram as prioridades do então governo
e não houve iniciativas majoritárias de inovações ou reformulações das políticas
sociais coordenadas pelo ministério.
Por seu turno, o impeachment da então presidente Dilma Roussef e a rup-
tura institucional que se seguiu, levaram a mudanças de gestão no ministério e
fortaleceram os anseios quanto à ameaça de descontinuidade do programa. Ainda
que a equipe da Senarc tenha se mantido, foi necessário empreender uma série
de esforços técnicos e políticos para defender o PBF e evitar maiores cortes nos
benefícios, uma vez que a narrativa sobre a existência das fraudes no programa se
intensificou entre as autoridades políticas (Bachtold, 2017). Ademais, a agenda
de promoção dos direitos indígenas e de povos e comunidades tradicionais perdeu
força não apenas no ministério, mas em todo o governo federal, com o fechamento
de conselhos e outros espaços de participação social, redução de orçamento para a
pauta e as constantes mudanças de direção na Funai. No entanto, se por um lado

esse contexto retirou a urgência e a janela de oportunidade que o ministério tinha
para elaborar estratégias contundentes de atendimento a indígenas, por outro, a
resistência em divulgar os resultados da pesquisa diminuíram. O relatório final da
pesquisa, mais detalhado que o Sumário Executivo publicado em 2015 (Brasil,
2015), foi finalmente publicado em 2016 (Brasil, 2016).
Olhando em retrospectiva, há, portanto, entre os entrevistados, o sentimento
de que a inação perante as evidências trazidas pela pesquisa etnográfica foi uma
oportunidade perdida e que o atual contexto político está longe de permitir o em-
prego de novos estudos etnográficos para avaliação de políticas públicas.
O tipo de ação que a gente deveria ter tomado tinha muito mais a ver com assumir
essa agenda e fazer articulação com outros órgãos competentes que pudessem lidar
com essa oportunidade, aproveitar essa oportunidade para jogar luz sobre a situação
dos povos indígenas. Hoje eu acho que a gente poderia ter sido mais ousado em
várias agendas.
Apesar das dificuldades em enxergar os dados etnográficos produzidos pela
pesquisa como evidências, stricto sensu,31 dada a natureza complexa das informações
por eles suscitadas, uma entrevistada considerou que todo o processo de elaboração,
execução e avaliação dessa pesquisa trouxe aos técnicos e gestores que dela parti-
ciparam mais entendimento acerca de questões que sequer eram imaginadas pela
alta burocracia, e que passam a ser reconhecidas em outras agendas ministeriais
ao se tratar de povos e comunidades tradicionais. Lato sensu, no entanto, os dados
etnográficos produzidos trouxeram variada gama de evidências, ao narrar como a
política era implementada na prática e como o referencial sociocultural e a atuação
dos agentes públicos (e privados) locais influenciavam o desenrolar da ação pública.
4 CONSIDERAÇÕES FINAIS: UMA ANÁLISE EPISTEMOLÓGICA DA

UTILIZAÇÃO DE DADOS ETNOGRÁFICOS COMO EVIDÊNCIAS, À LUZ
DOS RESULTADOS DOS ESTUDOS ETNOGRÁFICOS SOBRE O PROGRAMA
BOLSA FAMÍLIA ENTRE OS POVOS INDÍGENAS
Ao longo deste estudo, buscamos mostrar como se deu o processo de realização
da pesquisa Estudos etnográficos sobre o Programa Bolsa Família entre os povos indí-
genas, a partir da compreensão de fatores políticos, técnicos e institucionais que
influenciaram a produção de evidências etnográficas pelo governo federal. Ainda
que a produção de dados etnográficos para a compreensão do contexto dos povos
indígenas frente à implementação dessa política pública tenha tido o objetivo de
lançar luz sobre os possíveis problemas enfrentados por populações mais vulneráveis
31. O sentido strictu sensu de evidência pode ser entendido aqui como aquele que aponta as causas e os efeitos de
determinada situação. No sentido lato sensu, as evidências podem trazer informações de variados matizes, as quais
concorrem, juntas, para a compreensão dos efeitos de dada situação.
no acesso ao PBF, os resultados apresentados causaram grande desconforto no alto

escalão do MDS, diante da falta de soluções imediatas para as questões expostas.
A complexidade dos problemas referentes à implementação da política (policy
problems) gerou ansiedade tanto em gestores – os quais respondiam pelos erros e
sucessos da política – quanto em técnicos, os quais, por sua vez, eram instados pelas
suas chefias a explicar, resumir, compilar, tabelar, isto é, a tratar os dados de modo que
eles se tornassem compreensíveis para a linguagem da administração pública, com
as indicações de possíveis soluções para enfrentar esses problemas. Considerando
a divisão de atribuições entre as secretarias do MDS, e seus papéis diferenciados
na gestão do PBF, foi tentado isolar nos relatórios o que era de responsabilidade
de cada um desses setores, de forma a dividir a apuração das informações e situa-
ções expostas. Essa situação acabou por criar entre os avaliadores da pesquisa uma
sensação de que não haveria soluções para os problemas apresentados, visto que
as áreas só conseguiriam propor soluções às partes que lhes cabiam se essas fossem
pensadas em conjunto com as demais áreas e setores governamentais, cada qual com
responsabilidades e competências sobre diferentes aspectos das questões levantadas.
A partir do contexto de formulação e produção desta pesquisa, consegui-
mos observar que não só os dados etnográficos per se podem ser tratados como
evidências, mas também o próprio processo de produção e interpretação desses
dados, ao demonstrarmos como as decisões políticas e a forma como se organizam
e se dividem as funções na administração pública podem influenciar os rumos
das políticas (Cairney, 2016, p. 6). Assim, a questão epistemológica que assume
o centro do debate diz respeito ao enquadramento dos problemas expostos em
contextos de produção de evidências (problem framing), de forma que eles pos-
sam ser compreendidos pelas áreas responsáveis por solucioná-los. Ao trazer à luz
alguns pontos sensíveis da atuação pública, os quais precisam ser corrigidos para
que os anseios da população sejam satisfeitos, as evidências têm o papel de indicar
não só os nós das políticas analisadas, mas também apontar quem tem o papel de
solucioná-los, diante da natureza dos fatos apresentados. Dependendo do interesse
ou da capacidade da área responsável para buscar soluções diante de evidências
que apontam problemas em seu campo de atuação, sobressai-se o poder político
de decidir sobre ignorar ou dar atenção às evidências produzidas (Cairney, 2016),
no sentido de usá-las – ou não – como conhecimento para oportunizar mudanças
ou melhorias nos rumos das políticas públicas.
Segundo Cairney (2016), ao considerarmos o uso de evidências nos estudos
de políticas públicas (policy studies), alguns conceitos-chave imbuídos nesse tipo
de estudo se fazem presentes como objetos de análise: o papel das instituições, que
impõem regras e normas de conduta a serem seguidas; as ideias ou crenças que nos
ajudam a definir os problemas das políticas e suas possíveis soluções; as redes nas
quais se inserem gestores, técnicos e sociedade civil, e se relacionam os policymakers

e os participantes e usuários das políticas; o contexto o qual se desenrola a produção
de evidências; e os eventos – antecipadamente previstos ou não –, os quais podem
alterar as condições em que as decisões são tomadas. No caso estudado, podemos ver
que as principais instituições envolvidas traziam ao contexto de produção e análise
das evidências tanto o seu modus operandi, externalizado nas regras e normas como
são conduzidas, como também a sua forma de organização e divisão de atribuições
internas, as quais ditam as possibilidades de tratamento das informações obtidas
pelos estudos etnográficos. Assim, caso um dado trazido não se relacione com as
atribuições de nenhum dos setores envolvidos, ele poderia ser descartado da análise,
ou mesmo levado a outra área governamental – fora do âmbito institucional em
que foram produzidos – que tivesse competência para tratá-los.
Além do mais, um evento não antecipado – como o impeachment da então
presidente do país – ocasionou uma mudança nas condições em que as decisões sobre
os rumos da pesquisa estavam sendo tomadas; essa mudança de gestão, ainda que
não tenha encerrado o processo de avaliação ministerial das evidências etnográficas
sobre o PBF entre os povos indígenas, colocou um freio nesse processo, diante da
urgência de novas demandas e situações que necessitavam de atenção imediata. O
cumprimento da agenda prevista pela pesquisa, que contava com a realização de
ações devolutivas, ainda que tenha sido realizada na gestão posterior, foi vista mais
como uma obrigação de agenda a ser cumprida, do que como uma possibilidade
real de construir, junto com as comunidades estudadas e a partir da apresentação
dos resultados da pesquisa, soluções reais e práticas aos problemas apresentados.
Não obstante, mesmo com todos os desafios enfrentados ao longo do de-
senvolvimento dessa pesquisa, que trouxe ao governo federal o conhecimento da
vivência de beneficiários indígenas do PBF, e ainda que se tenha a impressão de
que foi perdida uma oportunidade de se implementar mudanças nas políticas
que responderiam aos anseios dessa população, o maior ganho com a realização
dos Estudos etnográficos foi o próprio processo de aprendizado da administração
pública de se pensar, idealizar, formular, analisar e coordenar a produção de dados
etnográficos para a avaliação de um programa social. Esse aprendizado, relatado
neste estudo e em outros trabalhos científicos que pretendem avaliar a atuação
pública frente à necessidade de dar resposta às evidências acerca das políticas
governamentais (Robert, 2020; Bichir, 2011; Bachtold, 2017; Coutinho, 2013),
servem para elucidar não só a capacidade estatal de dar respostas aos problemas
apresentados, mas também o próprio processo de enquadramento de problemas
sociais e produção de políticas públicas.
REFERÊNCIAS
BACHTOLD, I. V. Quando o Estado encontra suas margens: considerações
etnográficas sobre um mutirão da estratégia de busca ativa no estado do Pará.
Horizontes Antropológicos, v. 46, p. 273-301, 2016.
______. Precisamos encontrá-los! Etnografia dos números do Cadastro Único
e dos cruzamentos de base de dados do governo federal brasileiro. 2017. 167 f.,
il. Dissertação (Mestrado em Antropologia Social) – Universidade de Brasília,
Brasília, 2017.
BENNETT, J. W. Applied and action anthropology: ideological and conceptual
aspects. Current anthropology, v. 37, n. S1, p. S23-S53, 1996.
BEVILAQUA, C.; LEIRNER, P. D. C. Notas sobre a análise antropológica de
setores do Estado brasileiro. Revista de Antropologia, v. 43, n. 2, p. 105-140, 2000.
BICHIR, R. Novas agendas, novos desafios reflexões sobre as relações entre trans-
ferência de renda e assistência social no Brasil. Novos estudos Cebrap, v. 35,
n. 1, p. 111-136, 2016.
BRASIL. Decreto no 6.040, de 7 de fevereiro de 2007. Institui a Política Nacional
de Desenvolvimento Sustentável dos Povos e Comunidades Tradicionais. Diário
Oficial da União, Brasília, 8 fev. 2007. Disponível em: <https://bit.ly/3EJkvd1>.
______. Ministério do Desenvolvimento Social. Estudos etnográficos sobre o
Programa Bolsa Família entre povos indígenas. Sumário executivo. Brasília:
MDS, 2015. Disponível em: <https://bit.ly/2XMCpL2>. Acesso em: maio 2021.
_______. Ministério do Desenvolvimento Social. Estudos etnográficos sobre o
Programa Bolsa Família entre povos indígenas. Relatório final. Brasília: MDS,
2016. Disponível em <https://bit.ly/39rt11J>. Acesso em: maio 2021.
______. Secretaria Nacional de Assistência Social. Trabalho social com famílias
indígenas na proteção social básica. Brasília: MDS, 2017.
_______. Ministério do Desenvolvimento Social. Secretaria de Avaliação e Ges-
tão da Informação. Devolutivas dos estudos etnográficos sobre o Programa Bolsa
Família entre povos indígenas: um olhar focalizado em políticas sociais. Caderno
de Estudos Desenvolvimento Social em Debate, Brasília, v. 32, 2018.
______. Relatório sobre as oficinas devolutivas da pesquisa: estudos etnográfi-
cos sobre o Programa Bolsa Família entre povos indígenas. Brasília: Ministério da
Cidadania, 2019. Disponível em: <https://bit.ly/3Ay3Vu5>.
CAIRNEY, P. The politics of evidence-based policy making. Springer, 2016.

CAPRARA, A.; LANDIM, L. P. Etnografia: uso, potencialidades e limites na
pesquisa em saúde. Interface-Comunicação, Saúde, Educação, v. 12, n. 25,
p. 363-376, 2008.
CASTELLANO, M. Q. Estado, políticas e agenciamentos sociais em saúde: et-
nografias comparadas. Aceno – Revista de Antropologia do Centro-Oeste, v. 6,
n. 12, p. 305-308, 2019.
COSTA, P. V.; FALCÃO, T. Coordenação intersetorial das ações do Plano Brasil
sem Miséria. In: CAMPELLO, T.; FALCÃO, T.; COSTA, P. V. (Org.). O Brasil
sem miséria. Brasília: MDS, 2014. p. 158-171.
COUTINHO, D. R. Capacidades estatais no Programa Bolsa Família: o desafio
de consolidação do Sistema Único de Assistência Social. Rio de Janeiro: Ipea, 2013.
(Texto para Discussão, n. 1852).
DIXON-WOODS, M. What can ethnography do for quality and safety in health
care? BMJ Quality & Safety, v. 12, n. 5, p. 326-327, 2003.
DUBOIS, V. Critical policy ethnography. In: Handbook of critical policy studies.
Mexico: Edward Elgar Publishing, 2015.
ELLIS, C.; ADAMS, T. E.; BOCHNER, A. P. Autoethnography: an overview.
Historical social research/Historische sozialforschung, p. 273-290, 2011.
FALCÃO, T.; COSTA, P. V. da. Brazil without extreme poverty: new perspectives
for brazilian social protection. International Policy Centre for Inclusive Growth,
n. 301, Aug. 2015.
FAULHABER, P. Etnografia e tradução cultural em antropologia. Bol. Mus. Para.
Emílio Goeldi. Ciênc. hum., Belém, v. 3, n. 1, abr. 2008.
FAVILLA, K. C. Encontros neocoloniais: o Estado brasileiro e os povos e co-
munidades tradicionais. 2017. 184 f. Dissertação (Mestrado Profissional em Sus-
tentabilidade junto a Povos e Territórios Tradicionais) – Universidade de Brasília,
Brasília, 2017.
FERRAREZI, E.; JANNUZZI, P.; MONTAGNER, P. Trajetória e desenvolvi-
mento institucional da Sagi/MDS (2004-2015). Sagi: informação e conhecimento
para políticas de desenvolvimento social. Brasília: Sagi, 2016. p. 16-53.
FLEISCHER, S. Segurar, caminhar e falar: notas etnográficas sobre a experiência
de uma “mãe de micro” no Recife/PE. Cadernos de Gênero e Diversidade, v. 3,
n. 2, 2017.
FREIRE, L. D. L.; SOUZA, M. D. D. Trocando o pneu com o carro andando:

uma etnografia do processo de intervenção do Programa de Aceleração do Cres-
cimento (PAC) no Complexo de Manguinhos. Rio de Janeiro: Casa de Oswaldo
Cruz, 2010.
GUSSI, A. F.; OLIVEIRA, B. R. D. Políticas públicas e outra perspectiva de avalia-
ção: uma abordagem antropológica. Desenvolvimento em debate, v. 4, n. 1, 2016.
HELM, C. M. V. A etnografia, a perícia e o laudo antropológico nos processos
judiciais. Cadernos da Escola de Direito, v. 3, n. 16, 2011.
HOWLETT, M.; MUKHERJEE, I. (Ed.). Routledge handbook of policy de-
sign. Routledge, 2018.
JARDIM, J. G. O uso da etnografia na pesquisa em educação. In: CONGRES-
SO NACIONAL DE EDUCAÇÃO EDUCERE, 11., 2013, Curitiba. Anais...
Curitiba: Pontifícia Universidade Católica do Paraná, 2013.
LEIRNER, P. D. C. Meia-volta, volver: um estudo antropológico sobre a hierar-
quia militar. Rio de Janeiro: Editora FGV, 1997. p. 71-111.
______. As políticas públicas segundo a antropologia. In: MARQUES, E.; FARIA,
C. A. P. (Ed.). A política pública como campo multidisciplinar. Rio de Janeiro:
Fiocruz Scielo-Editora, 2013.
MACHADO, L. Z.; MOTTA, A.; FACCHINI, R. Quem tem medo dos antropó-
logos (as)? Práticas científicas em novos cenários políticos. Revista de Antropologia,
v. 61, n. 1, p. 9-32, 2018.
MAIO, M. C. O projeto UNESCO e a agenda das ciências sociais no Brasil dos
anos 40 e 50. Revista Brasileira de Ciências Sociais, v. 14, n. 41, p. 141-158,
1999. Disponível em: <https://bit.ly/3CzwRCy>.
MAIO, M. C.; OLIVEIRA, N. da S. Estudos de comunidade e ciências sociais no
Brasil. Revista Sociedade e Estado, v. 26, n. 3, set.-dez. 2011.
MARSTON, G.; WATTS, R. Tampering with the evidence: a critical appraisal
of evidence-based policy-making. The drawing board: An Australian review of
public affairs, v. 3, n. 3, 143-163, 2003.
MASO, I. Phenomenology and ethnography. In: ATKINSON, P. et al. (Ed.). The
sage handbook of ethnography. California: Sage Publications, 2001. p. 136-144.
MALUF, S. W.; ANDRADE, A. P. M. Entre políticas públicas e experiências so-
ciais: impactos da pesquisa etnográfica no campo da saúde mental e suas múltiplas
devoluções. Saúde Soc., São Paulo, v. 26, n. 1, p. 171-182, 2017.
MATTOS, C. L. G. Estudos etnográficos da educação: uma revisão de tendências

no Brasil. In: MATTOS, C. L. G.; CASTRO, P. A. (Org.). Etnografia e educação:
conceitos e usos. Campina Grande: EDUEPB, 2011. p. 25-48.
MINAYO, M. C. D. S. Abordagem antropológica para avaliação de políticas
sociais. Revista de Saúde Pública, v. 25, p. 233-238, 1991.
MOSSE, D. Anti‐social anthropology? Objectivity, objection, and the ethnography
of public policy and professional communities. Journal of the Royal Anthropo-
logical Institute, v. 12, n. 4, p. 935-956, 2006.
NADER, L. Up the anthropologist: perspectives gained from studying up. 1972.
NOGUEIRA, O. Preconceito racial de marca e preconceito racial de origem: su-
gestão de um quadro de referência para a interpretação do material sobre relações
raciais no Brasil. Tempo Social, Revista de Sociologia da USP, v. 19, n. 1, 2007.
_______. Os estudos de comunidade no Brasil. RBSE Revista Brasileira de
Sociologia da Emoção, v. 17, n. 50, p. 125-135, ago. 2018.
OLIVEIRA, A. Etnografia e pesquisa educacional: por uma descrição densa da
educação. Educação Unisinos, v. 17, n. 3, p. 271-280, 2013.
OLIVEIRA, V. E.; LOTTA, G. De qual burocracia as políticas públicas inter-
setoriais e federativas precisam? Análise das competências requeridas à atuação
dos gestores do Programa Bolsa Família. Brasília: Enap, 2017.
OLIVEIRA, V. E.; LOTTA, G. S.; FREITAS, M. N. Desafios da implementação
de uma política intersetorial e federativa: as burocracias de médio escalão do Pro-
grama Bolsa Família. Revista do Serviço Público, v. 70, n. 3, p. 458-485, 2019.
OIT – ORGANIZAÇÃO INTERNACIONAL DO TRABALHO. Convenção
sobre povos indígenas e tribais no 169. Genebra, jun. 1989.
PACHECO-VEGA, R. Ethnography as a method for comparative public policy
analysis: premises, promises and perils. In: PETERS, G.; FONTAINE, G. (Ed.).
Handbook of methods for comparative policy analysis. Mexico: Edward Elgar
Publishing Ltd, 2020. p. 312-332.
PEIRANO, M. Antropologia política, ciência política, e antropologia da política.
Série Antropologia, Três ensaios breves, 1997.
_____. Etnografia não é método. Horizontes antropológicos, v. 42, p. 377-391,
2014.
PEREIRA, T. J. E. Dinheiro e moralidade no Bolsa Família: uma perspectiva
etnográfica. 2013.
PINHEIRO, M. M. S. Políticas públicas baseadas em evidências: uma avaliação

crítica. In: PINHEIRO, M. M. S. et al. Boletim de Análise Político-Institucional:
usos de evidências em políticas públicas federais, Rio de Janeiro, n. 24, 2020.
PIRES, R. R. C. Métodos qualitativos de avaliação e suas contribuições para
aprimoramento de políticas públicas. In: CARDOSO, JR. (Coord.). Brasil em
Desenvolvimento: estado, planejamento e políticas públicas, v. 3, seção VIII, 2010.
______. Implementando desigualdades: reprodução de desigualdades na imple-
mentação de políticas públicas. Rio de Janeiro: Ipea, 2019.
REGO, A. G. D. O trabalho do antropólogo no Ministério Público Federal
e outras considerações sobre a articulação entre o direito e a antropologia.
2007. Dissertação (Mestrado em Antropologia Social) – Universidade de Brasília,
Brasília, 2007.
RHODES, R. A. Genre blurring and public administration: what can we learn
from ethnography? Australian Journal of Public Administration, v. 73, n. 3,
p. 317-330, 2014.
ROCHA, A. L. C. D.; ECKERT, C. Etnografia: saberes e práticas. Iluminuras:
série de publicações eletrônicas do banco de imagens e efeitos visuais, LAS, PPGAS,
IFCH e Ilea. Porto Alegre: UFRGS, 2008. 23 p.
RODRIGUES, L. C. Etnografia na avaliação de políticas públicas: limites e pos-
sibilidades. Política & Trabalho, v. 47, p. 245, 2017.
ROBERT, R. R. A coordenação da política indigenista do Estado brasileiro:
uma análise do Programa Bolsa Família. 2020. Dissertação (Mestrado) – Escola
Nacional de Administração Pública (Enap), 2020.
SAVAGE, J. Ethnographic evidence: the value of applied ethnography in healthcare.
Journal of Research in Nursing. Sage Publications, v. 11, n. 5, p. 383-393, 2006.
SOUZA LIMA, A. C.; CASTRO, J. P. M. Política(s) pública(s). Raça: perspectivas
antropológicas. Salvador: ABA/EDUFBA, 2008, p. 141-193.
SOUZA LIMA, A. C.; MACEDO, J. P. Notas para uma abordagem antropológica
da(s) política(s) pública(s). Revista Anthropológicas, v. 26, n. 2, 2015.
SPIESS, M. A. Relações entre antropologia e políticas públicas no Brasil: uma
análise a partir da institucionalização do campo de pesquisa. Perspectivas em
Políticas Públicas, v. 9, n. 1, p. 169-191, 2016.
STEVENS, A. Telling policy stories: an ethnographic study of the use of evidence in
policy-making in the UK. Journal of Social Policy, v. 40, n. 2, p. 237-256, 2011.
TEIXEIRA, C. C.; LOBO, A. D. S. Pesquisa como função de Estado? Reflexões

etnográficas sobre uma instituição in between. Mana, v. 24, n. 2, p. 235-277, 2018.
VELHO, G. Observando o familiar. In: NUNES, E. de O. A aventura socioló-
gica: objetividade, paixão, improviso e método na pesquisa social. Rio de Janeiro:
Zahar, 1978. p. 1-13.
VEDUNG, E. Side effects, perverse effects and other strange effects of public
interventions. In: SVENSSON, L.; BRULIN, G.; JANSSON, S.; SJÖBERG, K.
(Ed.). Capturing effects of projects and programmes. Lund: Studentlitteratur,
2013. p. 35-62.
WRIGHT, S. (Ed.). The anthropology of organizations. Routledge, 2004.
CAPÍTULO 8
EM BUSCA DO PADRÃO-OURO? O PERCURSO HISTÓRICO DO

USO DE EXPERIMENTOS NA AVALIAÇÃO DE POLÍTICAS SOCIAIS1
Luciana de Souza Leão2
Gil Eyal3
1 INTRODUÇÃO
Poucas coisas moldaram o campo da avaliação de políticas sociais de forma tão
significativa quanto o uso de métodos de avaliação experimentais, também conhe-
cidos como métodos de avaliação de impacto randomizados (randomized control-
led trials – RCTs), nas últimas duas décadas. Inicialmente utilizada por poucos
pesquisadores, o número de avaliações dessa natureza cresceu exponencialmente
nos últimos anos. Quando o Abdul Latif Jameel Poverty Action Lab (J-PAL),
laboratório de pobreza no Instituto de Tecnologia de Massachusetts (MIT – Mas-
sachusetts Institute of Technology), voltado a ações de combate à pobreza por meio
de RCTs, foi fundado, em 2003, sua equipe era formada por quatro professores
afiliados, os quais conduziam 33 projetos. Em 2017, o laboratório contava com
161 professores afiliados, envolvidos em 902 projetos de avaliação de políticas so-
ciais em 72 países, incluindo cinco professores no Brasil. O recente Prêmio Nobel
de 2019 dado aos fundadores do J-PAL – conhecidos como randomistas (Deaton,
2006) – demonstra a proeminência dos RCTs. Na fala de uma das lideranças do
J-PAL, Esther Duflo: “[RCT] tornou-se uma marca (...) tanto na academia como
em outras organizações” (Parker, 2010, tradução nossa).
Mas qual a explicação para o crescimento dos RCTs na avaliação de políticas
sociais? Segundo os randomistas, esse fenômeno se dá pelos méritos intrínsecos do
método. Eles comparam as avaliações randomizadas aos testes clínicos em medicina,
sugerindo que o sucesso dos RCTs se deve ao fato de compartilhar o status de padrão-
-ouro dos testes clínicos na hierarquia de evidências: “Não é mais a Idade Média,
é o século 21 (...). Os RCTs revolucionaram a medicina ao permitir a distinção
entre drogas que funcionam e drogas que não funcionam. O mesmo tipo de teste
randomizado pode ser aplicado a política social” (Duflo, 2010, tradução nossa).
1. Este capítulo é uma versão modificada e traduzida do nosso artigo, intitulado The rise of randomized controlled trials in
international development in historical perspective, publicado na revista Theory and Society (de Souza Leão e Eyal, 2019).
2. Professora do Departamento de Sociologia da Universidade de Michigan. E-mail: <lsleao@umich.edu>.
3. Professor do Departamento de Sociologia da Universidade de Columbia. E-mail: <ge2027@columbia.edu>.
No entanto, essa não é uma explicação convincente e não precisamos nos deter
muito tempo com ela. Os econometristas têm questionado, e de forma bastante
convincente, a alegação de que os RCTs produzem evidências melhores e mais sólidas
do que outros métodos (Rodrik, 2006; Deaton e Cartwright, 2016). Tal ceticismo
é corroborado por evidências de que os próprios testes experimentais na medicina
estão sujeitos a inúmeras deficiências metodológicas (Demortain, 2011, p. 53-57),
bem como pelo fato de que aspectos políticos tiveram um papel fundamental na
adoção das RCTs médicas (Carpenter, 2010; Marks, 1997). As objeções apontadas
estão alinhadas à noção básica dos estudos sobre ciência e tecnologia (Science and
Technology Studies – STS) de que o sucesso de uma inovação científica não pode
ser explicado a partir de sua presumida superioridade sobre outras, uma vez que
tal superioridade não é ainda evidente nas primeiras fases de sua adoção. Assim,
trata-se de uma primazia que se atribui somente após o fenômeno ocorrido, ou
seja, representa uma versão da falácia retrospectiva. Seguindo o insight básico do
campo do STS, para explicar sucesso científico, é preciso examinar as estratégias
retóricas e políticas pelas quais os defensores dessas inovações recrutam aliados e
convencem o público de que houve tal superioridade (Latour, 1987; Pinch e Bijker,
1984; Barnes, Bloor e Henry, 1996).
Há ainda outro problema com a explicação oferecida pelos randomistas. Em-
bora o burburinho em torno dos RCTs tenha ocorrido seguramente a partir dos
anos 2000, a suposição de que a abordagem experimental é nova nos campos da
avaliação de políticas sociais e da ajuda ao desenvolvimento internacional está in-
correta. Na realidade, observa-se atualmente uma segunda onda de RCTs no campo
da ajuda ao desenvolvimento internacional, sendo que houve uma primeira onda
de experimentos nas áreas de planejamento familiar, saúde pública e educação em
países em desenvolvimento iniciada na década de 1960 e encerrada no início dos
anos 1980. A sequência da primeira e da segunda ondas pode ser estudada como
casos de “reiterada resolução de problemas” (Haydu, 1998, tradução nossa) em que,
em vez de perguntar: “por que os RCTs estão aumentando agora?”, perguntamos:
“por que os RCTs não foram disseminados da mesma forma na década de 1970 e
por que foram descontinuados?” Em outras palavras, a maneira como explicamos
o sucesso da segunda onda deve ser consistente com a maneira como explicamos o
fracasso da primeira.
Neste capítulo, baseamo-nos na análise de conteúdo de 123 RCTs e em
fontes secundárias sobre avaliações experimentais de políticas sociais – detalhes
sobre os dados e a estratégia empírica podem ser encontrados em de Souza Leão
e Eyal (2019) – para demonstrar que a recente adoção generalizada de RCTs não
se deve a seus méritos técnicos inerentes ou exclusivamente a estratégias retóricas
e organizacionais de seus propositores. A adoção generalizada de RCTs reflete a
capacidade dos randomistas de superar a resistência política à randomização de polí-
Em Busca do Padrão-Ouro? O percurso histórico do uso de experimentos na | 287
avaliação de políticas sociais
ticas sociais que prejudicou a primeira onda. Além desta introdução, este capítulo
está dividido em mais quatro seções. A seção 2 apresenta os referenciais teóricos
adotados. A seção 3 parte para a análise histórica comparativa das duas ondas em
que os RCTs foram usados para avaliar projetos de desenvolvimento internacio-
nal. A seção 4 explica os processos políticos e históricos que permitiram que esse
tipo de avaliação experimental fosse bem-sucedida nos anos 2000, ao contrário
do ocorrido nos anos 1960 e 1970. Embora o foco deste capítulo seja o uso de
RCTs nos campos da ajuda ao desenvolvimento internacional e das ciências eco-
nômicas, o arcabouço teórico adotado aqui é útil para revelar mecanismos mais
amplos que visam unir as ciências sociais e a política pública. Na conclusão, seção
5, demonstramos como essa estrutura conceitual oferece insights para entender a
política contemporânea de hierarquia de evidências no Brasil.
2 REFERENCIAL TEÓRICO: RCTS COMO UMA “DOBRADIÇA” ENTRE CAMPOS

SOCIAIS
Para comparar o uso de experimentos nas duas ondas mencionadas anteriormente,
deve-se primeiro identificar o problema comum enfrentado pelos cientistas so-
ciais e atores políticos nesses dois momentos históricos: como transformar a ajuda
internacional em uma ciência do desenvolvimento? Considerando que o campo da
cooperação e ajuda internacional diz respeito a alocação de recursos escassos, as
decisões tomadas por doadores e formuladores de políticas precisam ser legitimadas.
Isso pode ser feito por meio do recrutamento de especialistas do meio acadêmico,
cuja assessoria serve para neutralizar críticas e fazer com que tais decisões sejam
reconhecidas como eficazes e racionais. Os acadêmicos, por sua vez, também têm
a ganhar com essa relação, uma vez que conquistam influência política e recursos
materiais. No entanto, os interesses envolvidos, per se, não são suficientes para
estimular essa parceria e construir essa ciência do desenvolvimento. A assessoria de
acadêmicos especializados pode ser facilmente criticada como subjetiva, tendenciosa
e desvinculada das particularidades do mundo real, enquanto a pesquisa voltada
a informar políticas públicas é frequentemente vista como abaixo dos padrões de
rigor científico.
Esse problema é uma subcategoria de uma questão mais geral sobre como
campos sociais distintos se tornam fortemente conectados mesmo quando gover-
nados por lógicas conflitantes. Essa também é uma questão central em qualquer
investigação sociológica sobre geração de conhecimento voltada a informar a
política pública. Dado que o campo acadêmico é regido por uma lógica e por um
conjunto de incentivos distintos, criar um vínculo duradouro, conectando-o com
o campo da ajuda ao desenvolvimento e com outras áreas de política pública –
que são orientadas por aspectos mais práticos e políticos –, é assumir uma tarefa
delicada e arriscada, capaz de ser levada a cabo somente em condições bastante

específicas (Murray, 2010).
Esse desafio pode ajudar a explicar a preferência por RCTs em ambas as on-
das. Como uma forma de “objetividade mecânica (...) baseada completamente em
regras explícitas”, em vez de fundamentadas no julgamento de especialistas (Porter,
1995, p. 6-8, tradução nossa), os RCTs são adotados para acabar com as suspeitas
de subjetividade e preconceito, ao mesmo tempo que parecem aderir aos mais altos
padrões de rigor científico. Portanto, são aparentemente capazes de fazer a ponte
entre as lógicas e demandas conflitantes da ajuda ao desenvolvimento e dos campos
acadêmicos. Para Banerjee (2007, p. 115-116, tradução nossa), uma das lideranças
do J-PAL, “a beleza das avaliações de impacto randomizadas é que os resultados são
o que são: comparamos os resultados obtidos nos grupos de tratamento e controle,
observamos se são diferentes e, em caso afirmativo, quão diferentes eles são”. Ao
dizer que os resultados são o que são, Banerjee quer dizer que não há viés, que os
resultados são independentes de quaisquer suposições subjetivas e, portanto, são
academicamente rigorosos e legítimos do ponto de vista dos atores no campo da
ajuda ao desenvolvimento.
Porém, se considerada meramente como uma estratégia retórica, a objetivi-
dade mecânica dos RCTs deveria ter funcionado de forma semelhante em ambas
as ondas. Para explicar por qual razão essa objetividade falhou na primeira onda
e é bem-sucedida na segunda, precisamos adotar uma forma diferente de pensar
sobre como campos sociais se tornam fortemente conectados. Abbott (2005) oferece
uma abordagem direta a essa questão ao apresentar o conceito de “hinge” (o qual
traduzimos para “dobradiça”). O autor sugere que ecologias ou campos sociais
podem se conectar uns aos outros por meio do que ele chama de “dobradiças”, ou
seja, “questões que oferecem (...) dupla recompensa”, “estratégias [competitivas]
que funcionam bem em ambas as ecologias”, permitindo assim uma aliança entre
atores que permeia as fronteiras dos seus distintos campos (Abbott, 2005, p. 255,
tradução nossa).
A metáfora da “dobradiça” é importante para nós, pois ela enfatiza que, para
que haja conexão entre campos sociais distintos, é necessário que se construa um
mecanismo. Uma estratégia retórica não seria suficiente. Uma “dobradiça” é um
dispositivo com diferentes partes que devem “ficar juntas” para que o mecanismo
funcione. É como uma rede de expertise que conecta os atores para que realizem
alguma tarefa que permeie os limites estabelecidos entre os campos (Eyal, 2013).
Para que os RCTs funcionem como uma “dobradiça”, deve haver uma randomização
de beneficiários de uma política em grupos de controle ou tratamento. É dessa forma
que se removem potenciais preconcepções e que se certificam os resultados como
rigorosos e de acordo com padrões científicos. É assim também que os resultados
gerados pelos RCTs sobre as políticas avaliadas inspiram confiança entre tomadores
de decisão e doadores. No entanto, não é nada simples aleatoriamente alocar os
indivíduos em um grupo de controle (sem receber nenhum tipo de intervenção),
como pode-se observar na contestada história dos testes clínicos na medicina (Car-
penter, 2010). Como as intervenções no campo do desenvolvimento internacional
necessariamente envolvem alguma forma de assistência social, qualquer tentativa
de alocar pessoas aleatoriamente em um grupo de controle sem receber nenhum
benefício incorre em forte resistência política dos participantes, da burocracia
responsável pela implementação e dos políticos. Como fazer com que as pessoas
participem de tal experimento por conta própria, sem a certeza de que teriam
algum ganho com isso?
Para Gueron (2017, p. 5, tradução nossa), essa situação torna os RCTs uma
metodologia avaliativa “difícil de vender”: “por que um político ou administrador
arriscaria uma publicidade adversa, um potencial processo judicial, resistências
burocráticas ou mesmo uma revolta da equipe?” A tentativa de implementar RCTs
no campo do desenvolvimento internacional, portanto, só teria algum sucesso em
condições muito especiais. A tensão entre as diferentes lógicas na academia – na
qual o RCT é considerado uma “intervenção” sujeita a avaliação – e no campo
da ajuda ao desenvolvimento – no qual esse tipo de avaliação experimental pode
ser interpretado como uma forma de “assistência” para um grupo em detrimento
de outro (Rayzberg, 2019) – torna extremamente difícil a construção de uma
“dobradiça” que seja operacional. Na seção 3 deste capítulo, mostramos que as
diferenças na composição da rede de expertise necessária para realizar RCTs e
nas características dos projetos avaliados explicam, em grande parte, por que os
RCTs não funcionaram como uma “dobradiça” na primeira onda e por que foram
descontinuados: porque suas vantagens foram superadas pela resistência política
à alocação randomizada dos indivíduos em grupos de tratamento ou controle.
A abordagem de Abbott (2005), no entanto, apresenta limitações no que diz
respeito ao porquê e como surgem as “dobradiças”. Dadas as tensões entre os dois
campos sociais, as razões para os atores tentarem construir uma “dobradiça” não
são evidentes. Esse ponto pode ser melhor explorado a partir da abordagem praxe-
ológica de Bourdieu (1977), com seu conceito de homologias. Nessa perspectiva,
a construção bem-sucedida de “dobradiças” não é o resultado de uma estratégia
formulada conscientemente (ou até oportunistamente), mas de predisposições e
esquemas perceptivos compartilhados por atores em diferentes campos sociais.
As percepções dos atores sobre seus interesses são moldadas em base a estrutura
relacional e disputas por capital nos campos em que atuam, enquanto a homolo-
gia entre essas estruturas relacionais atua para criar afinidades eletivas permeando
fronteiras e aproximando atores. Assim, a seção 3 complementa o conceito de
“dobradiça” com uma análise das homologias que aproximaram os campos das
ciências econômicas e do desenvolvimento internacional.
A seguir, ilustramos a utilidade desse arcabouço teórico para explicar o atual
apelo para que os RCTs sejam considerados como o padrão-ouro da avaliação de
políticas sociais. Começamos apresentando as características das redes de especia-
listas envolvidos no uso de RCTs nos dois períodos históricos.
3 UMA COMPARAÇÃO ENTRE AS DUAS ONDAS DE RCTS

Em ambas as ondas, cientista sociais se propuseram a adotar RCTs e convencer
públicos relevantes de que o método experimental transformaria a ajuda interna-
cional em uma ciência do desenvolvimento. Embora esse esforço tenha falhado na
primeira onda e os RCTs tenham sido substituídos por outros métodos de avaliação,
parece que houve sucesso na segunda – considerando a observação do fenômeno
a partir de uma visão atual, em 2021. Nesta seção, analisamos as diferenças entre
as duas ondas na tentativa de explicar por que houve sucesso na segunda e não na
primeira. A análise considerou duas dimensões: i) a composição da rede de expertise
necessária para realizar os RCTs; e ii) as características dos projetos avaliados. De
acordo com o referencial teórico aqui apresentado, enfatiza-se dois fatores que ex-
plicam por que a resistência política à alocação aleatória dos indivíduos em grupos
de controle ou tratamento é menos significativa na segunda onda (permitindo
inclusive que os RCTs funcionem como uma “dobradiça” entre os campos) do
que foi na primeira. Em primeiro lugar, embora o prestígio dos economistas da
segunda onda (e os recursos que possuem para conduzir suas atividades) e o aco-
plamento muito mais forte da rede que construíram ajudem a explicar o resultado
final, a principal diferença parece ser a aliança estratégica desses economistas com
fundações privadas, enquanto na primeira onda os pesquisadores contavam com
a atuação das agências governamentais. Em segundo lugar, a duração mais curta
e o escopo limitado dos RCTs da segunda onda – contrastando com os RCTs na
primeira, que avaliavam programas de longo prazo e larga escala – também ajudam
a explicar a menor resistência à alocação aleatória dos indivíduos.
3.1 Quem: os participantes da rede de expertise em RCTs

A principal diferença na composição das redes de expertise (Eyal, 2013) envolvidas
em RCTs está nas disciplinas às quais os principais pesquisadores estão afiliados. A
tabela 1 mostra as disciplinas dos autores de artigos/relatórios que compõem nossas
amostras de RCTs conduzidos na primeira e segunda ondas. Embora economistas
predominem entre os autores da segunda onda (80%), não identificamos economia
entre as disciplinas de especialização dos 76 autores da amostra referente à primeira
onda. Observamos que cerca de 20% desses 76 têm formação em ciências sociais
ou disciplinas afiliadas (psicologia, sociologia, estudos populacionais e estatística),
com um grupo ainda maior (30%) proveniente da área de saúde pública (médicos,
epidemiologistas etc.). A tabela 1 também lista um grupo menor (18,3%), que se
refere a funcionários de organizações internacionais cuja afiliação disciplinar não
foi identificada. As lideranças na segunda onda, portanto, demonstram maior
coesão e autonomia. Isso é importante quando se considera a negociação com fi-
nanciadores, a busca por recursos e manutenção de um controle rígido sobre outras
partes envolvidas, bem como a capacidade de converter o trabalho relacionado a
políticas públicas em capital acadêmico e científico.
TABELA 1
Disciplinas às quais os autores das duas ondas de RCTs estão afiliados
(Em %)
Primeira onda1 Segunda onda2
Economia 0 80,1
Outras ciências sociais 18,3 6,4
Saúde pública e medicina 29,8 4
Equipe de campo, disciplina desconhecida 3

18,3 0,5
Negócios e finanças 0 4,5
Matemática e estatística 2,9 0
Outras 3,9 1,5
Não identificadas 26,8 3

Notas: 1 Com base em uma amostra de 104 autores de 55 estudos.
2
Com base em uma amostra de 202 autores de 63 estudos.
3
Equipe de fundações, organizações da sociedade civil, governos.
Avaliações experimentais, entretanto, não são conduzidas apenas por pes-

quisadores seniores. Embora esses autores sejam a personificação das avaliações, o
RCT é produto da rede de expertise descrita a seguir. Um esforço organizacional
complexo é necessário para coordenar as atividades de várias partes envolvidas e, o
mais importante, para controlar o grupo de controle e evitar atritos. Esse esforço
se torna ainda mais complexo pelo fato de que esses RCTs são implementados em
áreas remotas de países em desenvolvimento, na ausência de dados administrativos
disponíveis em países mais desenvolvidos e tendo que negociar barreiras culturais e
linguísticas (de Souza Leão, 2020). A seguir, comparamos as duas ondas em relação
aos componentes necessários em tal rede de expertise: i) centro de coordenação; ii)
equipe de campo; iii) parceiros de implementação; e iv) financiadores.
O centro de coordenação na segunda onda diz respeito a uma nova entidade
organizacional, o chamado poverty lab (laboratório da pobreza). O pioneiro e mais
influente desses laboratórios é o J-PAL no MIT, liderado por Duflo e Banerjee,
ganhadores do Prêmio Nobel em 2019. Ao longo dos anos, o J-PAL vem servindo
como um eixo central para outros laboratórios do gênero em algumas universi-
dades, como Universidade da Califórnia em Berkeley, Harvard e Universidade
de Stanford. O J-PAL é uma estrutura organizacional complexa com escritórios
centrais em instituições acadêmicas de prestígio nos Estados Unidos e unidades
regionais em todos os continentes, incluindo uma no Brasil. Os escritórios são
administrados por uma equipe de pesquisa com professores seniores e juniores,
a maioria com formação em economia. Eles formulam a pergunta de pesquisa e
o desenho experimental, constroem questionários, analisam dados e publicam
artigos, bem como negociam com os parceiros de implementação e financiadores.
Na primeira onda, a maioria dos autores ocupava cargos administrativos ou de
pesquisa em organizações sem fins lucrativos com sede nos Estados Unidos, estreita-
mente ligadas a fundações privadas norte-americanas e ao governo daquele país. Assim,
o centro de coordenação da primeira onda, onde os procedimentos operacionais e os
relatórios eram elaborados, estava localizado nas mesmas instituições que também
ofereciam os recursos financeiros, a tecnologia e as equipes de pesquisa. Era um
conjunto de instituições estreitamente alinhadas com o governo, em que havia uma
afinidade entre “cooperação para o desenvolvimento internacional” e a extensão da
influência global dos Estados Unidos (Heydemann e Kinsey, 2010, p. 222).
Esse aspecto é essencial para compreender as diferenças entre as duas ondas.
Os pesquisadores no centro de coordenação nas décadas de 1960 e 1970 não des-
frutavam dos benefícios da estrutura organizacional dos poverty labs, especificamente
da autonomia (e do capital simbólico) associada às prestigiadas universidades nos
Estados Unidos. Essa nova entidade organizacional permite que os randomistas
da segunda onda, como eles próprios admitem (Rotemberg, 2009), atraiam suas
próprias fontes de financiamento e seus parceiros de implementação, negociando
com eles a partir de uma posição privilegiada, relativamente isolada de pressões
políticas. Consequentemente, foi possível obter grandes somas para financiar não
apenas projetos específicos, mas também para viabilizar infraestrutura – como a
criação de escritórios regionais e a contratação de uma grande equipe de campo.
Com isso, os randomistas passaram a ser parceiros extremamente atraentes para as
organizações da sociedade civil (OSCs).
O RCT de fato é conduzido por uma equipe de campo que fica no local do
projeto. Aqui, mais uma vez, há uma grande diferença entre as duas ondas. Na
atual fase, o poverty lab emprega um grande grupo de recém-formados oriundos de
universidades americanas em seus escritórios regionais. Esses colaboradores fazem
a mediação entre o centro de coordenação e uma variedade de atores locais cuja
cooperação é necessária para a implementação. Em contraste, as equipes de campo
que trabalhavam na primeira onda, mesmo quando lideradas por pesquisadores
acadêmicos, normalmente não contavam com essa camada intermediária de pessoal

auxiliar treinado academicamente. As poucas iniciativas de criação de unidades
regionais não foram adiante porque financiadores e universidades não estavam
interessados em fazer os investimentos necessários. Assistentes de pesquisa eram
obtidos em parceria com universidades e centros de pesquisa locais, o que significa
que os pesquisadores da primeira onda dependiam muito mais dos parceiros de
implementação e burocracias locais, estando mais expostos à resistência política
relacionada a alocação aleatorizada, como discutido anteriormente.
A equipe de campo precisa colaborar com os parceiros de implementação
para realizar o experimento. Para implementar um RCT na política de educação,
por exemplo, é necessário assegurar a cooperação do Ministério da Educação e dos
distritos escolares; pode-se precisar de professores para administrar a intervenção,
ou talvez contratar uma OSC para conduzi-la. As equipes de OSCs e de agências
governamentais locais são o grupo mais importante para se controlar, uma vez que
precisam diferenciar suas práticas do dia a dia enquanto mantêm a divisão entre
os grupos de tratamento e de controle. Como pode ser visto na tabela 2, 65% dos
parceiros de implementação nos estudos levantados no período da primeira onda
eram agências governamentais centrais e locais, juntamente com universidades e
OSCs locais. Organizações internacionais sem fins lucrativos responderam por
apenas 6,3%. Se excluirmos do total a Agência Americana de Desenvolvimento
Internacional (USAID – United States Agency for International Development) e a
organização Population Council – uma vez que, estritamente falando, elas não eram
parceiras de implementação, mas sim centros de coordenação –, a representação
dos parceiros nacionais aumenta para 75%. Muito mais sensíveis às pressões polí-
ticas locais, eles foram a fonte mais provável de resistência à alocação aleatorizada
de benefícios:
o controle experimental não era uma alta prioridade para os administradores salva-
dorenhos que estavam tentando lidar com uma grande reforma educacional (...) a
necessidade política de introduzir a reforma como um pacote superou a preferência
[pela RCT] (Hornick et al., 1973, p. 274-276, tradução nossa).
Por sua vez, os randomistas dependem muito menos de burocracias locais, re-
correndo a um novo conjunto de parceiros de implementação que praticamente não
existia antes: OSCs globais, organizações com fins lucrativos (principalmente bancos
envolvidos em esquemas de microcrédito) e empresas de pesquisa locais. Juntos,
esses atores representam 75% dos parceiros de implementação. Isso significa que as
equipes de campo da segunda onda chegam em um local mais bem preparadas em
termos de infraestrutura para a coleta de dados. Também significa que o centro de
coordenação e os escritórios regionais na segunda onda estão em melhor posição para
controlar a implementação do desenho experimental e minimizar a resistência política
à alocação aleatória. Trabalhar com essas OSCs em vez de lidar com governos “é a
chave para permitir a randomização e superar preocupações éticas”, porque as OSCs

não “têm que fingir que servem a todos” (Ogden, 2016, p. 20-21, tradução nossa).
TABELA 2
Parceiros de implementação: primeira e segunda ondas dos RCTs
(Em %)
Organização com fins lucrativos 0 39,4
OSC internacional 6,3 18,1
Population Council e USAID 12,6 0
Outra agência do governo dos Estados Unidos 2,1 0
Universidade dos Estados Unidos 13,7 2,1
Governo federal 21 11,7
Governo local 7,4 8,5
Universidade local 25,3 3,2
OSC local 11,6 17

Notas: 1 Com base em uma amostra de 95 parceiros de 52 estudos.
2
Com base em uma amostra de 94 parceiros de 61 estudos.
Finalmente, a implementação de RCTs em países em desenvolvimento requer

grande financiamento. Os doadores devem ser entendidos como parte integrante
da rede de expertise dos RCTs, uma vez que sem sua contribuição a tarefa não seria
realizada e não haveria uma “dobradiça” operante entre os campos sociais. Além
disso, suas expectativas possuem um importante papel no desenho da pesquisa.
Como pode ser visto na tabela 3, as principais fontes de financiamento para os
estudos da primeira onda foram o Population Council e a USAID, aos quais podemos
adicionar também as tradicionais Fundação Ford e Fundação Rockefeller (sendo o
Population Council uma subsidiária da Rockefeller). O centro de coordenação da
rede, portanto, representou 48% do total das fontes de financiamento. Governos
locais, universidades e organizações sem fins lucrativos representaram outros 20%
dessas fontes. Por sua vez, no caso dos estudos da segunda onda, as principais
fontes são organizações internacionais e OSCs, que constituem um terço do fi-
nanciamento – sendo que o Banco Mundial é responsável por mais da metade dos
recursos –, e outras fundações dos Estados Unidos (17,5%). Os principais atores
entre os últimos são fundações de uma nova geração, incluindo as fundações Bill
e Melinda Gates (6%) e McArthur (5%).
Embora superficialmente possa parecer que as fundações privadas desem-
penham o mesmo papel nas duas ondas, há várias diferenças importantes que
separam radicalmente as fundações novas das tradicionais. Para os propósitos dessa
discussão, o mais importante é que, como explicam Heydemann e Kinsey (2010,

p. 222, tradução nossa), as fundações Ford e Rockefeller trabalharam em estreita
colaboração com o governo dos Estados Unidos, e suas “atividades (...) [eram
subordinadas] às prioridades de política externa do Estado”. Elas até “buscavam
seus líderes e equipe sênior [entre] homens que ganharam experiência gerencial em
agências governamentais (...), cujas posições continham compromissos (...) para
com o avanço das prioridades políticas do Estado”.
Essa aliança (e verdadeira porta giratória) entre fundações e Estado foi substitu-
ída, na segunda onda, por uma aliança entre fundações e universidades. As fundações
lideradas por filantrocapitalistas se distanciam propositalmente da influência do
governo dos Estados Unidos e não se veem como um braço auxiliar de sua política
externa. Elas visam explicitamente substituir o ethos anterior por modelos orien-
tados ao mercado4 onde fazem investimentos estratégicos e alianças com centros
universitários. Por esta razão, os números da tabela 3 na verdade sub-representam
o impacto dessas fundações, uma vez que não contabilizam o significativo financia-
mento concedido para a infraestrutura dos poverty labs ou para suas universidades
anfitriãs (que constituem outros 20% das fontes de financiamento). Além disso,
agências governamentais de outros países da Organização para a Cooperação e
Desenvolvimento Econômico (OCDE) também contribuem como financiadoras.
TABELA 3
Fontes de financiamento: primeira e segunda ondas de RCTs
(Em %)
Organizações internacionais 19,6 33,3
Population Council e USAID 36,9 5
Outra agência governamental dos Estados Unidos 4,3 6,7
Outros governos da OCDE 0 7,5
Fundações Ford e Rockefeller 10,9 0
Outras fundações dos Estados Unidos 4,3 17,5
Universidade dos Estados Unidos 2,2 20
Fontes locais 19,6 4,2
Organizações com fins lucrativos 2.2 5.8

Notas: 1 Com base em uma amostra de 46 fontes em 27 estudos.
2
Com base em uma amostra de 120 fontes em 52 estudos.
4. Para um resumo a respeito desta questão, ver Reckhow (2009).

Essa transformação na composição dos financiadores foi a condição necessária

e decisiva que tornou possível as múltiplas maneiras em que a rede de expertise da
segunda onda se diferenciou da primeira. Foi, portanto, o fator responsável por seu
sucesso. Na primeira onda, o centro de coordenação, composto de agências estatais
e de fundações intimamente ligadas ao governo dos Estados Unidos, também foi
responsável por fornecer a maior parte do financiamento. Em contraste, a rede
contemporânea reflete um processo de pluralização das fontes de financiamento
(Babb e Chorev, 2016), em que um novo conjunto de fundações privadas assume
um papel fundamental. Essa diferença é importante não porque o capital privado é
ágil enquanto as agências estatais são burocráticas e lentas, mas porque modificou-
-se significativamente o contexto político em que operam os RCTs, reduzindo os
obstáculos à randomização e as fontes de viés de substituição. Assim, essa mudança
permitiu transformar os RCTs em uma “dobradiça” funcional entre os campos da
economia e da ajuda ao desenvolvimento.
3.2 O que está sendo avaliado?

A segunda dimensão da diferença entre as duas ondas é que as avaliações experi-
mentais contemporâneas se concentram em pequenas intervenções de curto prazo,
enquanto o objeto das avaliações nas décadas de 1960 e 1970 eram programas de
política social de escala relativamente grande e de longo prazo. Por “pequenas”,
entretanto, não queremos dizer o tamanho da amostra, mas o caráter da interven-
ção. Normalmente, os RCTs da segunda onda não visam avaliar se uma política
geral funciona ou não, mas sim o efeito de um nudge específico e limitado em um
resultado selecionado, por exemplo, o efeito do envio de lembretes de mensagem
de texto aos clientes, sobre o índice de pagamento de empréstimos feitos em um
esquema de microfinanciamento (Karlan et al., 2014). Para Duflo (2017, p. 4,
tradução nossa), as intervenções testadas frequentemente envolvem “cuidar de
detalhes aparentemente irrelevantes como, por exemplo, a maneira de comunicar
a política, ou as opções padrão oferecidas aos clientes”. As amostras de RCTs na
segunda onda, portanto, podem ser bastante grandes (por exemplo, envolvendo
30 mil alunos), precisamente porque a própria intervenção é limitada. O tamanho
da amostra nesses casos é mais uma função da capacidade aprimorada de realizar
pesquisas do que um indicador do escopo do estudo.
Comparamos, portanto, a primeira e a segunda ondas não em termos do
tamanho da amostra, mas do tipo de intervenção e sua duração. Em 29 dos 63
estudos em nossa amostra da segunda onda, não foi testada a política em si, mas uma
pequena e específica intervenção, destinada a superar um obstáculo cognitivo ou
comportamental para a adoção da política (Berndt, 2015, p. 8). Em outros dezenove
estudos, a intervenção teve por objetivo resolver um “detalhe de implementação”,
fornecendo informações ou um breve treinamento aos usuários da política social
(Duflo, 2017, p. 4-5). Em outros quinze casos, a intervenção continuou pequena,

pegando carona em um programa já existente, de iniciativa de um governo ou de
uma OSC. Quando a intervenção é limitada dessa forma, sua duração é bastante
curta e pode variar de uma reunião de 5 a 10 minutos com um gestor de micro-
crédito a um treinamento em educação financeira de 2 a 3 horas, normalmente
acompanhado por medições de acompanhamento do comportamento financeiro
do público-alvo por alguns meses (Drexler, Fischer e Schoar, 2014). Como pode
ser visto na tabela 4, 52,6% dos estudos da segunda onda estavam nessa catego-
ria, em que a duração da intervenção não foi superior a um mês – na verdade, 22
desses estudos, ou 35% da amostra da segunda onda, envolveram poucas horas
de treinamento, workshop, vídeos etc., durante uma visita de um dia. No caso da
amostra da primeira onda, esse tipo de intervenção ocorreu somente em 4,9% dos
estudos. Da mesma forma, 38,6% dos RCTs da segunda onda duraram um ano ou
mais, enquanto o número de ensaios com essa característica na primeira chegou a
63,4%, incluindo estudos que se estenderam por 8 ou 9 anos.
TABELA 4
Duração da intervenção: primeira e segunda ondas de RCTs
(Em %)
1 mês ou menos 4,9 52,6
2-12 meses 31,7 8,8
1 ano ou mais 63,4 38,6

Notas: 1 Com base em uma amostra de 41 estudos.
2
Com base em uma amostra de 57 estudos.
O fato de os estudos da primeira onda durarem mais explica muito por que
avaliações experimentais não foram tão difundidas como na segunda onda e por
que acabaram sendo abandonadas. Os RCTs da década de 1970 não foram apenas
muito mais longos, mas, o mais importante, eles tentaram avaliar sistemas completos
de serviços em amplas áreas de política social. Frequentemente, essas experiências
não compararam uma intervenção com uma não intervenção, mas, sim, diferentes
níveis de intervenção com o objetivo de determinar qual era a mais econômica. Por
exemplo, um estudo do Population Council (1986) fez com que médicos viajassem
para clínicas comunitárias remotas para inserir dispositivos intrauterinos (DIUs),
fornecer serviços ginecológicos e tratar clientes com relatos de efeitos colaterais
do uso de anticoncepcionais. O estudo distribuiu aleatoriamente uma, duas ou
quatro consultas médicas por mês entre as diferentes clínicas, para determinar o
nível ideal de tratamento. Foi uma avaliação de política pública realizada durante
vários anos, fornecendo relatórios a cada seis meses.
Da mesma forma, o alcance geográfico das avaliações experimentais da primeira

onda era muito maior do que os da segunda. Era comum a realização de experi-
mentos em todo o território nacional de alguns países, como Barbados, Nicarágua
e Taiwan. Um estudo de planejamento familiar conduzido na Índia empregou 6,5
mil pesquisadores de campo que visitaram 2,4 milhões de famílias em 28 mil vilas
e cidades (Cuca e Pierce, 1977, p. 123). O maior RCT realizado na segunda onda
envolveu 20.858 alunos em 386 escolas (Borkum, He e Linden, 2012).
Em outras palavras, as redes de expertise nas duas ondas de RCTs diferem não
apenas em termos dos atores envolvidos, mas também no que realmente estava
sendo avaliado. Na primeira onda, o objeto de avaliação era uma área inteira de
provisão de política social, que demandava um grande esforço de monitoramento,
respondia a critérios federais originalmente estabelecidos para programas sociais
dentro dos países financiadores e lidava com questões de implementação, manu-
tenção, fadiga, equidade e considerações políticas (Berk et al., 1985). Na prática,
isso significava uma expectativa de que os experimentos dessem informações sobre
o impacto de longo prazo do programa e, portanto, essas avaliações teriam que
enfrentar barreiras jurídicas e políticas que o programa poderia suscitar quando de
uma futura expansão. A questão da “validade operacional”, ou seja, de como repli-
car os resultados do experimento “em um ambiente mais amplo (...) incluindo as
questões sobre os recursos necessários e a aceitação em grande escala da abordagem
experimental”, era frontal e central (Cuca e Pierce, 1977, p. 7, tradução nossa).
Na segunda onda, o objeto de avaliação é tipicamente uma intervenção de
curto prazo, em um esforço explícito para ser inteligente, ou seja, bem delimitado
e facilmente mensurável. Há relativamente pouco interesse em como a intervenção
pode ser ampliada, muitas vezes a deixando, deliberadamente, a cargo de outros
atores (especialmente governos), que escolhem se vão ou não se envolver. Esse
contraste na duração e no escopo dos RCTs dá uma visão adicional sobre por que
os RCTs foram descontinuados na primeira onda, mas estão prosperando na segun-
da. Isso significa que o problema que identificamos anteriormente – a resistência
política à alocação aleatória de benefícios – teve menos relevância na segunda onda.
A necessidade de avaliar programas de larga escala e longo prazo durante
a primeira onda, em última análise, significou que a randomização teve que ser
abandonada ou marginalizada em favor do monitoramento da implementação
no longo prazo. Para Dennis e Boruch (1989, p. 301, tradução nossa), não há
justificativa “para, em geral, realizar uma avaliação ou, em particular, conduzir um
RCT, a menos que exista boa probabilidade de que os resultados sejam úteis”. Isso
geralmente significava adaptar o desenho da avaliação para “atender às demandas
éticas do ambiente” e conduzir um experimento aleatório apenas se certas “con-
dições-limite” fossem atendidas. Visto que “seu objetivo era oferecer informação
para a política pública”, os pesquisadores em Barbados “não usaram um grupo de

controle sem receber nenhum tratamento” porque era “politicamente inadequado”
(Dennis e Boruch, 1989, p. 302, tradução nossa). Em última análise, é por isso
que, no final da primeira onda, os RCTs não foram exatamente descontinuados,
mas passaram a ser entendidos como pesquisa acadêmica em vez de avaliação.
Não ser capaz de superar a resistência política à alocação aleatória significava que
os RCTs não podiam funcionar como a “dobradiça” entre os campos acadêmico e
de ajuda ao desenvolvimento, passando então a ostentar um valor principalmente
acadêmico (de pesquisa).
Os randomistas da segunda onda enfrentam os mesmos problemas sempre
que seus estudos demoram muito a concluir. Um estudo de microfinanças na Índia
tornou-se confuso com o passar do tempo, pois muitas pessoas nas áreas usadas
como controle tomaram empréstimos oferecidos por empresas de microfinanças
concorrentes. Depois de três anos, “os concorrentes estavam por toda parte” e Duflo
teve que se contentar com uma estratégia de medição imperfeita (Parker, 2010,
tradução nossa). Na maioria das vezes, no entanto, os randomistas lidam com a
resistência à alocação aleatória escolhendo uma abordagem no estilo pequeno e de
curto prazo. Quando a intervenção é pequena – como o envio de uma mensagem
de texto, por exemplo –, é relativamente trivial persuadir as pessoas a participar
de um grupo de controle, e o “pesquisador pode, com a consciência limpa, rando-
mizar a ordem em que as pessoas são atendidas” (Parker, 2010). Se questionados
sobre o escopo limitado de seus experimentos, os randomistas afirmam que não
pretendem apenas descobrir o que funciona e o que não funciona, mas também
testar a teoria econômica.
Paradoxalmente, o que permite que os projetos contemporâneos sejam curtos
é justamente esse discurso sobre uma agenda teórica mais ambiciosa. Entretanto,
devemos considerar esse discurso com cautela, visto que a agenda teórica não é
necessariamente mais ambiciosa. Ela está organizada de forma diferente. Os rando-
mistas evitam o debate político sobre o campo do desenvolvimento internacional,
limitando-se a testar hipóteses comportamentais que podem ser muitas vezes
inócuas (se você
dá livros didáticos para crianças em idade escolar, elas tiram notas
melhores). O que torna esses projetos contemporâneos mais ambiciosos é o fato
de estarem novamente conectados à disciplina da economia em vez de ligados à
burocracia de um programa social. Os randomistas não se preocupam com a natureza
limitada e de curto prazo dos RCTs, pois eles consideram cada avaliação apenas
uma pequena peça em um quebra-cabeça maior, parte de um lento acúmulo de
conhecimento. Isso significa, essencialmente, que se deixa estrategicamente ambíguo
se o experimento é considerado parte da construção da teoria (portanto demons-
trando apelo ao público das disciplinas científicas) ou se é entendido como capaz
de resolver um “detalhe de implementação” – demonstrando apelo a legisladores
e OSCs (Rayzberg, 2019). Dessa maneira e ao contrário da primeira onda, uma

avaliação experimental pequena e de curto prazo, avaliando um nudge dado a uma
política ou teoria relevante, é capaz de funcionar como uma “dobradiça”, ligando
os campos da economia acadêmica e da ajuda ao desenvolvimento. Permite que
fundações e OSCs legitimem suas doações por seu impacto mensurável, enquanto
economistas acadêmicos podem legitimar seus resultados como relevantes do ponto
de vista de suas disciplinas.
4 AS TRANSFORMAÇÕES HOMÓLOGAS DOS CAMPOS DA AJUDA AO

DESENVOLVIMENTO E DA ECONOMIA
Nesta seção, baseamo-nos em estudos sobre as trajetórias dos campos da cooperação
para o desenvolvimento internacional e da economia acadêmica para descrever
as transformações paralelas ocorridas neles. Como cada um destes campos pas-
sou por uma crise que desestabilizou seu status quo, abriu-se uma oportunidade
para que recém-chegados mobilizassem RCTs como uma estratégia heterodoxa,
desafiando a ortodoxia do campo. Com base no arcabouço conceitual que desen-
volvemos anteriormente, mostramos como a homologia entre as lutas conduzidas
dentro da disciplina econômica e da área de ajuda ao desenvolvimento criou uma
afinidade eletiva entre as posições e estratégias dos randomistas e dos filantroca-
pitalistas, levando-os a adotar os RCTs de curta duração como a “dobradiça” que
une suas lutas paralelas. A natureza limitada e de curto prazo desses RCTs, como
vimos, minimizou a resistência política à alocação aleatória, ao mesmo tempo
que proporcionou recompensas duplas nos dois campos: soluções de curto prazo
aparentemente objetivas e eficazes para o problema de triagem na ajuda ao desen-
volvimento internacional, combinadas com oportunidades de longo prazo para a
construção de teorias na disciplina econômica. Dessa forma, os RCTs tornaram-se
uma “dobradiça” ligando fortemente os dois campos.
4.1 A fragmentação da ajuda ao desenvolvimento

Em qualquer momento da história em que se analisa o campo da ajuda ao desenvol-
vimento (ou cooperação internacional para o desenvolvimento), pode-se observar que
ele é composto por todos os atores partícipes da concepção, da implementação e do
financiamento de projetos que visam promover o desenvolvimento socioeconômico
de países considerados pobres. Isso inclui fundações, OSCs, governos nacionais e
locais, organizações multilaterais etc. O principal argumento desta subseção é que,
durante a primeira onda de RCTs (1960-1970), o campo da cooperação internacional
foi organizado em torno de uma coalizão dominante, que se fragmentou durante a
segunda onda, sendo que essa fragmentação é o que tornou possível o sucesso dos
RCTs nesse segundo momento. No período anterior, o campo da ajuda ao desen-
volvimento era composto principalmente por organizações bilaterais (por exemplo,
USAID) e multilaterais (por exemplo, Banco Mundial e Organização das Nações

Unidas para a Educação, a Ciência e a Cultura – UNESCO), juntamente com
governos nacionais em países em desenvolvimento. Fundações privadas, como a
Fundação Rockefeller, foram atores relevantes, mas, como vimos, atuaram essencial-
mente como braços auxiliares da política externa dos Estados Unidos (Heymann e
Kinsey, 2010, p. 222). Assim, o campo se concentrou na aliança dominante entre
as agências dos Estados Unidos, as antigas fundações e os governos nacionais e
locais no mundo em desenvolvimento. Por sua vez, na segunda onda, o campo se
fragmentou, à medida que o percentual de projetos da aliança outrora dominante
diminuía em favor da emergência de um novo tipo de fundações privadas (filan-
trocapitalistas), OSCs globais e novos países doadores.
A fragmentação do campo da ajuda ao desenvolvimento foi um processo
complexo, que envolveu não apenas a entrada de novos atores e o relativo enfra-
quecimento dos antigos, mas uma transformação do que era uma “imaginação
sobre o desenvolvimento” (Rodrik, 2006; Babb e Chorev, 2016) na direção de
normas orientadas para o mercado – isto é, resposta rápida, resultados mensu-
ráveis e gestão profissionalizada. Essas novas normas são enfatizadas não apenas
pelos filantrocapitalistas, mas também por agências governamentais e organizações
multilaterais que agora operam em um quase-mercado no qual “o bom projeto”
é uma quase-mercadoria produzida por OSCs globais e consumida por doadores
privados que demandam “resultados mensuráveis” (Krause, 2014, tradução nossa).
O Banco Mundial, para citar um exemplo, foi rebatizado por seu atual presidente
como uma “agência de consultoria de desenvolvimento”, incentivando “pensar em
nós mesmos agora como consultores estratégicos, corretores que conectam capital
em busca de um maior retorno com países que procuram alcançar sua aspiração
mais elevada” (Kim, 2017, tradução nossa).
As mudanças no campo do desenvolvimento internacional propiciaram um
ambiente favorável para a segunda onda de RCTs. Por um lado, isso permitiu
aos randomistas apresentar os RCTs como uma forma de objetividade mecânica e
expor o que viam como uma subjetividade dos especialistas em desenvolvimento e
burocratas do governo, ou seja, sua tendência a se apegar a programas de grandes
dimensões por causa de preconcepções ideológicas. Para oferecer um contraposto a
essa subjetividade, os randomistas enfatizaram não apenas a objetividade mecânica
dos RCTs, mas também sua pequena escala e natureza prática. Para eles, o debate
sobre o desenvolvimento está se dando no nível errado. As grandes questões filosó-
ficas – como a dúvida sobre se os recursos investidos em cooperação internacional
para o desenvolvimento é algo fundamentalmente útil ou não – não podem ser
respondidas. O que os RCTs podem oferecer, por outro lado, são respostas para
questões pontuais, práticas e específicas (Banerjee e Duflo, 2011, p. 13).
Os randomistas ofereceram os RCTs como uma forma de encerrar a acalorada

controvérsia na comunidade da cooperação internacional para o desenvolvimento
sobre como lidar com a pobreza global. Ao mesmo tempo, apresentaram uma visão
de um horizonte mais amplo onde pequenos estudos de curto prazo geram um
ciclo virtuoso de acumulação de conhecimento. O segundo ponto é, portanto, que
a fragmentação do campo da ajuda ao desenvolvimento e o surgimento do quase-
-mercado para “bons projetos” ofereceram um ambiente especialmente favorável
para os RCTs, desde que essas avaliações permaneçam pequenas e de curto prazo.
É difícil superestimar o impacto dessa transformação no escopo do uso de RCTs e,
dado que o sucesso da randomização está inversamente correlacionado à duração
do experimento, a natureza de curto prazo dos projetos atuais – ela própria ditada
pela natureza episódica do financiamento no quase-mercado – surge como uma
condição-chave de possibilidade para o sucesso da segunda onda.
As diferentes partes da “dobradiça” agora trabalham juntas, e os dois campos
estão fortemente ligados. Os RCTs fornecem aos doadores privados e OSCs exa-
tamente o que eles precisam para levar a cabo sua estratégia heterodoxa no campo
da ajuda ao desenvolvimento – “objetivos claros”, “resultados mensuráveis”, uma
demonstração de que estão sendo “altruístas eficazes” (Babb e Chorev, 2016, p.
95). As OSCs, por sua vez, são encorajadas a apresentar evidências sobre os efeitos
de seus projetos de acordo com objetivos estreitamente delimitados, e são desenco-
rajadas a levar em consideração os efeitos mais amplos que uma intervenção social
pode ter (Krause, 2014). Na primeira onda, os avaliadores não podiam ignorar os
impactos longitudinais mais amplos da ajuda internacional, porque o objetivo era
precisamente estimular mudanças macrossetoriais no longo prazo (Sommer, 1977;
Freeman, Rossi e Wright, 1980). A promessa dos RCTs de oferecer uma medida,
sem viés, do impacto de uma intervenção específica é a chave para traduzir e alinhar
os interesses dos doadores e OSCs, enquanto o isolamento das OSCs em relação
às pressões políticas dá garantias de que as diferentes partes da “dobradiça” são
mantidas juntas e a ligação entre os dois campos é duradoura. Por sua vez, qualquer
tentativa de avaliar os efeitos de longo prazo de um programa de desenvolvimento
internacional provavelmente os separaria.
4.2 As consequências da anomia na economia acadêmica

Tendo demonstrado como os RCTs de curto prazo figuraram em estratégias hetero-
doxas em um campo desestabilizado de ajuda ao desenvolvimento, passamos agora
ao conjunto simultâneo de transformações profissionais no campo da disciplina
econômica para destacar como os RCTs figuraram em uma situação homóloga
enfrentada por jovens economistas. No final dos anos 1980 e início dos anos 1990,
o campo da economia estava passando por uma “virada empírica”: o fim da hege-
monia da modelagem formal teoricamente orientada e a proliferação de tendências
empiricamente orientadas (Angrist et al., 2017), das quais as mais relevantes para
nossa discussão aqui foram: i) os debates na economia do desenvolvimento sobre
a identificação causal; e ii) a ascensão da economia comportamental.
Na economia do desenvolvimento, o novo clima empírico apareceu na forma
de uma mudança de seu foco anterior nas teorias macroeconômicas do comércio
internacional, capital humano, políticas fiscais e suas inter-relações, para um in-
teresse intensivo pela questão da identificação causal, a saber, “como (...) separar
o impacto causal de uma política ou fator específico de potenciais fatores corre-
lacionados”, na fala de Michael Kremer em Ogden (2016, p. 1, tradução nossa).
Vários observadores, tanto críticos dos RCTs quanto seus adeptos, citam o debate
que se seguiu como o contexto formativo para o surgimento dos RCTs, segundo
Pritchett em Ogden (2016, p. 140) e Deaton (2006). Esses observadores descre-
vem um meio em que jovens economistas foram treinados para encontrar uma
variável instrumental (VI), para então neutralizar fatores correlacionados e, assim,
localizar o impacto de uma variável com um alto grau de confiança. Ao mesmo
tempo, eles também foram treinados a demonstrar um grande ceticismo em relação
a esse exercício, pois “viram diversas apresentações e artigos empíricos (...) serem
altamente criticados devido a questões de identificação causal”, conforme explica
Murdoch em Ogden (2016, p. 51-53, tradução nossa). Para nós, o ponto crucial
desses debates metodológicos é que eles desestabilizaram a objetividade mecânica da
disciplina econômica. Os observadores descrevem uma situação anômica, na qual
“pode-se participar de um seminário em Cambridge e para qualquer instrumento
que você propor, alguém propõe uma razão pelo qual o seu instrumento está erra-
do”, segundo a fala de Pritchett em Ogden (2016, p. 141, tradução nossa). Nesse
contexto, os RCTs ofereceram um meio de escapar dessa situação. Semelhante ao
seu papel em trazer um “fechamento” a debates acalorados no campo da ajuda
ao desenvolvimento internacional, os RCTs se mostraram uma ferramenta muito
poderosa para jovens economistas adentrarem o grupo empiricamente orientado
que ganhava espaço no campo da economia (Angrist e Pischke, 2010).
A ascensão paralela da economia comportamental na década de 1990, ata-
cando o paradigma neoclássico do homo economicus (Mullainathan e Thaler,
2000), serviu como um ímpeto adicional para o surgimento dos RCTs. Quando
os economistas comportamentais criticaram a falta de realismo na teoria micro-
econômica padrão, eles acabaram abrindo as comportas para a crítica às teorias
microformais. No entanto, eles também eram vulneráveis às críticas de que suas
investigações careciam de realismo, porque eram conduzidas no ambiente artificial
dos laboratórios experimentais (Guala, 2007). Ao mesmo tempo, ficaram expos-
tos ao contra-ataque dos teóricos microeconômicos de que suas pesquisas eram
puramente descritivas, sem valor teórico, uma vez que não conseguiam explicar
como os mercados operam apesar da racionalidade limitada dos participantes.
Essas críticas à economia comportamental proporcionaram uma abertura para os

randomistas. Eles ofereceram aos jovens acadêmicos um paradigma de pesquisa que
poderia ser considerado muito mais realista do que estudos de laboratório e teoria
microeconômica. Ao mesmo tempo, permitiram a contribuição teórica de seus
estudos de campo, desenvolvidos para lançar luz sobre como populações de baixa
renda nos países em desenvolvimento realmente tomam decisões em ambientes
naturais, e para demonstrar como alguns nudges e características ecológicas podem
aumentar a racionalidade de suas decisões – demonstrando assim sua relevância
para a teoria econômica (Berndt, 2015).
Essa combinação contingente moldou o caráter distintivo dos RCTs da se-
gunda onda e contribuiu para seu sucesso, uma vez que forneceu aos pesquisadores
um kit de ferramentas de intervenção pequena e de curto prazo – consideradas
como nudges –, enquanto permitia que os randomistas enquadrassem esses expe-
rimentos como uma contribuição para a teoria econômica. Jovens acadêmicos
conduzindo experimentos de campo poderiam defender seu trabalho como sendo
realista, empiricamente rigoroso e teoricamente relevante: “Você não está apenas
aprendendo sobre o que esse programa específico faz neste lugar específico, mas
entendendo melhor o comportamento humano”, segundo Glennerster em Parker
(2010, tradução nossa).
Quando a ortodoxia do campo contra-ataca, apontando a falta de validade
externa dos RCTs e o valor teórico limitado de seus resultados, a resposta dos ran-
domistas é extremamente reveladora. Ao falar para públicos familiarizados com o
debate científico, eles admitem prontamente que a alocação aleatória não elimina
todas as fontes de viés na inferência causal e que não é uma estratégia de pesquisa
ideal se o especialista “dá pouco peso em persuadir seu público”. No entanto,
seguem afirmando que, se o especialista se depara com um público formado por
“partes interessadas com poder de veto (...) cujos antecedentes podem divergir de
(...) [seu] próprio (interesse)”, e se for de suma importância persuadir esse público,
então a necessidade de comunicar o mínimo viés possível supera quaisquer outras
considerações. Nessa situação, quando os especialistas se deparam com “um pú-
blico em posição contrária e que pode ser capaz de vetar [suas] escolhas”, ou que
não está seguro em confiar no julgamento de especialistas, então “experimentos
randomizados que levam a inferências livres de vieses tornam-se ideais” (Banerjee,
Chassang e Snowberg, 2016, p. 2, 11-15, tradução nossa).
Não se pode deixar de ouvir aqui um eco de suas experiências formativas,
durante as quais esses economistas encontraram um “público combativo”, sentado
“em um seminário em Cambridge”. No entanto, também é claro que, no contexto
atual, o público combativo em mente eram os filantrocapitalistas. Em essência,
eles estavam justificando sua preferência por RCTs com base na desconfiança que,
como vimos anteriormente, prevalece no campo da ajuda ao desenvolvimento in-

ternacional em relação aos especialistas. Ainda, deve-se considerar que, na esteira
da crítica pessimista e do colapso do Consenso de Washington, há uma “perda
de esperança na promessa da cooperação internacional para o desenvolvimento”
(Krause, 2014, p. 42, tradução nossa) e falta de confiança na tradicional expertise
aplicada ao campo. Eles parecem estar dizendo que, se for para construir um
vínculo duradouro com o campo da ajuda ao desenvolvimento, deve-se levar em
consideração que o projeto deve ser vendido a doadores que agora “confiam em
números” (Porter, 1995) muito mais do que na opinião de peritos; doadores que
de fato percebem as teorias e a experiência de especialistas como sujeitas a precon-
cepções e subjetividade. Os RCTs, como estratégia que minimiza o viés, são os
mais adequados para construir essa ligação. Essa defesa dos RCTs não poderia ter
sido formulada durante a primeira onda, quando havia relativo otimismo sobre
as possibilidades do campo da ajuda ao desenvolvimento internacional, sobre o
poder das organizações multilaterais de fazer o bem e sobre a força da expertise no
campo (Krueger, Michalopoulos e Ruttan, 1989).
Resumindo, em relação ao campo da ajuda ao desenvolvimento, os RCTs
serviram para traduzir e coordenar os interesses da nova coalizão das fundações
privadas com OSCs globais, ao mesmo tempo que prometiam encerrar polêmicas
polarizadoras e restaurar a objetividade da expertise no campo do desenvolvimento.
Em relação à disciplina econômica, os RCTs permitiram que jovens economistas
navegassem a situação anômica que estavam enfrentando, enquanto evitavam a
dupla acusação de irrealismo e pura descrição. Ao certificar que uma determinada
intervenção social funciona, os RCTs asseguram às fundações privadas e OSCs
globais que o projeto produziu uma diferença mensurável, validando assim a rela-
ção entre esses dois atores, deixando para depois questões relacionadas a expansão
de pequenas intervenções. Ao mesmo tempo, RCTs também garantem aos jovens
economistas que estão contribuindo para o conhecimento na disciplina. O que eles
não fazem mais, no entanto, é precisamente o que no passado era considerado ne-
cessário para o programa funcionar, ou seja, avaliar se ele poderia ser implementado
em grande escala, levando em consideração as restrições políticas e administrativas
de um determinado contexto (Dennis e Boruch, 1989, p. 301-302).
5 CONCLUSÕES
Neste capítulo, estamos argumentando que o sucesso contemporâneo das avaliações
de políticas públicas com desenho experimental (RCTs) é melhor compreendido
como um produto de processos históricos e institucionais que mudaram o contexto
político e científico no qual os RCTs são implementados, em vez de ser considerado
evidência de sua qualidade padrão-ouro. Ao mobilizar os conceitos de “dobradiça”
e homologia entre campos, mostramos como a fragmentação do campo da ajuda
ao desenvolvimento e as mudanças profissionais no campo da economia tornaram

os RCTs mais aptos a alcançar novos públicos e permitiram aos randomistas maior
margem de manobra para contornar a resistência política à randomização. Os RCTs
de curto prazo, encarados como uma forma de impulsionar o avanço de projetos,
servem como uma “dobradiça” para a aliança entre randomistas e filantrocapitalis-
tas e, portanto, gozam de amplo apelo. Em nossas considerações finais, queremos
abordar as implicações práticas e conceituais de nossas conclusões para o estudo
da política contemporânea de hierarquia de evidências no Brasil.
No Brasil, semelhante ao observado em outros contextos, o impulso para a
formulação de políticas baseadas em evidências foi acoplado a um impulso simul-
tâneo para o uso de avaliações de impacto experimentais (RCTs) como se fossem
o padrão-ouro na geração de evidências rigorosas sobre o funcionamento ou não
de políticas públicas. Inicialmente introduzidos por organismos internacionais,
como o Banco Mundial, nos últimos anos, os RCTs têm sido promovidos tam-
bém por especialistas nacionais como o mais científico dos métodos avaliativos e
como a metodologia com as maiores chances de influenciar o debate político. No
entanto, como nos lembram Mello et al. (2020), o uso (ou não) de metodologias
de avaliação depende principalmente da política. Levando essa ideia adiante, neste
capítulo sugerimos que nenhum método é automaticamente superior ou mais
poderoso para influenciar o processo de formulação de políticas no Brasil. Em vez
disso, o poder de métodos específicos resulta do trabalho político que é feito em
torno deles em contextos institucionais distintos. Assim, este capítulo convida a
uma análise mais crítica não apenas da rede de expertise que promove os RCTs no
Brasil, mas também das consequências dessa tendência em termos de silenciar,
marginalizar ou simplesmente ignorar outras formas de conhecimento no debate
público brasileiro.
Além disso, as ferramentas conceituais que usamos para chegar a essas con-
clusões têm implicações mais amplas que vão além do estudo de RCTs. Até agora,
pesquisadores que investigam como campos sociais distintos se tornam fortemente
conectados tendem a colocar a ação estratégica dos atores ou as restrições estruturais
dos campos no centro de suas teorias, em vez de pensar sobre como esses dois fato-
res interagem e se condicionam, dadas as contingências históricas em questão. Ao
combinar o conceito de “dobradiça” com a análise de campo, no entanto, fornece-
mos uma abordagem mais equilibrada da questão de como os campos se conectam
de forma duradoura. Estamos argumentando, especificamente, que uma resposta
adequada deve demonstrar não apenas que uma estratégia oferece dupla recompensa
em ambos os campos, mas também como ela supera a resistência decorrente das
tensões entre eles. Não menos importante, não defendemos a atribuição de um
peso causal indevido sobre os interesses e as estratégias conscientemente formuladas
dos atores envolvidos, e somos a favor de uma análise relacional de como estraté-
gias sem um estrategista são formadas e se tornam coordenadas no curso das lutas
paralelas em campos homólogos. Essa abordagem oferece uma forma de estudar
as conexões entre os campos e o surgimento de conhecimentos especializados em
políticas públicas, sem sobrecarregar o significado causal imputado às intenções
estratégicas e às construções sociais dos atores envolvidos.
REFERÊNCIAS
ABBOTT, A. Linked ecologies: States and universities as environments for pro-
fessions. Sociological Theory, v. 23, n. 3, p. 245-274, 2005.
ANGRIST, J. et al. Economic research evolves: fields and styles. American Eco-
nomic Review, v. 107, n. 5, p. 293-297, 2017.
ANGRIST, J.; PISCHKE, J. The credibility revolution in empirical economics: how
better research design is taking the con out of econometrics. Journal of Economic
Perspectives, v. 2, n. 2, p. 3-30, 2010.
BABB, S.; CHOREV, N. International organizations: loose and tight coupling in
the development regime. Studies in Comparative International Development,
v. 51, n.1, p. 81-102, 2016.
BANERJEE, A. Making aid work. Cambridge: MIT Press, 2007.
BANERJEE, A.; CHASSANG, S.; SNOWBERG, E. Decision theoretic approaches
to experiment design and external validity. Cambridge: NBER, 2016. (Working
Paper, n. 22167).
BANERJEE, A.; DUFLO, E. Poor economics: a radical rethinking of the way to
fight global poverty. United States: Public Affairs Book, 2011.
BARNES, B.; BLOOR, D.; HENRY, J. Scientific knowledge: a sociological
approach. Chicago: University of Chicago Press, 1996.
BERK, R. et al. Social policy experimentation: a position paper. Evaluation Re-
view, v. 9, n. 4, p. 387-429, 1985.
BERNDT, C. Behavioural economics, experimentalism and the marketization of
development. Economy and Society, v. 44, n. 4, p. 567-591, 2015.
BORKUM, E.; HE, F.; LINDEN, L. The effects of school libraries on language
skills: evidence from a randomized controlled trial in India. Cambridge: NBER,
2012. (Working Paper, n. 18183).
BOURDIEU, P. Outline of the theory of practice. Cambridge: Cambridge
CARPENTER, D. Reputation and power: organizational image and pharmaceu-

tical regulation at the FDA. Princeton: Princeton University Press, 2010.
CUCA, R.; PIERCE, C. Experiments in family planning: lessons from developing
world. Baltimore: The Johns Hopkins University Press, 1977.
DEATON, A. Evidence-based aid must not become the latest in a long string of
development fads. In: BANERJEE, A. (Ed.). Making Aid Work. Cambridge:
MIT Press, 2006.
DEATON, A.; CARTWRIGHT, N. Understanding and misunderstanding ran-
domized controlled trials. Cambridge: NBER, 2016. (Working Paper, n. 22595).
DEMORTAIN, D. Scientists and the regulation of risk: standardizing control.
Cheltenham: Edward Elgar, 2011.
DENNIS, M.; BORUCH, R. Randomized experiments for planning and testing
projects in developing countries: threshold conditions. Evaluation Review, v. 13,
n. 3, p. 292-309, 1989.
DREXLER, A.; FISCHER, G.; SCHOAR, A. Keeping it simple: financial literacy
and rules of thumb. American Economic Journal: Applied Economics, v. 6,
n. 2, p. 1-31, 2014.
DE SOUZA LEÃO, L. What’s on trial? The making of field experiments in inter-
national development. British Journal of Sociology, v. 71, n. 3, p. 444-459, 2020.
DE SOUZA LEÃO, L.; EYAL, G. The rise of randomized controlled trials in
international development in historical perspective. Theory and Society, v. 48,
n. 3, p. 383-418, 2019.
DUFLO, E. Social experiments to fight poverty. TED Talks, Feb. 2010. Disponível
em: <https://bit.ly/3u7ciKQ>.
______. The economist as plumber. American Economics Review: Papers and
Proceedings, v. 107, n. 5, p. 1-26, 2017.
EYAL, G. For a sociology of expertise: the social origins of the autism epidemic.
American Journal of Sociology, v. 118, n. 4, p. 863-907, 2013.
FREEMAN, H.; ROSSI, P.; WRIGHT, S. Evaluating social projects in develo-
ping countries. Paris: OECD Development Centre, 1980.
GLENNERSTER, R. So you want to do an RCT with a government: things you
should know. Running Randomized Evaluations Blog, 9 Dec. 2015. Disponível
em: <https://bit.ly/3o1DHga>.
GUALA, F. How to do things with experimental economics. In: MACKENZIE,

D.; MUNIESA, F.; SIU, L. Do economists make markets? Princeton: Princeton
GUERON, J. The politics and practice of social experiments: seeds of a revolu-
tion. In: BANERJEE, A.; DUFLO, E. (Ed.). Handbook of field experiments.
Oxford: Elsevier, 2017.
HAYDU, J. Making use of the past: time periods as cases to compare and as
sequences of problem solving”. American Journal of Sociology, v. 104, n. 2,
p. 339-371, 1998.
HEYDEMANN, S.; KINSEY, R. The state and international philanthropy:
the contribution of American foundations 1919-1991. In: ANHEIER, H. K.;
HAMMACK, D. American foundations: roles and contributions. Washington:
Brookings Institute, 2010.
HORNICK, R. et al. Final report: television and educational reform in El Salvador.
Stanford: Stanford University, 1973. (Research Report, n. 14).
KARLAN, D. et al. Getting to the top of mind: how reminders increase saving.
Management Science, v. 62, n. 12, p. 3393-3411, 2014.
KIM, J. Y. Rethinking development finance. Lecture delivered at the London School
of Economics (LSE) on Apr. 11, 2017. Disponível em: <https://bit.ly/3BBgsNC>.
KRAUSE, M. The good project: humanitarian relief NGOs and the fragmentation
of reason. Chicago: Chicago University Press, 2014.
KRUEGER, A.; MICHALOPOULOS, C.; RUTTAN, V. Aid and development.
Baltimore: Johns Hopkins University Press, 1989.
LATOUR, B. Science in action: how to follow scientists and engineers through
society. Cambridge: Harvard University Press, 1987.
MARKS, H. The progress of experiment: science and therapeutic reform in the
United States, 1900-1990. Cambridge: Cambridge University Press, 1997.
MELLO, J. et al. O uso e não uso de evidências nos governos como decisão política.
Nexo: Políticas Públicas, 2 dez. 2020. Disponível em: <https://bit.ly/3CGfzUa>.
MULLAINATHAN, S.; THALER, R. H. Behavioral economics. Cambridge:
NBER, 2000. (Working Paper, n. 7948).
MURRAY, F. The oncomouse that roared: hybrid exchange strategies as a source
of distinction at the boundary of overlapping institutions. American Journal of
Sociology, v. 116, n. 2, p. 341-388, 2010.
OGDEN, T. Experimental conversations: perspectives on randomized trials in

development economics. Cambridge: MIT Press, 2016.
PARKER, I. The Poverty Lab. The New Yorker, May 17th, 2010. Disponível em:
<https://bit.ly/3u3iweF>.
PINCH, T.; BIJKER, W. The social construction of facts and artefacts: or how
the sociology of science and the sociology of technology might benefit each other.
Social Studies of Science, v. 14, n. 3, p. 399-441, 1984.
POPULATION COUNCIL. An experimental study of the efficiency and
effectiveness of an IUD insertion and back-up component. English summary
of first six-month report, PCPES86. Lima: Population Council, 1986.
PORTER, T. Trust in numbers: the pursuit of objectivity in science and public
life. Princeton: Princeton University Press, 1995.
RAYZBERG, M. Fairness in the field: the ethics of resource allocation in rando-
mized controlled field experiments. Science, Technology and Human Values,
v. 44, n. 3, p. 371-398, 2019.
RECKHOW, S. Follow the money: how foundations dollars change public schools
politics. New York: Oxford University Press, 2009.
RODRIK, D. Goodbye Washington Consensus, Hello Washington Confusion? A
review of the World Bank’s economic growth in the 1990s: learning from a decade
of reform. Journal of Economic Literature, v. 44, n. 4, p. 973-987, 2006.
ROTEMBERG, M. Why Academic Involvement in RCTs is important? IPA blog,
24 July 2009. Diponível em: <https://bit.ly/39vft5h>.
SOMMER, J. Beyond charity: U.S. voluntary aid for a changing thrid world.
Washington: Overseas Development Council, 1977.
Seção III
Uso de Evidências nas Diferentes Esferas
e Níveis de Governo
CAPÍTULO 9
COMO OS BUROCRATAS FEDERAIS SE INFORMAM?

UMA RADIOGRAFIA DAS FONTES DE EVIDÊNCIAS
UTILIZADAS NO TRABALHO DAS POLÍTICAS PÚBLICAS
Rafael da Silva Lins3
Bruno Gontyjo do Couto4
Miguel Loureiro5
Shana Nogueira Lima6
1 INTRODUÇÃO
O uso do conhecimento científico para subsidiar políticas públicas é uma questão
debatida desde o surgimento do campo de análise de políticas públicas (Lasswell
e Lerner, 1951; Weiss, 1979). Mais recentemente, a abordagem das políticas pú-
blicas baseadas em evidências (PPBEs) retoma e amplia este debate ao defender a
utilização pelos decisores públicos das evidências científicas sobre “o que funciona”
para melhorar as políticas públicas.
Por um lado, a PPBE renova a convicção nos preceitos da racionalidade ins-
trumental e da neutralidade científica como forma de embasamento das decisões
de políticas públicas (Davies, Nutley e Smith, 2000). Contudo, por outro, catalisa
críticas provenientes de diferentes correntes analíticas, tais como a argumentativa
e a pós-estruturalista, que dão base a diferentes argumentos sobre o que de fato
informaria e embasaria as políticas públicas.
Este capítulo busca explorar alguns destes argumentos. O primeiro deles diz
respeito ao reconhecimento da não linearidade e da rejeição ao modelo etapista do
processo de produção de políticas públicas. Como os trabalhos empíricos na área de
das Instituições e da Democracia (Diest) do Ipea. E-mail: <natalia.koga@ipea.gov.br>.
2. Especialista em políticas públicas e gestão governamental em exercício na Diest/Ipea. E-mail: <pedro.palotti@ipea.
gov.br>.
3. Pesquisador do Subprograma de Pesquisa para o Desenvolvimento Nacional (PNPD) na Diest/Ipea. E-mail: <rafael.
lins@ipea.gov.br>.
4. Pesquisador do PNPD na Diest/Ipea. E-mail: <bruno.gontyjo@ipea.gov.br>.
5. Pesquisador sênior no Institute of Development Studies. E-mail: <m.loureiro@ids.ac.uk>.
6. Alumni no Institute of Development Studies. E-mail: <shannalima@gmail.com>.
implementação de políticas públicas têm revelado, a produção da política não é um

processo linear e unidirecional que se iniciaria com a formulação e finalizaria com a
entrega da política. Múltiplos atores, instrumentos e fatores contextuais interagem e
se afetam mutuamente na produção da política, gerando efeitos distintos, inclusive
diferentes dos esperados na concepção original da política (Pressman e Wildavsky,
1973; Pires, 2018). Seguindo este entendimento, sustentamos que compreender
não apenas o que informa os decisores políticos no momento da formulação, mas
também o que informa os distintos “trabalhadores das políticas públicas” (Coleba-
tch, Hoppe e Noordegraaf, 2010, p. 7, tradução nossa) em seus diversos contextos
de atuação torna-se de alta relevância para entender esse conjunto de interações
informacionais que moldam o processo de produção de políticas públicas.
O segundo argumento que também buscamos explorar nas análises trata do
alargamento do entendimento de evidências para além das evidências científicas.
A literatura crítica de políticas públicas aponta as limitações importantes ao uso
instrumental das evidências científicas (Simon, 1956; Lindblom, 1959; Weiss e
Bucuvalas, 1980; Cairney, 2019) e a importância de outros fatores para a produ-
ção da política, como a contingência histórica própria dos fenômenos sociais; os
interesses, os valores e as motivações dos atores; e a reflexividade interativa entre
atores e entre atores e objetos (Fischer e Gottweis, 2012; Lejano, 2006; Spink, 2019;
DeLeon, 2008; Yanow, 2000). Neste sentido, as evidências científicas deveriam ser
concebidas como apenas mais um dos quadros de validação de significados possível
para a produção de políticas públicas (Williams, 2010).
De fato, trabalhos empíricos nacionais e internacionais têm demonstrado
que evidências científicas não estão entre as mais utilizadas pelos burocratas (Ve-
selý, Ochrana e Nekola, 2018; Cherney et al., 2015; Newman, Cherney e Head,
2017; Enap, 2018; Macedo, Viana e Nascimento, 2019; Koga et al., 2020), assim
como que a atuação dos burocratas, inclusive em trabalhos analíticos, não se dá
de forma isolada, mas em interação com interessados da política e, portanto, rece-
bem influência e informações de outras formas de conhecimento por eles trazidas
(Colebatch, Hoppe e Noordegraaf, 2010).
Sustentamos que esses achados dos trabalhos empíricos dialogam com a
proposta de Pinheiro (2020b) de um modelo moderado de entendimento de
evidências, o qual reconhece que a escolha e o uso do tipo de instrumento infor-
macional são condicionados à moldura contextual específica do uso. Utilizando
tal proposta, neste capítulo buscamos traçar uma radiografia do uso de fontes de
evidências pelos burocratas e analisar empiricamente como fatores que configuram
o contexto de atuação dos burocratas se relacionam às fontes de evidência para
a produção de políticas públicas, em especial os diferentes tipos de trabalhos e
capacidades de políticas públicas.
Como os Burocratas Federais se Informam? Uma radiografia das fontes de | 315
evidências utilizadas no trabalho das políticas públicas
Para tanto, analisamos os resultados de um survey conduzido pelo Ipea, entre

outubro e dezembro de 2019, com uma amostra de 2.180 indivíduos do universo
de quase 100 mil servidores da administração pública direta, que atuam em diversas
áreas e escalões na produção das políticas (Koga et al., 2020).
Os estudos iniciais do survey apontaram, entre outros resultados, a existência
de quatro tipos de trabalhos nas políticas públicas federais, quais sejam: i) analítico/
controle; ii) relacional; iii) contrato/fiscalização; e iv) administrativo. Além disso,
trouxe dados sobre quatro tipos principais de evidências utilizadas pelo conjunto
dos respondentes (Koga et al., 2020):
• interno – normas, notas técnicas, recomendações de órgãos de controle,
bases de dados governamentais etc.;
• externo não acadêmica – matérias jornalísticas, recomendações de ins-
tâncias participativas, informações de grupos de interesse etc.;
• externo acadêmica – artigos e pesquisas científicas; e
• experiencial – experiência pessoal e consulta a colegas de trabalho.
Este capítulo está estruturado em cinco seções, além desta introdução.
Na seção 2, fazemos uma discussão da literatura sobre o modelo moderado de
evidências e fatores que configurariam o contexto de atuação dos burocratas fede-
rais, em especial o tipo de trabalho que desempenham e as capacidades analíticas.
Na seção 3, apresentamos o nosso modelo analítico para a exploração do uso dos
tipos de informação na produção de políticas públicas em função dos fatores que
expressam o contexto de atuação dos burocratas federais. Na seção 4, expomos
a metodologia e as variáveis que expressam os elementos do modelo analítico
proposto (trabalho na política pública, capacidade analítica individual, capacidade
analítica organizacional, área de política pública e características individuais). Na
seção 5, apresentamos e discutimos os resultados da análise. Finalmente, na seção
6, trazemos as considerações finais e as implicações desses resultados.
2 O USO DE EVIDÊNCIAS NO CONTEXTO DE ATUAÇÃO DOS BUROCRATAS:

TIPOS DE TRABALHO E CAPACIDADES NAS POLÍTICAS PÚBLICAS
A abordagem das PPBEs retoma e amplia o debate clássico na literatura de análise
de políticas públicas sobre o papel do conhecimento científico e da racionalidade
instrumental nas políticas públicas (Lasswell e Lerner, 1951; Simon, 1956; Lind-
blom, 1959; Weiss e Bucuvalas, 1980; Fischer e Gottweis, 2012; DeLeon, 2008).
A PPBE emerge como um dos elementos centrais da gestão Tony Blair no Reino
Unido, eleito em 1997, que defendia a agenda do “what matters is what works” –
o que importa é o que funciona – em contraposição ao “conviction politics” –
política das convicções – que caracterizaria a gestão de sua predecessora Margaret
Thatcher (Davies, Nutley e Smith, 2000). Em que pese o reconhecimento pelos

defensores da PPBE dos limites da racionalidade instrumental e da não linearidade
entre o processo de produção do conhecimento científico e a prática na política
pública, os preceitos normativos da abordagem racionalista, como a separação
entre a técnica e a política, a hierarquia entre evidências e a crença na neutralidade
científica, ainda permanecem subjacentes nesta busca pragmática pelos melhores
subsídios possíveis para a condução das políticas públicas (Cairney, 2019; Oliver
et al., 2014; Parkhurst, 2017).
Pinheiro (2020a; 2020b) atenta para o fato de que a própria definição de
evidências é disputável neste debate. Em um extremo, calcada no paradigma ra-
cionalista, encontra-se a ideia da evidência como resultado da produção científica
rigorosa e sistemática. Todavia, ao longo desse espectro, outros fatores oriundos
das formulações dos paradigmas construtivistas passam a ser reconhecidos como
relevantes para a tomada de decisão e produção de políticas públicas. Dada a ine-
xistência na literatura especializada de uma caracterização sistemática das evidências
em políticas públicas e considerando o acúmulo do campo, Pinheiro (2020b)
propõe um modelo moderado que se coloca entre os dois extremos. Isto é, entre
uma perspectiva radical do modelo racionalista que desconsideraria a complexidade
inerente ao processo de tomada de decisão, caracterizada pela não linearidade, in-
certezas e multicausalidade e uma perspectiva radical do modelo construtivista que
inviabilizaria a proposição de enunciados gerais e o uso pragmático de evidências
para produzir análises e avaliação de políticas públicas.
Partindo do diálogo com o pragmatismo norte-americano e a filosofia da
linguagem do “segundo” Wittgenstein, o modelo moderado de Pinheiro (2020a;
2020b)7 procura extrair, de forma crítica, aprendizados dos modelos racionalista
e construtivista, e propõe que o uso dentro de uma moldura contextual seja o
elemento caracterizador de um instrumento informativo em evidência. Isto é, a
moldura contextual condicionaria o uso dos instrumentos informativos e, portan-
to, a sua conformação e o reconhecimento pelos usuários como uma evidência.
Conforme Pinheiro (2020b, p. 23), tal moldura seria composta por três tipos de
fatores principais que se entrelaçam:
i) políticos – a temporalidade da política, compromissos ideológicos, disputas por
poder, democracia; ii) epistemológicos – avaliação da política, incerteza, reflexividade
do conhecimento social etc. (Mulgan, 2005, p. 2248 apud Pinheiro, 2020b, p. 23);
iii) normativos, institucionais e organizacionais.
7. Para detalhamentos desse desenvolvimento, ver Pinheiro (2020a; 2020b).

8. Mulgan, G. Government, knowledge and the business of policy making: the potential and limits of evidence-based
policy. Evidence & Policy: A Journal of Research, Debate and Practice, v. 1, n. 2, p. 215-226, 2005.
Esta seção tem como objetivo, então, resgatar e discutir a literatura que dis-
corre sobre o contexto de atuação dos burocratas, em especial o trabalho efetuado
no âmbito das políticas públicas nas administrações públicas modernas. Ademais,
objetiva-se associar o tipo de atuação dos burocratas com outros fatores contextu-
ais que podem se apresentar como condicionantes da utilização de determinados
instrumentos informacionais pelos burocratas, tais como as capacidades analíticas
necessárias ao desenvolvimento desse trabalho, as áreas de políticas públicas e as
características individuais. Vale destacar que, embora reconheçamos que a litera-
tura traga diversos fatores que possam caracterizar molduras contextuais distintas
da atuação do burocrata, esta pesquisa buscará focar no debate sobre o trabalho
na política pública e capacidade analítica, por serem fatores analisados com mais
intensidade pela literatura internacional recente e ainda pouco explorados no Brasil.
Definir o trabalho realizado nas políticas públicas (policy work) não é uma
tarefa trivial. Além da dificuldade de se traçar conceitos comuns para distintos
contextos político-institucionais, de forma a se permitir uma comparação, há
diferenças substantivas a depender da definição de processo de políticas públicas
utilizada (Colebatch, 2006). Outro elemento primordial é o tipo de vinculação com
a máquina pública, como as nomeaç-mpo das políticas públicas se concentraria na
“familiarização com ferramentas técnicas padrão, como análise de oferta-demanda,
custo-efetividade e custo-benefício, com o estudo de casos, workshops, simulações
ou projetos do mundo real” (Howlett e Wellstead, 2011, p. 615, tradução nossa).
Outras formas de inserção no campo das políticas públicas, inclusive a atuação de
generalistas, estaria afeita a uma atuação mais propriamente “política”. O funciona-
mento real das administrações públicas contemporâneas, entretanto, comportaria
esse tipo de interpretação?
Pesquisas recentes no campo têm apontado para uma visão menos dicotômica
dos profissionais atuantes dentro do governo. Howlett e Wellstead (2011), a partir
de um survey abrangente com a burocracia subnacional canadense, argumentam
que os analistas entrevistados realizam nove diferentes funções, entre as quais
formulação, implementação, comunicação, gestão de bases de dados e análise da
legalidade, às quais podem ser reunidas em quatro tipos principais de funções nas
políticas públicas: i) apresentação de opções e cursos de ação; ii) implementação;
iii) assessoramento e consultoria; e iv) avaliação de políticas. Por consequência, há
uma variação relevante nas técnicas utilizadas, no formato de interação com atores
internos e externos, além das diferentes questões (issues) de políticas em que esses
profissionais se envolvem. Cenário similar a esse, apontando uma diversidade nos
tipos e formatos de inserção na máquina pública, são observados em contextos tão
diversos como o do governo federal canadense (Wellstead e Stedman, 2010), da
República Tcheca (Veselý, 2014), das Filipinas (Saguin, Ramesh e Howlett, 2018),
da Holanda (Hoppe e Jeliazkova, 2006) e do Brasil (Filgueiras, Koga e Viana, 2020).
Nessa mesma linha, outros estudos empíricos têm demonstrado que o trabalho
analítico na política pública, em geral, ocorre associado a outros trabalhos, como
os de tipo “relacional”, tais como as funções de negociação intergovernamental,
consultas públicas, tradução e até mesmo de democratização (Meltsner, 1976;
Colebatch, Hoppe e Noordegraaf, 2010; Kohoutek, Nekola e Novotný, 2013;
Olejniczak, Raimondo e Kupiec, 2016). Sendo assim, há que se reconhecer a
possível permeabilidade de diversas fontes de conhecimento que são trazidas pelos
diferentes atores que participam da política pública (Colebatch, Hoppe e Noorde-
graaf, 2010) com os quais a burocracia interage em seu trabalho (Cairney, 2019).
Esta abordagem relacional já vem sendo reconhecida e explorada em pesquisas
sobre a burocracia federal brasileira, em especial no nível federal (Cavalcante e
Lotta, 2015; Pires, Lotta e Oliveira, 2018).
Um outro conceito utilizado nos estudos sobre os burocratas e as organizações
públicas diz respeito às capacidades de políticas públicas (policy capacities) que
podem ser conceituadas como o conjunto de habilidades e recursos necessários
para o desempenho de funções e a produção de políticas públicas (Wu, Ramesh
e Howlett, 2015). Conforme sustentado por Filgueiras, Koga e Viana (2020), os
conceitos de capacidade e trabalho na política pública estão mutuamente relacio-
nados. As capacidades, na medida em que são acúmulos de recursos e habilidades,
condicionam o desempenho dos trabalhos, isto é, a realização de determinadas
funções nas políticas públicas demanda a existência de condições estruturais para
tanto. Por sua vez, nada adianta a existência de habilidades e recursos se estes não
são acionados. O trabalho permite que capacidades sejam mobilizadas, desenvol-
vidas e transformadas.
Como apontam Wu, Ramesh e Howlett (2015), o desempenho das funções
de políticas públicas por burocratas e organizações públicas demanda capacidades
de natureza distintas, tais como administrativas, relacionais e analíticas. Para a
discussão deste capítulo, interessa-nos as capacidades em sua dimensão analítica
remete mais especificamente “à aquisição de conhecimento e sua utilização nos
processos desenvolvidos nas políticas públicas” (Howlett, 2009, p. 162). A lite-
ratura especializada toma a capacidade analítica tanto dos burocratas como das
organizações públicas como condicionante fundamental para viabilizar o fluxo
da inteligência sobre e para as políticas públicas para as instâncias decisórias das
políticas públicas (Olejniczak, Raimondo e Kupiec, 2016).
Três dimensões parecem ser relevantes para se pensar as capacidades analí-
ticas. A primeira remete ao processamento de evidências: coleta de dados; leitura
e análise das pesquisas científicas; formulação de modelos e uso de estatística;
pesquisa aplicada; avaliação dos mecanismos associados ao atingimento de metas;
e design do programa. A segunda consiste em comunicar mensagens relacionadas
à própria política pública: a capacidade de articular prioridades de médio e longo

prazos; e a realização de consultoria e gestão de relações. A terceira diz respeito
mais especificamente aos recursos associados à obtenção e ao processamento de
elementos analíticos: quantidade e qualidade técnicas dos profissionais atuantes
nas organizações governamentais; orçamento; acesso a redes externas de peritos e
de produção de conhecimento (Howlett, 2009). Ou seja, como sugere Howlett
(2009), a capacidade analítica está relacionada não apenas à apropriação, ao uso
e à disseminação do conhecimento científico, mas também às outras fontes de
conhecimento que circulam no processo de produção de uma política pública.
Entre os estudos empíricos que mobilizam as capacidades analíticas, há o tra-
balho de Wellstead, Stedman e Howlett (2011) que analisam os burocratas federais
canadenses, alocados na capital e nas províncias, e os servidores subnacionais. Os
autores argumentam que a natureza das tarefas desenvolvidas pelos burocratas está
relacionada à atitude deles com relação ao funcionamento do governo – burocratas
de nível de rua envolvidos em atividades emergenciais de curto prazo percebem as
capacidades analíticas como de baixa qualidade – assim como o seu envolvimento
com o trabalho desenvolvido nas políticas públicas. Esses fatores são mais relevantes
que o nível de governo em que os burocratas exercem suas funções.
É importante considerar como unidades de análise dos estudos das capacida-
des analíticas tanto os indivíduos como as organizações e o subsistema de políticas
públicas. Por exemplo, Elgin e Weible (2013) combinam aspecto da discussão de
capacidades analíticas com a teoria das coalizões advocatícias para compreender
o subsistema de política pública de energia e clima no Colorado. Ao contrapor
a atuação de duas coalizões – pró e contra a tese da mudança climática –, os au-
tores argumentam que o perfil dos participantes e suas estratégias no subsistema
de política eram similares, apesar de as coalizões serem diametralmente opostas
em seus objetivos. Ambas contavam com indivíduos com bom nível educacional,
experiência e treinamento formal em habilidades técnicas, além de organizações
relativamente capazes de regular estratégias para defender seus pontos de vista. A
coalizão em defesa da tese da mudança climática foi vencedora em influenciar a
política pública no Colorado em razão de ser mais abrangente, embora a outra
coalizão “permaneça capaz de se engajar nos debates políticos” (Elgin e Weible,
2013, p. 130).
No contexto brasileiro, Macedo, Viana e Nascimento (2019), partindo dos
dados do survey aplicado pela Escola Nacional de Administração Pública, em 2017
(Enap, 2018), com o mesmo perfil de burocratas da administração federal direta a
ser explorado por esta pesquisa, fazem um importante esforço de investigar de que
modo as capacidades analíticas se organizam na administração federal brasileira.
Os autores observam que, a depender do cargo comissionado ocupado, da área de
política pública e do órgão governamental, além de características individuais, como

o grau de instrução do burocrata e o seu tempo de atuação na política pública, as
fontes de evidência mobilizadas podem variar.
Como já citado, Filgueiras, Koga e Viana (2020), por sua vez, propõem o
estudo das capacidades de políticas públicas em associação ao do trabalho desem-
penhado pelos burocratas. As capacidades tratam de um conceito latente que,
embora expresse o acúmulo de recursos e condições estruturais dos entes estatais,
não permite observar a ação estatal per se ou o resultado de sua mobilização. Em
contrapartida, o trabalho na política pública retrata justamente que a diversidade
da ação estatal e seu desempenho estaria condicionado ao acúmulo de capacida-
des. Seriam, portanto, chaves-analíticas que se afetariam mutuamente e que ao
serem analisadas conjuntamente permitiriam aprofundar a compreensão de uma
pluralidade maior de contextos de mobilização das capacidades e atuações dos bu-
rocratas nas políticas públicas. Os autores identificam quatro diferentes trabalhos
desempenhados pelos gestores governamentais – relacional, analítico/accountability,
gerencial e administrativo – que variam conforme o campo da política pública.
Koga et al. (2020), explorando dados do mesmo survey analisado nesta pes-
quisa, identificam quatro tipos principais de fontes de evidências utilizadas pelo
conjunto dos respondentes: i) interno – normas, notas técnicas, recomendações de
órgãos de controle, bases de dados governamentais etc.; ii) externo não acadêmica –
matérias jornalísticas, recomendações de instâncias participativas, informações de
grupos de interesse etc.; iii) externo acadêmica –artigos e pesquisas científicas; e
iv) experiencial – experiência pessoal e consulta a colegas de trabalho.
A partir de novas evidências empíricas, este capítulo pretende avançar no
debate acerca dos condicionantes do padrão de utilização de fontes de evidências
dos burocratas em função dos trabalhos desempenhados e das capacidades analíticas
presentes no funcionamento das administrações públicas a partir do caso brasileiro.
Nesse contexto, objetiva-se explorar algumas hipóteses levantadas pela literatura e
em outros trabalhos empíricos prévios (Ouimet et al., 2009; Wellstead, Stedman
e Howlett, 2011; Newman, Cherney e Head, 2017; Cherney et al., 2015; Mace-
do, Viana e Nascimento, 2019; Veselý, Ochrana e Nekola, 2018). Para tal, neste
estudo, analisamos a relação entre os diferentes tipos de informação e elementos
contextuais da atuação dos burocratas federais da administração direta.
3 MODELO ANALÍTICO
Diante da literatura apresentada anteriormente, esta seção propõe o modelo analítico
sintetizado na figura 1, a seguir, para investigar as relações de fatores que configu-
ram o contexto de atuação dos burocratas federais e o uso de diferentes fontes de
evidências. Quatro tipos de condicionantes são identificados no modelo. O primeiro
diz respeito a características individuais, em geral, analisadas pelas pesquisas com

burocratas federais brasileiros (Cavalcante e Lotta, 2015; Saguin e Palotti, 2020;
Macedo, Viana e Nascimento, 2019), nas quais estariam incorporados aspectos
sociodemográficos – como idade e gênero – e funcionais referentes à ocupação de
cargo de direção e assessoramento (DAS) e ao local de atuação (em Brasília ou fora
de Brasília). O segundo trata das áreas de políticas públicas que, tanto na literatura
nacional como na internacional, são exploradas como importantes caracterizado-
ras das diferenças na atuação e no desempenho estatal (Davies, Nutley e Smith,
2000; Parkhurst, 2017; Macedo, Viana e Nascimento, 2019; Cavalcante e Lotta,
2021). Os outros dois tipos de condicionantes dizem respeito aos fatores de maior
interesse neste trabalho, como justificado anteriormente, às capacidades analíticas
(individuais e organizacionais) e aos tipos de trabalhos nas políticas públicas.
FIGURA 1
Diagrama de caminho
Tipo de evidência
Trabalho na Capacidade Capacidade

política pública analítica analítica
individual organizacional
Características
individuais
Área de
política pública
Considerando o debate teórico exposto na seção 2, a figura 1 expressa o dia-

grama de caminho em que as setas representam a direção do efeito que se hipotetiza
entre as variáveis. No modelo proposto, as áreas de políticas públicas teriam efeito
tanto sobre as capacidades analíticas e o trabalho na política pública como sobre
o uso dos tipos de fontes de evidências. As capacidades analíticas organizacional
e individual teriam efeito reflexivo entre si e também sobre os usos dos tipos de
evidência. No nível individual, as características individuais teriam efeito sobre
o trabalho na política pública e a capacidade analítica individual. O trabalho na
política pública, por sua vez, teria efeito sobre a capacidade analítica individual e
o tipo de evidência utilizado pelo burocrata.
Vale esclarecer que não analisaremos neste capítulo os efeitos de todas as relações
sugeridas no modelo, mas tão somente a relação entre essas variáveis e a variável
de interesse tipo de evidência. Ou seja, analisaremos as relações representadas pelas
setas sólidas e não pelas setas tracejadas. Sustentamos que a análise proposta neste
capítulo é relevante, na medida em que permite avanços na construção de um modelo
explicativo completo acerca da escolha das fontes de informação pelos burocratas.
4 METODOLOGIA
Os dados aqui analisados foram coletados em um survey, no contexto da pesqui-
sa O que informa as políticas públicas federais: o uso e o não uso de evidências pela
burocracia federal brasileira, produzido pela Diest/Ipea. O questionário on-line
(autoadministrado) foi enviado, por e-mail, a uma amostra selecionada a partir de
um universo de 96.543 servidores civis lotados em órgão da administração direta.
A primeira amostra continha 6.055 servidores. Foram então realizadas mais duas
rodadas de seleção utilizando exatamente o mesmo método, chegando ao número
final de 18.165 servidores (Koga et al., 2020). Assim, obtiveram-se 2.180 registros
completos válidos, representando uma taxa de resposta de 12% da amostra.9
O questionário contém as variáveis referentes às dimensões apresentadas na figura
1, isto é, tipo de evidência, trabalho na política pública, área de política pública, capacidade
analítica organizacional, capacidade analítica individual e características individuais,
além das variáveis: como ocupar cargo de DAS, Unidade da Federação (UF) em que
está lotado, idade e sexo (todas as variáveis analisadas estão listadas no apêndice A).
As hipóteses testadas correspondem aos efeitos das variáveis em questão
sobre o uso de determinados tipos de informação pelos servidores públicos fede-
rais, principalmente as variáveis trabalho na política pública, capacidade analítica
individual e capacidade analítica organizacional. Para tal, optou-se pela modelagem
de equações estruturais (MEE), uma técnica estatística de análise multivariada de
dados usada para examinar relações entre variáveis observáveis e variáveis latentes
(ou construtos). Essa técnica permite testar proposições teóricas sobre como as
variáveis latentes estão formadas,10,11 as relações entre elas, assim como a direção
de tais relacionamentos, em uma suposição entre causas e efeitos.
Nesse sentido, a análise especifica e valida uma MEE derivada de abordagens
teóricas da literatura com o objetivo de investigar como os tipos de trabalho na
política pública e outros determinantes relacionados ao contexto de atuação dos
9. A íntegra do questionário pode ser encontrada em Koga et al. (2020).

10. Assim, as variáveis tipo de evidência e trabalho na política pública são tomadas enquanto variáveis latentes (ou
construtos) observáveis indiretamente por meio de um conjunto de indicadores (conforme descrito no apêndice A).
11. Conforme descrito em Koga et al. (2020), a variável tipo de evidência foi previamente submetida à técnica de
análise fatorial com o intuito de detectar perfis comuns nas respostas obtidas para os quinze tipos de informações
apresentados aos respondentes. Na ocasião, foi possível delimitar quatro perfis específicos: interna, externa, acadêmico
e experiencial (ver a distribuição dos quinze tipos entre esses quatro perfis no apêndice A). Na mesma oportunidade,
a variável trabalho na política pública também foi submetida à técnica de análise fatorial (Koga et al., 2020). A partir
das respostas obtidas para os quatorze tipos de trabalho apresentados, também foi possível delimitar quatro perfis
específicos: analítico/controle, relacional, gerenciamento/fiscalização e administrativo (ver a distribuição dos quatorze
tipos entre os perfis no apêndice A).
burocratas (como as capacidades organizacionais e individuais) estão associados

aos usos de diferentes tipos de informações. Em suma, a MME foi utilizada como
técnica confirmatória do modelo analítico proposto, principalmente na compre-
ensão de como e se os indicadores selecionados estão relacionados com cada tipo
de informação.
Foi utilizado na análise o pacote Lavaan do programa R, com estimativa de
mínimos quadrados ponderados diagonalmente. As medidas de ajuste geral do
modelo indicam um bom ajuste para os dados. Para avaliar o ajuste do modelo,
foram utilizados os índices Comparative Fit Index (CFI), Root Mean Square Error
of Approximation (RMSEA) e o Standardized Root Mean Square Residual (SRMR).
O índice CFI indicou que os dados da amostra estão bem ajustados ao modelo
(0,92). Esse índice mede o ajuste relativo do modelo observado ao compará-lo
com o modelo-base (isto é, o modelo com o pior ajuste), em que valores acima de
0,90 indicam ajuste adequado (Hu e Bentler, 1999).
O RMSEA foi de 0,068, estando nos limites indicados como um bom ajuste
do modelo. Tal índice avalia o quão longe um modelo hipotético está de um modelo
perfeito. De acordo com Hooper, Coughlan e Mullen (2008), um valor em torno
de 0,06 indica um bom ajuste, ao passo que o valor limite é 0,07 (Steiger, 2007).
Por sua vez, o SRMR, que é a raiz quadrada da diferença entre os resíduos
da amostra da matriz de covariância e o modelo de covariância hipotético, foi de
0,059. Os valores desse índice variam de 0 a 1, sendo abaixo de 0,08 um indicativo
de bom ajuste (Hu e Bentler, 1999). Dessa forma, os três índices (CFI, RMSEA
e SRMR) indicaram um bom ajuste do modelo.
5 RESULTADOS DA ANÁLISE
A tabela 1 apresenta um resumo dos achados do modelo de equações estruturais.12
No que diz respeito às estimativas, vale ressaltar que os coeficientes se encontram
padronizados para as variáveis latentes.13 Isso significa que elas seguem uma dis-
tribuição aproximadamente normal padrão (com média 0 e variância igual a 1).
Quanto às demais variáveis (observáveis), os resultados podem ser interpretados
em suas escalas originais (descritas no apêndice A).
12. As correlações encontradas entre as variáveis latentes (por exemplo, trabalho na política pública) e respectivas
cargas fatoriais estão descritas no apêndice A. Apesar de serem parte importante do modelo estatístico, do ponto de
vista teórico e descritivo elas não acrescentam nada a respeito das relações aqui analisadas.
13. No que tange à significância estatística, os asteriscos ao lado das estimativas descrevem o respectivo p-valor (*
p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001). Assim, a presença de asteriscos indica significância estatística
e, do mesmo modo, a ausência indica que não há significância estatística. Por sua vez, a magnitude da relação/influência
entre as variáveis deve ser observada através do valor do coeficiente estimativa.
TABELA 1
Resultados do modelo de equações estruturais (2019)
Tipo de evidência
Interno¹ Externo¹ Acadêmico¹ Experiencial¹
Estimativa Valor z Estimativa Valor z Estimativa Valor z Estimativa Valor z
Analítico/
0,818*** 8,554 -0,056 -0,723 0,229** 3,135 0,345*** 3,796
controle¹
Trabalho Relacional¹ -0,820*** -9,260 0,727*** 10,503 0,352*** 5,891 -0,144 -1,842
na política
pública Contrato/
0,478*** 4,943 -0,160* -2,224 -0,231** -3,183 0,132 1,581
fiscalização¹
Administrativo 0,180*** 12,614 0,097*** 6,479 0,005 0,404 0,152*** 8,900
Capacidade Recursos 0,029 1,656 0,140*** 7,761 0,184*** 11,292 0,147*** 7,063
analítica Unidade
organizacional especializada -0,145** -2,900 0,09 1,766 0,123** 2,655 -0,062 -1,070
Formação 0,026 1,258 0,129*** 5,976 0,348*** 18,210 0,111*** 4,686
Capacidade Habilidades 0,015 1,850 0,038*** 4,583 0,050*** 6,785 -0,007 -0,684
analítica
individual Experiência
na política 0,019 0,95 -0,025 -1,246 -0,009 -0,454 0,065** 2,834
pública
Social 0,276*** 3,734 0,038 0,513 -0,132 -1,960 -0,182* -2,217
Econômica 0,308*** 4,694 0,03 0,447 -0,075 -1,255 0,019 0,249
Área de polí- Infraestrutura -0,061 -0,821 -0,076 -1,013 0,025 0,373 -0,11 -1,288
tica pública
Meio am-
0,142 1,258 0,408*** 3,617 0,085 0,751 -0,032 -0,252
biente
Controle 0,849*** 8,245 0,283** 2,693 0,123 1,320 0,095 0,805
DAS 1-3 0,285*** 3,903 0,005 0,065 -0,046 -0,697 0,185* 2,192
DAS 4-6 0,393*** 4,417 0,352*** 3,816 0,091 0,973 0,269** 2,632
Trabalha
Características
no Distrito 0,148** 3,015 0,213 *** 4,164 0,118** 2,620 -0,017 -0,292
individuais
Federal (DF)
Idade -0,007** -3,279 0,006** 2,738 -0,006** -2,920 -0,007** -2,935
Sexo -0,046 -1,017 -0,102* -2,213 0,03 0,717 -0,014 -0,278

Nota: 1 Variável latente.
Obs.: * p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001.
Como é possível observar de forma mais clara na tabela 2, as relações exis-

tentes entre trabalho na política pública e tipo de evidência são quase todas estatis-
ticamente significativas e apresentam coeficientes de caminho (efeito/influência)
bem elucidativos.
Nota-se que o trabalho analítico/controle apresenta coeficiente de caminho

positivo e significativo em todos os tipos de evidência, com exceção do tipo externo
(-0,82): a saber, interno (+0,81), experiencial (+0,34) e acadêmico (+0,22). Ou seja,
esse tipo de trabalho está relacionado a um maior uso desses três tipos de informação.
Dois pontos principais merecem destaque em relação a esses resultados. O
primeiro deles diz respeito às fontes acadêmicas. Embora a literatura já reconheça
que o trabalho analítico trata da captação e da mobilização do conhecimento
proveniente não apenas das fontes científicas, esperaríamos que a maior associação
com este tipo de fonte fosse encontrada neste tipo trabalho. No entanto, como
veremos a seguir, a associação mais expressiva com o uso da fonte científica foi
encontrada no trabalho relacional.
O segundo ponto trata da magnitude do tipo interno de evidência (+0,81),
pelo menos duas vezes maior do que os tipos acadêmico e experiencial. Esse valor
indica que a função analítico/controle está fortemente associada a um maior uso
de evidências internas, como normativas, notas técnicas, pareceres legais etc. De
fato, a própria associação do trabalho analítico com o trabalho de controle, já
apontada em estudos prévios de burocratas, como nas publicações de Macedo,
Viana e Nascimento (2019), Koga et al. (2020) e Saguin e Palotti (2020), levanta
questionamentos sobre a forma e os propósitos para o qual o trabalho analítico vem
sendo realizado na administração federal brasileira. Isto é, se estaria sendo realizado
para subsidiar decisões nas políticas públicas, como preconizado pela literatura de
análise de políticas públicas e pela própria PPBE, ou para fins de como responder
a demandas do controle.
De todo modo, chama a atenção o uso expressivamente mais elevado de
fontes internas no trabalho analítico/controle em relação às outras fontes. Algumas
hipóteses podem ser levantadas a partir desses resultados. Uma delas seria a da
caraterização de uma eventual função de intermediação, validação ou tradução
de outras fontes de evidência inclusive, as acadêmico-científicas, desempenhada
pelas fontes internas.
Outra hipótese seria a configuração de um processo de endogenia em que a
própria administração federal produziria e consumiria suas fontes informacionais.
Se consideramos que as recomendações de entes de controle e decisões judiciais
estão entre essas fontes internas, a exploração dessa hipótese se torna ainda mais
relevante, especialmente quando possíveis implicações cabem dentro do debate
recente acerca da crescente influência do controle na gestão (Filgueiras, 2018;
Nogueira e Gaetani, 2018; Grin, 2020). Talvez esta seja mais uma frente em que
esta influência possa ser analisada.
TABELA 2
Resultados MME: trabalho na política pública versus tipo de evidência (2019)
Tipo de evidência
Analítico/
0,818*** 8,554 -0,056 -0,723 0,229** 3,135 0,345*** 3,796
controle¹
Trabalho na Relacional¹ -0,820*** -9,260 0,727*** 10,503 0,352*** 5,891 -0,144 -1,842
política pública Contrato/
0,478*** 4,943 -0,160* -2,224 -0,231** -3,183 0,132 1,581
fiscalização¹
Administrativo 0,180*** 12,614 0,097*** 6,479 0,005 0,404 0,152*** 8,900

Por sua vez, o trabalho relacional apresenta coeficiente de caminho positivo

e significativo para os tipos de evidência externo (+0,72) e acadêmico (+0,35).
Nesse caso, a magnitude para o tipo externo indica que a função relacional está
intensamente associada à utilização de conhecimentos produzidos por diferentes
grupos da sociedade (beneficiários, grupos de interesse, mídia, entre outros),
inclusive acadêmico.
Também vale sublinhar que a função relacional obteve a maior magnitude para
o tipo de evidência acadêmico (+0,35), de modo que ela se destaca como o trabalho
mais fortemente associado ao uso de evidências acadêmico-científicas, ainda que
não seja o de maior destaque na referida função. Por sua vez, a mesma função está
negativamente associada ao uso de evidências internas, o qual se encontra bastante
reduzido com magnitude de -0,82.
Embora esses resultados não confirmem as expectativas do maior uso de fontes
científicas no trabalho analítico/controle, eles corroboram a literatura sobre o policy
work que destaca os efeitos da atuação relacional para a maior permeabilidade da
influência de interlocutores externos (Meltsner, 1976; Colebatch, Hoppe e No-
ordegraaf, 2010). Como apontado por Ouimet, Landry e Ziam (2009) a maior
interação com acadêmicos também seria um fator que levaria ao maior uso de
evidências científicas pelos burocratas, o que pode ocorrer com mais intensidade
neste tipo de trabalho relacional.
Com relação ao trabalho contrato/fiscalização, os coeficientes de caminho
foram significantes, com tendências positivas apenas para interno (+0,48) e nega-
tivas para acadêmico (-0,23) e externo (-0,16). Esta associação parece condizente ao
que se esperaria para um tipo de atuação que, por definição, é voltada a garantir
o cumprimento de normativos e orientações internas produzidas pela própria
administração pública.
Finalmente, o trabalho administrativo – caracterizado por atividades como agen-

damento de reuniões, tramitação de processos, elaboração de ofícios e memorandos
etc. – apresenta coeficientes de caminho significativos e positivos para os tipos de
evidência interno (+0,18), experiencial (+0,15) e externo (+0,09). Ou seja, essa função
está associada ao uso de todos os três tipos de evidências. Em contrapartida, o trabalho
administrativo não apresentou significância para evidências acadêmico-científicas,
de modo que não há associação entre essa função e o uso desse tipo de evidência,
como de fato não se esperava dada a natureza mais operacional deste tipo de atuação.
No que se refere às capacidades analíticas, observando-se recomendações da
literatura (Olejniczak, Raimondo e Kupiec, 2016; Wu, Ramesh e Howlett, 2015;
Elgin e Weible, 2013; Pattyn e Brans, 2015), buscamos analisar tanto os efeitos
das capacidades acumuladas no nível individual dos burocratas como os efeitos das
capacidades acumuladas no nível das organizações da administração direta, conforme
apresentado na tabela 3. Quanto ao nível individual, as capacidades analíticas foram
representadas pelo conjunto de formação, habilidades apreendidas e experiência prévia
dos burocratas, buscando captar os recursos analíticos provindos dos conhecimentos
formais, bem como os recursos analíticos provindos dos conhecimentos tácitos.
Como argumenta a literatura especializada, os conhecimentos e as habili-
dades prévias determinariam a capacidade dos indivíduos de reconhecer o valor,
adquirir, avaliar e usar as diferentes fontes de conhecimento (Ouimet, Landry e
Ziam, 2009). Quanto às capacidades analíticas de nível organizacional, estas foram
retratadas pelo nível de recursos informacionais disponibilizados pelos órgãos e
pela existência de uma estrutura especializada que configuraria uma maturidade
institucional mais elevada voltada ao uso de evidências científicas, como indicam
experiências em outros países (Newman, Cherney e Head, 2017).
TABELA 3
Resultados da MME: capacidades analíticas organizacional e individual versus tipo
de evidência (2019)
Tipo de evidência
Capacidade Recursos 0,029 1,656 0,140*** 7,761 0,184*** 11,292 0,147*** 7,063
analítica Unidade
organizacional especializada -0,145** -2,900 0,090 1,766 0,123** 2,655 -0,062 -1,070
Formação 0,026 1,258 0,129*** 5,976 0,348*** 18,210 0,111*** 4,686

Capacidade Habilidades 0,015 1,850 0,038*** 4,583 0,050*** 6,785 -0,007 -0,684
analítica
Experiência
individual
na política 0,019 0,95 -0,025 -1,246 -0,009 -0,454 0,065** 2,834
pública

De acordo com a tabela 3, os resultados referentes à capacidade analítica

individual indicam uma associação positiva entre o nível de formação e o uso de
evidências externas (+0,13), acadêmicas (+0,35) e experienciais (+0,11). Desta-
que para a relevância do efeito positivo entre formação e utilização de evidências
acadêmico-científicas, como previsto pela literatura (Ouimet et al., 2009; Wells-
tead, Stedman e Howlett, 2011; Newman, Cherney e Head, 2017). Quanto à
maior diversidade de fontes utilizada pelos indivíduos com maior escolaridade, os
resultados confirmam os achados apresentados por Macedo, Viana e Nascimento
(2019) para o mesmo perfil de burocratas pesquisados em 2017.
Já a variável habilidades, que correspondia ao uso de ferramentas e tecnologias
de processamento de dados, está apenas fracamente associada com o maior uso de
evidências externas (+0,04) e acadêmicas (+0,05). De todo modo, por se tratar de
habilidades que facilitariam diretamente o uso desse tipo de evidência, a associação
positiva era esperada.
Em relação ao tempo de experiência na política pública, foi encontrada rela-
ção significativa apenas para o uso de evidências experienciais, que se apresentou
positiva e também fraca (+0,06). Diferentemente do levantado por Macedo, Viana
e Nascimento (2019) quanto à associação negativa entre o tempo de experiência e
o uso de diversas fontes informacionais, os resultados do survey de 2019 não permi-
tem identificar associação entre tempo de experiência e outros tipos de evidências
analisados nesta pesquisa. Contudo, entendemos continuar válida a exploração por
eles sugerida sobre as implicações de eventual desinteresse por fontes informacionais
como científica e externa à medida que o burocrata se especializaria na política
pública. Contar apenas com fontes experienciais reduziria sua capacidade analítica e
fortaleceria a tendência de endogenia e ensimesmamento apontado anteriormente?
Do ponto de vista da capacidade analítica organizacional (tabela 4), importa
sublinhar que a disponibilidade de recursos organizacionais para obtenção de
informações de estudos e pesquisas está positivamente associada com o uso de
evidências externas (+0,14), acadêmicas (+0,18) e experienciais (+0,15). Ademais,
a existência de uma unidade organizacional especializada na utilização de pesquisas
e estudos científicos demonstrou-se associada positivamente ao uso de evidências
acadêmico (+0,12) e negativamente ao uso de evidências interno (-0,145).
Esses resultados corroboram tanto a literatura de PBBE que discute me-
canismos e estratégias para promoção do uso de evidências científicas pelos
burocratas como a literatura de capacidades que problematizam a relação entre
as capacidades analíticas individuais e organizacionais. Quanto à primeira, a
literatura de PPBEs sustenta que a disponibilização de recursos, incentivos
organizacionais e criação de unidades de políticas públicas pode dizer muito
sobre o nível de aproximação entre burocracia e academia e do uso de evidências
científicas (Pattyn e Brans, 2015; Howlett, 2015; Cherney et al., 2015). Neste
mesmo sentido, a existência de tais unidades voltadas à mobilização do conhe-
cimento científico poderia implicar o maior uso de evidências científicas e uma
demanda menor por fontes internas, como sugerido pelos dados da tabela 3.
Um avanço importante para o entendimento dos efeitos das capacidades
analíticas no uso especialmente das evidências científicas seria o aprofundamento
da relação entre as capacidades individuais e organizacionais, buscando analisar
como elas se afetam. Como reconhece a literatura (Pattyn e Brans, 2015), para que
as capacidades analíticas dos burocratas sejam mobilizadas, não basta capacitá-los. É
necessário, ainda, que as organizações demandem e deem condições institucionais
para o uso de evidências científicas e também de outras fontes informacionais.
Compreender que dinâmicas e combinações de capacidades propiciam um maior
uso, demonstra-se um caminho profícuo de aprofundamento deste debate.
Quanto aos resultados da tabela 4, cabe mencionar que, do ponto de vista da
MME, não foram encontradas muitas relações com significância estatística entre
a área de política pública14 e o tipo de evidência utilizado pelos burocratas. As áreas
social (+0,28), econômica (+0,31) e controle (+0,85) estão associadas a um maior uso
de evidências de cunho interno, com destaque para a forte associação no caso da área
controle. Essa área também está positivamente associada ao uso de evidências externas.
TABELA 4
Resultados MME: área de política pública versus tipo de evidência (2019)
Tipo de evidência
Social 0,276*** 3,734 0,038 0,513 -0,132 -1,960 -0,182* -2,217
Econômica 0,308*** 4,694 0,03 0,447 -0,075 -1,255 0,019 0,249

Área de
política Infraestrutura -0,061 -0,821 -0,076 -1,013 0,025 0,373 -0,11 -1,288
pública
Meio ambiente 0,142 1,258 0,408*** 3,617 0,085 0,751 -0,032 -0,252
Controle 0,849*** 8,245 0,283** 2,693 0,123 1,320 0,095 0,805

14. Na análise, a variável área de política pública foi recodificada enquanto uma variável dicotômica. Assim, para esta
variável, os respondentes ligados à área central foram escolhidos como grupo de referência para as demais áreas. Ou
seja, os valores indicam um maior ou menor uso por parte dos respondentes de cada área sempre em comparação com
os respondentes da área central (para lista dos órgãos que compõem cada área, ver o apêndice A).
As hipóteses levantadas acerca do trabalho analítico/controle também merecem

ser estudadas em razão dos resultados apresentados sobre a atuação mais específica
dos burocratas na área controle que se respaldam fortemente nas evidências interno
e, em alguma medida, externo. Como apontam Oliveira e Menke (2020) em estu-
do sobre as preferências dos auditores da Controladoria-Geral da União (CGU),
há de fato uma clara prevalência do uso de fontes internas, tais como normas e
avaliações produzidas pela própria controladoria. Em que pese a existência de
orientações institucionais no sentido de incentivar o uso de evidências científicas
nos processos de auditorias, Oliveira e Menke (2020) retratam a existência de
desconfiança dos auditores da CGU em relação a este tipo de fonte, achado este
que merece ser analisado.
Sobre os resultados quanto às áreas de política, vale mencionar, ainda, a
importante associação positiva da área meio ambiente com a utilização de evidên-
cias externo (+0,26), associação esta já identificada pela literatura em razão das
especificidades da área quanto à sujeição a regulações internacionais, dos padrões
de avaliação de financiamentos externos e das interações com organizações não
governamentais e organismos internacionais (Abers, 2016; Koga et al., 2020;
Macedo, Viana e Nascimento, 2019).
Outro dado importante para essa variável é que, do ponto de vista do modelo,
não existe associação estatisticamente significativa, no modelo testado, entre as
áreas de políticas públicas e o uso de evidências acadêmico-científicas. É possível
que, como sugerido no modelo da figura 1, o efeito do uso de evidências nas áreas
de políticas públicas esteja intermediado pelo tipo de trabalho desempenhado
e às capacidades acumuladas pelos burocratas nos diferentes setores de políticas
públicas. Uma outra hipótese já mencionada anteriormente trata da possibilidade
de que as fontes acadêmicas sejam consumidas indiretamente por meio do uso
de outras fontes, como normas, notas técnicas e recomendações do controle, que
absorvam as fontes acadêmicas em sua elaboração. De todo modo, trata-se de uma
análise a ser aprofundada.
Quanto às características sociodemográficas dos burocratas, os resultados
apresentados na tabela 5 indicam uma fraca associação negativa entre o gênero
masculino e o uso do tipo de evidência externo (0,102, p < 0,05). Para a variável
idade, foi observada associação significativa para todos os tipos de evidências,
contudo com magnitude a ser ponderada a depender da idade, tendo sido negativa
para os tipos interno (-0,007), acadêmico (-0,006) e experiencial (-0,007) e positiva
apenas para o tipo externo (+0,006).
TABELA 5
Resultados MME: características individuais versus tipo de evidência (2019)
Tipo de evidência
DAS 1-3 0,285*** 3,903 0,005 0,065 -0,046 -0,697 0,185* 2,192
DAS 4-6 0,393*** 4,417 0,352*** 3,816 0,091 0,973 0,269** 2,632
Características
Trabalha no DF 0,148** 3,015 0,213 *** 4,164 0,118** 2,620 -0,017 -0,292
individuais
Idade -0,007** -3,279 0,006** 2,738 -0,006** -2,920 -0,007** -2,935
Sexo (masculino) -0,046 -1,017 -0,102* -2,213 0,03 0,717 -0,014 -0,278

Já no que se refere às características funcionais de ocupação de cargos e o

trabalho no DF, associações relevantes foram identificadas. Para o tipo de evidência
interno, foram encontradas associações positivas tanto para ocupação de cargos
DAS 1-3 (+0,28) como para DAS 4-6 (+0,39) e para trabalha no DF (+0,15). Essa
última variável também apresentou associação positiva para os tipos de evidência
externo (+0,21) e acadêmico (+0,11), indicando uma maior diversidade de uso de
fontes de evidência pelos burocratas federais atuando no DF se comparados aos
lotados em outras UFs.
Esta diferença pode estar relacionada à diferença da natureza do trabalho
desempenhado e do grau de influência dos burocratas lotados nas unidades orga-
nizacionais da administração direta fora de Brasília, em geral, mais relacionada à
operacionalização de diretrizes e decisões definidas pela sede dos órgãos em Brasília
(Saguin e Palotti, 2020) e, portanto, com menor demanda e acesso a uma diver-
sidade de fontes informacionais. Contudo, mais estudos merecem ser realizados
para produzir afirmações sobre esta dinâmica. Há que se lembrar, ainda, que estes
dados se referem ao contexto dos burocratas da administração federal direta. Esta
dinâmica deve ser distinta se consideramos as entidades da administração indireta,
muitas das quais são caracterizadas pelo elevado grau de especialização e localiza-
dos fora de Brasília, tais como universidades, agências reguladoras, fundações e
institutos de pesquisa.
Por fim, quanto à ocupação de DAS, além da associação positiva de magnitudes
mais elevadas com as fontes internas já mencionadas, os resultados indicam associação
com fontes experienciais tanto para DAS 1-3 (+0,18) como para DAS 4-6 (+0,27),
sendo que para estes DAS mais altos verifica-se também associação positiva com o
uso de evidências externo (+0,35). Estes resultados em diálogo com a literatura sobre
a burocracia de médio escalão (BME) trazem questões interessantes para o debate.
Como revela Pires (2018), os burocratas ocupantes de DAS atuam em um

nível intermediário entre a chamada burocracia de nível de rua e os tomadores de
decisão, ambos pressionados e orientados pelo ambiente externo. Nessa posição,
a função dos burocratas de médio escalão seria a de atuar como “agentes de inte-
gração, articulação, coordenação e produção de coerência” no interior do Estado,
influenciando na produção das políticas por meio da interferência no fluxo de
recursos críticos, entre eles os recursos informacionais (Pires, 2018, p. 201). Essa
posição e função diferenciada desses burocratas faz questionar se estes exerceriam
uma função intermediadora das diversas fontes de informação, tal como já apontado
para o caso da burocracia do controle.
Ademais, em que pese uma maior diversificação de fontes, especialmente no
caso dos DAS mais elevados, novamente chama a atenção a ausência de associação
entre a ocupação desses cargos e o uso de evidências científicas. Se os burocratas
de médio escalão são uma porta de entrada relevante para fontes informacionais
no interior da administração pública, as evidências científicas não estariam sendo
acessadas por meio dela.
Este capítulo buscou apresentar uma radiografia dos tipos de evidências utilizados
pelos burocratas e sobre quais fatores contextuais de sua atuação na política pública
se associam ao consumo e à utilização dessas fontes informacionais. Tendo como
referência a proposta de Pinheiro (2020b) do modelo moderado de evidência,
este trabalho sustenta-se no entendimento de que um instrumento informacional
se torna evidência a depender da moldura contextual na qual é utilizada, o que
justificaria então expandir a observação do uso dos instrumentos informacionais
para uma maior diversidade de contextos de atuação dos usuários.
A fim de retratar esta maior diversidade, foi proposto um modelo analítico
que considera quatro tipos de condicionantes contextuais da ação dos burocratas
federais, assim como as possíveis relações entre eles, a saber: o trabalho desempe-
nhado na política pública; as capacidades analíticas acumuladas por burocratas e
órgãos; as áreas de políticas em que atuam; e as características funcionais e socio-
demográficas dos indivíduos.
Em 2019, momento da coleta dos dados via survey, quatro tipos de recursos
informacionais eram utilizados pelos burocratas da administração federal direta:
i) interno – fontes produzidas pela própria administração pública federal; ii) externo
acadêmica – pesquisas e fontes acadêmico-científicas; iii) externo não acadêmica –
pesquisas produzidas por outros atores externos à administração pública federal
e não acadêmicos; e iv) experiencial – fontes oriundas da própria experiência do
burocrata ou de colegas de trabalho.
Associações relevantes foram identificadas entre esses tipos de fontes e os fatores

contextuais analisados. Destaque importante merece ser dado à forte associação entre
o tipo de evidência interno e a maior parte das variáveis contextuais do modelo, apon-
tando para um uso acentuado dessa fonte, em especial nos trabalhos analítico/controle
e contrato/fiscalização, nos cargos de DAS e nos setores social, econômico e controle.
Apesar de alguns desses resultados serem esperados em função da natureza do
trabalho, como no caso do trabalho contrato/fiscalização, argumentamos que esses
resultados demandam aprofundamento em duas principais questões. A primeira diz
respeito a um eventual papel assumido pelas fontes internas como intermediadora e
validadora de outras fontes de evidências, e a segunda quanto à relação encontrada
entre o trabalho analítico e do controle. Há gatekeepers ou knowledge brokers – isto
é, guardiões ou intermediários do conhecimento – que controlariam quais outras
fontes informacionais e de que forma estas chegariam à administração federal?
Em caso afirmativo, como essa dinâmica ocorre? Quem seriam? Os resultados
apresentados nesta pesquisa indicam os burocratas do controle e os ocupantes de
DAS como atores que possam estar exercendo tal função.
Quanto às fontes externas, as associações de maior magnitude foram encontradas
nos contextos mais específicos do trabalho relacional, entre os ocupantes de DAS
mais elevados (4 a 6) e na área meio ambiente. Os dois primeiros fatores podem estar
relacionados, como sugerido no modelo analítico, e dizem respeito a um contexto de
atuação de fato mais interacional e negocial, em que se potencializa a troca de fontes
informacionais. O mesmo ocorreria na área meio ambiente em face da influência do
ambiente internacional e da presença mais forte dos stakeholders externos da política.
Contudo, o fato de outras áreas ou tipos de trabalho de políticas públicas não terem
apresentado associação positiva com esta fonte de informação pode sugerir uma
tendência de ensimesmamento ou endogenia já caracterizada pela presença expressiva
entre fontes internas nos diferentes contextos de atuação burocrática.
Os resultados referentes às fontes de evidências científicas vão na mesma
direção. A princípio, não foi encontrada associação positiva com nenhuma área de
política pública. Quanto ao trabalho de política pública, o relacional novamente
é o que teria alguma associação significativa em função de sua maior relação com
atores externos e, portanto, acesso a uma maior diversidade de fontes informacio-
nais, seguido do analítico/controle. Este último resultado reforça o argumento da
necessidade de aprofundamento do contexto deste tipo de trabalho e da relação
entre controle e produtores da política também para o acesso de fontes científicas.
É importante destacar, ainda, a associação entre as capacidades analíticas,
tanto individuais como organizacionais, e o uso de evidências científicas, como
sugerido pela literatura especializada que argumenta que o uso desse tipo de fonte
demanda não apenas de capacitação dos burocratas, mas também de infraestrutura
de pesquisa e institucionalização de ferramentas de governança das evidências.
Por fim, quanto às fontes experienciais, associações positivas foram encontradas

em maior magnitude no trabalho analítico/controle e entre os DAS 4 e 6. Pesquisas
que analisam a importância do conhecimento tácito para determinados contextos
de trabalho na política pública podem ajudar a compreender essas relações.
Reconhecemos que diversos desenvolvimentos e aprofundamentos podem ser
vislumbrados a partir dos resultados apresentados. Uma frente trata da continui-
dade da exploração e do refinamento do modelo analítico proposto para avançar
em análises explicativas do uso de evidências. Para tanto, a incorporação de fatores
que permitam investigar as relações entre as variáveis explicativas, assim como as
dinâmicas político-institucionais da atuação dos burocratas e organizações, como
o faz a literatura de subsistemas de políticas públicas no modelo de coalizão de
defesa, parece meios profícuos. Outra frente trata da realização e comparação entre
estudos com outros perfis de burocratas, como os da administração interna, dos
órgãos do controle e dos entes subnacionais.
De fato, outras pesquisas já foram ou estão sendo conduzidas15 no Brasil
com este objetivo e merecem ser analisadas conjuntamente para acrescer a uma
radiografia abrangente da capacidade analítica do Estado brasileiro. O aprimora-
mento da metodologia aplicada, por meio do uso de métodos experimentais ou
qualitativos que permitam a triangulação de dados, também pode trazer avanços
para esta agenda, especialmente no contexto como o atualmente vivido do advento
da covid-19 que faz questionar a importância, os usos e os limites das evidências
científicas e o que de fato tem informado as políticas públicas. Este estudo buscou
fazer parte desta caminhada.
REFERÊNCIAS
ABERS, R. N. Conflitos, mobilizações, e participação institucionalizada: a
relação entre a sociedade civil e a construção de grandes obras de infraestrutura.
Brasília: Ipea, 2016. (Texto para Discussão, n. 2231).
BALL, S. J. et al. Policy actors: doing policy work in schools. Discourse: Studies
in the Cultural Politics of Education, v. 32, n. 4, p. 625-639, 2011. Disponível
em: <https://bit.ly/3l8ay0Q>. Acesso em: 4 out. 2021.
CAIRNEY, P. The UK government’s imaginative use of evidence to make policy.
British Politics, v. 14, n. 1, p. 1-22, 2019.
15. Por exemplo, Peci e Sobral (2011), Oliveira e Menke (2020) e Daienne Machado, Tatiana Sandim, Pedro Jorge Holanda
Alves, Isabela Harumi Lopes Motoki e Júlia Andrade Vivas, autores do capítulo 11 desta obra.
CAVALCANTE, P.; LOTTA, G. Burocracia de médio escalão: perfil, trajetória

e atuação. Brasília: Enap, 2015.
______. Are governance modes alike? An analysis based on bureaucratic rela-
tionships and skills. International Journal of Public Administration, 2021.
CHERNEY, A. et al. Use of academic social research by public officials: exploring
preferences and constraints that impact on research use. Evidence & Policy: A
Journal of Research, Debate and Practice, v. 11, n. 2, p. 169-88, 2015.
COLEBATCH, H. K. What work makes policy? Policy Sciences, v. 39, n. 4,
p. 309-321, 2006. Disponível em: <https://bit.ly/3mmQAyH>. Acesso em:
4 out. 2021.
COLEBATCH, H. K.; HOPPE, R.; NOORDEGRAAF, M. Working for policy.
Amsterdam: Amsterdam University Press, 2010.
CRAFT, J. Conceptualizing the policy work of partisan advisers. Policy Sciences,
v. 48, n. 2, p. 135-158, 2015. Disponível em: <https://bit.ly/3iv0Q6W>. Acesso
em: 4 out. 2021.
DAVIES, H. T. O.; NUTLEY, S.; SMITH, P. What works? Evidence-based policy
and practice in public services. Bristol: The Policy Press, 2000.
DELEON, P. The historical roots of the field. Oxford: Oxford University Press, 2008.
ELGIN, D. J.; WEIBLE, C. M. A stakeholder analysis of Colorado climate and
energy issues using policy analytical capacity and the advocacy coalition framework.
Review of Policy Research, v. 30, n. 1, p. 114-133, 2013.
ENAP – ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA. Capaci-
dades estatais para produção de políticas públicas: resultados do survey sobre
serviço civil no Brasil. Brasília: Enap, 2018.
FILGUEIRAS, F. Burocracias do controle, controle da burocracia e accountabi-
lity no Brasil. In: PIRES, R.; LOTTA, G.; OLIVEIRA, V. (Org.). Burocracia e
Políticas Públicas no Brasil: intersecções analíticas. Brasília: Enap; Ipea, 2018.
FILGUEIRAS, F.; KOGA, N.; VIANA, R. State capacities and policy work in
Brazilian civil service. Revista de Sociologia e Política, v. 28, n. 74, 2020. Dis-
ponível em: <https://bit.ly/2Yt4Iyq>. Acesso em: 4 out. 2021.
FISCHER, F.; GOTTWEIS, H. The argumentative turn revisited: public policy
as communicative practice. Durham & London: Duke University Press, 2012.
GRIN, E. J. Controle externo e policy making? A atuação do TCU junto à
administração pública federal. Rio de Janeiro: Ipea, 2020. (Texto para Discussão,
n. 2595).
HOPPE, R.; JELIAZKOVA, M. How policy workers define their job: a Netherlands
case study. In: COLEBATCH, H. K. (Ed.). The work of policy: an international
survey. [S.l.]: Lexington Books, 2006. p. 35-60.
HOOPER, D.; COUGHLAN, J.; MULLEN, M. Structural Equation Modeling:
Guidelines for Determining Model Fit. The Electronic Journal of Business Re-
search Methods, v. 6, n. 1, 2008.
HOWLETT, M. Policy analytical capacity and evidence‐based policy‐making:
lessons from Canada. Canadian Public Administration, v. 52, n. 2, p. 153-175,
2009. Disponível em: <https://bit.ly/3FeeogV>. Acesso em: 4 out. 2021.
______. Public managers as the missing variable in policy studies: an empirical
investigation using canadian data. Review of Policy Research, v. 28, n. 3, p.
247-263, 2011. Disponível em: <https://bit.ly/3ladj1E>. Acesso em: 4 out. 2021.
______. Policy analytical capacity: the supply and demand for policy analysis in
government. Policy and Society, v. 34, n. 3-4, p. 173-182, 2015.
HOWLETT, M.; WELLSTEAD, A. M. Policy analysts in the bureaucracy revisited:
the nature of professional policy work in contemporary government. Politics &
Policy, v. 39, n. 4, p. 613-633, 2011. Disponível em: <https://bit.ly/3ml4hyl>.
Acesso em: 4 out. 2021.
HU, L. T.; BENTLER, P. M. Cutoff criteria for fit indexes in covariance structure
analysis: Conventional criteria versus new alternatives. Structural Equation Mo-
deling: a Multidisciplinary Journal, v. 6, n. 1, p. 1-55, 1999.
KOGA, N. M. et al. O que informa as políticas públicas federais: o uso e o não
uso de evidências pela burocracia federal brasileira. Rio de Janeiro: Ipea, 2020.
KOHOUTEK, J.; NEKOLA, M.; NOVOTNÝ, V. Conceptualizing policy work
as activity and field of research. Central European Journal of Public Policy,
v. 7, n. 1, p. 28-59, 2013. Disponível em: <https://bit.ly/3iCfdXa>. Acesso em:
4 out. 2021.
LASSWELL, H. D.; LERNER, D. (Org.). The policy sciences: recent develop-
ments in scope and method. Stanford: Stanford University Press, 1951.
York: Routledge, 2006.
LINDBLOM, C. E. The science of muddling through public administration.
Public Administration Review, v. 19, p. 79-88, 1959.
MACEDO, A. S.; VIANA, R.; NASCIMENTO, M. I. B. do. Capacidades analíticas
no processo de produção de políticas públicas: quais fontes de evidências usam
os burocratas do serviço civil da administração pública federal? Administração

Pública e Gestão Social, v. 11, n. 4, 2019. Disponível em: <https://bit.ly/3iwpJiM>.
MELTSNER, A. Policy analysts in the bureaucracy. Berkeley: University of
California Press, 1976.
NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Policy capacity and evidence-based
policy in the public service. Public Management Review, v. 19, n. 2, p. 157-174,
2017. Disponível em: <https://bit.ly/3DfF4MD>. Acesso em: 4 out. 2021.
NOGUEIRA, R. A.; GAETANI, F. A questão do controle no debate da governança
pública. Boletim de Análise Político-Institucional, v. 19, p. 91-100, 2018.
OLEJNICZAK, K.; RAIMONDO, E.; KUPIEC, T. Evaluation units as knowl-
edge brokers: testing and calibrating an innovative framework. Evaluation, v. 22,
n. 2, p. 168-189, 2016.
da União: como atuam e que informações utilizam. Boletim de Análise Político-
-Institucional, Ipea, n. 24, p. 103-125, 2020.
OLIVER, K. et al. A Systematic review of barriers to and facilitators of the use
of evidence by policymakers. BMC Health Services Research, v. 14, n. 2, 2014.
Disponível em: <https://bit.ly/2Yp3bcP>. Acesso em: 4 out. 2021.
OUIMET, M.; LANDRY, R.; ZIAM, S. The absorption of research knowledge
by public civil servants. Evidence & Policy: A Journal of Research, Debate and
Practice, v. 5, n. 4, p. 331-350, 2009.
PATTYN, V.; BRANS, M. Organizational analytical capacity: policy evaluation
in Belgium. Policy and Society, v. 34, p. 183-196, 2015.
PECI, A.; SOBRAL, F. Regulatory impact assessment: how political and orga-
nizational forces influence its diffusion in a developing country. Regulation &
Governance, v. 5, n. 2, p. 204-220, 2011.
delimitando o problema conceitual. Rio de Janeiro: Ipea, 2020a. (Texto para
de Análise Político-Institucional, n. 24, p. 17-28, 2020b.
PIRES, R. R. C. O trabalho na burocracia de médio escalão e sua influência nas

políticas públicas. In: PIRES, R.; LOTTA, G.; OLIVEIRA, V. E. (Ed.). Burocracia
de políticas pública no Brasil: intersecções analíticas. Brasília: Ipea; Enap, 2018.
PIRES, R.; LOTTA, G.; OLIVEIRA, V. E. Burocracia e políticas públicas no
Brasil: intersecções analíticas. Brasília: Enap; Ipea, 2018.
PRESSMAN, J. L.; WILDAVSKY, A. Implementation. Berkeley: University of
California Press, 1973.
SAGUIN, K.; PALOTTI, P. L. de M. How do middle managers matter in policy-
making? Examining managerial work and influence in Brazil. International Jour-
nal of Public Administration, 2020. Disponível em: <https://bit.ly/3FenEBH>.
SAGUIN, K.; RAMESH, M.; HOWLETT, M. Policy work and capacities in
a developing country: evidence from the Philippines. Asia Pacific Journal of
Public Administration, v. 40, n. 1, p. 1-22, 2018. Disponível em: <https://bit.
ly/2YtdKLQ>. Acesso em: 4 out. 2021.
SIMON, H. A. Rational choice and the structure of the environment. Psycholo-
gical Review, v. 63, n. 2, p. 129-138, 1956.
SPINK, P. Beyond public policy: a public action languages approach. Cheltenham,
UK: Edward Elgar Publishing, 2019.
STEIGER, J. H. Understanding the limitations of global fit assessment in struc-
tural equation modeling. Personality and Individual Differences, v. 42, n. 5,
p. 893-898, 2007.
VESELÝ, A. The profile and work of officials in central and regional administration
compared: the case of the Czech Republic. NISPAcee Journal of Public Admi-
nistration and Policy, v. 7, n. 1, p. 107-128, 2014. Disponível em: <https://bit.
ly/2WIlybW>. Acesso em: 4 set. 2021.
VESELÝ, A.; OCHRANA, F.; NEKOLA, M. When evidence is not taken for
granted: the use and perception of “evidence” in the Czech Republic ministries.
NISPAcee Journal of Public Administration and Policy, v. 11, n. 2, p. 219-234,
2018.
Review, v. 39, n. 5, p. 426-431, 1979.
WEISS, C.; BUCUVALAS, M. Social Science Research and Decision-Making.
New York: Columbia University Press, 1980.
WELLSTEAD, A.; STEDMAN, R. Policy capacity and incapacity in Canada’s

federal government. Public Management Review, v. 12, n. 6, p. 893-910, 2010.
Disponível em: <https://bit.ly/3Fkay5R>. Acesso em: 4 out. 2021.
WELLSTEAD, A. M.; STEDMAN, R. C.; HOWLETT, M. Policy analytical
capacity in changing governance contexts: a Structural Equation Model (SEM)
study of contemporary canadian policy work. Public Policy and Administration,
v. 26, n. 3, p. 353-373, 2011. Disponível em: <https://bit.ly/3a4Da4C>. Acesso
em: 4 out. 2021.
WILLIAMS, A. Is evidence-based policy making really possible? Reflections for
policymakers and academics on making use of research in the work of policy. In:
COLEBATCH, H. K.; HOPPE, R.; NOORDEGRAAF, M. Working for policy.
Amsterdam: Amsterdam Univ. Press, 2010.
WILSON, W. The study of administration. Political Science Quarterly, v. 2,
n. 2, p. 197-222, 1887.
WU, X.; RAMESH, M.; HOWLETT, M. Policy capacity: a conceptual framework
for understanding policy competences and capabilities. Policy and Society, v. 34,
n. 3-4, p. 165-171, 2015.
YANOW, D. Conducting interpretive policy analysis. Newbury Park: Sage
Publications, 2000.
BOLLEN, K. A. A new incremental fit index for general structural equation models.
Sociological methods & research, v. 17, n. 3, p. 303-316, 1989.
PAINTER, M.; PIERRE, J. (Org.). Challenges to state policy capacity: global
trends and comparative perspectives. Basingstoke: Palgrave Macmillan, 2005.
ULLMAN, J. B.; BENTLER, P. M. Structural equation modeling. In: WEINER,
I. B. (Ed.). Handbook of Psychology. 2nd ed. New York: Wiley, 2013.
WILDAVSKY, A. B. Speaking truth to power: the art and craft of policy analysis.
Boston: Little- Brown, 1979.
APÊNDICE A
VARIÁVEIS, QUESTÕES E ESCALAS
QUADRO A.1
Tipos de evidência e indicadores (questões)
Variável latente Questão Pergunta no questionário
D1 Leis e normas.
D2 Notas técnicas produzidas por órgãos da administração pública federal.
D3 Pareceres legais e decisões judiciais.

Interno
D4 Recomendações de órgãos de controle.
Sistemas informacionais e bases de dados governamentais (por exemplo, Siafi, Cadastro Único,
D6
dados IBGE etc.).
D5 Boas práticas e iniciativas produzidas pelos estados e municípios.
Recomendações de instâncias participativas (por exemplo, conselho de políticas públicas,

D9
conferências etc.).
Experiência e opiniões de beneficiário da política pública ou comentários e sugestões de
D10
ouvidoria.
Externo
Informações geradas por grupos de interesse (por exemplo, sindicatos, empresas, movimentos
D11
sociais, ONGs etc.).
Opiniões e recomendações de organismos internacionais ou boas práticas produzidas por
D12
governos de outros países.
D13 Matéria jornalística.
D7 Artigos, capítulos ou livros produzidos por pesquisadores.

Acadêmico Relatórios de pesquisa científica (por exemplo, produtos de consultoria de pesquisa, textos de
D8
discussão do Ipea etc.).
D14 Experiência pessoal.

Experiencial
D15 Consulta a colegas de trabalho do próprio órgão ou de outros órgãos da administração federal.

Obs.: 1.A pergunta do questionário é: “Nos últimos 12 meses, com que frequência você utilizou os tipos de informação listados
abaixo para o seu trabalho?”. Escala: nunca (1), raramente (2), eventualmente (3), frequentemente (4), sempre (5).
2. Siafi – Sistema Integrado de Administração Financeira do Governo Federal; IBGE – Instituto Brasileiro de Geografia e
Estatística; ONGs – organizações não governamentais.
QUADRO A.2
Tipos de trabalho e indicadores (questões)
Variável latente Questão Pergunta no questionário
Elaborar relatórios, pareceres, notas técnicas e outras informações para subsidiar a tomada de
C1
decisões.
C2 Coletar e analisar dados e informações relacionadas à política pública.
Analítico/
controle C4 Elaborar textos normativos (por exemplo, projetos de lei, decretos, portarias etc.).
C10 Atender demandas dos órgãos de controle.
C12 Realizar assessoramento de dirigentes.
C3 Contratar e validar estudos de avaliação de processos, resultados e impactos da política pública.
C6 Captar e negociar recursos financeiros para viabilizar ações, projetos e programas da política pública.
C8 Coordenar equipe.
Relacional Representar seu órgão, negociar e pactuar ações e políticas junto a outros entes governamentais
C9
(por exemplo, outros ministérios, estados e municípios etc.).
C11 Consultar e atender grupos interessados da sociedade sobre questões que envolvam a política pública.
C14 Organizar eventos.
C5 Fiscalizar o cumprimento das normas e regulamentos da política pública.

Contrato/
fiscalização Elaborar, negociar, gerir e fiscalizar contratos, convênios, termos de fomento, termos de colaboração
C7
e outros instrumentos.

Obs.: A pergunta do questionário é: “Nos últimos 12 meses, com que frequência você executou as atividades abaixo relacionadas à
política pública na qual você trabalha?”. Escala: nunca (1), raramente (2), eventualmente (3), frequentemente (4), sempre (5).
QUADRO A.3
Variáveis observáveis (questões)
Variáveis observáveis Questão Pergunta no questionário
Administrativo Realiza atividades administrativas, tais como agendamento de reuniões, tramitação
C13
(tipo de trabalho) de processos, compra de passagens, elaboração de ofícios e memorandos?
Área A14 Em que ministério ou órgão superior você trabalha atualmente?
Minha organização dispõe de meios e recursos suficientes para obter informações
Recursos D49
produzidas por pesquisas e estudos científicos?
Em relação à estrutura do seu ministério/órgão, há uma unidade organizacional
Institucionalização/
D50 (assessoria, coordenação, departamento ou secretaria) especializada na utilização
governança
de pesquisas e estudos científicos?
Formação F4 Qual foi o curso de nível mais elevado que você concluiu?
Utiliza novas ferramentas e tecnologias de processamento de dados e de análise
Habilidades E4
estatística (programação em R, stata, python ou java etc.)?
Experiência na política pública B2 Há quanto tempo você trabalha nesta política pública?
Possui cargo de direção e
A5 Qual o nível do cargo DAS ou equivalente que você ocupa atualmente?
assessoramento (DAS)
Trabalha no Distrito Federal A16 Em que Unidade da Federação você trabalha atualmente?
Idade F2 Qual a sua idade?
Sexo F1 Qual o seu sexo?
Raça/cor/etnia F3 Qual a sua raça/cor/etnia?

QUADRO A.4
Divisão em seis grandes áreas de políticas públicas
Área de política pública Órgão
Central Assessoria Especial do Presidente da República
Central Autoridade Nacional de Proteção de Dados
Central Casa Civil da Presidência da República
Central Gabinete Pessoal do Presidente da República
Central Gabinete de Segurança Institucional da Presidência da República
Central Ministério da Defesa
Central Ministério da Justiça e Segurança Pública
Central Ministério das Relações Exteriores
Central Secretaria de Governo da Presidência da República
Central Secretaria-Geral da Presidência da República
Central Vice-Presidência da República
Controle Advocacia-Geral da União
Controle Controladoria-Geral da União
Econômica Ministério da Agricultura, Pecuária e Abastecimento
Econômica Ministério da Economia
Econômica Ministério do Turismo
Infraestrutura Ministério da Ciência, Tecnologia, Inovações e Comunicações
Infraestrutura Ministério da Infraestrutura
Infraestrutura Ministério de Minas e Energia
Infraestrutura Ministério do Desenvolvimento Regional
Meio ambiente Ministério do Meio Ambiente
Social Ministério da Cidadania
Social Ministério da Educação
Social Ministério da Mulher, da Família e dos Direitos Humanos
Social Ministério da Saúde

CAPÍTULO 10
ATUAÇÃO DOS AUDITORES DA CONTROLADORIA-GERAL

DA UNIÃO: COMO ATUAM E QUE INFORMAÇÕES UTILIZAM
Tiago Chaves Oliveira1
Wagner Brignol Menke2
1 INTRODUÇÃO
Este capítulo tem por objetivo explorar as fontes informacionais de preferência
dos auditores da Controladoria-Geral da União (CGU) em função da forma como
atuam e descrever, com mais profundidade, os motivos dessas preferências.
No Brasil, uma das principais representantes das instituições de accountability,
estabelecidas para assegurar legalidade e legitimidade a governos e burocracias, é a
CGU. Esta instituição atua ao lado do Tribunal de Contas da União (TCU), do
Ministério Público e da Polícia Federal (PF) (Filgueiras, 2018).
Desde a sua criação, a CGU elevou o seu prestígio perante a sociedade ao
revelar e prevenir grande parte dos casos de corrupção que tomaram conta dos
noticiários nacionais do período (Marinho e Silva Junior, 2018).
A CGU é a instituição que está à frente da atividade de auditoria interna
governamental no Poder Executivo federal, tendo a sua Secretaria Federal de Con-
trole Interno (SFC) como órgão central do Sistema de Controle Interno (SCI) do
Poder Executivo federal (Marinho e Silva Junior, 2018).
A atuação dos auditores internos governamentais no Brasil é regida pela Lei
n 10.180/2001, a qual estabelece, além da função típica de realização de audi-
o
torias, a realização de apurações de atos ou fatos inquinados de ilegais ou irregu-

lares, praticados na utilização de recursos públicos federais. Segundo a Instrução
Normativa (IN) SFC/CGU no 3/2017, a função típica de auditoria divide-se em
avaliação e consultoria.
Adicionalmente, internacionalmente e no governo federal, para garantir a
integridade, a objetividade e a imparcialidade, os auditores exercem suas atividades
lastreados na independência profissional, bem como no julgamento profissional. Ou
1. Auditor federal de finanças e controle da Controladoria-Geral da União (CGU). E-mail: <tiagocoliveira@gmail.com>.

2. Auditor federal de finanças e controle da CGU. E-mail: <wagbrig@gmail.com>.
seja, atuam livres de interferências e tomam decisões com base em suas experiências
e conhecimentos. Esses pressupostos são estabelecidos nas normas técnicas inter-
nacionais e nacionais que regem a profissão (IIA, 2017; CGU, 2017a).
A importância da atuação dos auditores governamentais no Brasil foi cons-
tatada em estudo sobre as capacidades do serviço federal na produção de políticas
públicas. O estudo registrou indícios de que as recomendações de órgãos de con-
trole são relevantes fontes de informações para as políticas públicas (Enap, 2018).
Segundo Gomide e Pires (2014), as instituições de controle, atuando em seu
papel de garantia da legalidade, compõem os arranjos institucionais estabelecidos
para a entrega de políticas públicas.
A academia registra uma série de estudos indicando que a atuação das instituições
de controle gera efeitos não intencionais danosos ao governo e à sociedade (Power,
1997; 2000; Campana, 2017; Nogueira e Gaetani, 2018). Em contraponto, Hum-
phrey e Owen (2000) indicam que os citados efeitos advêm de movimento maior,
relacionado com a demanda crescente por medição de desempenho na sociedade.
Olivieri (2016) concluiu que os órgãos de controle “enxugavam gelo”, por
auditarem problemas recorrentes, “trancam portas arrombadas”, por identifica-
rem problemas quando são muito graves, e os gestores “ficam a reboque”, por se
tornarem reféns dos critérios definidos pelos órgãos de controle, e tentam “correr
atrás do prejuízo”, saneando problemas, em vez de promover mudanças sistêmicas
de prevenção de problemas.
Sobre o trabalho dos auditores internos, observa-se falta de interesse da
academia (Almeida, 2013; Souza, 2017; Oliveira, 2018; Grey, 2018), o que con-
tribui para a existência de certa obscuridade sobre como os auditores conduzem
seu trabalho (Power, 2000; Grey, 2018, p. 83).
Nesse contexto, este estudo se justifica em função da forte influência do tra-
balho dos auditores nas políticas públicas do Brasil, inclusive com possíveis efeitos
danosos; da autonomia com que os auditores definem os trabalhos que vão realizar
e a forma como vão atuar; e da baixa quantidade de estudos acadêmicos sobre os
trabalhos dos auditores. Este estudo pode contribuir com a discussão sobre o papel
das instituições de controle nas políticas públicas.
O modelo de análise deste trabalho baseou-se nas conclusões de Pires (2009),
o qual analisou a atuação dos auditores fiscais do Trabalho, identificando dois
diferentes estilos: abordagem repressiva, exclusivamente punitiva; e abordagem
pedagógica, prioritariamente educativa, orientando empresas a cumprirem a lei.
Assumiu-se como pressuposto que as auditorias (avaliações e consultorias) podem
ser comparadas com a abordagem pedagógica e as apurações podem ser compa-
radas à abordagem repressiva. A pesquisa avançou na identificação dos principais
Atuação dos Auditores da Controladoria-Geral da União: | 345
como atuam e que informações utilizam
tipos de informações e dos principais meios de acesso dos auditores às informações

utilizadas, dados estes a serem explorados na sequência.
Os dados foram coletados por meio de survey com amostragem probabilística,
respondido por 277 dos 1.054 servidores da CGU que realizam auditorias. Além
disso, de forma a aprofundar os entendimentos sobre os motivos das seleções dos
auditores no survey, foram realizadas onze entrevistas com gestores da SFC para
o entendimento das causas dos achados obtidos com o survey. Os entrevistados
foram selecionados por apresentarem destacada atuação e visão abrangente da área
em que atuam.
Além desta introdução, o capítulo conta com uma seção descritiva da forma
como os auditores trabalham. Em seguida, descrevem-se a metodologia aplicada
na pesquisa, os resultados alcançados e as conclusões.
2 AUDITORIA INTERNA GOVERNAMENTAL NO BRASIL
2.1 Evolução da prática de auditoria interna

O termo auditoria tem sua origem ligada à ideia ou à necessidade do registro de
fatos para fins contábeis. A atividade, originada na contabilidade, disseminou-se por
praticamente todas as áreas de conhecimento (Grey, 2018), em virtude da imagem
de rigor que ela transmite, dos riscos que consegue identificar, das políticas e dos
planos que deve acompanhar, da economia que permite realizar e da complexidade
dos parâmetros de gestão e controle que ela deve dominar (Mandzila, 2007, p. 18
apud Grey, 2018).3
Power (1996) intitulou de explosão da auditoria (audit explosion) a crescente
utilização desta atividade nas diferentes áreas. As causas dessa explosão estariam rela-
cionadas tanto com o surgimento da nova gestão pública (new public management –
NPM), com demandas crescentes por accountability e por transparência, quanto
com o surgimento de modelos de garantia de qualidade de controles organizacionais
(Power, 2000). Esse movimento reflete a perda de confiança nas instituições cen-
trais da sociedade, particularmente na política (op. cit., 2000, p. 118). Essa tese é
reforçada por Filgueiras (2018), em sua análise sobre as burocracias do controle
na administração pública brasileira.
O The Institute of Internal Auditors (IIA) define auditoria como uma ativi-
dade independente e objetiva, de garantia e consultoria, destinada a agregar valor
e a melhorar as operações de uma organização (IIA, 1999). Em complemento, a
auditoria interna apoia a organização na consecução de seus objetivos, por meio de
3. Mandzila, E. E. W. Organisation et méthodologie de l'audite interne. In: Bertin, E. (Org.). Audit interne: enjeux et
pratiques à l'international. Prefácio de Loius Vaurs. Paris: Eyrolles, 2007. p. 17-51.
abordagem sistemática e disciplinada, para a avaliação e melhoria da eficácia dos

processos de gestão de risco, controle e governança (op. cit., p. 1). Esse conceito,
replicado por auditorias internas em todo o mundo, foi adotado, em 2017, pela
SFC, com o devido recorte para a aplicação em instituições públicas (CGU, 2017).
Desde a sua criação, a independência e a objetividade são pressupostos
fundamentais para o exercício da profissão de auditor interno. Para exercer sua
independência, o auditor deve possuir autonomia técnica, o que significa estar livre
de interferências na determinação do escopo, na execução dos procedimentos, no
julgamento profissional e na comunicação dos resultados. O julgamento profis-
sional é a aplicação dos conhecimentos e das experiências do auditor na tomada
de decisões no contexto das auditorias (IIA, 2017; CGU, 2017).
2.2 Estruturação da auditoria interna no governo federal

Segundo as normas internacionais de auditoria interna, a realização de apurações
de atos ou fatos possivelmente ilegais não constitui função típica da auditoria in-
terna. No entanto, no âmbito do governo federal, a Lei no 10.180/2001 atribui aos
integrantes do SCI a competência de apurar atos ou fatos inquinados de ilegais ou
irregulares, praticados por agentes públicos ou privados, na utilização de recursos
públicos federais (Brasil, 2001). No contexto da CGU, apurações que necessitem
de apoio de órgãos parceiros, como a PF e o Ministério Público, são realizadas
com a titulação de operação especial.
FIGURA 1
Competências do Sistema de Controle Interno, segundo a IN SFC/CGU no 03/2017
Avaliação Consultoria
Auditoria Apuração
Operação especial
Fonte: Oliveira (2020).

Desse modo, conforme ilustrado na figura 1, cabe aos auditores internos

governamentais no Brasil a realização tanto de auditorias (avaliações e consultorias)
quanto de apurações de atos ou fatos inquinados de ilegais.
Um pressuposto básico da atividade de auditoria interna é a objetividade, para
que suas opiniões possam ser emitidas de forma imparcial e isenta. Seus trabalhos
devem ser executados de forma sistemática e disciplinada (IIA, 2017; CGU, 2017a).
A seguir serão brevemente descritos os passos, ilustrados na figura 2, seguidos
pelos auditores internos governamentais, conforme constam nos referenciais técnicos
normativos, com destaque para os momentos de coleta e análise de informações.
A primeira etapa consiste no entendimento do contexto a ser auditado, com
o objetivo de coletar, produzir e internalizar conhecimentos sobre o contexto
(instituição ou área de atuação do governo) que se deseja auditar. Cada contexto
é chamado de universo de auditoria. Nesse momento, buscam-se informações
gerais sobre o contexto interno (objetivos, estratégias, processos de governança,
gerenciamento de riscos e controles internos, normativos, recursos – humanos,
financeiros, tecnológicos etc.) e externo (leis e regulamentos aplicáveis, políticas
públicas relacionadas, partes interessadas, ambiente de atuação, indicadores de
desempenho etc.). Para a obtenção dos dados, a equipe de auditoria deve manter
forte interação com a alta administração e as equipes técnicas da(s) instituição(ões)
em avaliação. Além disso, deve-se coletar documentos organizacionais, analisar
sistemas de informação, estudar o marco legal e regulatório relacionado e os re-
sultados de trabalhos de auditoria anteriores (Brasil, 2020a).
Em seguida, a equipe de auditoria define de que forma o contexto será divi-
dido. Cada divisão é chamada de objeto de auditoria. Cada objeto é estudado em
maior profundidade para posterior priorização, com base em riscos.
Em geral, os objetos correspondem aos processos de trabalho de uma insti-
tuição, mas definições diferentes podem ser estabelecidas pela equipe de auditoria,
como políticas públicas geridas pela unidade ou sua estrutura organizacional
(CGU, 2020a).
O próximo passo objetiva definir o critério de risco que será utilizado para
priorizar os objetos de auditoria. A equipe de auditoria decide se utiliza as infor-
mações já presentes e desenvolvidas pelos gestores ou se a própria equipe desen-
volverá o conteúdo que utilizará como base para a priorização de riscos. A decisão
será tomada com base na maturidade do gestor sobre a temática gestão de riscos
e na qualidade do conteúdo sobre riscos que foi gerado no contexto avaliado. Se
a decisão consistir na elaboração pela própria equipe de auditoria, o processo de
construção do conteúdo e o próprio conteúdo, a critério da equipe de auditoria,
podem ser compartilhados com os gestores para apoiá-los na elevação de sua ma-
turidade (CGU, 2020a).
FIGURA 2
Jornada do auditor interno governamental
JORNADA DO DIRETRIZES DA
ALTA ADMINISTRAÇÃO
AUDITOR INTERNO GOVERNAMENTAL
DEFINIR O PLANEJAMENTO ANUAL BASEADA EM RISCOS
PLANO ANUAL Selecionar os objetos

DA AUDITORIA Avaliar a maturidade Definir o Entender
da Auditoria com base
INTERNA da Gestão de Risco Universo da Auditoria o contexo
em risco
(PAINT)
Risco: realizar
planejamento anual de
auditoria inadequado
REALIZAR AUDITORIA BASEADA EM RISCOS
Risco: Realizar
Realizar análise
planejamento de Planejamento Definir objetivos Elaborar programa
preliminar do objeto
auditoria individual da Auditoria específicos e escopo de trabalho
de auditoria
inadequado
Execução
da Auditoria
Riscos:
Risco: Utilizar
Comunicar resultados da
indevidamente
RELATÓRIO auditoria de forma ineficaz
resultados ou informações Apresentar objetivos
PRELIMINAR Realizar busca Elaborar relatório Estruturar e validar Realizar a coleta Emitir recomendação
da auditoria e critérios de inadequada
AVALIADO PELO conjunta de soluções preliminar os achados e análise dos dados
auditoria ao auditado
Emitir opinião inadequada
AUDITADO
RELATÓRIO
Comunicação Elaborar relatório Avaliar se existe Publicar relatório
FINAL
dos resultados final sigilo final da auditoria
PUBLICADO
Risco: Contabilizar
inadequadamente os
benefícios da auditoria MONITORAR AS RECOMENDAÇÕES DA AUDITORIA
BENEFÍCIO Registrar o atendimento Analisar as

Registrar benefícios Risco: monitorar
CONTABILIZADO das recomendações providências recomendação de
forma inadequada
Fonte: CGU (2021a).
No fim da fase de planejamento anual, a equipe de auditoria relaciona os

objetos de auditoria aos riscos ou critérios de risco definidos, e os prioriza com
base neles. Por último, avaliam a oportunidade e viabilidade de realização de tra-
balhos sobre os objetos priorizados para criar o Plano Anual de Auditoria (Paint)
(CGU, 2020a).
Ao iniciar um trabalho individual de auditoria sobre um ou mais dos objetos
de auditoria incluídos no Paint, a equipe aprofunda seus conhecimentos sobre
o objeto. Nesse momento, buscam-se informações detalhadas sobre estratégias,
riscos, fluxos de processos, indicadores, papéis e responsabilidades, estrutura or-
ganizacional e força de trabalho disponível, normativos específicos, jurisprudência
relacionada, recursos necessários, sistemas de informação utilizados e informações
produzidas por órgãos de controle. Essas informações são obtidas pela coleta de
fontes variadas, por meio de entrevistas e reuniões com os gestores e servidores/
empregados da instituição auditada ou por meio de visitas in loco, para se observar
o funcionamento do objeto a ser auditado (CGU, 2017b).
Concluída a coleta de informações, a equipe realiza análise preliminar sobre

os riscos presentes no contexto e os controles existentes sobre esses riscos. Com
base nessa avaliação, para delimitar o propósito, a abrangência e a extensão dos
exames, definem-se os objetivos e o escopo do trabalho de auditoria a ser realizado
(CGU, 2017a).
Definidos os objetivos do trabalho, a equipe de auditoria estabelece as ques-
tões a serem respondidas pelo relatório de auditoria. Com base nessas questões,
é estabelecido o procedimento de auditoria com a finalidade de obter evidências
suficientes, confiáveis, fidedignas, relevantes e úteis, que permitam responder às
questões definidas e formar a convicção da equipe para a emissão de sua opinião.
O procedimento deve conter os critérios de auditoria (referenciais para avaliar se
a situação a ser avaliada atende ao esperado), as técnicas, a natureza e a extensão
dos testes necessários para identificar, analisar, avaliar e documentar as informações
durante a execução do trabalho (CGU, 2017a).
Durante a execução do trabalho são realizados testes, por meio da ampla uti-
lização de técnicas, coleta e análise de dados para fins de elaboração dos chamados
achados de auditoria. Estes são o resultado da comparação entre os critérios de au-
ditoria e a condição real encontrada durante a realização dos exames, devidamente
comprovada por evidências (CGU, 2017b). Como a quantidade de documentos
e informações coletada durante a execução da auditoria pode ser grande, o nor-
mativo recomenda a construção de um documento chamado matriz de achados
para consolidar, resumir e relacionar questões e subquestões de auditoria, achados,
critérios de auditoria (o que deveria ser), situação encontrada (o que é), causas,
efeitos, recomendações e evidências que suportam cada achado. Nesse contexto,
as evidências são as informações coletadas, analisadas e avaliadas pelo auditor para
apoiar os achados e as conclusões do trabalho de auditoria (CGU, 2019).
A comunicação dos resultados dos trabalhos de auditoria deve ter como desti-
natária principal a alta administração do órgão auditado. As comunicações devem
demonstrar os objetivos do trabalho, a extensão dos testes aplicados, as conclusões
obtidas, as recomendações emitidas e os planos de ação propostos (CGU, 2017a).
Em princípio, é emitido um relatório preliminar e são discutidas com os gestores
auditados, em reunião chamada de busca conjunta de soluções, as recomendações
que devem ser registradas no relatório final (CGU, 2021a).
O trabalho de auditoria apenas é encerrado após o atendimento das recomen-
dações pela unidade auditada. Portanto, o monitoramento das recomendações é
fundamental para verificar se houve ganho de desempenho nos objetos avaliados
a partir das recomendações e averiguar os motivos para a eventual falta de imple-
mentação do que tenha sido anteriormente pactuado (CGU, 2017b).
Por fim, para conferir mais transparência aos resultados alcançados, cada
unidade de auditoria interna governamental deve medir e registrar os benefícios
financeiros e não financeiros obtidos por intermédio da implementação pelos gesto-
res das recomendações emitidas pelos auditores (CGU, 2017b). Este registro deve
estar lastreado em evidências que comprovem o nexo causal entre a recomendação
emitida e os benefícios observados. A evidenciação desse momento pode se dar, por
exemplo, por meio de manifestações dos gestores e publicações que comprovem a
adoção da medida recomendada (Brasil, 2020b).
As práticas descritas anteriormente, grande parte delas instituídas em 2017,
alteraram substancialmente a forma de trabalho dos auditores. A mudança normativa
fortaleceu o processo de planejamento e estabeleceu a necessidade da utilização
formal das avaliações de riscos para guiar os trabalhos dos auditores. No entanto,
conforme apontam Diniz (2017) e Oliveira (2019), as novas práticas focalizadas
em riscos ainda não estavam institucionalizadas na época de suas análises.
Apesar das dificuldades na implementação do processo de auditoria instituído
em 2017, a SFC julga que o novo procedimento guarda relação com a substancial
elevação na aprovação de benefícios financeiros e não financeiros, principalmente
após 2017, conforme demonstrado no gráfico 1, que ilustra os valores de benefícios
financeiros aprovados de 2013 a 2020 (CGU, 2021b).
GRÁFICO 1
Histórico de benefícios financeiros aprovados pela SFC/CGU (2013-2020)
(Em R$ 1 bilhão)
20
17,89
18
16
14 12,94
12
10
7,54 7,30
8
6 4,61
4 2,74 2,38 2,87
2
0
2013 2014 2015 2016 2017 2018 2019 2020
Fonte: CGU (2021b).
2.3 Atuação dos auditores sob a perspectiva didática e repressiva

Ao analisar estilos de implementação da política pública executados por auditores
fiscais do Trabalho, Pires (2009) evidenciou os dois seguintes:
• abordagem repressiva: cuja atuação é, exclusivamente, punitiva (por

exemplo, nas ações de multar e interditar); e
• abordagem pedagógica: cuja atuação é, prioritariamente, educativa (por
exemplo, na orientação e no auxílio a empresas no que tange ao cum-
primento da lei, atuando como um consultor).
Pires (2009) conclui que, com a aplicação de sanções, as empresas fiscalizadas
permaneciam temporariamente afastadas da informalidade. Por sua vez, a adoção de
um estilo de implementação que conjuga sanções e orientação aumenta a propensão,
de forma não determinista, ao cumprimento sustentável da lei pelos fiscalizados.
Neste estudo, assumiu-se como pressuposto que, de forma análoga à atuação
dos auditores fiscais do Trabalho, a atuação dos auditores internos governamentais
se dá em duas frentes, uma didática, por meio de auditorias (avaliações e consul-
torias), e uma repressiva, por meio de apurações.
As avaliações e consultorias são semelhantes, mas cada qual possui sua es-
pecificidade: a primeira visa fornecer opinião independente sobre governança,
gerenciamento de riscos e estrutura de controles internos, ao passo que a segunda
objetiva auxiliar nessas mesmas áreas, mas com assessoramento, aconselhamento,
treinamento e facilitação (CGU, 2017, p. 9). A ideia é que a atuação nessas linhas
permita ao auditor ser perspicaz, proativo e focalizado no futuro (Anderson et al.,
2017, p. 76).
As apurações visam verificar atos ou fatos ilegais ou irregulares praticados por
agentes públicos ou privados na utilização de recursos públicos federais (CGU,
2017, p. 10). O foco das apurações incide em fatos ocorridos, colaborando, por-
tanto, para que se tenha um olhar voltado para o passado. Essa atuação se aproxima
do poder coercitivo de polícia, corroborando a analogia à abordagem repressiva,
descrita por Pires (2009) (Oliveira, 2020).
Por meio de entrevistas com os gestores da SFC, Oliveira (2020) evidenciou
a coerência da referida analogia na visão dos auditores da CGU. Segundo o autor,
os auditores percebem as avaliações e consultorias como complementares, e que
bons resultados da instituição ao longo dos anos são decorrentes dessa combina-
ção, sendo este o grande diferencial da SFC, o que corrobora a conclusão de Pires
(2009). No entanto, Oliveira (2020) observa que a combinação das abordagens não
é prática recorrente da CGU, também por conta de sua capacidade operacional.
Abre-se aqui uma ponderação de que avaliações e consultorias devem ser
realizadas com mais foco em riscos, e não em transações. Avaliações com foco em
transações correspondem ao que os europeus chamam de inspeção, que se volta,
basicamente, para a avaliação de conformidade dos atos praticados nas transações
e nos processos analisados, não se diferenciando muito das apurações. Nas ava-
liações com foco nos riscos, os auditores, a partir de um planejamento robusto,

avaliam os controles aplicados na instituição para lidar com os principais riscos de
a organização não alcançar seus objetivos. Os trabalhos deixam, assim, de tratar
de mera formalidade e passam a tratar do alcance das aspirações institucionais
(Oliveira, 2020).
Esse foco em riscos, introduzido recentemente pela IN SFC/CGU no 03/2017,
como dito, foi constatado como não tendo sido institucionalizado (Diniz, 2017;
Oliveira, 2019). Observa-se aí a possibilidade de continuação da realização de tra-
balhos com foco em transações, com objetivo de encontrar erros a serem relatados,
atuação essa que é, provavelmente, a fonte das diversas críticas históricas à atuação
dos auditores (Power, 1997; 2000; Campana, 2017; Nogueira e Gaetani, 2018).
2.4 O ceticismo profissional do auditor

A obtenção e o uso de informações pelos auditores se dão para que sejam utilizadas
como evidências de suporte a suas opiniões. Um conjunto de evidências confiáveis e
suficientes tem efeito significativo no relatório do auditor (Niktaba e Aslani, 2015).
A avaliação das evidências coletadas está no cerne da atividade de auditoria. Para
esta avaliação, o auditor deve aplicar o chamado ceticismo profissional, definido
pelo Conselho Federal de Contabilidade (CFC) e por normas internacionais de
auditoria,4 como uma “postura que inclui uma mente questionadora e alerta para
condições que possam indicar possível distorção devido a erro ou fraude e uma
avaliação crítica das evidências de auditoria” (CFC, 2019, p. 13).
Na visão de Nelson (2009), auditores muito céticos precisam de evidências
relativamente mais persuasivas (em termos de qualidade e/ou de quantidade) para
estabelecer suas opiniões. O conhecimento prévio, a quantidade de informações
disponíveis, as características pessoais do auditor e os incentivos dados a ele afetam
a quantidade de ceticismo profissional aplicado por si (Nelson, 2009). Segundo
Hurtt (2010), o ceticismo profissional é multidimensional, sendo um atributo in-
dividual (aspecto relativamente estável e duradouro de um indivíduo) e um estado
ou uma condição temporária despertada por variáveis situacionais.
Em uma percepção geral, Nelson (2009) elaborou um modelo de variáveis
determinantes do ceticismo profissional nas auditorias, apresentado na figura 3.
O modelo explicita o importante papel das evidências no trabalho dos auditores.
Pelo modelo, a partir das evidências coletadas, os auditores realizam julgamentos
e ações e produzem resultados evidenciais. Os julgamentos e as ações são afetados
pelo conhecimento do auditor, por suas características pessoais (por exemplo,
inteligência, tendência a duvidar, autoconfiança) e incentivos recebidos por eles.
4. O mesmo conceito é adotado pelo International Federation of Accountants (Ifac), por meio do normativo International
Standard on Auditing (ISA) 200.13.l. Disponível em: <https://bit.ly/3Bd9Kxr>. Acesso em: 18 maio 2019.
Cabe destacar que o conhecimento do auditor resulta de uma combinação de

características pessoais, experiência anterior e capacitações realizadas (Nelson,
2009, p. 5-6).
Ainda segundo Nelson (2009), a ação cética pode alterar a quantidade ou a
natureza das evidências disponíveis para o auditor. À medida que tais informações
são reconsideradas por ele, elas integram sua experiência e seu conhecimento,
retroalimentando o modelo, por, ao mesmo tempo, contribuir com a experiência
do auditor e converter as evidências em informações futuras para o processo.
FIGURA 3
Modelo de variáveis determinantes do ceticismo profissional nas auditorias
Resultado
Entrada evidencial Julgamento cético Ação cética
evidencial
Incentivos
Características pessoais
Conhecimento
Experiência em auditoria
e treinamento
Fonte: Nelson (2009, p. 5).
Ao realizarem revisão da literatura sobre o ceticismo profissional dos auditores,

Olsen e Gold (2018) indicam, por exemplo, que a percepção do auditor sobre o
auditado afeta o seu comportamento, se confiante ou suspeito. Os autores indicam
ainda que mulheres possuem mais propensão à atuação cética e que auditores que
passaram, por exemplo, por situações de morte de um amigo ou por tensão gerada
para o cumprimento de prazos no trabalho apresentam níveis mais altos de con-
servadorismo e, portanto, altos níveis de ceticismo. Por seu turno, auditores em
estado de humor positivo estão mais propensos a julgamentos menos conservadores
(menos céticos) (Olsen e Gold, 2018).
Auditores com maior experiência em fraudes são mais propensos a acreditar
que houve distorções intencionais, o que sugere uma correlação entre maior ex-
periência em análises de fraude (o que seria correspondente à apuração) e níveis
mais altos de ceticismo profissional (Olsen e Gold, 2018).
3 METODOLOGIA
Dada a forte influência exercida pelos auditores nas políticas públicas do Brasil,
assim como a independência profissional que possuem para definir os trabalhos
que vão realizar e a forma como vão atuar, este estudo visa entender os principais
tipos de informações que utilizam, as razões dessa utilização e os meios com os
quais obtêm acesso a elas.
A obtenção dos dados se dividiu em duas etapas: primeiro aplicou-se survey
eletrônico com questões definidas a partir do referencial teórico, para avaliação
quantitativa das respostas; e, em seguida, foram realizadas entrevistas com gestores
da SFC para aprofundar o entendimento sobre os principais fatores que influen-
ciam as decisões.
A população total dos servidores que realizaram auditorias de janeiro de
2018 a julho de 2019 é de 1.054. A partir do desenho da pesquisa e da população,
foram sorteados 564 servidores por amostragem aleatória simples. Destes, 277
responderam completamente o questionário, o que representa uma taxa de 49%
de resposta (Oliveira, 2020).
Os entrevistados foram escolhidos em função de seu perfil e por apresentarem
destacada atuação e visão abrangente da área em que atuam.
TABELA 1
Amostra das entrevistas em profundidade
Perfil Descrição População Amostra
Colegiado Secretários (secretário e adjunto) e diretores da SFC 8 4
Policy makers Médio escalão do gabinete da SFC 4 2
Médio escalão Coordenadores-gerais de auditoria da SFC e superintendentes regionais da CGU 47 5
4 RESULTADOS
Em princípio, o estudo esclareceu que, conforme ensinamentos de Lindblom
(1959), também no ambiente da auditoria interna governamental, o contexto das
decisões é rico e multifacetado, vinculado a redes de compromissos, interesses e
poderes estruturados em torno de um conjunto de instituições formais e informais.
A seguir serão descritos os resultados apresentados por Oliveira (2020), de-
monstrando que foi possível comprovar que 67% dos auditores internos da CGU
preferem atuação didática com auditorias (51%, avaliações e 16%, consultorias)
e 33% preferem realizar atuação repressiva, com apurações.
FIGURA 4
Tipos de serviços preferidos pelos auditores da CGU
(Em %)
Consultoria
16
Apuração
33
Atuação didática Atuação repressiva
67 33
Avaliação
51

A análise estatística dos dados coletados no survey indica os seguintes fatores

que influenciam as escolhas dos auditores sobre a forma como atuam: auditores
lotados em superintendências regionais da CGU têm 53,6% a mais de chances de
optar por realizar apurações; há um acréscimo de 1,6% nas chances de preferência
dos auditores por apurações a cada ano adicional de serviço; auditores do gênero
masculino têm 23,1% a menos de chances de preferir um trabalho avaliativo; e
auditores com pós-graduação ou escolaridade superior têm 34,8% a menos de
chances de preferir um trabalho avaliativo.
Os entrevistados da pesquisa ressaltaram que a atuação dos auditores se des-
taca por ser historicamente lastreada em evidências, sendo este um dos pilares da
profissão. Alguns deles ainda indicaram que este fato pode ser uma das causas da
forte influência que os órgãos de controle possuem sobre a gestão pública, conforme
indica Enap (2018). A este respeito, o entrevistado 3 comentou que “tenho uma
percepção muito clara de que muitas das políticas no Brasil, historicamente, foram
construídas sem evidência nenhuma. E os trabalhos da CGU, historicamente,
trazem essa informação”.
Conforme retratado no gráfico 2, em relação aos tipos de informação que
baseiam os trabalhos, em uma visão geral, leis, decretos e normas são a principal
fonte ao lado de informações sobre a materialidade5 das questões auditadas e in-
formações produzidas pelas próprias unidades auditadas.
5. Informações a respeito dos custos ou valores envolvidos nas diversas questões auditadas.
Na visão de alguns entrevistados, houve, a partir da convergência internacio-

nal estabelecida recentemente, o fortalecimento da consideração de informações
sobre prioridades e riscos dos gestores. No entanto, o arcabouço normativo e a
materialidade dos temas continuam sendo importantes referências.
GRÁFICO 2
Importância dos tipos de dados e informações
(Em %)
Artigos científicos 54 95 128
Prioridades indicadas pelo gestor 83 102 92
Matérias ou notícias jornalísticas 100 120 57
Intuição pessoal 117 96 64
Mapeamento de riscos feito pelo Gestor auditado 134 73 70
Percepções empíricas 166 77 34
Estratégias, objetivos e metas do gestor 167 67 43
Temas do plano tático SFC 168 68 41
Direcionamento dado pelo superior hierárquico 177 77 23
Avaliação de riscos feita pela CGU 203 46 28
Pareceres, notas técnicas e demais referenciais técnicos 238 29 10
Materialidade 250 18 9
Leis, decretos e normas 254 18 5
0 10 20 30 40 50 60 70 80 90 100
Importância alta Importância nem Importância baixa

ou muito alta alto nem baixo ou muito baixa
Alguns entrevistados comentaram que suas equipes consultam um leque

abrangente de fontes, como a Constituição Federal de 1988 (CF/1988), as per-
cepções dos gestores, as pesquisas acadêmicas, as notícias em jornais, as possíveis
avaliações preliminares de riscos das instituições, o histórico de denúncias, os aler-
tas do Alice,6 as recomendações emitidas em trabalhos anteriores de auditoria, os
acórdãos do TCU e os relatórios das unidades de auditoria interna das instituições
da administração indireta auditadas.
O entrevistado 7, em uma visão mais geral, indicou que a seleção do tipo de
fonte de informação a ser utilizada pelo auditor interno depende da maturidade
da instituição auditada e do setor a ser auditado. Em sua visão, órgãos e setores
bem estruturados nacional e internacionalmente possuem conhecimentos mais
disseminados e, por esse motivo, possibilitam a realização de benchmarkings e o
uso de informações oriundas do meio acadêmico ou de organismos internacionais,
como o Banco Interamericano de Desenvolvimento (BID) e o Banco Mundial.
Em órgãos e setores em estruturação, os quais possuem menor grau de informação
6. Robô que emite alertas, a partir de trilhas de auditorias rodadas sobre os textos de editais de contratação publicados
no sistema Comprasnet.
disponível, a auditoria tende a se pautar em normativos e informações fornecidas

pela própria gestão, aproximando-se da avaliação de conformidade.
A respeito do uso de produção científica pelos auditores, os entrevistados
indicaram existir uma crescente tendência de utilização de trabalhos acadêmicos
para apoiar auditorias. No entanto, segundo eles próprios, o ceticismo profissional
inerente ao trabalho demanda que a utilização de produções acadêmicas se dê de
forma conservadora.
Confirmando a tese estabelecida pelo entrevistado 7, outros entrevistados
indicaram que nem todas as áreas de atuação da SFC contam com produção
acadêmica disponível. Na visão do entrevistado 5, não é cabível a utilização de
artigos científicos em uma grande parte dos trabalhos realizados. Nessas áreas, os
auditores devem se basear em normativos técnicos e informações fornecidas pela
própria gestão, aproximando-se de avaliações de conformidade.
Nos trabalhos cuja produção científica é vasta, ela pode ser utilizada, desde
que a fonte seja confiável e o trabalho não contenha vieses. Nas palavras do en-
trevistado 5, “já está escrito em algum lugar, por um acadêmico muito bom, e eu
não preciso ficar ralando aqui, tentando provar uma tese”.
A respeito da confiabilidade dos dados apresentados em artigos científicos,
os entrevistados afirmaram que trabalhos acadêmicos podem conter vieses e ser
contestados, mesmo quando passam por revisões. Esses possíveis vieses, caso não
sejam devidamente tratados, podem comprometer a objetividade da auditoria.
Todavia, tais materiais podem ser ricas fontes de insights sobre diferentes possibi-
lidades de análise ou de confirmação externa de dados coletados pelos auditores.
O entrevistado 8 ilustrou o dilema pelo qual passa com o exemplo deste
trabalho, o qual utiliza um estudo acadêmico a respeito da temática sob análise.
Apesar de considerar o trabalho acadêmico de boa qualidade, ele comentou que
sua percepção é de que os auditores se sentem incomodados e de que as conclu-
sões apresentadas no estudo deveriam ser validadas. Acrescentou, ainda, que, em
auditorias operacionais, é complexo o processo de estabelecimento do critério a ser
utilizado como base para a comparação da condição que será avaliada durante a
auditoria. Nesses casos, os artigos científicos podem ajudar a embasar os critérios.
O entrevistado 9 comentou que, no início dos trabalhos, já é um padrão
em sua área a realização de pesquisas, para se entender o que o meio acadêmico,
o TCU, o Ipea e outros grupos de interesse têm publicado sobre a temática. No
entanto, não se percebeu nos relatos dos diversos entrevistados a aplicação desse
padrão de forma institucional.
GRÁFICO 3
Importância dos meios de acesso às informações e aos dados
(Em %)
Think tanks 27 78 172
Postagens nas midias sociais 39 89 149
Grupos de interesse 45 78 154
Bases de livros, artigos e estudos acadêmicos 71 97 109
Conferências e seminários 80 102 95
Consulta a especialistas 81 88 108
Notícias na midia normal 81 124 72
Livros e artigos acadêmicos 89 102 86
Institutos de pesquisa do governo 100 95 82
Índices e alertas de risco 120 74 83
Base de conhecimento CGU 151 68 58
Consulta a colegas de trabalho 185 71 21
Outras instituições de controle 185 67 25
Macros 198 51 28
TCU 203 56 18
Reuniões com unidades gestoras 203 58 16
Denúncias 207 49 21
Pesquisas na internet 221 46 10
Cruzamentos de bases de dados 228 37 12
Solicitação de auditoria 242 26 9
0 10 20 30 40 50 60 70 80 90 100
Soma de alto Soma de nem Soma de baixo

ou muito alto alto nem baixo ou muito baixo
Em relação às formas de acesso aos dados e às informações, os auditores in-

ternos da CGU indicaram que a solicitação de auditoria é o meio mais relevante,
uma vez que possibilita à equipe de auditoria, por meio da comunicação formal,
solicitar informações aos gestores responsáveis pelo contexto em avaliação. De igual
modo, os cruzamentos de bases de dados e as pesquisas na internet são indicados
como de alta relevância; ao passo que as think tanks, as mídias sociais e os grupos
de interesse, gradativamente nessa ordem, possuem menos relevância.
Por fim, buscou-se identificar quais bases de dados eram consideradas nos
trabalhos dos auditores internos e o porquê da escolha. O gráfico 4 apresenta as
bases de mais relevância e o motivo de sua seleção.
Importa ressaltar que, em geral, essas bases e as demais apontadas como mais
relevantes para os auditores tratam sobre despesas do governo federal e informações
cadastrais de pessoas e empresas. Além disso, conforme constatação da análise
estatística dos dados coletados, o uso de bases de dados está mais relacionado com
a realização de apurações.
GRÁFICO 4
Motivo de utilização das bases de dados pelos auditores
Sistema Integrado de Administração
de Serviços Gerais (Siasg) 43 41 26 40 19
Cadastro Único para Programas Sociais do

Governo Federal (Cadastro Único) 38 37 35 43 21
Registro Nacional de Veículos

Automotores (Renavam) 39 44 34 46 25
Cadastro Nacional de Informações

41 47 38 49 25
Sociais (CNIS)
Ordens bancárias – pagamentos
realizados por OB 51 51 41 60 23

de Recursos Humanos (Siape) 60 60 45 57 23

63 61 46 73 29
Financeira (Siafi)/Tesouro Gerencial
Relação Anual de Informações Sociais (Rais) 67 68 52 78 39
Sistema de Convênios (Siconv) 75 73 52 83 29
Cadastro Nacional de Pessoa Física (CPF) 80 80 61 88 37
Portal da transparência – banco de dados

80 83 61 92 42
original de 2018
Cadastro Nacional de Pessoa Jurídica (CNPJ) 83 81 66 93 39
0 50 100 150 200 250 300 350

Em função da credibilidade da base Em função da facilidade de utilização
Em função da qualidade dos registros Em função de experiência prévia
Falta de opção. É a base que está disponível Não consultei bases de dados
A respeito das justificativas indicadas para a seleção das bases de dados pelos
auditores, destaca-se, segundo ilustra a tabela 2, a grande importância da experi-
ência prévia e da facilidade de acesso aos dados, confirmando os apontamentos
de Olsen e Gold (2018).
TABELA 2
Justificativas para a seleção das bases de dados
Total
Justificativa Quantidade
(%)
Não consultei bases de dados 19 4
Faltam opções 61 12
Há qualidade dos registros 85 16
Há credibilidade da base 115 22
Há facilidade de utilização 116 22
Tenho experiência prévia 130 25
Fonte: Oliveira (2020)
Além das razões apresentadas, os participantes ainda indicaram outros possíveis

motivos para a utilização das bases de dados, expostos na tabela 3.
TABELA 3
Outras justificativas apontadas para a seleção das bases de dados
Total
Justificativa Quantidade
(%)
Necessidade do trabalho 16 69,6
Falta de correção direta com objeto de trabalho 1 4,3
Maior adequação para escopo do trabalho 5 21,7
Relevância 1 4,3
De forma a contribuir com a discussão sobre o movimento das políticas

públicas baseadas em evidências, questionou-se, nas entrevistas, se o participante
tinha conhecimento do movimento e, em caso positivo, solicitou-se sua opinião
a respeito de tal. Metade dos entrevistados informaram não ter conhecimento ou
apenas ter ouvido falar brevemente. Os entrevistados que conheciam o movimen-
to o avaliavam como muito importante e com potencial de elevar a maturidade
das políticas públicas no país. Há, no entanto, de se ter cautela na utilização das
evidências em função dos possíveis vieses incorporados na sua seleção e na sua
interpretação, conforme aponta Parkhurst (2017).
O entrevistado 5, refletindo sobre a importância do movimento, fez um
paralelo com a própria atividade de auditoria interna, indicando que tal atividade,
sempre baseada em evidências, constitui fator determinante para o seu sucesso ao
longo dos tempos.
O entrevistado 4 destaca que o timing da agenda política, às vezes, não é
o timing de uma avaliação. Muitas vezes, a agenda política não espera uma boa
evidência. Nesse sentido, ele avalia que o país ainda vai demorar um pouco para
ter maturidade de realizar avaliações ex ante, antes do lançamento das políticas.
5 CONCLUSÕES
Este estudo foi realizado em função da grande influência que os auditores possuem
nas políticas públicas do Brasil, atrelado à independência que possuem para defi-
nirem os trabalhos em que se envolvem e a forma como atuam.
O objetivo desta pesquisa foi entender os principais tipos de informações
que os auditores internos da CGU utilizam, as razões dessa utilização e os meios
com os quais obtêm acesso a elas. Buscou-se também entender as preferências
dos auditores quanto à forma como atuam, se didaticamente ou repressivamente.
Observou-se que a maior parte dos participantes preferem atuações didáticas,
com avaliações e consultorias.
Constatou-se que leis, decretos e normas são as principais fontes de infor-

mação, em paralelo tanto com dados acerca dos custos ou dos valores envolvidos
nas diversas questões quanto com informações produzidas pelas próprias unidades
auditadas. Por sua vez, em menor relevância, registrou-se o uso de artigos científicos
para as prioridades indicadas pelos gestores.
Em referência ao uso de produções acadêmicas, observou-se, em geral, que
os auditores são bastante céticos, dado que, frequentemente, julgam a utilização
de tais produções como fonte de inspiração metodológica ou confirmação externa
de dados, restringindo, ainda, sua utilização a uma quantidade pequena de opor-
tunidades. A este respeito, cabe levantar a reflexão sobre a possível ampliação do
uso desse tipo de fonte pelos auditores e sobre os correspondentes limites desse
uso, considerando a objetividade inerente à profissão.
A respeito da baixa importância atribuída às prioridades indicadas pelos
gestores, o fato demonstra certo conflito entre a forma de agir dos auditores e o
novo referencial técnico normativo da atividade, o qual indica a necessidade de
se considerar esse tipo de fonte de informação. O achado confirma os registros de
Diniz (2017) e Oliveira (2019), que também constataram essa dificuldade. Cabe
aqui refletir se a ampliação do uso desse tipo de dado poderia ampliar a agregação
de valor pelos auditores.
No tocante às bases de dados acessadas, constatou-se, de modo geral, que as
mais relevantes tratam sobre despesas do governo federal e informações cadastrais
de pessoas e empresas. Os auditores indicaram que as utilizam por terem expe-
riência prévia e pela facilidade de acesso aos dados. A este respeito, observa-se
grande oportunidade de aperfeiçoamento das avaliações realizadas pela CGU,
com a incorporação institucional de análises de bases de dados sobre as diferentes
políticas públicas auditadas.
Em relação à forma como as informações são acessadas, as solicitações de
auditoria são os meios mais relevantes, seguidas de cruzamentos de bases de dados
e pesquisas na internet. As menores relevâncias são atribuídas, respectivamente, a
think tanks, mídias sociais e grupos de interesse.
Quanto ao movimento das políticas públicas baseadas em evidências, ve-
rificou-se que aproximadamente metade dos gestores da SFC entrevistados não
possui conhecimento, ao passo que a outra metade atribui extrema importância
ao movimento, acreditando que ele tenha a capacidade de modificar a realidade
das políticas públicas no país. No entanto, ressaltam que questões políticas podem
diminuir a importância das evidências em alguns casos.
A pesquisa contribui ao debate geral de políticas públicas baseadas em evi-

dências ao acrescentar dados sobre o uso de informações por esse importante grupo
de burocratas, que exerce relevante influência sobre as políticas públicas no Brasil.
REFERÊNCIAS
ALMEIDA, B. J. M. de. Adopted theories by the portuguese professionals to ex-
plain the auditing: empirical evidence. In: CONGRESSO INTERNACIONAL
DE CONTABILIDADE E AUDITORIA, 14., 2013. Anais... Lisboa, 2013.
Disponível em: <https://bit.ly/3AiQld1>. Acesso em: jan. 2020.
ANDERSON, U. L. et al. Internal auditing: assurance & advisory services. 4th.
ed. Lake Mary: The Internal Audit Foundation, 2017.
BRASIL. Lei no 10.180, de 6 de fevereiro de 2001. Organiza e disciplina os siste-
mas de planejamento e de orçamento federal, de administração financeira federal,
de contabilidade federal e de controle interno do Poder Executivo federal, e dá
outras providências. 2001. Disponível em: <https://bit.ly/2ZMF1K9>. Acesso
em: 28 maio 2019.
CFC – CONSELHO FEDERAL DE CONTABILIDADE. Normas Brasileiras
de Contabilidade (NBC) TA – de Auditoria Independente de Informação
Contábil Histórica. Brasília, 2019. Disponível em: <https://bit.ly/3bDE8ps>.
Acesso em: 15 mar. 2020.
CGU – CONTROLADORIA-GERAL DA UNIÃO. Secretaria Federal de Controle
Interno. Instrução Normativa no 3, de 9 de junho de 2017. Aprova o referencial
técnico da atividade de auditoria interna governamental do Poder Executivo federal.
Brasília, 2017a. Disponível em: <https://bit.ly/3kmPzXx>.
______. Manual de orientações técnicas da atividade de auditoria interna
governamental do poder executivo federal. Brasília: CGU, 2017b. Disponível
em: <https://bit.ly/3AiQxJh>.
______. Orientação prática: relatório de auditoria. Brasília: CGU, 2019. Dispo-
nível em: <https://bit.ly/3oH5Qtk>.
______. Orientação prática: plano de auditoria interna baseado em riscos. Brasília:
CGU, 2020a. Disponível em: <https://bit.ly/3iGt4fc>.
______. Sistemática de quantificação e registro dos resultados e benefícios
da atividade de auditoria interna governamental do Poder Executivo federal.
[S.l.]: CGU, 2020b.
______. SFC lança o infográfico Jornada do auditor interno governamental.

CGU: SFC, 2021a. Disponível em: <https://bit.ly/3uNSXyB>. Acesso em: 1o
abr. 2021.
______. Relatório consolidador dos benefícios aprovados em 2020. Brasília:
CGU, 2021b.
CAMPANA, P. de S. P. A cultura do medo na administração pública e a inefici-
ência gerada pelo atual sistema de controle. Revista de Direito, Viçosa, n. 9, p.
189-216, 2017.
DINIZ, P. E. de F. Alinhamento entre o planejamento da SFC/CGU e as nor-
mas de auditoria interna. Trabalho de Conclusão de Curso – Universidade de
Brasília, Brasília, 2017.
dades estatais para produção de políticas públicas: resultados do survey sobre o
serviço civil no Brasil. Brasília: [s.n.], 2018. (Cadernos Enap, n. 56).
FILGUEIRAS, F. Burocracias do controle, controle da burocracia e accountability
no Brasil. In: PIRES, R.; LOTTA, G.; OLIVEIRA, V. E. de. Burocracia e políticas
públicas no Brasil: interseções analíticas. Brasília, 2018. cap. 14. p. 355-382.
GOMIDE, A. de Á.; PIRES, R. R. C. Capacidades estatal e democracia: arranjos
institucionais de políticas públicas. Brasília: Ipea, 2014.
GREY, P. de F. C. A avaliação de impacto de políticas públicas e a contribui-
ção das auditorias internas dos institutos federais para a sua consecução: um
estudo a partir da execução do PNAES no campus São Borja do Instituto Federal
Farroupilha. 2018. Dissertação (Mestrado) – Programa de Pós-Graduação em
Políticas Públicas, Universidade Federal do Pampa, São Borja, 2018.
HUMPHREY, C.; OWEN, D. Debating the power of audit. International Journal
of Auditing, v. 4, n. 1, p. 29-50, 2000. Disponível em: <https://bit.ly/2ZZe3yp>.
Acesso em: dez. 2019.
HURTT, R. K. Development of a scale to measure professional skepticism. Audit-
ing: A Journal of Practice & Theory, v. 29, n. 1, p. 149-171, 2010.
IIA – INSTITUTE OF INTERNAL AUDITORS. Definition of internal audit-
ing. Altamonte springs, Florida: the institute of internal auditors. 1999. Disponível
em: <https://bit.ly/3q6GmWK>. Acesso em: 29 jan. 2020.
______. Normas internacionais para a prática profissional de auditoria interna.
Lake Mary: IIA, 2017.
LINDBLOM, C. The science of muddling through. Public Administration

Review, v. 19, n. 2, p. 79-88, 1959.
MARINHO, L. L. C.; SILVA JUNIOR, A. F. de A. da. A institucionalização
da atividade de auditoria interna no Poder Executivo federal. Revista da CGU,
Brasília, v. 10, p. 842-877, ago. 2018.
NELSON, M. W. A model and literature review of professional skepticism in
auditing. Auditing: A Journal of Practice & Theory, v. 28, n. 2, p. 1-34, 2009.
NIKTABA, A.; ASLANI, A. The effect of audit evidence on the auditor´s report.
International Journal of Accounting Research, v. 2, n. 6, p. 62-66, 2015.
Disponível em: <https://bit.ly/2YlHoCt>.
NOGUEIRA, R. A.; GAETANI, F. A questão do controle no debate de governan-
ça pública. Boletim de Análise Político-Institucional, n. 19, p. 91-100, 2018.
OLIVEIRA, E. B. de J. O perfil da produção científica em auditoria governa-
mental publicada em periódicos brasileiros no período de 2014 a 2017. 2017.
Trabalho de Conclusão de Curso (Bacharelado em Ciências Contábeis) – Univer-
sidade Federal de Rondônia, Cacoal, 2018.
OLIVEIRA, T. C. Auditores internos governamentais da Controladoria-Geral
da União: como preferem atuar, de forma didática ou repressiva? 2020. Dissertação
(Mestrado em governança e desenvolvimento) – Escola Nacional de Administração
Pública (Enap), Brasília, 2020.
OLIVEIRA, T. F. D. Avaliação das práticas de auditoria interna da Secretaria
Federal de Controle Interno da CGU sob a ótica da auditoria baseada em riscos.
Revista da CGU, v. 11, n. 19, p. 84-101, 2019.
OLIVIERI, C. A atuação dos controles interno e externo ao Executivo como
condicionante da execução de investimento em infraestrutura no Brasil.
Brasília, 2016. (Texto para Discussão, n. 2252).
OLSEN, C.; GOLD, A. Future research directions at the intersection between
cognitive neuroscience research and auditors’ professional skepticism. Journal of
Accounting Literature, v. 41, p. 127-141, 2018. Disponível em: <https://bit.
ly/3DpWUN3>.
PARKHURST, J. The politics of evidence: From evidence-based policy to the
good governance of evidence. [S.l.]: Routledge, 2017.
PIRES, R. R. C. Estilos de implementação e resultados de políticas públicas: fiscais
do trabalho e o cumprimento da lei trabalhista no Brasil. DADOS – Revista de
Ciências Sociais, Rio de Janeiro, v. 52, n. 3, p. 735-769, 2009.
POWER, M. The audit explosion. London: Demos, 1996. Disponível em:

<https://bit.ly/3k2kCYc>. Acesso em: 21 dez. 2019.
______. The audit society: rituals of verification. Oxford: Oxford University
Press, 1997.
______. The audit society: second thoughts. International Journal of Auditing,
London, n. 4, p. 111-119, 2000.
SOUZA, R. G. Auditoria interna: um panorama das pesquisas acadêmicas
publicadas em periódicos e congressos nacionais. 2017. Trabalho de Conclusão de
Curso – Faculdade de Administração, Ciências Contábeis e Ciências Econômicas,
Universidade Federal de Goiás (UFG), Goiânia, 2017.
REIS, S. R. G. Evolução do controle interno no Poder Executivo federal brasileiro:
um panorama de suas transformações institucionais e de suas tensões constitutivas.
Boletim de Análise Político-institucional, n. 12, p. 81-90, 2017.
ANEXO A
QUESTIONÁRIO DO SURVEY
QUADRO A.1
Perfil social do participante
Variável Opções
Gênero Masculino/feminino
Ano de nascimento De 1946 a 1989
Ano que entrou na CGU De 1973 a 2019
Maior nível de formação acadêmica Ensino médio; graduação; especialização; mestrado; e doutorado.
Exerce função comissionada? Sim/não
Qual função comissionada exerce? DAS ou FCPE 1; DAS ou FCPE 2; DAS ou FCPE 3; DAS ou FCPE 4; DAS 5; e outros.
Ciências agrárias (por exemplo: agronomia, veterinária, zootecnia etc.); ciências
biológicas (por exemplo: biologia, farmacologia, genética etc.); ciências da saúde
(por exemplo: medicina, farmácia, odontologia, nutrição etc.); ciências exatas e da
Qual a área de formação acadêmica da terra (por exemplo: física, matemática, química etc.); ciências humanas (por exemplo:
sua maior titulação? educação, ciência política, história, antropologia, filosofia, sociologia etc.); ciências
sociais aplicadas (por exemplo: administração, economia, arquitetura, demografia,
direito, comunicação, ciência da informação etc.); engenharias (todas as engenharias,
tais como civil, elétrica, mecatrônica, naval etc.); linguística, artes e letras; e outros.
Lotação Coordenação-geral de auditoria na SFC; Superintendência Regional da CGU; e outros.
QUADRO A.2
Pesquisa
Variável Opções
Na sua opinião, qual é o potencial de
cada tipo de serviço de auditoria interna Apuração; avaliação; e consultoria
governamental de adicionar valor e
melhorar as operações das organizações (Escala likert muito alto; alto; nem alto nem baixo; baixo; muito baixo).
públicas auditadas?
Trabalho de apuração, indicado pelo Ministério Público Federal, de possível desvio de
recursos com fortes indícios de autoria por parte de autoridade de alto escalão de
uma instituição pública respeitada, de materialidade não alta, mas relevante. Caso
Imagine que foram disponibilizados
comprovado, possui grande possibilidade de virar notícia nacional.
à sua escolha as seguintes opções de
Avaliação de governança, riscos e controles internos de política prioritária ao governo e
possíveis próximos trabalhos. Você deve
à sociedade, com alta materialidade. A avaliação possui o potencial de indicar caminhos
selecionar apenas 1.
para melhoria da eficiência e da qualidade da entrega dos serviços públicos ao cidadão.
Qual trabalho você executaria?
Consultoria, solicitada à CGU por ministro de pasta de grande importância política para
o governo, para atuar na facilitação do processo de formulação de política de abrangên-
cia nacional e de grande impacto na vida cotidiana da sociedade como um todo.
Opção menos complexa; opção com maior possibilidade de agregação de valor;
opção na qual possuo maior experiência; opção na qual a CGU possui maior tradição;
Por qual motivo você selecionou a opção existe alguma pressão da CGU para realizar esse tipo de trabalho; existe alguma
anterior? pressão de meus colegas de trabalho para realizar esse tipo de trabalho; opção
representa a maior necessidade do governo federal atualmente; opção é a que meus
colegas de trabalho se sentem mais confortáveis ao fazer; e outros.
(Continua)
(Continuação)
Variável Opções
Secretário federal de controle interno; equipe do gabinete da SFC (antiga DC);
diretores de auditoria da SFC; coordenadores-gerais de auditoria da SFC; superinten-
Indique o grau de influência dos atores dente de regional da CGU; chefe de divisão; chefe de núcleo; gestores das unidades
abaixo na definição dos trabalhos que auditadas; colegas de trabalho e especialistas; e minha própria decisão.
você realiza.
(Escala likert muito influente; influente; mais ou menos influente; de pouco influência;
sem influência).
Achados serem objeto de notícia nos meios de comunicação locais, nacionais e inter-
Na sua opinião, qual dos seguintes nacionais; os resultados do trabalho renderam premiações dentro e fora da CGU, os
possíveis resultados das auditorias é o resultados do trabalho renderem benefícios financeiros e/ou não financeiros; a proba-
mais importante? bilidade de se desvendar esquema de desvio de recursos públicos; a probabilidade de
recomendar melhorias estruturantes às políticas públicas; e outros.
Leis, decretos e normas; pareceres, notas técnicas e demais referenciais técnicos
aplicáveis às unidades auditadas; matérias ou notícias jornalísticas; percepções
empíricas (por exemplo: conhecimento da equipe sobre o histórico de certo gestor a
ser auditado); intuição pessoal; direcionamento dado pelo superior hierárquico; temas
Indique o grau de importância dos do plano tático da SFC; mapeamento de riscos feito pelo gestor da unidade a ser
seguintes tipos de dados e informações auditada; e avaliação de riscos feita pela própria CGU.
para a definição dos trabalhos que você Estratégias, objetivos e metas das unidades que serão auditadas; prioridades indica-
realiza: das pelo gestor a ser avaliado; materialidade dos recursos geridos pelas unidades a
serem auditadas; e artigos científicos.
(Escala likert: muito importante; importante; mais ou menos importante; de pouca

importância; e sem importância).
Pesquisa na internet; pesquisa na base de conhecimento da CGU; consulta a colegas
de trabalho no meu local de trabalho; consulta a especialistas (por exemplo: profes-
sores universitários, pesquisadores do Ipea, consultorias especializadas); respostas
a solicitações de auditoria (SA); reuniões com unidades gestoras; conferências ou
seminários; livros e artigos acadêmicos; índices e alertas de risco (por exemplo: Mara
da DIE e Alice); relatórios do Macros; cruzamentos de bases de dados; denúncias;
Indique o grau de importância dos se- acórdãos, acordos firmados e indicações do TCU; indicações de outras instituições
guintes meios de acesso aos dados e às de controle (por exemplo: MPF, TCE etc.); acervo ou base de dados de livros, artigos
informações que embasaram a definição ou estudos acadêmicos (por exemplo: Google scholar, Scielo, Proquest etc.); estudos
dos trabalhos que você realiza. produzidos por institutos de pesquisa governamentais (por exemplo: Ipea, IBGE,
Enap etc.); Think Tanks – laboratório de ideias, centro de pensamento ou centro de
reflexão; estudos de grupos de interesse (por exemplo: IBGC e consultorias especiali-
zadas); notícias veiculadas na mídia normal; postagens nas mídias sociais.
(Escala likert: muito importante; importante; mais ou menos importante; de pouca

importância; sem importância).
(Continua)
(Continuação)
Variável Opções
Não usei bases de dados; abono salarial – pagamentos do benefício do abono
salarial; Análise de Licitações e Editais (Alice); Cadastro Informativo de Créditos não
quitados do Setor Público Federal (Cadin); Cadastro Único para Programas Sociais do
Governo Federal (Cadastro Único); Cadastro Geral de Empregados e Desempregados
(Caged); Cadastro Nacional de Empresas Inidôneas e Suspensas (Ceis); Cadastro
de Entidades Privadas Sem Fins Lucrativos Impedidas (Cepim); Censo de Educação
Superior (CES); Cadastro Nacional de Empresas Punidas (CNEP); Cadastro Nacional
de Estabelecimentos de Saúde (CNES); Cadastro Nacional de Informações Sociais
(CNIS); Cadastro Nacional de Pessoa Jurídica (CNPJ); Cadastro Nacional de Pessoa
Física (CPF).
Dados de sistemas corporativos da CGU; Declaração de Aptidão (DAP) ao Programa
Nacional de Fortalecimento da Agricultura Familiar (Pronaf); garantia safra – bene-
ficiários; Cadastros do Instituto Brasileiro de Geografia e Estatística (IBGE); Instituto
Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) – microdados
censo escolar – região Nordeste/Programa Minha Casa Minha Vida (MCMV); ordens
bancárias – pagamentos realizados por OB; portal da transparência – banco de da-
Da lista de bases de dados a seguir, dos original do ano de 2018; Programa Bolsa Família; Programa Nacional de Inclusão
indique aquelas que utilizou nos últimos de Jovens (Projovem); Programa Universidade para Todos (Prouni); Relação Anual de
dois anos para a definição do escopo ou Informações Sociais (Rais); Registro Nacional de Carteira de Habilitação (Renach);
da amostra dos trabalhos. Registro Nacional de Veículos Automotores (Renavam); Registro Geral da Pesca (RGP);
Dados do Sistema de Apoio às Leis de Incentivo à Cultura (Salic); Seguro Defeso
– beneficiários do Seguro Defeso; Seguro Desemprego – Beneficiários do Seguro
Desemprego; Sistema Integrado de Administração Financeira do Governo Federal
(Siafi); Tesouro Gerencial; Sistema Integrado de Administração Patrimonial (Siapa);
Sistema Integrado de Administração de Recursos Humanos (Siape); Sistema Integrado
de Administração de Serviços Gerais (Siasg); Sistema de Informações Ambulatoriais do
SUS (Siasus); Sistema de Convênios (Siconv); Sistema de Operações do Crédito Rural
(SICOR) e do Proagro; Sistema de Informações da Estatais (Siest); Sistema Integrado
de Gestão Financeira (Sigef/web); Sistema de Informações Hospitalares do SUS (SIH-
SUS); Sistema de gerenciamento dos Projetos de Reforma Agrária (Sipra); Sistema de
Benefícios (Sisben); Sistema de Controle de Óbitos (Sisobi); Sistema de Transferência
de Informações; Sistema S – base com dados de licitações, pessoal, contratações,
convênios, contabilidade das Entidades do Sistema S; Sistema de Gestão dos Imóveis
de Uso Especial da União (Spiunet); Tribunal Superior Eleitoral (TSE) – prestação de
contas de campanhas, candidatos, filiados a partidos políticos; Yggdrasil – banco com
informações de vínculos; outros.
Considerando as bases de dados acima Não consultei bases de dados; em função da qualidade dos registros; em função da
indicadas, selecione abaixo o(s) motivo(s) facilidade de utilização; em função da credibilidade da base;
da escolha. em função de experiência prévia; falta de opção. É a base que está disponível; outros.
CAPÍTULO 11
OS USOS E NÃO USOS DE EVIDÊNCIAS CIENTÍFICAS PELA

BUROCRACIA DISTRITAL: UMA PRIMEIRA ANÁLISE
Daienne Machado1
Tatiana Sandim2
Pedro Jorge Holanda Alves3
Isabela Harumi Lopes Motoki4
Júlia Andrade Vivas5
1 INTRODUÇÃO
Este capítulo apresenta e discute os primeiros resultados encontrados com o survey O
que informa as políticas públicas distritais?, aplicado entre servidores(as) públicos(as)
e empregados(as) do Distrito Federal, para entender o uso ou não uso de evidências
e a que elementos e insumos eles(as) recorrem no seu cotidiano de atribuições e
decisões. Este estudo foi realizado tanto pela relevância da agenda de pesquisas
sobre políticas baseadas em evidências no Brasil – para a qual espera-se que ele
contribua – como também por sua pertinência para o desenvolvimento da missão
institucional da Companhia de Planejamento do Distrito Federal (Codeplan),
empresa pública responsável pela produção de estatísticas, estudos e pesquisas
sobre o território, a população e as políticas públicas do Distrito Federal, da Área
Metropolitana de Brasília e da Região Integrada de Desenvolvimento Econômico
do Distrito Federal, por assessorar a gestão pública distrital, organização à qual as
autoras e autor deste texto estão vinculados.
Importa registrar que, além de integrar o projeto de pesquisa O que Informa
as Políticas Públicas Federais: o uso e o não uso de evidências pela burocracia fe-
deral brasileira, proposto pelo Ipea, este estudo também faz parte de uma agenda
de pesquisas e ações da Codeplan.6 Desde 2019, a organização não apenas produz
evidências científicas, como faz há anos, mas também tem buscado promover a
1.Especialista em políticas públicas e gestão governamental do Ministério da Economia; e diretora da Diretoria de

Estudos e Políticas Sociais da Companhia de Planejamento do Distrito Federal (Codeplan).
2. Gerente de pesquisas na Diretoria de Estudos e Políticas Sociais da Codeplan.
3. Pesquisador da Diretoria de Estudos e Políticas Sociais da Codeplan.
4. Graduanda em estatística pela Universidade de Brasília (UnB).
5. Estagiária na Diretoria de Estudos e Políticas Sociais (Dipos) na Codeplan.
6. O projeto Políticas Sociais Baseadas em Evidências no DF foi formulado pela Diretoria de Estudos e Políticas Sociais
da Codeplan em 2019.
abordagem de políticas públicas baseadas em evidências (PPBEs) ou informadas

por evidências, como preferem alguns (Oxman et al., 2009; Barreto e Souza, 2013),
junto à gestão distrital, em especial, junto a gestores responsáveis por políticas
sociais. A aplicação do survey foi incorporada ao projeto como passo inicial de
diagnóstico sobre os usos de evidências científicas pela burocracia distrital, com
a enriquecedora possibilidade de comparar seus resultados aos do survey aplicado
junto à burocracia federal (Koga et al., 2020).
Entende-se que a abordagem de políticas públicas baseadas em evidências pode
apoiar gestores públicos em diversos momentos do processo de produção de políticas
públicas,7 disponibilizando as melhores evidências científicas. A abordagem permite
não apenas informar decisões a serem tomadas (Davies, 2004), mas também que os
policymakers gerenciem melhor o uso de evidências: i) elaborando/provocando/con-
tratando sínteses ou produção de evidências científicas sobre um problema público,
alternativas de políticas, implementação, resultados ou impacto de iniciativas em
curso; ii) julgando se estão sendo disponibilizadas e mobilizadas evidências científicas
de qualidade e relevantes para o contexto de aplicação; e iii) reconhecendo a ausência
ou limitações de evidências científicas em determinados momentos do processo de
produção de políticas públicas (Oxman et al., 2009). Espera-se que essa abordagem
amplie as alternativas disponíveis de informações, promovendo a reflexão sobre as
consequências das ações públicas sobre a sociedade (Carneiro e Danton, 2012).
A promoção do uso de evidências científicas nas tomadas de decisões em
políticas públicas não pretende subordinar a decisão política ao conhecimento
científico – isso não é possível e tampouco desejável. Evidências científicas inte-
gram o grupo de informações de “boa qualidade” e ocupam posição central nessa
abordagem, mas figuram ao lado de outros tipos de conhecimentos que permitem
aos gestores desenvolverem boas políticas públicas (Head, 2008).
Esse conjunto de conhecimentos diz respeito, entre outros, a práticas profissio-
nais, recursos e dinâmicas de naturezas diferentes como correlações múltiplas de forças
sociais de diferentes segmentos, valores, oportunidades políticas, questões culturais,
fiscais, orçamentárias e normativas. Não obstante, entendemos que fortalecer o uso
de evidências e uma “boa governança de evidências” (Parkhurst, 2017) pode resultar
em políticas mais eficazes e inclusivas e no uso mais adequado de recursos públicos.
Também importa sublinhar que este capítulo pretende iluminar sobretudo
aspectos dos usos e não usos de evidências “científicas” na gestão pública distrital.
Entendemos que o conceito de evidências pode ser impreciso e multidimensional,
tanto no seu sentido rotineiro como na literatura sobre políticas baseadas em evidên-
7. Por “processo de produção de políticas públicas” aqui, é designado o conjunto amplo de atividades para conhecer
problemas públicos, formular alternativas, tomar decisões, implementá-las e avaliá-las, incluídas as microdecisões
tomadas pelos atores durante a implementação de políticas que constantemente as reformulam.
Os Usos e Não Usos de Evidências Científicas pela Burocracia Distrital: | 371
uma primeira análise
cias (Pinheiro, 2020a). Justamente por isso, e na tentativa de reduzir ambiguidades e

imprecisões, delimitamos que aqui: i) geralmente usamos o termo “evidências” como
“evidências científicas”; e ii) entendemos por evidências científicas estudos, pesquisas,
estimativas, análises, dados qualitativos ou quantitativos produzidos conforme meto-
dologias científicas – mais frequentemente – por instituições de pesquisa. Também
entendemos que outros elementos informam as políticas públicas e que conhecê-los
é indispensável para compreender como a burocracia exerce suas atribuições, como
diferentes elementos se entrelaçam no cotidiano para tecer as políticas públicas entre-
gues aos cidadãos. Contudo, esses objetivos serão eventualmente explorados em outros
trabalhos, por meio dos dados já coletados ou da coleta complementar de outros.
Por fim, registra-se que o survey aplicado na burocracia distrital replicou, com
adaptações, o instrumento utilizado no trabalho O que informa as políticas públicas:
survey sobre o uso e o não uso das evidências pela burocracia federal brasileira, realizado
por Koga et al. (2020). A decisão se deveu ao alinhamento sobre o modelo analítico
para explorar usos de evidências, à abertura dada pelos colegas na construção e na
discussão do questionário e pela interessante possibilidade de eventualmente se
compararem resultados. Assim como no texto de Koga et al. (2020), este trabalho
se limita a uma exploração inicial dos resultados, com análises descritivas. Outras
análises dos dados coletados serão realizadas em trabalhos subsequentes.
Este capítulo tem cinco seções, além desta introdução. Na segunda seção, faz-se
uma revisão teórica para situar este trabalho em relação à literatura sobre usos de
evidências científicas em políticas públicas e explicitar o modelo analítico adotado.
A terceira seção apresenta os aspectos metodológicos do survey. Na seção 4, são
apresentados os principais resultados, descrevendo o perfil dos(as) servidores(as)
respondentes, trabalhos e funções e, sobretudo, as respostas sobre usos de evidências
científicas. A seção 5 discute os resultados e suas implicações para a promoção do
uso de evidências científicas no Distrito Federal. Por fim, nas considerações finais,
são explicitadas as limitações deste estudo e as sugestões para próximas pesquisas.
2 REVISÃO DE LITERATURA
2.1 Usos de evidências em políticas públicas

Na literatura nacional, o debate sobre uso de evidências ainda está começando.
Um levantamento na literatura acadêmica sobre iniciativas deliberadas de colocar
em prática, de formas mais estruturadas, a abordagem de políticas baseadas em
evidências (Sandim e Machado, 2020) localizou seis artigos acadêmicos e quatro
teses e dissertações. Desses, apenas dois tratavam de uso de evidências: Dias et al.
(2015), que apresentaram quatro estratégias para potencializar o uso de evidências
no sistema de saúde; e Campos (2009), que problematizou o uso de evidências em
educação, destacando que algumas questões fundamentais são mais bem equalizadas
por meio dos processos sociais.
Em um levantamento usando categorias analíticas mais amplas, apresentado
neste livro, Faria e Sanches (2021) encontraram dez teses e dissertações e 28 arti-
gos que tratavam de uso das evidências ou da interação entre gestores públicos e
produtores do conhecimento, fosse esse o ponto principal dos trabalhos ou não.
Quase todas as teses e dissertações encontradas tratavam do uso/não uso de evi-
dências em um tipo específico de política pública, geralmente a de saúde. Entre
os artigos, quatro coletaram dados de percepção de gestores públicos sobre uso de
evidências (Carneiro e Rosa, 2018; Silva e Fonseca, 2015; Carneiro e Sandroni,
2018; Koga et al., 2020), quatro analisaram tipos de uso de evidências científicas
(Carneiro e Rosa, 2018; Tolosana, 2015; Pinheiro, 2020b; Koga et al., 2020) e
outros sintetizaram facilitadores e barreiras de uso de evidências.
Na literatura nacional, dois trabalhos se destacam. Koga et al. (2020) con-
duziram um survey junto à burocracia federal para explorar diferentes tipos de uso
de evidências, tomando evidência em um sentido mais amplo. Por sua vez, Hjort
et al. (2019) conduziram um experimento junto a prefeitos, com o intuito de co-
nhecer a disposição a pagar para conhecer o resultado de avaliações de políticas e
se a evidência sobre a eficácia de uma política alavancaria sua adoção por gestores.
2.2 Diferentes tipos de usos de evidências em políticas públicas

Na literatura internacional é possível identificar tipologias de uso de evidência.
Uma das mais conhecidas e pioneiras classificações de uso de pesquisa na produção
de políticas públicas é a elaborada por Weiss (1979). São elas: i) uso direcionado
pela disponibilização de conhecimento8 desenvolvido por pesquisa básica; ii) uso
de pesquisa para resolver problemas específicos – pesquisas ajudariam a selecionar
opções para atingir metas e poderiam ser encomendadas para esse fim; iii) modelo
interativo, em situações nas quais gestores procuram fontes diversas de conheci-
mentos e informações – sejam eles científicos ou não –, e que também sublinha o
papel ativo dos gestores para encontrar apoios para desenvolver suas políticas; iv)
modelo político, em que pesquisas são usadas para apoiar uma opinião já posta ou
questioná-la; v) modelo tático, em que a mera realização de uma pesquisa, inde-
pendentemente de seus resultados, é usada como resposta, ou em que os resultados
são uma “desculpa” ou escudo contra críticas; vi) modelo do ensinamento, em que
existe uma influência indireta – os resultados e perspectivas de vários estudos vão
paulatinamente mudando as lentes como gestores enxergam uma questão; e vii)
pesquisa como empreendimento da sociedade, modelo que aponta para uma relação
8. Em inglês: i) the knowledge-driven model; ii) the problem-solving model; iii) the interactive model; iv) the political
model; v) the tactical model; vi) the enlightenment model; vii) research as part of the intellectual enterprise of society.
de duas vias entre pesquisa e gestão – pesquisa pode influenciar políticas públicas,
como o contrário – e ambas são influenciadas por outros macro elementos sociais.
Ao atentar para diferentes utilizações de evidências, para caminhos que visam
à realização desses usos e para como a própria decisão sobre conduzir ou não a
pesquisa pode ser mobilizada, a tipologia de Weiss tornou-se muito sofisticada
(Nutley, Walter e Davies, 2007). Ainda assim, serviu para analisar a utilização de
pesquisas por parte de servidores de políticas sociais – inclusive do nível de rua –,
na Suécia (Sunesson e Nilson, 1988), e no desenvolvimento da política de prisões
por drogas, no Reino Unido (Duke, 2001 apud Nutley, Walter e Davis, 2007). O
modelo segue merecendo destaque também pelo pioneirismo.
Outro conjunto de modelos que merece menção é o que designa fases. Ao
analisarem o uso de pesquisas por servidores públicos canadenses, Landry, Amara
e Lamari (2001) adaptaram o modelo de Knott e Wildavsky (1980) e chegaram a
uma tipologia com seis estágios para o uso de evidências: i) transmissão dos achados;
ii) recebimento e entendimento pelos recebedores; iii) referências aos achados em
relatórios e planos pelos servidores; iv) esforço para uso dos achados; v) influência
nas decisões; e vi) aplicação das decisões embasadas nos achados. De um lado, os
modelos de estágio são limitados ao supor um caminho linear e com requisitos e uma
postura passiva dos policymakers, o que muitas vezes não corresponde à realidade;
de outro, eles destacam positivamente o caráter cumulativo dos processos de uso de
conhecimento científico em produção de políticas (Nutley, Walter e Davies, 2007).
Muito citados são os usos instrumental e conceitual (Caplan, 1979; Beyer,
1997; Nutley, Walter e Davies, 2007). O primeiro designa o uso de evidências
científicas na tomada de decisões sobre um determinado problema, como na defi-
nição da rota a ser seguida. O segundo seria um uso mais indireto e difuso, em que
evidências influenciariam a ascensão de um problema à agenda pública ou a forma
como atores políticos enxergam e atuam sobre um problema. Fala-se também em
uso tático ou estratégico (ou simbólico), em que evidências científicas são usadas
como instrumentos de persuasão para apoiar decisões existentes ou questioná-las.
Nesse sentido, podem inclusive ser usadas (e selecionadas propositalmente) para
legitimar publicamente decisões já tomadas (Nutley, Walter e Davies, 2007).
Citado mais especificamente na literatura sobre avaliação de políticas, há
também um “uso do processo”, que sublinha como o desenho e o processo de pro-
dução de pesquisas, estudos e análises – e não apenas os seus resultados – também
podem ser usados pelos policymakers engajados nessas atividades para aprender
sobre o objeto em estudo (Nutley, Walter e Davies, 2007).
Este capítulo dialoga sobretudo com a tipologia de uso instrumental, concei-
tual e simbólico (Caplan, 1979; Beyer, 1997), por considerá-lo abrangente, mas
também simples. Importa registrar que as tipologias são úteis para analisar o uso
de evidências, mas seus elementos não necessariamente são tipos perfeitamente

delimitados (ou delimitáveis), estáticos ou excludentes. Dada a dinamicidade
dos processos de produção de políticas públicas, eles melhor servem à análise se
concebidos de forma igualmente dinâmica, fluida e complementares. No desen-
volvimento de uma política pública, é possível ver evidências usadas de diferentes
maneiras – e mesmo de forma não intencional (Tydén, 1993).
2.3 Fatores que influenciam o uso de evidências em políticas públicas

Muitos estudos empíricos internacionais têm se debruçado sobre elementos que
promovem ou dificultam o uso de evidências científicas na produção de políticas
públicas. Uma revisão sistemática sobre barreiras e facilitares do uso realizada há
quase vinte anos (Innvaer et al., 2002) localizou 24 estudos, a maioria utilizando
entrevistas semiestruturadas ou surveys com amostras muito pequenas. Oliver et al.
(2014) atualizaram esse trabalho e localizaram outros 145 estudos empíricos de 59
países, com métodos variáveis, como etnografia, análises documentais, entrevistas
semiestruturadas, surveys e análises longitudinais.
Para explorar o que influenciaria o uso de evidências em políticas públicas,
este estudo seguiu a adaptação do modelo de Ouimet et al. (2009) feita por Koga et
al. (2020) no trabalho sobre o uso de evidências pela burocracia federal (figura 1).
FIGURA 1
Modelo analítico para explorar usos de evidências científicas pela burocracia distrital
Atributos da evidência
• Natureza das pesquisas
• Adaptação das evidências
• Enfoque das pesquisas
Capacidades analíticas
organizacionais
• Serviços informacionais Capacidade de absorção
• Infraestrutura de pesquisa
• Recrutamento e capacitação
Reconhecer Mudanças ou
Aquisição Utilização Aplicação manutenção
o valor
Capacidades analíticas individuais do status quo
• Conhecimentos e habilidades; e
• Experiência profissional
Tipo de trabalho Valores e motivações Interações sociais Relações de poder
Fonte: Koga et al. (2020), adaptado de Ouimet et al. (2009).
O modelo original foi desenvolvido na área de gestão, a partir do conceito de

capacidade de absorção, e busca dialogar com três perspectivas teóricas revisitadas
no estudo de Rich e Oh (2000, apud Ouimet et al., 2009). Nos dois modelos, os
elementos do conceito de capacidade de absorção são: i) reconhecimento do valor das
evidências (atitude dos gestores em relação às evidências científicas); ii) aquisição –
esforços para obtenção de evidências; iii) utilização da evidência – que pode se
seguir aos elementos anteriores ou não e que poderia ser aferida de diversas formas,
a depender do entendimento de “uso”; e iv) aplicação, quando o conhecimento é
mobilizado no processo de produção de políticas públicas.
Esses elementos – e a própria absorção de conhecimento – ocorreriam ou
não em função de diferentes aspectos sublinhados pelas três diferentes perspec-
tivas trazidas por Rich e Oh (2000, apud Ouimet et al., 2009). A perspectiva
racionalista considera a relevância de características individuais dos burocratas.
Na versão adotada por Ouimet et al. (2009), Koga et al. (2020) rejeita a ideia da
racionalidade ilimitada dos agentes e, portanto, supostos como a relação imediata
entre disponibilidade de informações e seu entendimento/uso pela gestão, mas
reconhece que habilidades e conhecimentos dos servidores influenciam o uso
de evidências. Essas habilidades e conhecimentos estariam ligados ao percurso
acadêmico que fizeram, a treinamentos específicos como formação continuada
ou em serviço. Koga et al. (2000) acrescentam, nessa categoria de características
individuais, o tipo de trabalho executado, valores e motivações dos burocratas,
trazidos de abordagens construtivistas.
A perspectiva organizacional aponta para condições e elementos postos
pelas próprias organizações públicas como infraestrutura tecnológica para acesso
a evidências científicas, políticas explícitas de desenvolvimento profissional que
oportunizem o aprendizado de metodologias ou ferramentas de pesquisa, seleção
e recrutamento de servidores com expertise ou unidades de tradução do conheci-
mento, e/ou de promoção da relação entre gestão e pesquisadores.
A terceira perspectiva considera a relação e a comunicação entre produ-
tores de evidências e os burocratas, assumindo que são grupos com diferentes
backgrounds, visões de mundo, linguagens e, sobretudo, objetivos e horizontes
temporais de suas funções distintos (Caplan, 1979). O modelo adaptado de
Koga et al. (2020) incorporou atributos das evidências, como o tipo de estudo,
sua fonte, tamanho etc.
O modelo adaptado por Koga et al. (2020) foi discutido com alguns dos
autores deste trabalho durante o desenvolvimento dos estudos e foi adotado por
se mostrar bastante completo, contemplando boa parte da literatura sobre o tema.
Oliver et al. (2014), em sua revisão, apontaram essencialmente os mesmos elementos
dos modelos fundidos. Apesar de os trabalhos de Ouimet et al. (2009) e Koga et
al. (2020) terem explorado o uso de evidências no nível federal, considerou-se que
os modelos servem à exploração do tema junto a burocracias subnacionais. Por
fim, registra-se que, como não foram identificadas normas distritais ou orientações
sobre uso de evidências ou avaliação de políticas públicas, optou-se por não agregar
nenhum componente ao modelo para uso no Distrito Federal.
3 METODOLOGIA
Para atingir os objetivos deste estudo, optou-se pela coleta de dados primários por
meio de um survey com burocratas dedicados à produção das políticas públicas.
Essa forma de coleta permite testes em proposições complexas envolvendo, em
interação simultânea, diversas variáveis, o que possibilita a identificação de fontes de
informação, motivações e padrões no uso de evidências com outros dados coletados
(Babbie, 1999). Além disso, um survey tem três funções principais: i) exploração,
indicado para trabalhar objetos de pesquisa desconhecidos; ii) descrição, utilizado
para caracterizar com dados o fenômeno estudado e produzir fontes de informação
para outros estudos; e iii) explicação, ideal para testar hipóteses orientadas pela
teoria (Paranhos, 2014).
O survey foi disponibilizado para servidores e servidoras do Distrito Federal,
vinculados à administração direta e indireta, por quase dois meses, com o envio
de e-mail com link individual para o questionário na plataforma LimeSurvey. Essa
plataforma garante o sigilo dos respondentes, fundamental para a confiabilidade
das respostas e do atendimento aos princípios éticos de pesquisa.
3.1 Construção do questionário

O questionário replicou, com adaptações, o utilizado por Koga et al. (2020),
construído a partir de instrumentos desenvolvidos por pesquisadores estrangeiros
(Ouimet et al., 2009; Cherney et al., 2015; Veselý, Ochrana e Nekola, 2018).
O survey buscou incorporar questões relacionadas às variáveis do modelo analítico
apresentado – características individuais, elementos sobre comunicação e organi-
zação, e relação com instituições de pesquisa ou pesquisadores. Este estudo foi
direcionado para servidores e empregados em cargos de médio ou alto escalão, pelo
entendimento de que essas pessoas ocupam posições mais diretamente relacionadas
à formulação de políticas públicas e para manter comparabilidade com a pesquisa
feita na burocracia federal (Koga et al., 2020). Essas pessoas foram selecionadas
conforme procedimentos descritos a seguir.
O questionário pronto tinha seis seções (quadro 1), precedidas por informações
sobre a coleta, o armazenamento, o tratamento e a análise9 dos dados.
9. O questionário pode ser consultado em: <https://bit.ly/308zNYW>.

QUADRO 1
Seções do questionário
Seção Temas
Localização funcional Local de trabalho, vínculo com a administração pública e tempo na carreira.
Política pública Eixo do plano plurianual (PPA) e tempo na atividade.
Função Competências sob responsabilidade do respondente.
Fontes de informação Principais fontes de informações utilizadas, formas de acesso e finalidades.
Conhecimentos, habilidades, valores Grau de formação, habilidades e conhecimentos específicos.
Perfil demográfico Perfil sociodemográfico.
O pré-teste foi realizado em uma amostra de aproximadamente quinze

pessoas selecionadas por conveniência, formada por empregados da Codeplan e
por servidores de cinco secretarias. Os feedbacks enviados não ensejaram ajustes
no questionário.
3.2 Obtenção e preparação da base de respondentes

A obtenção da base de respondentes demandou várias estratégias, como propostas
de parceria e contatos institucionais com responsáveis pela guarda e atualização
dos registros. Por fim, a base foi fornecida pela Subsecretaria de Gestão de Pesso-
as (Sugep), da Secretaria de Economia do Governo do Distrito Federal (GDF),
extraída em 17 de novembro de 2020. Constavam da base de dados os registros
de todos os empregados e servidores das secretarias de estado, empresas públicas,
autarquias e fundações do GDF.
A tarefa de identificar os empregados e servidores dentro do perfil pretendido
(ocupantes e cargos de médio e alto escalão) foi complexa, visto que as secretarias
e demais instituições distritais têm autonomia para definir estruturas hierárquicas,
distribuir funções gratificadas e cargos de comissionados, nomear cargos e atribuir
a respectivas competências. Com isso, não foi possível selecionar totalmente os
respondentes por nenhuma dessas variáveis.
A seleção foi, então, feita por meio de filtros na base de dados e no questioná-
rio, especificamente aplicados no local de trabalho (lotação). Essa tarefa foi a mais
difícil, sendo aquela em que é preciso reconhecer – em nome do rigor científico –
que, possivelmente, houve falhas. Isso porque só foram excluídos os registros de
pessoas lotadas em unidades que, com certeza, estavam fora do perfil. Nos casos de
dúvidas, os registros foram mantidos na base. O filtro no questionário foi inserido
com a intenção de aumentar a acurácia na seleção e materializou-se na questão
sobre atendimento cotidiano ao público, mencionada anteriormente.
O quadro 2 apresenta os filtros aplicados. Após a filtragem, restaram 46.662

registros. Após o envio do convite, 2.807 e-mails não foram entregues por erros
nos endereços.
QUADRO 2
Filtros aplicados na base de registros de servidores(as) e empregados(as)
Número de
Variável Operação
registros
Total de registros 96.064
Situação funcional
Selecionar pessoas com vínculos celetário, magistério e servidor estatutário. 95.632
específica
Órgão Remover servidores das administrações regionais. 93.331
Situação Selecionar pessoas com vínculo de trabalho normal, incluídos no mês ou requisitados. 86.869
Lotação Excluir da lista pessoas cujas lotações são relacionadas com atendimento ao público. 48.741
E-mail Remover registros sem endereço de e-mail. 48.028
E-mail e nome Remover pessoas com mais de um vínculo empregatício. 46.703
E-mail Remover registros com endereços de e-mail incorretos. 46.662
3.3 Coleta de dados

Os convites foram enviados por e-mail, em 1o de dezembro de 2020, para todos os
registros selecionados. Semanalmente, foram enviados lembretes para quem não
tinha respondido ainda, totalizando cinco envios.
Observa-se que não houve processo de seleção aleatória dos participantes,
isto é, os indivíduos que participaram deste estudo foram voluntários, por meio
de uma “auto-seleção”. Desse modo, é importante ressaltar que a amostragem por
conveniência pode trazer algumas limitações como possíveis vieses de seleção e
dificuldade de generalizar os resultados com precisão estatística.
Durante a coleta, constatou-se um percentual elevado de pessoas respondendo
positivamente à questão-filtro sobre trabalho de atendimento ao público (80,34%).
Isso sinalizou problemas na formulação da questão e, consequentemente, dificul-
dade de compreensão por parte dos respondentes. Para remediar o problema: i)
modificou-se o enunciado da questão; ii) permitiu-se o seguimento do questionário
para quem respondesse afirmativamente; iii) enviou-se o convite novamente para
quem havia sido excluído pelo filtro. Foram reenviados 3.226 convites. Destes,
423 pessoas responderam novamente, sendo que 153 (36,17 %) alteraram suas
respostas iniciais, confirmando o problema no enunciado.
Foram consideradas respostas válidas: i) as completas; e ii) as de pessoas que

marcaram “não” na pergunta-filtro. Com 1.109 questionários válidos para análise,
realizou-se o cálculo da margem de erro correspondente a uma amostra probabi-
lística de mesmo tamanho dado por:
em que o número total de servidores públicos no Distrito Federal (N) usado foi
46.394, com a variância máxima de uma distribuição binomial (PQ), nível de
confiança de 95% e tamanho de amostra n de 1109. Isto é, para uma amostra
probabilística de mesmo tamanho da amostra do estudo, a margem de erro é de,
aproximadamente, 3% para representatividade dos 46.394 servidores do GDF.
3.4 Análise dos dados

Para analisar as respostas, foram calculadas frequências absolutas e relativas apre-
sentadas em tabelas e em gráficos de barras e de setor. Para duas questões foram
desenvolvidas análises fatoriais, replicando análises realizadas por Koga et al. (2020).
Para as análises foi utilizado o software de análise estatística R.10
4 RESULTADOS
Esta seção se organiza em três subseções. A primeira apresenta o perfil dos res-
pondentes. A segunda aborda questões relacionadas à rotina de trabalho e às
funções desempenhadas pelos respondentes. A terceira subseção reúne as respostas
mais relevantes do estudo: padrões de acesso e utilização de diferentes tipos de
informação; e fatores pessoais e organizacionais que impactam no uso ou não de
evidências científicas.
4.1 Perfil dos respondentes

Os dados mostram preponderância do sexo masculino cisgênero (44,7%) e do sexo
feminino cisgênero (44,0%) entre os respondentes. Há um pequeno número de
funcionários que se declararam do sexo masculino transexual (0,2%) e não binário
(0,5%). O percentual de servidores que preferiram não responder, não sabem ou
declaram “outros” foi 10,7%.
10. A programação pode ser consultada em: <https://bit.ly/3DtIJGN>.

GRÁFICO 1
Gênero dos(as) servidores(as)
(Em %)
6,6
1,2
2,9
0,5
44,7
44,0
0,2
Homem Cis Homem Trans Mulher Cis Não binário Não sei
Outros Prefiro não responder
Fonte: Dados da pesquisa.

A distribuição dos respondentes por cor/raça/etnia aponta a preponderância

da proporção de indivíduos autodeclarados brancos (51,3%), seguidos por 40,4%
autodeclarados de cor parda.
GRÁFICO 2
Distribuição dos(das) respondentes, por cor/raça
(Em %)
Branca 51,3
Parda 40,4
Preta 6,0
Amarela 1,7
Outros 0,5
Indígena 0,1
0,0 10,0 20,0 30,0 40,0 50,0 60,0

Para comparação, foram analisadas informações do Painel Estatístico de Pessoal

da Sugep. O Painel disponibiliza acesso às informações relacionadas ao quadro de
pessoal do GDF. Os dados informam que cerca de 15,4% dos servidores têm até
30 anos de idade, 44,3% tinham entre 31 e 42 anos, e 34,5% tinham entre 41 e
45 anos. As participantes do survey são, proporcionalmente, pessoas mais velhas
do que a totalidade de servidores e empregados do Distrito Federal.
TABELA 1
Perfil etário dos servidores(as) e empregados(as) participantes do survey e total –
Distrito Federal (2020 e 2021)
Participantes do survey GDF
Faixa etária
Frequência % Frequência %
Até 30 anos 89 8,0 12.695 15,4
De 31 a 42 anos 401 36,2 36.397 44,3
De 41 a 54 anos 435 39,2 28.367 34,5
De 54 a 60 anos 129 11,6 3.572 4,3
Mais de 60 anos 55 5,0 1.195 1,5
Total 1.109 100 82.226 100
Fontes: Dados da pesquisa; Painel Estatístico de Pessoal/GDF, disponível em: <https://bit.ly/3JJ4wxO>.

Observando o perfil da escolaridade do corpo funcional do GDF, é possível

verificar que grande parte dos servidores possui graduação (39%) ou especiali-
zação (35,4%) e 1,6% dos servidores não possui ensino fundamental completo.
Comparando com as informações coletadas, os dados informam que, em termos
proporcionais, os respondentes do survey têm escolaridade mais elevada: a maioria
cursou especialização (55,09%) e 71,14% concluíram algum tipo de pós-graduação.
TABELA 2
Nível de escolaridade dos(das) servidores(as) respondentes
Participantes do survey GDF
Escolaridade
Frequência % Frequência %
Ensino Fundamental Incompleto 0 0,0 1.356 1,6
Ensino Fundamental Completo 2 0,3 312 0,4
Ensino Médio/Técnico 73 7,1 15.640 19,0
Graduação 245 22,1 32.094 39,0
Especialização (pós-graduação lato sensu) 611 53,6 29.086 35,4
Mestrado 156 14,5 3.164 3,8
Doutorado/Pós-doutorado 22 2,4 574 0,7
Total 1.109 100 82.226 100,0
Fontes: Dados da pesquisa; Painel Estatístico de Pessoal/GDF, disponível em: <https://bit.ly/3JJ4wxO>.

Entre os respondentes que têm pelo menos graduação, aproximadamente 48%

declararam título mais elevado na área de ciências sociais aplicadas, que agrega os
cursos de administração, economia, direito, comunicação, ciência da informação,
entre outros. Em segundo lugar, 18,9% declararam formação em ciências humanas,
11,3% em ciências da saúde e 7,1% nas engenharias (tabela 3).
TABELA 3
Área de formação do título mais alto do(a) servidor(a)
Área de formação Frequência %
Ciências sociais aplicadas 492 47,6
Ciências humanas 195 18,9
Ciências da saúde 117 11,3
Engenharias 73 7,1
Ciências exatas e da terra 63 6,1
Linguística, artes e letras 33 3,2
Ciências biológicas 26 2,5
Ciências agrárias 21 2,0
Outros 14 1,4

4.2 Trabalho e funções nas políticas públicas

Como mostra a tabela 4, cerca de 74,4% dos respondentes são servidores(as) públicos(as)
efetivos(as), 18,8% estão em cargos de comissão e 6% são empregados(as) públicos.
TABELA 4
Vínculo do(a) servidor(a) com a administração do Distrito Federal
Tipo de vínculo Frequência %
Servidor(a) público(a) efetivo(a) 825 74,4
Sem vínculo (cargo em comissão) 209 18,8
Empregado(a) público(a) 66 6,0
Requisitado(a) de outros poderes e/ou esferas, incluindo aposentados(as) 5 0,5
Aposentado(a) pela administração pública distrital 4 0,4

Entre os 825 respondentes que são servidores e empregados efetivos, foram

identificadas pelo menos 35 carreiras. A tabela 4 apresenta as quinze carreiras mais
recorrentes entre os respondentes, reunindo quase 85% dos ocupantes de cargos
efetivos. A carreira “assistência pública de saúde” teve 191 participantes. Essa é,

também, uma das carreiras mais numerosas do Distrito Federal. Em seguida, cons-
tam as carreiras “políticas públicas e gestão governamental do Distrito Federal”,
“assistência a educação” e “magistério público do Distrito Federal”.
Também foi pesquisada a ocupação de cargos de confiança. O gráfico 3 indica
que os servidores da “assistência pública de saúde”, em grande parte, não ocupam
tais cargos (66%), enquanto a carreira “políticas públicas e gestão governamental”
possui 64,7% dos servidores ocupando algum cargo de confiança.
GRÁFICO 3
Carreira atual do(a) servidor(a): quinze mais recorrentes
(Em %)
Assistência pública à saúde 21,22
Políticas Públicas e Gestão Governamental do DF 13,56
Assistência à educação 7,78
Magistério Público do DF 6,67
Atividades em transportes urbanos 5,56
Outros 5,22
Planejamento Urbano e Infraestrutura do DF 4,56
Socioeducativa 3,67
Auditoria de Controle Interno do DF 3,22
Pública de assistência social 2,56
Atividades de trânsito 2,44
Atividades rodoviárias 2,44
Gestão sustentável de resíduos sólidos 2,11
Atividades do meio ambiente 1,56
Apoio às atividades jurídicas 1,56

0,00
5,00
10,00
15,00
20,00
25,00

O questionário investigou experiências de trabalho anteriores. Os resultados

indicam que mais da metade dos(das) respondentes já trabalhou por períodos
longos no poder público estadual ou distrital (50,7% por sete anos ou mais) ou
empresa privada (43,5% por três anos ou mais). Por outro lado, grande parte dos
respondentes nunca trabalhou em poder público federal (70%), municipal (91,3%),
organismos internacionais (94,6%), universidade e institutos de pesquisa (83,7%),
e entidade sem fins lucrativos (85,8%).
GRÁFICO 4
Tempo de trabalho, por tipo de organização
(Em %)
Poder público estadual ou distrital 51 6,3 7,0 15,1 20,8
Empresa privada 22 8,9 12,5 27,2 29,2
1,7
Empresa pública 11 3,3 11,1 73,1
Poder público federal 7 3,7 6,4 13,0 70,0
0,9
Entidade sem fins lucrativos 3 2,1 8,2 85,8
1,2
Universidade e institutos de pesquisa 3 2,9 9,6 83,7

0,6 1,1
Poder público municipal 1 5,8 91,3

0,4 1,4
Organismo internacional 1 3,2 94,6
0 20 40 60 80 100
7 anos ou mais Entre 5 anos e 7 anos Entre 3 anos e 5 anos

Menos de 3 anos Nunca trabalhou

A tabela 5 apresenta a distribuição de servidores respondentes por tipo de

órgão atual. A maior parte dos respondentes atua em secretarias de estado (68,2%).
A segunda e a terceira maiores proporções são de trabalhadores de autarquias
(12,6%) e empresas públicas (8,5%).
TABELA 5
Órgão dos(as) servidores(as) com vínculo empregatício
Órgão Frequência %
Secretarias de estado 756 68,2
Autarquia 140 12,6
Empresa pública 94 8,5
Órgãos especializados (PCDF, PMDF, CBMDF, Controladoria ou Procuradoria) 1
54 4,9
Fundação 32 2,9
Casa Civil2 28 2,5
Defensoria Pública do Distrito Federal 5 0,5

Notas.: 1 PCDF – Polícia Civil do Distrito Federal; PMDF – Polícia Militar do Distrito Federal; CBMDF – Corpo de Bombeiros
Militar do Distrito Federal.
2
“Casa Civil” inclui as Secretarias de Estado da Casa Civil, Juventude, Atendimento à comunidade, Governo, Projetos
Especiais, Relações Institucionais, Relações Parlamentares, Extraordinária Pessoa com Deficiência, Extraordinária da
Família, Casa Militar e Gabinetes de Governador e Vice-Governador.
Para identificar as áreas de políticas públicas, questionou-se sobre o vínculo

com programas do PPA. Os programas mais apontados (tabela 6) foram saúde
(19,3%), desenvolvimento territorial (17,8%) e educação (12,3%). Chama aten-
ção que aproximadamente 12,3% dos servidores não sabem o eixo em que estão
situados e que 7,4% afirmam atuar em outros eixos.
TABELA 6
Vinculação dos(as) respondentes, por eixos do PPA
Eixo do PPA Frequência %
Saúde 222 19,3

Desenvolvimento territorial 205 17,8
Não sei 141 12,3
Educação 119 10,4
Gestão e estratégia 101 8,8
Desenvolvimento social 85 7,4
Outros 85 7,4
Segurança 67 5,8
Desenvolvimento econômico 62 5,4
Meio ambiente 62 5,4

No geral, os respondentes têm muito tempo de experiência na área em que

atuavam quando responderam ao questionário. Um terço (34,1%) afirmou estar
há mais de dez anos na política pública atual, 20,5% dos respondentes tinham
entre cinco e dez anos de experiência e 27,1%, afirmaram trabalhar entre um e
cinco anos na mesma área (gráfico 5).
Em relação às atividades desempenhadas pelos servidores (gráfico 6), as mais
comuns executadas sempre são: realizar “atividades administrativas”, como agendar
reuniões, tramitar processos e elaborar ofícios (29,7%); “elaborar relatórios e notas
técnicas e documentos para subsidiar tomada de decisões” (25,2%); e “assessorar
dirigentes” (19,3%). As tarefas frequentemente realizadas são: “elaborar notas
técnicas” (28,1%); “realizar atividades administrativas” (24%); e “coletar e anali-
sar dados para políticas públicas” (22,1%). Entre as atividades nunca realizadas,
destacam-se: “captar e negociar recursos financeiros” (78,3%); “contratar e validar
estudos de avaliação de políticas públicas” (66,6%); “organizar eventos” (63,1%);
e “representar seu órgão junto a outros entes governamentais” (60,4%).
GRÁFICO 5
Distribuição de servidores, por tempo de trabalho na política pública atual
(Em %) Muito difícil Difícil Nem fácil, nem difícil Fácil Muito fácil
40,0
34,1
35,0
30,0 27,1
25,0
20,5
20,0
15,0
9,7
10,0 8,6
5,0
0,0
Até 6 meses Entre 6 meses Entre 1 ano 1 mês Entre 5 anos 1 mês Mais de 10 anos
e 1 ano e 5 anos e 10 anos

GRÁFICO 6
Frequência de realização de atividades pelos(as) servidores no âmbito da política pública
(Em %)
Realizar atividades administrativas 29,7 24,0 14,2 9,3 22,8
Elaborar relatórios e notas técnicas 25,2 28,1 19,0 11,5 16,2
Realizar assessoramento de dirigentes 19,3 19,5 17,3 14,8 29,0
Coordenar equipe 17,7 15,2 17,3 13,9 35,9
Coletar e analisar dados relacionados à política pública 13,2 22,1 20,3 17,9 26,5
Atender demandas dos órgãos de controle 11,1 20,7 26,8 17,8 23,6
Elaborar, negociar, gerir e fiscalizar contratos 10,3 13,7 14,9 11,5 49,6
Fiscalizar o cumprimento das normas da política pública 10,3 18,8 13,4 12,4 45,2
Consultar e atender grupos da sociedade 3,7 8,5 16,3 20,2 51,3
Elaborar textos normativos 3,6 8,3 16,2 14,2 57,6
Contratar e validar estudos de avaliação de política pública 3,16,3 9,3 14,7 66,6
Representar seu órgão junto a outros entes do governo 2,97,1 13,7 15,9 60,4
Captar e negociar recursos financeiros 1,8 4,2 9,1 78,3
6,6
Organizar eventos 1,6 13,2 17,3 63,1
4,8
0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0
Sempre Frequentemente Eventualmente Raramente Nunca

Koga et al. (2020) investigaram as possíveis correlações entre funções de-

sempenhadas e perfis comuns de atividades com uma análise fatorial11 dos dados
e identificaram quatro perfis específicos: i) analítico/controle, representando ser-
vidores que elaboram relatórios, coletam e analisam dados, contratam e validam
estudos, elaboram textos normativos, e fiscalizam o cumprimento de normas; ii)
relacional, que envolve atividades de captação e negociação de recursos, consultar e
atender grupos interessados, organizar eventos, coordenar equipes e representar seu
órgão; iii) gerenciamento de recursos, com atividades de atendimento de demandas
dos órgãos de controle e assessoramento de dirigentes; e iv) administrativo, que
envolve processos e tarefas operacionais do cotidiano, como elaborar, negociar e
fiscalizar contratos.
A partir da análise fatorial (tabela 7) das atividades realizadas, é possível
observar quatro perfis, semelhantes ao encontrados por Koga et al. (2020). Os re-
sultados explicam cumulativamente 70% dos dados e, de acordo com o coeficiente
alfa de Cronbach, o modelo fatorial é consistente e válido. O primeiro perfil realiza
atividades de cunho analítico, o segundo se concentra em atividades relacionais, o
terceiro focaliza atividades de assessoria e administrativas e, por fim, há um grupo
responsável pela gestão e fiscalização de contratos.
TABELA 7
Análise fatorial das atividades realizadas pelos(as) servidores(as) no âmbito da
política pública
Analítico/ Gerência/
Função/atividade Relacional Administrativo
controle fiscalização
Elaborar relatórios e notas técnicas 0,77 0,13 0,36 0,19

Coletar e analisar dados relacionadas à política pública 0,73 0,42 0,22 0,16
Contratar e validar estudos de avaliação de política pública 0,65 0,47 0,05 0,40
Elaborar textos normativos 0,58 0,56 0,25 0,01
Fiscalizar o cumprimento das normas de política pública 0,52 0,15 0,19 0,49
Captar e negociar recursos financeiros 0,28 0,68 -0,03 0,42
Consultar e atender grupos da sociedade 0,32 0,78 0,36 0,15
Organizar eventos 0,15 0,64 0,44 0,00
Coordenar equipe 0,15 0,47 0,51 0,28
Representar seu órgão junto a outros entes do governo 0,22 0,82 0,28 0,18
Atender demandas dos órgãos de controle 0,43 0,13 0,55 0,36
Realizar assessoramento de dirigentes 0,42 0,32 0,60 0,10
(Continua)
11. A análise fatorial é útil para situações em que os respondentes apresentam correlação elevada nas questões. Os altos
coeficientes de correlação permitem estabelecer novas variáveis que captem o comportamento conjunto das variáveis
originais. Cada variável é chamada de fato, que pode ser chamado também como o grupamento de variáveis a partir
dos critérios definidos (Fàvero e Belfiore, 2017).
(Continuação)
Analítico/ Gerência/
Função/atividade Relacional Administrativo
controle fiscalização
Realizar atividades administrativas 0,13 0,17 0,60 0,14
Elaborar, gerir e fiscalizar contratos 0,18 0,18 0,29 0,86
KMO: 0,21; X² = 28678,13; df = 91 ; p < 0,001
Alfa de Cronbach: 0,93
Variação total explicada 0,44 0,24 0,59 0,7
ss loadings 2,84 3,3 2,05 1,67

Em uma semana típica, os servidores declararam trabalhar, em média, 39 horas

e destinar, também em média, três horas para reuniões e três horas para leitura de
estudos e pesquisas. Cerca de 60,3% dos servidores declararam trabalhar exata-
mente quarenta horas semanais, 17,4% menos e 19,8% mais de quarenta horas.
TABELA 8
Distribuição do tempo semanal de trabalho dos(as) respondentes
Faixa de horas semanais trabalhadas %
Menos que quarenta horas 17,4
Quarenta horas 60,3
Mais que quarenta horas 19,8
Dados faltantes 2,4

Em relação ao tempo dedicado às reuniões, 32,1% declararam utilizar me-

nos de uma hora, 21,7% entre duas e cinco horas, 13,6% entre seis e dez horas, e
11% destinaram onze horas ou mais. A distribuição de horas destinadas à leitura
de estudos e pesquisas por semana é semelhante: 30,1% leem por menos de uma
hora, 23,8% entre duas e cinco horas, 15,8%, seis a dez horas, e 10,1% passam
onze horas ou mais se dedicando à leitura.
TABELA 9
Distribuição do tempo semanal em reuniões e leitura de pesquisas
(Em %)
Faixa de horas semanais Em reuniões Em leitura de pesquisas
Menos de uma hora 32,1 30,1
De duas a cinco horas 21,7 23,8
De seis a dez horas 13,6 15,8
Onze horas ou mais 11,0 10,1
Dados faltantes 21,6 20,2

4.3 Práticas e padrões relacionados ao uso de informações

e evidências científicas
Esta subseção reporta as práticas e os padrões dos respondentes relacionadas ao uso
de informações e evidências científicas em políticas públicas. Os dados do gráfico
7 mostram a distribuição percentual das interações dos participantes com atores/
organizações. Chama atenção que a interação dos participantes com universidades,
institutos de pesquisa e pesquisadores é baixa: 61,41% afirmaram nunca as ter como
interlocutoras no seu trabalho e 20,83% disseram tê-las raramente.
Interações com colegas do próprio GDF são as três mais frequentes: 26,7% e
32,4% declararam sempre e frequentemente, respectivamente, terem interação com
“outras áreas do próprio órgão ou entidade”, enquanto 9,8% e 18,6% declararam
interação sempre e frequente, respectivamente, com “outros órgãos ou entidades
do governo distrital”. Servidores que interagem sempre ou frequentemente com
órgãos de controle do GDF, somaram 13%.
De forma geral, os servidores participantes reportaram interagir muito entre eles
mesmos e bem menos com outros atores/organizações. Entre as organizações com
as quais declararam nunca ter interação, destacam-se os “organismos internacionais”
(85,3%), as “entidades do sistema sindical patronal ou trabalhadores” (73,6%), “mídia
e imprensa” (73,6%), “beneficiários de programas e políticas” (72,2%) e “universidades,
institutos de pesquisa, professores universitários e pesquisadores individuais” (61,4%).
GRÁFICO 7
Interação dos atores/organizações para executar o seu trabalho
(Em %)
Outras áreas do meu órgão ou entidade 26,69 32,37 17,58 11,27 12,08
Outros órgãos ou entidades do governo distrital 9,83 18,58 27,77 22,45 21,37
Órgão de controle (CGDF, TCDF) 4 9 18,03 24,71 44,82
Setor privado e/ou empresas públicas ou de economia mista 3 7 15,69 22,81 50,59
Organizações da sociedade civil 2 6 11,90 19,93 59,51
Beneficiários de programas e políticas 2 3 8,93 13,89 72,23
Representantes do Poder Judiciário e Ministério Público 2 6 12,62 20,38 58,70
Mídia e imprensa 22 6,94 15,51 73,58
Governos estaduais, municipais e/ou federal 2 4 14,70 26,69 52,93

2
Representantes do Poder Legislativo 1 9,65 21,01 66,55
Universidade, instituto de pesquisa,
1 6 11,45 20,83 61,41
professor universitário e pesquisador
2
Entidades do sistema sindical (patronal ou de trabalhadores) 1 7,12 16,59 73,58
Organismos internacionais ou governos de outros países 14,51 9,20 85,30
0 10 20 30 40 50 60 70 80 90 100

Um percentual elevado de participantes (77,9%) afirmou não ler publicações

em língua estrangeira. Observando-se o nível de escolaridade, os dados mostram
que boa parte dos servidores com doutorado/pós-doutorado (40,9%) e mestres
(51,9%) não leem publicações em língua estrangeira. Entre aqueles com graduação
e especialização, esse percentual foi de 84,9% e 81%, respectivamente.
TABELA 10
Leitura de documentos em língua estrangeira, por nível de escolaridade
Ler literatura Ensino Ensino médio/ Doutorado/

Graduação Especialização Mestrado Total
estrangeira fundamental técnico pós-doutorado
Quantidade
Não 2 69 208 495 81 9 864
Sim 0 4 37 116 75 13 245
%
Não 100,0 94,5 84,9 81,0 51,9 40,9 77,9
Sim 0,0 5,5 15,1 19,0 48,1 59,1 22,1
Ensino Ensino médio/ Doutorado/

Qual idioma Graduação Especialização Mestrado Total
fundamental técnico pós-doutorado
Inglês 0 4 34 112 73 12 235

Espanhol 0 1 13 44 26 5 89
Francês 0 0 1 3 4 1 9
Outros 0 0 0 2 1 0 3

Ainda sobre atributos individuais, questionou-se o grau de dificuldade/fa-

cilidade para realizar atividades relacionadas à produção e consumo de pesquisas
científicas, como definição de indicadores, interpretação de análises estatísticas,
entre outras. No geral, a maioria dos servidores respondentes não parece fami-
liarizada com as atividades listadas (gráfico 8): nenhuma delas foi apontada por
mais da metade dos respondentes como fácil ou muito fácil. Para os participantes,
a tarefa mais considerada como muito difícil ou difícil (69, 7% somadas) foi a
utilização de novas ferramentas e tecnologias de processamento de dados e análise
estatística (como R, Stata, Python etc.). Em segundo lugar aparece a definição de
indicadores e metodologias para avaliação e monitoramento de políticas públicas:
13,6% consideram a tarefa como muito difícil e 35,7% afirmam ser uma tarefa
difícil. Apesar de poucas pessoas terem preenchido alguma atividade como “muito
fácil”, a tarefa de “identificar, coletar e analisar dados e informações” parece mais
familiar, com 33,3% considerando-a fácil ou muito fácil.
GRÁFICO 8
Nível de dificuldade/facilidade em realizar tarefas
(Em %)
Utilizar novas ferramentas e tecnologias de
processamento de dados e de análise estatística 33,4 36,3 20,8 7,02,4
(programação em R, STATA, Python ou Java etc.)
Definir indicadores e metodologias para avaliação e

13,6 35,7 31,6 15,9 3,2
monitoramento da política pública
Utilizar novas ferramentas e tecnologias de

informação e comunicação (ex. redes sociais, 10,6 24,0 34,7 23,5 7,2
ferramentas de Business Intelligence, etc.)
Interpretar resultados de análises estatísticas 6,9 21,6 38,1 27,9 5,4
Identificar, coletar e analisar dados e informações

6,5 20,1 43,0 24,1 6,3
relacionados à política pública
0 20 40 60 80 100
Muito difícil Difícil Nem fácil, nem difícil Fácil Muito fácil

Ao serem questionados se, nos últimos doze meses, “realizaram algum treinamento
ou capacitação de formação continuada” (cursos de aperfeiçoamento, especialização,
mestrado ou doutorado), 57,5% dos servidores responderam “sim” e 42,5%, “não”
(tabela 11). Para os que responderam sim, foi perguntado o curso envolveu a leitura de
pelo menos uma pesquisa ou estudo científico, ao que 72,7% dos servidores afirmaram
ter lido ao menos uma pesquisa e estudo científico durante o curso.
TABELA 11
Realização de treinamentos e capacitação e leitura de artigos
Realização de treinamentos e capacitação Frequência %
Sim 638 57,5

Não 471 42,5
Leu um ou mais artigos Frequência %
Sim 453 72,7
Não 185 29,5

Perguntados sobre a frequência de utilização de determinados tipos de infor-

mação no trabalho (gráfico 9), os respondentes afirmaram utilizar de forma mais
recorrente “leis e normas” (57,5%), “consulta a colegas de trabalho” (33,7%), “notas
técnicas produzidas por órgãos distritais” (31%) e “experiência pessoal” (29,8%).

Os resultados também mostraram a importância das relações interpessoais e das
trajetórias individuais como fonte de informações, com elevadas proporções de
servidores que afirmam utilizar sempre ou frequentemente a “consulta de colegas”
(33,7% 38,1%) e a “experiência pessoal” (29,8% e 26,9%).
Entre os tipos de informações produzidas segundo métodos científicos, são
pouco utilizados relatórios de pesquisa científica (16,3% afirmaram usar sempre
ou frequentemente) e artigos, capítulos ou livros produzidos por pesquisadores
(23,1% usam sempre ou com frequência). Por sua vez, sistemas informacionais e
bases de dados governamentais, também considerados evidências científicas, são
usados sempre ou frequentemente por 48,7% dos respondentes, quase o dobro
do item anterior.
GRÁFICO 9
Informações utilizadas para o trabalho dos(as) servidores(as)
(Em %)
Leis e normas 57,5 25,3 9,6 4 3 0,5
Consulta a colegas de trabalho 33,7 38,1 17,1 3,5 5 2,8
Notas técnicas produzidas por órgãos distritais 31,0 29,0 19,5 12,4 7 0,6
Experiência pessoal 29,8 26,9 20,4 11,0 10 2,3
Recomendações de órgãos de controle 26,9 24,7 23,0 12,1 12,4 0,9
Pareceres legais e decisões judiciais 25,8 25,7 22,7 13,0 12,2 0,6
Sistemas informacionais e bases de dados governamentais 25,0 23,7 20,9 14,0 15,8 0,6
Boas práticas produzidas pela União, estados e Municípios 14,9 17,7 25,5 18,8 22,2 0,9
Artigos, capítulos ou livros produzidos por pesquisadores 10,0 13,1 25,5 24,3 26,3 0,8
Matéria jornalística 6 10,5 18,7 26,7 37,2 0,9
Relatórios de pesquisa científica 6 10,6 19,7 27,2 36,0 0,8
Recomendações de instâncias participativas 4 8,9 17,8 25,2 43,5 0,8
Experiência e opiniões de beneficiário 3 6,3 18,7 27,7 43,2 1,1
Informações geradas por grupos de interesse 3 5,9 15,9 24,8 49,2 1,5
Recomendações de organismos internacionais 3 6,3 13,3 22,1 54,8
0 20 40 60 80 100
Sempre Frequentemente Eventualmente Raramente Nunca Não sei

Ao replicar a análise fatorial de Koga et al. (2020), buscou-se identificar perfis

de servidores. A tabela 12 informa os resultados que explicam cumulativamente
62% dos dados e revela quatro perfis comuns: i) interno; ii) externo; iii) acadêmi-
co; e iv) pessoal. Os burocratas do perfil interno utilizam sobretudo informações
internas do Distrito Federal, leis e normas, notas técnicas produzidas internamente,
pareceres legais, recomendações de órgãos de controle, manuais de boas práticas

e iniciativas da União, estados e municípios, bem como sistemas de informações
governamentais. Os respondentes de perfil externo utilizam majoritariamente infor-
mações geradas por instâncias privadas, beneficiários da política pública, grupos de
interesse, organismos internacionais e matérias jornalísticas. Os servidores de perfil
acadêmico utilizam artigos, capítulos de livros e relatórios de pesquisa científica.
Por último, os respondentes de perfil pessoal são aqueles que utilizam experiencia
pessoal e consultam colegas de trabalho.
TABELA 12
Análise fatorial dos tipos de informação utilizados no trabalho com políticas públicas
Tipo de informação Interno Externo Acadêmico Pessoal
Leis e normas 0,75 -0,01 0,23 0,31
Notas técnicas produzidas por órgãos distritais 0,80 0,11 0,19 0,17
Pareceres legais e decisões judiciais 0,87 0,13 0,08 0,10
Recomendações de órgãos de controle 0,86 0,15 0,04 0,11
Boas práticas e iniciativas produzidas pelos estados e municípios 0,59 0,33 0,27 0,10
Sistemas informacionais e bases de dados governamentais 0,51 0,20 0,31 0,14
Artigos, capítulos ou livros produzidos por pesquisadores 0,32 0,33 0,67 0,17
Relatórios de pesquisa científica 0,24 0,46 0,76 0,11
Recomendações de instâncias participativas 0,35 0,67 0,39 0,06
Experiência e opiniões de beneficiário 0,33 0,74 0,17 0,08
Informações geradas por grupos de interesse 0,17 0,80 0,20 0,18
Recomendações de organismos internacionais 0,19 0,63 0,42 0,15
Matéria jornalística 0,05 0,47 0,25 0,38
Experiência pessoal 0,24 0,18 0,11 0,62
Consulta a colegas de trabalho 0,31 0,18 0,07 0,68
Outros -0,05 0,19 0,01 0,12
KMO: 0,91; X² = 11118,7; df = 120 ; p < 0,00
Alfa de Cronbach: 0,91
Variação total explicada 0,24 0,42 0,53 0,62
ss loadings 3,91 2,88 1,77 1,30

O questionário também procurou compreender os usos de tipos específicos

de produções científicas e as respostas apontam para o pouco uso de evidências
científicas. Como apresentado no gráfico 10, apenas 15,8% dos participantes
utilizam sempre ou frequentemente estudos de revisão de literatura ou teóricos.

Os demais tipos de estudos – baseados em métodos quantitativos, qualitativos
e mistos – são ainda menos utilizados. Em casos de usos eventuais, os estudos
baseados em métodos mistos apresentaram a maior proporção (16,8%), e os mé-
todos quantitativos e qualitativos tiveram a maior frequência do uso raro (22,5%
e 23,2%, respectivamente).
GRÁFICO 10
Tipos de pesquisas e estudos científicos versus frequência de utilização
(Em %)
Estudos de revisão de literatura ou teóricos 5 10,8 15,8 19,7 46,5 1,7
Estudos baseados em métodos quantitativos 4 9,2 16,1 22,5 47,2 1,4
Estudos baseados em métodos qualitativos 3 7,7 16,2 23,2 48,7 1,5
Estudos baseados em métodos mistos 2,6

6,9 16,8 19,7 51,4 2,6
(quanti-quali)
0,0 20,0 40,0 60,0 80,0 100,0

O survey também investigou os meios de acesso a pesquisas e estudos científi-

cos. O respondente podia marcar quantas opções quisesse. A tabela 13 mostra que
67,8% dos participantes afirmaram ter, como principal meio de acesso a pesquisas
científicas, ferramentas de busca on-line (como o Google). Grande parte dessas
respostas pode ser justificada pela função intermediária que esses sites cumprem,
visto que muitas pesquisas e artigos acadêmicos podem ser encontrados a partir
dessas plataformas.
Em segundo lugar, 44,7% dos servidores afirmaram que a imprensa é um
importante meio para obter informações sobre pesquisas e estudos científicos. Em
terceiro, as buscas em sites de instituições de pesquisa, como o Instituo Brasileiro
de Geografia e Estatística (IBGE), o Ipea e a Codeplan, foram declaradas fontes
de acesso a informações por 43,6% dos respondentes.
Portais de periódicos ou banco de teses e dissertações possuem baixa rele-

vância em comparação ao restante (28,7%), assim como a busca presencial ou em
sites de bibliotecas e citações acadêmicas (respectivamente com 16,5% e 24,4%),
evidenciando a baixa inclinação dos servidores em relação às fontes convencionais
de acesso ao conhecimento científico.
TABELA 13
Meios de acesso a pesquisas e estudos científicos relevantes
Fonte de acesso Frequência %
Google/ferramentas de busca on-line 752 67,8
Imprensa 496 44,7
Busca em sites de instituições de pesquisa 484 43,6
Indicação de conhecidos 432 38,9
Eventos, seminários ou congressos científicos 404 36,4
Portal de periódicos ou banco de teses e dissertações 318 28,7
Citações em estudos acadêmicos 271 24,4
Redes sociais 268 24,2
Plataformas de compartilhamento de áudio e vídeo 229 20,6
Sites de organismos internacionais 192 17,3
Busca presencial/sites de bibliotecas 183 16,5
Não quer responder 93 8,4
Outros 18 1,6
Secretarias ou órgãos do GDF 16 1,4

Os servidores foram perguntados sobre características das pesquisas e estudos

que influenciam o uso dessas evidências. No geral, quase todos os fatores listados
foram considerados pelo menos relevantes por mais da metade dos respondentes.
No geral, eles prezam pela credibilidade e aplicabilidade como principais fatores
no uso das pesquisas, além de considerarem aspectos como atratividade, facilidade
e possibilidade de verificar a qualidade dos resultados como relevantes.
Mais especificamente, 61,4% reportaram credibilidade e prestígio da fonte
como fator decisivo ou muito relevante no uso de pesquisas e estudos científicos.
O segundo fator decisivo ou muito relevante (53,5%) foi pertinência e aplicação
da informação, seguido por realismo das recomendações das pesquisas (50,2%).
Cerca de um terço acredita serem relevantes a atratividade (36,7%), a facilidade
de compreensão (36,3%) e a capacidade de verificar a qualidade dos resultados
(35,7%). Por último, aspectos relacionados ao número de páginas (15,8% e
23,1%) e ao acesso exclusivo aos resultados (19% e 20,2%) foram considerados,
respectivamente, irrelevante e pouco relevante na utilização de estudos científicos.
GRÁFICO 11
Características influentes na utilização de pesquisas e estudos científicos
(Em %)
Credibilidade e prestígio da fonte 29,6 31,8 25,0 5 4 5
Pertinência e aplicabilidade da informação 23,7 29,8 29,8 5 4 7
Realismo das recomendações contidas nas pesquisas 21,1 29,1 31,3 6 5 7
Facilidade de compreensão da pesquisa

16,7 27,4 36,3 7 6 7
ou estudo científico
Capacidade de verificar a qualidade dos resultados 15,1 28,4 35,7 7 5 8
Existência de conclusões e recomendações de

15,1 29,7 35,6 7 5 8
natureza operacional
Tempestividade (a pesquisa chega no
13,4 22,7 30,6 13,1 10 10
tempo adequado)
Enfoque em dimensões nas quais existe
13,0 26,2 38,0 8,3 5 9
intervenção governamental
Atratividade (leitura fácil, gráficos, cores etc.) 12,4 21,6 36,7 13,7 9 7
Tamanho (número de páginas) 6,0 14,7 33,3 23,1 16 7
Acesso exclusivo aos resultados da pesquisa 4,9 14,6 26,5 20,7 19 14
0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0
Decisivo Muito relevante Relevante Pouco relevante Irrelevante Não sei

Uma questão buscou entender atitudes individuais e aspectos organizacionais

nas práticas de utilização de evidências científicas. Os respondentes foram convidados
a responder sobre a frequência das afirmações listadas. Os resultados indicam que há
poucas condições e incentivos organizacionais para o uso de evidências científicas: i)
apenas 18,3% disseram que sua organização sempre ou frequentemente dispõe de
meios e recursos para obter informações produzidas por pesquisas e estudos cientí-
ficos; ii) apenas 18% afirmaram serem sempre ou frequentemente encorajados pelos
dirigentes a utilizarem resultados de pesquisas e estudos científicos; e iii) apenas 14,6%
afirmaram que sempre ou frequentemente em sua organização são oferecidas oportu-
nidades para construir relacionamentos com pesquisadores e institutos de pesquisa.
Os dados também apontam baixa frequência de atitudes e práticas individuais
relacionadas ao uso de evidências científicas. Menos de 25% afirmaram recorrer,
em sua rotina, preferencialmente a estudos científicos em relação a outras fontes
de informação, e cerca de 46% dos servidores afirmam que nunca fazem esforços
para consultar pesquisadores e acadêmicos.
No quesito de tempo de leitura, 39,2% e 31,1% dos servidores eventualmente
ou raramente, respectivamente, possuem tempo suficiente para a leitura durante
o tempo de trabalho.
GRÁFICO 12
Rotina de trabalho e funcionamento da organização
(Em %)
Minha organização dispõe de meios e recursos
suficientes para obter informações produzidas por 6,5 12,3 17,3 22,5 25,0 16,5
pesquisas e estudos científicos
Durante minha jornada de trabalho, há tempo

suficiente para leitura de pesquisas e estudos 6,0 13,9 39,2 31,1 8,7 1,2
científicos relevantes
No meu trabalho, quando preciso tomar uma decisão,

prefiro recorrer a pesquisas e estudos científicos do que 5,8 18,1 31,7 27,0 14,5 3,0
a outras fontes de informação
Assessores e servidores da minha organização são

encorajados pelos dirigentes a utilizar resultados de 5,0 13,0 17,3 24,4 28,0 12,4
pesquisas e estudos científicos
Minha organização oferece oportunidades para

construir relacionamentos com pesquisadores de 4,3 10,6 15,2 23,1 35,3 11,5
universidades e institutos de pesquisa
Na minha rotina de trabalho, eu faço pessoalmente

esforços para entrar em contato com pesquisadores 3,2 7,7 14,8 26,6 46,0 1,7
e acadêmicos
0,0 20,0 40,0 60,0 80,0 100,0

Focalizando a existência de unidades voltadas para utilização de evidências

científicas (tabela 14), identificou-se que 17,9% dos participantes afirmaram
atuar em organização com alguma unidade voltada para a utilização de pesquisas
e estudos científicos, 34,4% disseram que em suas organizações não há nenhuma
unidade do tipo e 47,7% não sabem se existe. Observando a distribuição por tipo
de órgão, 50% e 30% dos funcionários de fundações e órgãos especializados, res-
pectivamente, afirmaram ter uma unidade dessas em suas organizações. Empresas
públicas e Casa Civil tiveram as menores proporções (5% e 7%, respectivamente).
TABELA 14
Servidores(as) cujo órgão/entidade/empresa tem unidade organizacional voltada para
utilização de evidências científicas
Servidores Frequência %
Sim 199 17.9

Não 381 34.4
Não sei 529 47.7

Para quem afirmou a existência da unidade em seu órgão, foram questionadas

as atribuições da unidade. Os resultados (tabela 15) mostram que as principais
atribuições dessas estruturas são: “disseminar os resultados de pesquisas” (44,7%),
“prospectar pesquisas realizadas” (40,7%) e “produzir pesquisas” (37,2%).
TABELA 15
Atribuições da unidade especializada em uso de evidências científicas
Atribuições Frequência %
Disseminar os resultados produzidos pelas pesquisas e estudos científicos 89,0 44,7

Prospectar pesquisas e estudos científicos realizados 81,0 40,7
Produção de pesquisas e estudos científicos 74,0 37,2
Não sei 44 22,1
Traduzir os resultados de pesquisa e estudos em recomendações 43,0 21,6
Contratar pesquisas e estudos científicos 40,0 20,1
Outros 11 5,5

Elaboração dos autores
GRÁFICO 13
Contribuição do uso de pesquisas e estudos científicos no seu contexto de trabalho
(Em %)
O uso de pesquisas e estudos científicos serve 4,6

20,8 48,0 15,8
para esclarecer situações 4,4 6,4
4,1
O uso de pesquisas e estudos científicos serve
21,0 52,8 14,2
para confirmar escolhas já feitas 2,9
5,0
4,7
O uso de pesquisas e estudos científicos leva a
20,7 45,9 18,1
ações concretas
4,7 5,9
0 20 40 60 80 100
Concordo totalmente Concordo Indiferente Discordo Discordo totalmente Não sei

O survey buscou dialogar com a tipologia sobre uso de evidências científicas

que indica usos instrumentais, conceituais e simbólicos Beyer (1997). Usando a
escala Likert, os respondentes apontaram o grau de concordância com afirmações
sobre os três tipos de uso de evidências científicas. Proporções muito semelhantes de

participantes declararam concordar ou concordar totalmente que o uso de estudos
e pesquisas científicas serve para esclarecer situações (73,8% somando), confirmar
escolhas já feitas (68,8%) e levar a ações concretas (66,6%), com pequena vantagem
para o tipo de uso conceitual.
5 DISCUSSÃO
5.1 Cenário do uso e não uso de evidências científicas

O panorama atual do uso de evidências pela burocracia distrital é o de pouco uso
desse tipo de informação em relação a outros tipos disponíveis. Apenas 16,3% e
23,1% das pessoas, respectivamente, afirmaram usar sempre ou frequentemente
relatórios de pesquisa científica e artigos, capítulos ou livros produzidos por pes-
quisadores (gráfico 9). Entre as fontes científicas, as que têm maior destaque são
os sistemas informacionais e as bases de dados governamentais, usados sempre ou
frequentemente por 48,7% dos respondentes. Corrobora com isso a informação
de que a proporção de servidores(as) que sempre ou frequentemente preferem
recorrer a pesquisas e estudos científicos como fonte de informação também não
é elevada – 23,9% (gráfico 12).
Também reforçam o cenário de baixo uso de evidência as proporções de uso
por tipo de estudo específico. Apenas 16,2% dos participantes utilizaram sempre
ou frequentemente estudos de revisão de literatura ou teóricos (gráfico 10). Os
demais tipos de estudos são utilizados com ainda menos frequência.
Assim como identificado na burocracia federal (Koga et al., 2020), observa-se
uma preferência por fontes não científicas e, entre as científicas, pelas produzidas
internamente. Isso talvez se explique, também como levantado no âmbito fede-
ral, por uma tendência a buscar validação interna à burocracia de informações
ou porque esses sistemas normalmente registram dados sobre evidências locais e
sobre a política pública em que esses profissionais trabalham – situação em que,
possivelmente, a oferta é mais alinhada ao tipo de evidências demandado.
Nesse quesito, também chama atenção o fato de que, entre as informações
mais utilizadas, constam informações produzidas ou acessadas internamente à
própria organização em que trabalham. Entre os respondentes, 82,8% afirmaram
consultar sempre ou frequentemente leis e normas, colegas (71,8%), notas técnicas
produzidas por órgãos distritais (60%), experiência pessoal (56,7%) e decisões de
órgãos de controle (51,6%). Essa situação aponta para um possível distanciamento
da burocracia, sobretudo em relação ao controle social, visto que a consulta às
recomendações de instâncias participativas é observada sempre ou frequentemente
por 12,9% e a experiência do usuário por 9,3% dos respondentes.
Essa constatação dialoga com questões mais amplas e arraigadas, como o

já amplamente debatido insulamento burocrático (Cavalcante, Lotta e Oliveira,
2018) e, de modo menos direto, com as inovações no setor público. Entre as bar-
reiras mais proeminentes que impedem as organizações de inovarem (Brandão e
Bruno-Faria, 2017), estão as restrições legais reconhecidas no tipo de informação
mais acessado pelos(as) participantes.
5.2 Características de pesquisas e estudos

Fatores apontados na literatura sobre uso de evidências científicas em políticas
públicas também foram identificados no cenário da burocracia distrital e dialo-
gam com o cenário de pouco uso dessas informações. Muitas das características
de pesquisas e estudos listadas pelo questionário – como credibilidade e prestígio
da fonte, pertinência e aplicabilidade da informação, realismo das recomendações,
facilidade de compreensão e tempestividade da pesquisa – foram apontadas como
pelo menos relevantes por mais da metade dos respondentes, confirmando o que
já se antecipava pela literatura (Oliver et al., 2014).
Registra-se surpresa em ter o tamanho (número de páginas) e a atratividade
(leitura fácil, gráficos e cores) como itens considerados decisivos ou muito relevantes
para o uso de evidências científicas por proporções pequenas de respondentes. Para
explorar esse ponto com mais propriedade, seria benéfico “desempacotar” diferentes
padrões de uso – acesso/obtenção, leitura/consumo (Ouimet et al., 2009) – e lançar
mão de experimentos aleatorizados. Testes desse tipo poderiam indicar se, em uma
situação de escolha, os(as) servidores(as) optariam por ler um documento longo,
com poucos elementos visuais em detrimento de documentos curtos, sintéticos e
visualmente mais elaborados (mantidas as demais características dos documentos).
Estudos de psicologia sobre aprendizado sugerem diminuir a carga cognitiva e a
quantidade de informações a serem mantidas na memória temporária (Winne e
Nesbit, 2010).
5.3 Perfil, habilidades, conhecimentos e atitudes dos(as) servidores(as)

Os dados sobre habilidades e conhecimentos relacionados a evidências científicas
da burocracia distrital podem parecer conflitantes. De um lado, eles têm elevada
escolaridade (71,14% com pós-graduação); e, por outro, mais da metade afirmou
ter feito curso de formação continuada no último ano (tabela 8); desses, mais
de 70% afirmaram ter lido pelo menos um artigo científico nessa formação. Ao
mesmo tempo, os respondentes indicaram não ter familiaridade para interpretar
resultados de pesquisas estatísticas, utilizar novas ferramentas e tecnologias da
informação e de comunicação, definir indicadores e metodologias para avaliar
e monitorar políticas públicas ou ferramentas de processamento de dados e
análise descritiva.
Daí decorrem mais perguntas do que certezas. Cursos de pós-graduação normal-

mente envolvem atividades de pesquisa, o que indicaria familiaridade com produção
científica. Seria esse tipo de formação insuficiente para garantir essa familiaridade e
afetar o uso efetivo? O tempo decorrido desde a realização do curso importaria? Seriam
tipos de estudos/atividades quantitativas mais desafiadoras para os(a) gestores(as)? Isso
significa haver demanda/interesse da parte deles(as) por capacitações sobre esses temas?
A escolaridade dos servidores poderia fomentar o uso de evidências não
apenas por conferir conhecimentos e habilidades específicas, mas gerando mais
confiança em sua experiência pessoal (Newman et al., 2016) e facilitando a co-
municação por um senso de identidade comum – servidores(as) públicos(as) com
experiências acadêmicas podem se sentir mais propensos a interagir e se comunicar
com pesquisadores(as). Contudo, cursos longos e formais estão longe de serem as
únicas oportunidades de desenvolvimento de habilidades e conhecimentos. Além
disso, ainda é preciso entender o peso da sua importância face a outros fatores, a
interação com outros elementos e quais seriam os desenhos efetivos de medidas
para promover essas habilidades e/ou sentido de identidade.
Ainda merece registro a longa experiência na política de atuação dos res-
pondentes. Macedo, Viana e Nascimento (2019) indicam que mais tempo de
atuação no serviço público está associado a um uso menor de fontes de evidências
nas políticas públicas. O estudo indica, nesse caso, a importância de fatores como
especialização do servidor ou autocentrismo da burocracia. Esse ponto merece ser
explorado em um próximo estudo.
5.4 Elementos organizacionais

No geral, parece haver poucos incentivos e condições fornecidas pelas organizações
distritais para promover o uso de evidências científicas – por exemplo, poucos meios
para obter informações produzidas por estudos científicos, falta de encorajamento
dos superiores para utilizar insumos científicos ou escassas oportunidades para cons-
truir relações com produtores de evidências (gráfico 12). Também merece destaque
que 34,4% dos(as) participantes disseram ter em suas organizações alguma unidade
voltada para utilização de pesquisas e estudos científicos (tabela 14); por outro lado,
47,7% disseram não saber – o que parece sugerir que essas unidades devam enfrentar
problemas para disseminar pesquisas e estudos, visto que não conseguiram sequer
comunicar efetivamente sua existência.
Esses dados sugerem que não existe, em boa parte das organizações distritais,
iniciativas deliberadas para encomendar pesquisas, estudos, análises ou assessoria
técnica científica, promover o acesso a estudos científicos, a discussão/análise e a
utilização desse tipo de informação. Os usos eventualmente feitos possivelmente
são mais frutos de iniciativas individuais do que de prática institucionalizada em
normas ou no cotidiano da gestão.
5.5 Limitações do estudo

Os dados coletados foram reportados pelos próprios servidores e empregados, o que
pode levar a vieses. É possível que os(as) respondentes não informem suas opiniões/
atitudes/práticas reais, mas aquelas que parecem mais socialmente aceitáveis. Outra,
já detalhada na metodologia, é a incerteza sobre o atingimento do público-alvo
(servidores e empregados de médio e alto escalão). A falta de uniformidade entre
as estruturas organizacionais do GDF tentou ser contornada com a aplicação de
filtros na base e no questionário, que podem não ter sido totalmente efetivos. Por
fim, alguns dos termos usados no questionário podem ainda ter soado vagos ou
imprecisos para os participantes, tais como “atividades administrativas”, “aten-
dimento ao público”, e mesmo aqueles usados nas escalas de frequência, como
“sempre”, “frequentemente”, “eventualmente” etc.
Este estudo apresentou e discutiu um panorama do uso e não uso de evidências
científicas pelos servidores e empregados públicos do Distrito Federal. Os dados
foram levantados por meio de survey realizado entre dezembro de 2020 e janeiro
de 2021, totalizando 1.109 respostas válidas. Neste diagnóstico, observou-se que
o uso de evidências científicas é baixo – com exceção de evidências produzidas
pela própria burocracia distrital.
A análise dos dados apresentados sugere que, no Distrito Federal, há um longo
percurso a se percorrer para transmitir os achados científicos a gestoras e gestores,
incorporar essas evidências ao ciclo das políticas públicas de forma a influenciar
decisões, bem como gerar intervenções mais eficazes e efetivas. As transformações
devem ocorrer nas organizações públicas, com a criação de uma “cultura de uso das
evidências”, que envolve a aproximação dos institutos de pesquisa e a implantação
de estratégias para disponibilizar as evidências necessárias de forma acessível, tem-
pestiva e adequada para o uso. As pessoas devem ser envolvidas no processo que, por
sua vez, também deve se tornar mais “permeável” ao uso de evidências científicas.
Os dados indicam que há espaço para explorar diferentes formas de promo-
ção do uso de evidências científicas no Distrito Federal. Também há espaço em
secretarias, fundações e empresas no Distrito Federal para atividades e serviços
de tradução do conhecimento, de aproximação entre produtores de evidências e
seus consumidores no serviço público. As atividades de tradução, como o nome
sugere, buscam aproximar as duas comunidades, que operam com pressupostos,
expectativas, linguagens, prazos e incentivos diferentes (Caplan, 1979; Gaudreau e
Saner, 2014; Oliver et al., 2014). No Distrito Federal, esse tipo de atividade ganha
mais relevância dado o reduzido percentual de pessoas respondentes que leem em
outros idiomas (tabela 7).
Tanto a Codeplan como outras instituições de pesquisa que pretendam in-

formar políticas públicas distritais não devem desconsiderar a tempestividade da
pesquisa (chegar no tempo adequado). Mencionada pela literatura, tempestividade
se relaciona ao tempo oportuno da ação política, conforme a dinâmica da política
pública em questão, e é apontada pela análise de múltiplos fluxos como uma janela
de oportunidades para a mudança, uma vez existentes e confluentes a presença do
problema na agenda de pesquisa, as soluções possíveis e a oportunidade de ação
(Kingdom, 1984).
Há muito o que se avançar na agenda nacional e na agenda distrital de estu-
dos sobre PPBE. No Distrito Federal, outros estudos podem avançar na agenda
e refinar esse diagnóstico. Os dados coletados sobre fatores que influenciam os
usos de evidências científicas podem ser analisados por métodos para identificar
eventuais correlações entre as variáveis. Outros dados que permitam apontar oca-
sionais variações dos usos entre diferentes órgãos, entidades ou áreas de políticas
públicas também seriam bem-vindos. Pesquisas documentais podem identificar se
relatórios de órgãos de controle distritais e notas técnicas produzidas pela própria
gestão trazem referências indiretas ao uso de evidências científicas. Também me-
recem ser exploradas, em outros estudos, as organizações onde existem unidades
dedicadas à promoção de evidências científicas para entender em profundidade
como funcionam as iniciativas em curso.
Concluir este diagnóstico equivale a dizer que uma rodada importante desse
“jogo” foi vencida ao tornar possível o vislumbre da dimensão das modificações
necessárias, junto com caminhos possíveis para implementá-las. Daqui em diante,
o diagnóstico poderá nortear as rodadas seguintes, rumo à criação de organizações
públicas mais capazes de gerar resultados para a população, entendendo que a in-
corporação de evidências defende, na verdade, um jogo em que todo mundo ganha.
Por fim, esse survey traz uma contribuição inovadora ao apresentar resultados
sobre o uso de evidências em contexto subnacional. Com isso, espera-se que contri-
bua para a agenda de pesquisa e enseje o desenvolvimento de pesquisas similares que,
preferencialmente, aprendam com a experiência apresentada e ajudem a encontrar
caminhos para a difusão do uso de evidências nas políticas públicas brasileiras.
REFERÊNCIAS
BABBIE, E. Pesquisa de survey como método das Ciências Sociais. In: BABBIE,
E. Métodos de pesquisa de survey. Belo Horizonte: Ed. UFMG, 1999.
BARRETO, J. O.; SOUZA, N. M. Avançando no uso de políticas e práticas de
saúde informadas por evidências: a experiência de Piripiri-Piauí. Ciência & Saúde
Coletiva, v. 18, n. 1, p. 25-34, 2013.
BEYER, J. M. Research utilization: bridging the gap between communities. Journal

of Management Inquiry, v. 6, n. 1, p. 17-22, 1997.
BRANDÃO, S.; BRUNO-FARIA, M. Barreiras à inovação em gestão de organi-
zações públicas do Governo Federal brasileiros. In: CAVALCANTE, P. et al. Ino-
vação no setor público: teoria, tendências e casos no Brasil. Brasília: Ipea, 2017.
CAMPOS, M. Para que serve a pesquisa em educação? Cadernos de Pesquisa,
São Paulo, v. 39, n. 136, p. 269-283, abr. 2009.
Behavioral Scientist, v. 22, n. 3, p. 459-70, 1979.
CARNEIRO, M. J. T.; DANTON, T. Agricultura e biodiversidade nas ciências
sociais brasileiras: alimentando a comunicação entre ciência e políticas públicas.
Sociologias, v. 14, n. 30, p. 252-289, maio 2012.
CARNEIRO, M. J. T.; ROSA, T. da S. A ciência e seus usos na política: uma re-
flexão sobre a política baseada em evidências. Estudos Sociedade e Agricultura,
v. 26, n. 2, p. 331-352, 2018. Disponível em: <https://bit.ly/3Adzw2Y>.
CARNEIRO, M. J. T.; SANDRONI, L. T. Ciência e política pública na pers-
pectiva dos gestores: clivagens e confluências. Sociedade e Estado, v. 33, n. 1, p.
39-59, abr. 2018.
CAVALCANTE, P.; LOTTA, G.; OLIVEIRA, V. Do insulamento burocrático à
governança democrática: as transformações institucionais e a burocracia no Brasil.
In: PIRES, R.; LOTTA, G.; OLIVEIRA, V. Burocracia e políticas públicas no
Brasil: interseções analíticas. Brasília: Ipea, 2018.
CHERNEY, A. et al. Use of academic social research by public officials: exploring
preferences and constraints that impact on research use. Evidence & Policy: a
journal of research, debate and practice, v. 11, n. 2, p. 169-188, 2015.
DAVIES, P. Is evidence-based government possible? London: Jerry Lee Lecture,
2004.
DIAS, R. I. da S. C. et al. Estratégias para estimular o uso de evidências científicas
na tomada de decisão. Cadernos de Saúde Coletiva, v. 23, n. 3, p. 316-322, set.
2015. Disponível em: <https://bit.ly/3Bkgzxi>.
FARIA, C. A. P. de; SANCHES, A. E. Mapeamento e caracterização do movi-
mento das políticas públicas baseadas em evidências no Brasil. [S.l.], 2021.
No prelo.
GAUDREAU, M.; SANER, M. From many to one: integration of knowledge(s)
and values in decision-making. Ottawa: Institute for Science, Society and Policy,
2014. (Science/Policy Interface Policy Brief Series, n. 2).
HEAD, B. The three lenses of evidence-based policy. The Australian Journal of

Public Administration, v. 67, n. 1, p. 1-11, 2008.
HJORT, J. et al. How research affects policy: experimental evidence from 2,150
Brazilian municipalities. NBER, July 2019. (Working Paper, n. 25941). Disponível
em: <https://bit.ly/2ZZT2Uv>.
INNVAER, S. et al. Health policy-makers perceptions of their use of evidence:
a systematic review. Journal of Health Services Research & Policy, v. 7, n. 4,
p. 239-244, Oct. 2002.
KINGDOM, J. Agendas, alternatives and public policies. Boston, MA: Little
Brown, 1984.
KNOTT, J.; WILDAVSKY, A. If dissemination is the solution, what is the pro-
blem? Knowledge: Creation, Diffusion, Utilization, v. 1, n. 4, p. 537-78, 1980.
KOGA, N. et al. O que informa as políticas públicas: survey sobre o uso e não
uso de evidências pela burocracia federal brasileira. Brasília: Ipea, 2020. (Texto
para discussão, n. 2619). Disponível em: <https://bit.ly/3a8ux9p>.
LANDRY, R.; AMARA, N.; LAMARI, M. Utilization of social science research
knowledge in Canada. Research Policy, v. 30, n. 2, p. 333-349, 2001.
MACEDO, A. S.; VIANA, R.; NASCIMENTO, M. I. B. Capacidades analíticas
no processo de produção de políticas públicas: quais fontes de evidências usam os
burocratas do serviço civil da administração pública federal? Administração Pública
e Gestão Social, v. 11, n. 4, 2019. Disponível em: <https://bit.ly/3mmdszD>.
NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Policy capacity and evidence-
-based policy in the public service. Public Management Review, v. 19, n. 2,
p. 157-174, 2016.
NUTLEY, S. M.; WALTER, I.; DAVIES, H. T. O. Using evidence. How research
can inform public services. London: Policy Press, 2007.
evidence by policymakers. BMC Health Services Research, v. 14, n. 1, p. 1-12,
2014.
OUIMET, M. et al. The absorption of research knowledge by public civil servants.
Evidence & Policy: A Journal of Research, Debate and Practice, v. 5, n. 4,
p. 331-350, Nov. 2009.
OXMAN, A. et al. What is evidence-informed policymaking? Health Research
Policy and Systems, v. 7, 2009. Disponível em: <https://bit.ly/3brUpfO>.
PARANHOS, R. Corra que o survey vem aí: Noções básicas para cientistas sociais.
Revista Latinoamericana de Metodología de la Investigación Social, ano 3,
n. 6, 2014.
PARKHURST, J. The politics of evidence. London; New York: Routledge, 2017.
delimitando o problema conceitual. Rio de Janeiro: Ipea, abr. 2020a. (Texto para
de Análise Político-Institucional, n. 24, nov. 2020b. Disponível em: <https://
bit.ly/2WNDfXG>.
SANDIM, T. L.; MACHADO, D. A. O Paradigma das políticas públicas baseadas
Boletim de Análise Político-Institucional, n. 24, nov. 2020. Disponível em:
<https://bit.ly/3iBqkQ9>.
SILVA, D. A. V. S.; FONSECA, M. V. de A. Monitoramento para avaliação do
desempenho regulatório do Instituto Nacional de Metrologia, Qualidade e Tec-
nologia. Revista de Administração Pública, v. 49, n. 2, p. 447-472, abr. 2015.
Disponível em: <https://bit.ly/3FgJ2WZ>.
SUNESSON, S.; NILSSON, K. Explainin research utilization: beyond “functions”.
Knowledge, v. 10, n. 2, p. 140-155, 1988.
TOLOSANA, E. S. Reducing health inequalities: the use of Health Impact As-
sessment on Rural Areas. Saúde e Sociedade, v. 24, n. 2, p. 515-526, June 2015.
Disponível em: <https://bit.ly/2YvH3gO>.
TYDÉN, T. Knowledge interplay: User-oriented research information through
synthesis pedagogics. Stockholm: Almqvist & Wiksell International, 1993. (Uppsala
Studies in Education, n. 50).
VESELÝ, A.; OCHRANA, F.; NEKOLA, M. When evidence is not taken for gran-
ted: the use and perception of “evidence” in the czech republic ministries. NISPAcee
Journal of Public Administration and Policy, v. 11, n. 2, p. 219-234, 2018.
Review, v. 39, n. 5, p. 426-31, 1979.
WINNE, P. H.; NESBIT, J. C. The psychology of academic achievement. Annu ver.
Psychol, v. 61, n. 1, p. 653-678, 2010. Disponível em: <https://bit.ly/3BfFwcT>.
CAPÍTULO 12
HETEROGENEIDADE DE PREFERÊNCIAS E O USO DE EVIDÊNCIAS

NA CÂMARA DOS DEPUTADOS1
Acir Almeida2
1 INTRODUÇÃO
O movimento o qual defende que políticas públicas devem basear-se na melhor
evidência disponível tem grande dificuldade em conciliar essa prescrição técnica com
a dimensão inerentemente política do processo decisório democrático. Sobre esta,
é preciso reconhecer que sempre haverá debates públicos motivados por diferenças
irreconciliáveis, porém legítimas, de interesses ou valores, que o conhecimento
científico disponível não será capaz de aplacar. Tais divergências naturalmente
incentivam o uso seletivo de evidências, com o objetivo de enviesar decisões, o
que é contrário àquela prescrição e, supõe-se, implica políticas públicas de menor
eficácia (Parkhurst, 2017). Todavia, uma limitação importante da abordagem das
políticas públicas baseadas em evidência (PPBEs) é não oferecer um modelo do
processo decisório com base no qual se possa especificar como divergências políti-
cas incentivam o uso estratégico de evidência e como isso afeta decisões coletivas
(Cairney, 2016).
Neste capítulo, recorre-se à literatura econômica sobre aquisição e compar-
tilhamento de informação para elucidar o uso estratégico de evidências na fase
legislativa da produção de políticas públicas. Por incluir múltiplos atores com inte-
resses conflitantes e pouco ou nenhum conhecimento especializado sobre políticas,
o Legislativo é um ambiente muito propício ao uso estratégico de informação. O
capítulo propõe-se, assim, a contribuir para a identificação dos condicionantes
políticos do uso de informação na arena legislativa e, mais especificamente, para a
compreensão de como o conflito de interesses afeta o uso de evidências.
A fim de oferecer algum suporte empírico à discussão, apresento resultados
preliminares de uma análise original da relação entre a heterogeneidade das prefe-
rências parlamentares e a qualidade da informação que as comissões da Câmara dos
Deputados compartilham com o plenário, com base em uma amostra de 86 projetos
1. O autor agradece a Bernardo Furtado e Vitor Vasquez por sugestões que aprimoraram o texto.
(Diest) do Ipea. E-mail: <acir.almeida@ipea.gov.br>.
de lei (PLs) do Executivo, apresentados de 1989 a 2018. Os achados revelam que

a heterogeneidade de preferências e a qualidade da informação são positivamente
correlacionadas, sugerindo, assim, que o conflito de interesses favorece o uso de
evidências na arena legislativa.
O restante do capítulo está organizado da seguinte forma. Na próxima seção,
apresenta-se brevemente a perspectiva segundo a qual a forma como o Legislativo
se organiza é consistente com o propósito de tornar mais bem-informadas decisões
acerca de políticas públicas, e para a qual o fator-chave organizacional é o sistema
de comissões permanentes. Na terceira seção, fornecem-se os fundamentos teóricos
do papel informacional das comissões, analisando-se os incentivos dessas arenas
para fazer uso estratégico de informação e especificando-se o efeito esperado da
heterogeneidade de preferências sobre a qualidade da informação compartilhada
por estas. Na quarta seção, apresenta-se a análise empírica desse efeito e avaliam-se os
resultados. Por fim, à luz da discussão e dos achados do capítulo, tecem-se algumas
considerações otimistas a respeito do uso de evidências nas deliberações da Câmara
dos Deputados.
2 COMISSÕES PARLAMENTARES COMO AGENTES INFORMACIONAIS

Parlamentares são constantemente chamados a fazerem escolhas coletivas acerca
de um conjunto muito amplo e diverso de políticas públicas, sobre cujas conse-
quências a maioria deles necessariamente tem pouco ou nenhum conhecimento
especializado. Nessas condições, como é possível o Legislativo produzir decisões
bem-informadas?
A solução organizacional mais comum consiste em delegar o exame das
políticas públicas a comissões permanentes de parlamentares, cada uma com
competência exclusiva sobre um ou poucos temas. Isso permite que os membros
de cada comissão se concentrem em um subconjunto bem delimitado de questões
relacionadas e tenham mais oportunidade de influenciar a formulação das polí-
ticas correspondentes, o que incentiva a especialização e o acúmulo de expertise
na comissão. De fato, aquisição e compartilhamento de informação parecem ser
funções-chaves das comissões parlamentares nas democracias consolidadas (Curry,
2019; Mattson e Strom, 1995). Entre os legislativos latino-americanos, contudo,
a capacidade de exercer aquelas funções varia substancialmente, sendo a Câmara
brasileira um caso que se destaca positivamente na região (Saiegh, 2010).
Segundo o regimento da Câmara dos Deputados, todo PL precisa ser enca-
minhado primeiro ao sistema de comissões permanentes, para exame do mérito
e de aspectos formais (Brasil, 2016, título II, cap. IV). Atualmente, existem 25
comissões – eram dezesseis, em 1989 –, cada uma composta por poucas dezenas
de deputados e com competências definidas segundo áreas temáticas, que, em boa
Heterogeneidade de Preferências e o Uso de Evidências na Câmara dos Deputados | 409
medida, espelham as dos ministérios setoriais. No caso de projeto cujo mérito seja
da competência de mais de três comissões permanentes, o regimento determina a
constituição de comissão especial em substituição àquelas, porém composta por
pelo menos metade dos seus titulares. Para produzir o parecer de mérito, o presi-
dente da comissão designa um relator entre seus membros, que, por sua vez, pode
valer-se do órgão de assessoramento técnico-legislativo da Câmara e de consultas
a especialistas externos, do governo ou da sociedade.
No entanto, a frequência elevada com que os deputados aprovam políticas
governamentais à margem do sistema de comissões permanentes – no caso, por
meio de medida provisória ou em regime de urgência – depõe contra a visão de
que essas arenas são relevantes para subsidiar o plenário com informação espe-
cializada. Isso se depreende de explicações do processo legislativo brasileiro que
enfatizam: i) as motivações distributivas paroquiais dos deputados (Ames, 1995);
ii) os fortes poderes regimentais dos líderes dos partidos, especialmente quando se
organizam em coalizão majoritária (Figueiredo e Limongi, 1999); e iii) os fortes
poderes constitucionais do presidente da República (Pereira e Mueller, 2000). Da
primeira perspectiva, conclui-se que as comissões não têm incentivos para subsidiar
o plenário simplesmente porque este não demanda informação especializada. Das
demais, infere-se que, se as comissões exercem algum papel informacional, este
deve estar subordinado aos interesses da maioria governista ou da sua liderança.
Estudos mais recentes, contudo, apontam para a operação da lógica infor-
macional nas comissões permanentes da Câmara; por exemplo, na seleção de
relatores (Santos e Almeida, 2011, cap. 4), no uso da assessoria legislativa (Santos
e Canello, 2016) e na relação com grupos de interesse (Resende, 2019). Também
há evidência de que motivações informacionais condicionam a aceitação de medi-
das provisórias e a aprovação de urgência regimental, mecanismos de priorização
do plenário e marginalização das comissões permanentes (Almeida, 2018, cap. 5;
Santos e Almeida, 2011, cap. 2). Menos claro, no entanto, é se as comissões são
agentes informacionais do plenário ou da maioria governista. Em qualquer caso,
importa destacar a existência de fortes indícios de uso seletivo e estratégico de
informação pelos deputados. Como concluem Santos e Canello:
os incentivos informacionais postos ao Legislativo brasileiro não são lineares ou
caminham necessariamente de forma progressiva. Não se trata de sempre mais e
melhor [informação], em qualquer situação. Ao contrário, a produção endógena
de informações se dá num contexto estratégico mais matizado (Santos e Canello,
2016, p. 1160).
3 USO DE INFORMAÇÃO NO LEGISLATIVO: TEORIA

Para especificar o comportamento estratégico das comissões parlamentares e
identificar seu impacto sobre o uso de evidência na arena legislativa, baseio-me
em resultados teóricos da literatura econômica sobre produção e comunicação de
informação (Beniers e Swank, 2004; Crawford e Sobel, 1982; Dur e Swank, 2005;
Eso e Galambos, 2013; Krishna e Morgan, 2001). Considerando-se um cenário
de tomada de decisão sob incerteza, essa literatura identifica as condições em que
se deve esperar (teoricamente) que a comunicação entre o decisor e um ou mais
agentes reduza a incerteza do primeiro. Por essa perspectiva, podem-se conceber
as comissões parlamentares como agentes do plenário, cuja função principal é
prover informação relevante sobre os resultados esperados de políticas públicas
(Krehbiel, 1991).
3.1 Compartilhamento de informação

Considere inicialmente o modelo seminal de comunicação estratégica de Crawford
e Sobel (1982), tal como aplicado por Gilligan e Krehbiel (1989) ao contexto le-
gislativo. Um decisor precisa escolher uma alternativa entre as disponíveis em um
espaço unidimensional, para o que ele tem a opção de ouvir a recomendação de um
especialista interessado na decisão, sem, no entanto, poder verificar as informações
compartilhadas por este. A pergunta central é: em que medida a recomendação é
informativa – isto é, reduz a incerteza do decisor? No contexto legislativo, pode-se
pensar no legislador mediano escolhendo uma política do eixo esquerda-direita
com base na recomendação de uma comissão parlamentar ou, como é frequente
no caso brasileiro, do Executivo.3
Em termos algébricos e de maneira simplificada, pode-se definir a relação
entre toda política (p) e seu resultado (y) como y = p + u, em que u é uma variável
aleatória uniformemente distribuída no intervalo [0,1]. Esse termo expressa a in-
certeza do mediano a respeito das consequências da sua decisão. Adicionalmente,
supõe-se que todo indivíduo interessado na decisão tem preferência por resultados,
representando-se a utilidade – nesse caso, perda – associada ao resultado y na forma
quadrática usual, qual seja, –(y ‒ yi)2, em que yi é o resultado ideal para o indivíduo
i. Dessa forma, não há perda para i se, e somente se, o resultado equivale à sua
preferência ideal, sendo a perda crescente na distância entre esses dois.
Como o mediano escolhe a política que minimiza sua perda e o faz com base
na sua melhor crença a respeito de u, então sua perda esperada é , em que
é a variância de u, que, nesse caso, expressa a dispersão dos resultados possíveis
3. O teorema do eleitor mediano autoriza reduzir a decisão coletiva do plenário do Legislativo à decisão do seu membro
mediano.
em torno do resultado esperado.4 Por sua vez, a perda esperada de todo outro
indivíduo é , em que Di é a distância entre o resultado ideal de i e o do
mediano. O componente expressa a parcela da perda de i que decorre da sua
divergência com o mediano. Este tem natureza distributiva, no sentido de que
sua redução necessariamente implica aumento da perda de outro indivíduo. Por
exemplo, a escolha de uma política à direita do status quo beneficia indivíduos com
preferências à direita ou mais próximas da nova política e prejudica os demais, com
preferências à esquerda ou mais próximas do status quo. Por sua vez, o componente
tem natureza informacional, por expressar a parcela da perda que decorre da
incerteza do mediano. Ao contrário do primeiro, este não depende da distribuição
de preferências e sua redução beneficia a todos igualmente. Assim, não obstante o
conflito distributivo decorrente da heterogeneidade de preferências, a redução da
incerteza do decisor é um bem coletivo.
Suponha que um especialista mais bem-informado (geralmente, uma comissão
permanente ou o Executivo) recomenda uma política ao mediano do plenário, sendo
que este não é capaz de verificar as informações que embasam a recomendação.
Em razão dessa incapacidade, um especialista enviesado – isto é, cuja preferência
ideal é diferente da preferência do mediano – tem incentivo para ser estratégico
no uso das suas informações, omitindo as que possam levar o mediano a escolher
uma política que lhe seja menos favorável (ao especialista).5 Ciente da preferência
e do incentivo do especialista, o mediano não toma as informações compartilha-
das pelo valor de face, levando em conta apenas o que considera crível, tendo em
mente o viés do especialista.6
Duas implicações teóricas desse modelo são especialmente interessantes.
A primeira é que o especialista é capaz de compartilhar tanto mais informação
crível quanto menor a magnitude do seu viés – ou seja, quanto menor a distância
entre sua preferência ideal e a do legislador mediano. A outra é que o especialista
não é capaz de reduzir sua perda distributiva às custas do mediano. Essa implicação
deriva de o mediano escolher – em equilíbrio – a política cujo resultado esperado
é igual ao que este considera ideal dada sua incerteza.7 Assim, a decisão implica
perda distributiva somente para quem diverge do mediano, sendo crescente na
4. Supondo, sem perda de generalidade, que o resultado ideal para o mediano é igual a zero (ym = 0), então este escolhe
a política que maximiza , em que f(u), a função de distribuição de probabilidade de u, é igual a
1 porque u é uniformemente distribuído. A política escolhida é p*= , em que é o valor esperado de u. Nesse caso, a
utilidade esperada do mediano é = e a do indivíduo i é
= , em que Di = yi ‒ ym.
5. Supõe-se que o especialista pode omitir, mas não falsificar informação. No contexto legislativo, esse pressuposto se
justifica pelo fato de as interações se repetirem e, por conseguinte, haver incentivo para cultivar uma boa reputação.
6. Supondo que um especialista enviesado não é capaz de comprometer-se em compartilhar toda sua informação, o
mediano sempre desconta o viés ao considerar a recomendação.
7. Como a decisão se baseia em expectativas racionais, o decisor não incorre em perda distributiva ex ante – isto é,
antes de conhecer o resultado.
divergência. Em não se eliminando a incerteza, a decisão também significa perda

informacional, igual para todos e crescente na incerteza.
Uma extensão importante do modelo para os fins desta análise é a possibili-
dade de o decisor consultar um segundo especialista. No contexto legislativo, isso
equivale à situação em que uma comissão é chamada a manifestar-se sobre política
recomendada por outra comissão ou pelo Executivo. Krishna e Morgan (2001)
analisam as implicações desse cenário, concluindo que o decisor se beneficia da
consulta a ambos os especialistas – isto é, reduz ainda mais sua incerteza – somente
se eles têm vieses opostos – ou seja, suas preferências ideais localizam-se em lados
opostos da preferência do decisor; caso contrário, ele se beneficia somente da con-
sulta ao especialista menos enviesado. No primeiro caso, em razão dos interesses
conflitantes dos especialistas, cada um disciplina o outro, no sentido de que toda
informação que um deseja ocultar o outro tem incentivo para revelar, fazendo com
que a quantidade total de informação apresentada seja maior. No segundo caso,
em que os vieses são na mesma direção, o especialista mais enviesado não é capaz
de acrescentar informação relevante, pois não tem incentivo para revelar nenhuma
informação que o outro, menos enviesado, deseja ocultar.
Dos resultados teóricos apontados até aqui, são mais relevantes, para os pro-
pósitos desta análise, os seguintes: i) especialistas com interesses mais convergentes
com os do decisor são mais informativos que especialistas com interesses mais
divergentes; e ii) especialistas com interesses opostos entre si são coletivamente
mais informativos que especialistas com interesses alinhados. Esses resultados
permitem concluir que, embora o conflito de interesses motive o uso estratégico
de informação na arena legislativa, este não implica necessariamente decisões finais
menos informadas; ao contrário, contribui para decisões mais informadas quando
se organiza a deliberação de maneira que possam ser ouvidas recomendações de
especialistas com preferências antagônicas.
3.2 Aquisição de informação custosa

Até agora, a análise limitou-se a avaliar a quantidade de informação compartilhada
pela comissão. Para a abordagem da PPBE, contudo, o problema-chave é a qualidade
da informação. Mais precisamente, essa abordagem critica o fato de decisões sobre
políticas públicas muitas vezes não se basearem na melhor evidência disponível.
É importante distinguir entre dois tipos de informação, que a literatura sobre
comunicação estratégica denomina soft e hard. O primeiro consiste, sobretudo,
em percepções e opiniões, que, pela sua natureza subjetiva, dificultam a verifica-
ção da informação. Os modelos discutidos anteriormente pressupõem que toda
informação compartilhada é não verificável. O segundo tipo, informação hard,
ao contrário, constitui-se de fatos e dados objetivos, razão pela qual é mais fácil
sua verificação. A distinção é importante porque quanto mais verificável (hard)

a informação menos esta depende de crenças e preferências e, por conseguinte,
menor a possibilidade de ser manipulada. Nesse sentido, a qualidade da infor-
mação é crescente na sua verificabilidade.
Esse conceito de verificabilidade está de acordo com as premissas da chamada
hierarquia da evidência, parâmetro defendido pela PPBE para avaliar a qualidade da
informação a respeito dos efeitos esperados de políticas públicas (Elamin e Montori,
2012). Em ambos os casos, valoriza-se mais a informação com menor risco de viés;
porém, os modelos de comunicação estratégica enfatizam o viés decorrente das
crenças ou preferências dos agentes, enquanto a hierarquia da evidência foca no
viés a que estão sujeitos os diferentes métodos de pesquisa científica.
Ademais, é natural supor que o custo da informação aumenta com sua
verificabilidade, haja vista que a priorização desse aspecto implica mais tempo e
esforço, seja para a produção, seja para a aquisição e a assimilação da informação.
Assim, é necessário identificar a relação entre conflito de interesse e a aquisição de
informação custosa (verificável) na arena legislativa, particularmente nas comissões.
Como se mostrou na subseção anterior, a decisão do mediano implica perdas
distributivas que são crescentes no viés de cada indivíduo e, em condição de incer-
teza, perdas informacionais que são iguais para todos e crescentes na incerteza do
mediano. Como especialistas não enviesados não incorrem em perda distributiva,
sua perda total é menor, e, logo, eles têm menos incentivo para dispender seus
recursos na aquisição de informação custosa. Especialistas enviesados, por sua vez,
embora tenham mais a ganhar com a revelação de informação que leve à decisão
mais favorável aos seus interesses, apresentam um problema de credibilidade que
reduz seu incentivo para adquirir informação não verificável (Dur e Swank, 2005).
Por seu turno, em razão desses ganhos potenciais, especialistas mais enviesados têm
mais incentivo para arcar com os custos mais elevados da aquisição de informação
hard (Beniers e Swank, 2004; Eso e Galambos, 2013). Logo, espera-se que espe-
cialistas mais enviesados priorizem a aquisição de informação verificável.
Adicionalmente, pode-se conjecturar, com base em Krishna e Morgan (2001),
que o acréscimo de um segundo especialista com viés oposto ao do primeiro au-
menta os incentivos de ambos para adquirir informação. Isso ocorre porque cada
especialista passa a ter a motivação adicional de contradizer a recomendação do
outro, de maneira a evitar uma decisão mais próxima do interesse deste – logo, mais
distante do seu próprio. Como cada especialista deseja ser mais persuasivo que o
outro, ambos têm incentivo para priorizar a aquisição de informação verificável.
Isso significa que, no cenário em que uma comissão precisa manifestar-se
sobre política proposta por outra comissão ou pelo Executivo, somente quando
as preferências daquela comissão e do proponente não estiverem alinhadas, eles
terão incentivo para investir na aquisição de informação verificável – ou seja, de

maior qualidade –, sendo esse incentivo tão mais forte quanto maior o conflito
de interesse entre eles.
3.3 Comissões heterogêneas e qualidade da informação

No que diz respeito à relação entre conflito de interesses e o uso de informação, a
proposição teórica-chave – para os fins deste capítulo – pode ser resumida no que
Krehbiel (1991, p. 84) denominou princípio da heterogeneidade: especialistas com
interesses opostos entre si são coletivamente mais informativos que especialistas
com interesses alinhados. Em termos do papel do sistema de comissões no processo
decisório, pode-se traduzir o princípio da seguinte forma: comissões heterogêneas
são mais informativas que comissões homogêneas. Essa proposição se mantém quan-
do o interesse do analista é a qualidade da informação – isto é, quando por uma
recomendação mais informativa entende-se uma com mais informação verificável
(Beniers e Swank, 2004).
No que concerne às comissões, pode-se distinguir entre dois tipos de heteroge-
neidade de preferências, entre comissões e intracomissão. O primeiro corresponde
a duas comissões com preferências opostas entre si, relativamente à mediana do
plenário; o segundo, a uma comissão composta por membros com preferências
opostas entre si, também em relação à mediana do plenário.
Quando há heterogeneidade entre duas comissões, cada uma destas tem
interesse em revelar toda a informação que a outra deseja ocultar, o que torna suas
recomendações conjuntamente mais informativas. Como a perda distributiva de
uma comissão será maior caso a outra consiga influenciar o plenário, ambas têm
incentivo adicional para melhorar a qualidade da informação das suas recomen-
dações. Portanto, espera-se que o conflito de interesse entre comissões favoreça a
aquisição e o compartilhamento de informação de maior qualidade.
Essa lógica se aplica ao conflito de interesse intracomissão, desde que o
processo decisório nessa arena não cerceie a aquisição nem o compartilhamen-
to de informação, de maneira que a recomendação da comissão contemple as
contribuições de ambos os lados do conflito.8 Logo, espera-se que o conflito de
interesses intracomissão também contribua para a aquisição e o compartilhamento
de informação de maior qualidade.
Assim, com base no princípio da heterogeneidade, chega-se à seguinte hipótese
acerca da relação entre conflito de interesses e qualidade da informação na arena
legislativa: a qualidade da informação compartilhada pelo sistema de comissões é maior
8. Na Câmara dos Deputados, qualquer titular da comissão pode oferecer recomendação alternativa à do parecer da
maioria, na forma de voto em separado.
quando a política pública é examinada por comissões cujas preferências são antagônicas,
ou por uma comissão composta de grupos cujas preferências são antagônicas. A seguir,
realiza-se uma análise empírica preliminar do suposto efeito positivo da heterogenei-
dade de comissão sobre a qualidade da informação compartilhada por essas arenas.
4 ANÁLISE EMPÍRICA
Para avaliar a relação entre heterogeneidade de preferências e qualidade da infor-
mação, selecionou-se uma amostra de PLs, classificou-se a heterogeneidade com
base no tipo de comissão que emitiu parecer de mérito ao projeto, avaliou-se a
qualidade da informação contida nos pareceres e, por fim, comparou-se estatis-
ticamente o nível da qualidade entre diferentes tipos de heterogeneidade. Esses
passos são detalhados a seguir.
Como não existem dados que permitam identificar diretamente as prefe-
rências políticas das comissões, selecionou-se uma amostra não aleatória de PLs
com base em critérios que, supõe-se, permitem construir proxies válidas dos tipos
de heterogeneidade de comissão. Os projetos são os de iniciativa do Executivo,
apresentados à Câmara dos Deputados no período 1989-2018, que receberam
parecer de mérito de pelo menos uma comissão – até o fim de 2019, quando
cessou a coleta de dados – e que versam sobre matéria regulatória acerca de pelo
menos uma das seguintes áreas temáticas: agricultura; indústria; minas e energia;
telecomunicações; transportes; defesa do consumidor; meio ambiente; e trabalho.
A restrição a projetos do Executivo justifica-se por serem politicamente
mais relevantes e receberem mais atenção dos deputados. O foco em matéria
regulatória – ou seja, que disciplina atividade ou direitos – é em razão do seu
maior potencial de conflituosidade quando comparada a outras, como as que
concedem benefícios ou tratam de aspectos estritamente jurídicos. As oito áreas
temáticas listadas estão no centro de importantes e frequentes conflitos políticos,
que contrapõem, de um lado, a defesa de interesse econômico setorial e, de outro,
a proteção de direito difuso; no caso, do consumidor, do meio ambiente ou do
trabalho. Na Câmara, cada uma dessas áreas temáticas encontra representação em
uma comissão permanente.
Com base nesses critérios, selecionaram-se inicialmente 93 PLs, mas teve-se
de descartar alguns poucos por falta de dados, o que resultou em uma amostra final
de 86 projetos.9 No que diz respeito ao tema, 26 projetos (30%) são sobre trabalho;
24 (28%), a respeito de meio ambiente; 18 (21%), sobre direito do consumidor;
e os outros 18 (21%), a respeito de interesses econômicos setoriais.
9. A identificação dos PLs e o acesso aos pareceres ocorreram por meio da ferramenta de pesquisas do portal da Câmara
dos Deputados, disponível em: <https://is.gd/D8bY6B>. Os projetos estão listados no apêndice deste capítulo, com
outras informações relevantes a seu respeito.
Com o objetivo de criar proxies da heterogeneidade de comissão – tal como

caracterizada na seção anterior –, separaram-se os projetos da amostra em três
grupos definidos segundo o tipo de comissão que emitiu parecer de mérito, se de
interesse econômico setorial ou de direito difuso. Três pressupostos orientaram o
agrupamento. O primeiro é que as comissões permanentes com jurisdição sobre as
oito áreas temáticas mencionadas anteriormente têm, cada uma, preferências mais
homogêneas e enviesadas a favor dos interesses da sua área. O segundo pressuposto
é que projetos encaminhados tanto à comissão de interesse econômico setorial
como à comissão de direito difuso têm maior chance de propor política sobre a
qual essas comissões apresentam preferências opostas – em relação à mediana do
plenário. O terceiro e último pressuposto é que toda comissão especial representa
as preferências das comissões permanentes a partir das quais esta se formou.
Assim, o primeiro grupo de projetos, que corresponde à situação em que a
heterogeneidade de comissão inexiste ou é insignificante, consiste dos que rece-
beram parecer de apenas um dos dois tipos de comissão – isto é, ou de interesse
econômico setorial ou de direito difuso. O segundo grupo, que reflete a situação
de heterogeneidade entre comissões, contém os projetos com parecer de ambos
os tipos de comissão – ou seja, pelo menos uma de interesse econômico setorial
e pelo menos uma de direito difuso. Por fim, o terceiro grupo, que representa a
situação de heterogeneidade intracomissão, consiste dos projetos que receberam
parecer de comissão especial formada a partir de ambos os tipos de comissão – isto
é, composta tanto por membros de comissão de interesse econômico setorial, quanto
por integrantes de comissão de direito difuso. O quadro 1 resume as características
dos três grupos e apresenta a distribuição dos 86 projetos da amostra entre estes.
QUADRO 1
Distribuição dos projetos da amostra, por tipo de heterogeneidade de comissão
Grupo Tipo de comissão que emitiu parecer Projetos
Ou comissão de interesse econômico setorial ou comissão

1: Sem heterogeneidade de comissão 48 (55,8%)
de direito difuso – não ambas.
Comissão de interesse econômico setorial e comissão de

2: Heterogeneidade entre comissões 23 (26,7%)
direito difuso.
Comissão especial composta tanto por membros de comis-

3: Heterogeneidade intracomissão são de interesse econômico setorial, como por membros de 15 (17,5%)
comissão de direito difuso.
Fonte: Câmara dos Deputados.

Elaboração do autor.
Para mensurar a qualidade da informação compartilhada pela comissão,

construiu-se uma variável ordinal com cinco categorias que expressam níveis
crescentes de verificabilidade da informação a respeito do impacto esperado da
política proposta. A categoria mais elevada (qualidade muito alta) consiste em
dados ou estudos sobre os impactos esperados da política proposta. A categoria
seguinte (qualidade alta) refere-se a dados ou estudos descritivos, geralmente sobre
a situação ou problema que a política pretende resolver. A categoria intermediária,
qualidade moderada, abarca dados pontuais ou estudo de caso específico. A pe-
núltima categoria (qualidade baixa) consiste em opiniões de especialistas, fatos ou
exemplos isolados. Por fim, a menor categoria (qualidade muito baixa) concerne
exclusivamente a opiniões leigas, como a do próprio relator. Essa ordenação visa
refletir o grau de independência da informação em relação a crenças e preferências
da comissão, e não sua validade em termos da hierarquia de evidências científicas.10
O nível de qualidade atribuído a cada um dos pareceres de mérito dos projetos
da amostra reflete a informação de maior qualidade entre as compartilhadas pela
comissão, o que exclui as originalmente fornecidas pelo Executivo.11 Por sua vez,
o nível de qualidade da informação atribuído a cada projeto corresponde ao maior
entre os atribuídos aos seus pareceres de mérito. A título de ilustração, o quadro
2 apresenta trechos de pareceres da comissão do meio ambiente que embasaram
a classificação da qualidade da sua informação. É importante ter em mente que,
como o parecer se destina ao plenário, este geralmente resume e simplifica as in-
formações originais às quais a comissão teve acesso.
QUADRO 2
Exemplos de qualidade da informação de pareceres da comissão do meio ambiente
Qualidade Projeto e matéria Trecho do parecer
“Quanto aos possíveis efeitos deletérios que a importação de pneus usados

poderia causar [à indústria brasileira], cabe observar [que] a importação de
PL no 4.109/1993: importação
Muito alta pneus meia-vida (...) não tem afetado a produção brasileira, até porque o
de pneus usados
Brasil importa a maior parte da borracha que utiliza em sua indústria (...) e, na
fabricação de pneus, é empregada apenas cerca de 5% de borracha natural.”
“O consumo mundial do óleo de palma cresceu de 17 para 45 milhões de
toneladas entre 1998 e 2009, ou seja, a demanda mundial quase triplicou
nos últimos dez anos. Hoje, o produto responde por mais de um terço do
PL no 7.326/2010: zoneamento
total de óleo vegetal consumido no planeta.
Alta agroecológico para a cultura de
Em 2008, o Brasil importou 63% do produto destinado à indústria, um
palma de óleo
crescimento de 45% em relação a 2003.
Grande parte das áreas propícias para o cultivo da palma de óleo têm forte
presença da agricultura familiar.”
(Continua)
10. A hierarquia de evidências científicas é um critério mais restritivo, que, nos casos da amostra, tem baixa capacidade
de diferenciação.
11. A codificação foi realizada pelo próprio autor mediante leitura dos pareceres. Não foi realizado procedimento
de validação.
(Continuação)
Qualidade Projeto e matéria Trecho do parecer
“(...) o projeto de lei desconsiderou uma série de ocupações já existentes

na área prevista, em terras públicas ou particulares. (...)
PL n 4.186/2004: alteração
o
Quanto ao Núcleo Rural Boa Esperança, (...) a comunidade alega uma série
Moderada dos limites do Parque Nacional de evidências do reconhecimento de sua existência pelo Poder Público,
de Brasília tais como licenças de desmate pelo órgão florestal, inclusão em projeto
de microbacias, perfuração de poços d’água e implantação de sistema de
distribuição, de agência dos Correios, de posto de saúde vinculado ao SUS, etc.”
“O voto que apresentamos [pela rejeição total do PL] (...) constitui obra de
PL no 2.115/1989: ocupação uma coletividade (...). Merecem destaque as contribuições do Conama –
Baixa
territorial da Amazônia Conselho Nacional do Meio Ambiente, da Funatura – Fundação Pró-Natureza
e de técnicos (...).”
“(...) o Convento de São Francisco do Paraguaçu, tombado em 1941 pelo
PL no 5.892/2009: alteração dos
Instituto do Patrimônio Histórico e Artístico Nacional (Iphan), ficará dentro
Muito baixa limites da Reserva Extrativista
dos limites da Reserva Extrativista, o que no nosso entender é positivo, na
Marinha da Baía do Iguape
medida em que reforçará a proteção deste nosso patrimônio.”

O quadro 3 resume as características dos cinco níveis de qualidade da in-

formação e apresenta a distribuição dos 86 projetos da amostra entre estes. A
qualidade da informação compartilhada pelas comissões foi muito baixa em 38
projetos (44,2%); baixa em trinta (34,9%); moderada em sete (8,1%); alta em
cinco (5,8%); e muito alta em seis (7%). Ou seja, com base nos critérios definidos
anteriormente, a frequência de pareceres embasados por informação de qualidade
alta ou muito alta é pouco significativa (12,8%) na amostra. É importante ter em
mente, contudo, que não é válido generalizar esse achado, nem mesmo para a po-
pulação de PLs do Executivo, em razão da falta de representatividade da amostra.
QUADRO 3
Distribuição dos projetos da amostra, por nível de qualidade da informação
Qualidade Natureza da informação Projetos
Muito alta Dados ou estudos de impacto 6 (7,0%)
Alta Dados ou estudos descritivos 5 (5,8%)
Moderada Dado ou estudo sobre caso específico 7 (8,1%)
Baixa Opinião de especialista ou fato isolado 30 (34,9%)
Muito baixa Opinião de leigo 38 (44,2%)

Mais importante para o propósito desta análise é a distribuição da qualida-

de da informação entre os três grupos da amostra, definidos segundo o tipo de
heterogeneidade de comissão. Segundo a hipótese formulada na subseção 3.3,
relativamente à situação em que não há heterogeneidade (grupo 1), a qualidade

deve ser maior quando há heterogeneidade entre comissões (grupo 2) ou hetero-
geneidade intracomissão (grupo 3). Não há expectativa de diferença na qualidade
da informação entre essas duas situações (grupos 2 e 3).
O gráfico 1 ilustra as probabilidades marginais dos níveis de qualidade da
informação nos três grupos da amostra, estimadas a partir de regressão probit ordinal
com erros-padrão robustos; método que permite levar em conta o ordenamento
dos níveis. Nota-se claramente que, tal como esperado, a qualidade da informação
é maior nos grupos 2 e 3 (de tratamento), relativamente ao grupo 1 (de controle).
Do ponto de vista estatístico, as diferenças entre esse grupo e cada um daqueles
são fortemente significativas (p-valor < 0,001). Também como esperado, não há
diferença relevante na qualidade entre os grupos 2 e 3 (p-valor = 0,80). Portanto,
embora preliminares, os dados parecem apoiar a hipótese de que a qualidade da
informação compartilhada pela comissão é maior quando há heterogeneidade de
preferências – isto é, conflito de interesses, seja entre comissões ou intracomissão.
GRÁFICO 1
Distribuição das probabilidades marginais da qualidade da informação, pelos grupos
da amostra
(Em %)
100
80
60
40
20
0
Grupo 1 Grupo 2 Grupo 3
Muito baixa Baixa Moderada Alta Muito alta

Obs.: Grupo 1 = sem heterogeneidade (48 casos); grupo 2 = heterogeneidade entre comissões (23); e grupo 3 = heterogeneidade
intracomissão (15). Estimativas de um modelo probit ordinal.
Podem-se apontar dois fatores como potenciais explicações alternativas para as

diferenças observadas na qualidade da informação entre os grupos de tratamento,
de um lado, e o de controle, de outro. O primeiro é a própria passagem do tempo,
haja vista que a capacidade da estrutura de assessoramento técnico-legislativo da
Câmara aumentou ao longo dos pós-1988 (Santos e Canello, 2016), sendo razo-
ável supor que também a própria disponibilidade de evidências sobre diferentes
questões de política pública. Análises complementares revelaram que, na amostra,
tanto a qualidade da informação quanto a incidência relativa de projetos nos gru-
pos 2 e 3 aumentaram ao longo dos anos. Isso impõe que se controle pelo tempo
decorrido, mais precisamente, pelo número de anos desde janeiro de 1989 até a
conclusão do parecer.
O outro fator potencialmente relevante é a posição do relator do projeto
ante o governo. Com base na literatura que enfatiza a centralidade do conflito
entre governo e oposição (Figueiredo e Limongi, 1999; Pereira e Mueller, 2000),
pode-se argumentar que relatores oposicionistas têm mais incentivo para coletar e
compartilhar informação de qualidade quando o projeto é de iniciativa do governo.
De fato, análises adicionais revelaram associação positiva, mas não significativa,
entre o relator de oposição e a qualidade da informação, e que a ocorrência desse
tipo de relator é mais frequente no grupo 2. Logo, é aconselhável que também se
controle pela posição do relator perante o governo.
Para avaliar a robustez da evidência do gráfico 1 na presença desses controles,
estimou-se um modelo de regressão probit ordinal multivariado que inclui, além de
indicadores da heterogeneidade de comissão, o tempo decorrido e um indicador de
relator de partido oposicionista. Com relação à heterogeneidade, combinaram-se os
grupos 2 e 3 em apenas um, em razão de a evidência ter corroborado a hipótese de
que não há diferença de qualidade entre estes. O grupo 1, por sua vez, foi separado
em dois subgrupos, sendo um de projetos que receberam parecer de comissão de
direito difuso e o outro, de projetos que receberam parecer de comissão de interesse
econômico setorial. Essa separação se justifica pelo fato de análises complementares
(não reportadas) terem revelado, naquele grupo, uma diferença (inesperada) no
nível da qualidade entre os dois tipos de comissão.
O gráfico 2 ilustra os resultados do modelo multivariado, sendo que, nesse
caso, as estimativas (pontos do gráfico) expressam a mudança na probabilidade de
a qualidade da informação ser muito alta. Também nesta análise se observa que a
probabilidade é significativamente maior quando há preferências antagônicas entre
comissões ou intracomissão (grupos 2 e 3). Em relação ao grupo de projetos sem
heterogeneidade de comissão e com parecer de comissão de interesse econômico
setorial (a categoria de referência), a diferença estimada é igual a 0,237, sendo
fortemente significativa (p-valor < 0,01). No que concerne ao grupo de projetos
sem heterogeneidade de comissão e com parecer de comissão de direito difuso
(grupo 1: difusa), a diferença estimada é de apenas 0,087 (0,237‒0,150), sendo
moderadamente significativa (p-valor = 0,018).
GRÁFICO 2
Mudança estimada na probabilidade de a qualidade da informação ser muito alta,
por variável
0,5
0,4
0,3
0,237
0,2
0,150
0,1
0,042
0,020
0,0
-0,1
Grupos 2 e 3 Grupo 1: difusa Tempo (Δ=22 anos) Relator da oposição

Obs.: Estimativas de um modelo probit ordinal. As barras de erro são os intervalos de confiança de 95%, com erros-padrão
robustos. Amostra = 86 casos.
Não era esperada diferença sistemática na qualidade da informação entre os

tipos de comissão (setorial e difusa) do grupo 1. O achado de que a probabilidade
de a qualidade ser muito alta é maior quando a comissão é de direito difuso (di-
ferença de 0,150, p-valor = 0,049); contudo, pode ser considerado consistente se
for plausível supor que, pelo menos na amostra, as preferências dessas comissões
opõem-se à do governo (o proponente da política) com mais frequência que as
das comissões de interesse econômico setorial. De qualquer maneira, o achado
em nada prejudica as conclusões a respeito da relação entre heterogeneidade de
preferências e qualidade da informação.
Por fim, nem o tempo decorrido nem a posição do relator diante do governo
parece ter relação com a qualidade da informação compartilhada pela comissão.
Até mesmo quando se considera um intervalo de 22 anos (equivalente a três
desvios-padrão) entre pareceres, a probabilidade de a qualidade da informação
compartilhada pela comissão ser muito alta não muda significativamente. No
que concerne ao relator, a designação de um membro de partido da oposição
praticamente não altera essa probabilidade.
Em suma, embora iniciais, os resultados da análise empírica são favoráveis à
hipótese de efeito positivo da heterogeneidade de preferências sobre a qualidade
da informação compartilhada pelas comissões da Câmara dos Deputados.
É salutar a prescrição de que políticas públicas devem basear-se na melhor evi-
dência disponível. A premissa de que decisões mais bem-informadas aumentam
o bem-estar geral é consistente com os resultados dos modelos teóricos revisados
neste capítulo, especificamente no que diz respeito à redução da parcela da perda
de utilidade associada à incerteza do decisor. É necessário reconhecer, contudo,
que a própria lógica da representação democrática em uma sociedade altamente
plural como a brasileira implica processo decisório permeado de interesses con-
flitantes e assimetrias informacionais. Nesse contexto, é natural que atores-chave
levem em conta os efeitos distributivos de políticas públicas alternativas e façam
uso estratégico de evidências.
Contrariamente ao pessimismo que parece reinar no movimento da PPBE,
conclui-se deste capítulo que há boas razões para crer que, dependendo da forma
como se organiza o processo decisório, o conflito de interesses pode favorecer
o uso de evidências. Em realidade, parece ser isso o que ocorre na Câmara dos
Deputados, como indicam os resultados, não obstante preliminares, da análise
empírica realizada neste capítulo: a aquisição e o compartilhamento de informa-
ção de qualidade por comissões permanentes é mais frequente em proposições
que colocam em lados opostos interesses organizados. De forma mais ampla, isso
sugere que a organização do sistema de comissões da Câmara – com seu número
elevado de colegiados multipartidários especializados em áreas distintas de política
pública – é consistente com o modelo de advocacia concorrencial analisado em
Dewatripont e Tirole (1999), que promove decisões mais bem-informadas, por
meio da concorrência entre defensores de interesses ou causas específicas.
Não se trata de sugerir que as decisões coletivas dos deputados federais sobre
políticas relevantes são geralmente bem-informadas. O que se deseja destacar, à guisa
de conclusão, é simplesmente que: é inevitável o uso político de evidências; inexiste
contradição necessária entre conflito de interesses e decisões bem-informadas; e,
por fim, que a correta identificação das condições e incentivos que favorecem o uso
da melhor evidência disponível em decisões coletivas requer que se compreenda
melhor como se organiza o processo decisório, quais são os atores importantes e
suas respectivas preferências.
REFERÊNCIAS
ALMEIDA, A. S. Governo presidencial condicionado: delegação e participação
legislativa na Câmara dos Deputados. 2018. Tese (Doutorado) – Universidade do
Estado do Rio de Janeiro, Rio de Janeiro, 2018.
AMES, B. Electoral strategy under open-list proportional representation. American

Journal of Political Science, v. 39, n. 2, p. 406-433, 1995.
BENIERS, K. J.; SWANK, O. H. On the composition of committees. Journal of
Law, Economics and Organization, v. 20, n. 2, p. 353-378, 2004.
BRASIL. Câmara dos Deputados. Regimento Interno da Câmara dos Deputa-
dos: aprovado pela Resolução no 17, de 1989, e alterado até a Resolução no 17, de
2016. Brasília: Edições Câmara, 2016.
CAIRNEY, P. The politics of evidence-based policymaking. London: Springer,
2016.
CRAWFORD, V. P.; SOBEL, J. Strategic information transmission. Econometrica,
v. 50, n. 6, p. 1431-1451, 1982.
CURRY, J. M. Knowledge, expertise, and committee power in the contemporary
Congress. Legislative Studies Quarterly, v. 44, n. 2, p. 203-237, 2019.
DEWATRIPONT, M.; TIROLE, J. Advocates. Journal of Political Economy,
v. 107, n. 1, p. 1-39, 1999.
DUR, R.; SWANK, O. H. Producing and manipulating information. The Economic
Journal, v. 115, n. 500, p. 185-199, 2005.
ELAMIN, M. B.; MONTORI, V. M. The hierarchy of evidence: from unsystem-
atic clinical observations to systematic reviews. In: BURNEO, J. G.; DEMAER-
SCHALK, B. M.; JENKINS, M. E. (Ed.). Neurology: an evidence-based approach.
New York: Springer, 2012.
ESO, P.; GALAMBOS, A. Disagreement and evidence production in strategic
information transmission. International Journal of Game Theory, v. 42, n. 1,
p. 263-282, 2013.
FIGUEIREDO, A. C.; LIMONGI, F. Executivo e Legislativo na nova ordem
constitucional. Rio de Janeiro: FGV Editora, 1999.
GILLIGAN, T. W.; KREHBIEL, K. Asymmetric information and legislative rules
with a heterogeneous committee. American Journal of Political Science, v. 33,
n. 2, p. 459-490, 1989.
KREHBIEL, K. Information and legislative organization. Ann Arbor: University
of Michigan Press, 1991.
KRISHNA, V.; MORGAN, J. A model of expertise. Quarterly Journal of
Economics, v. 116, n. 2, p. 747-775, 2001.
MATTSON, I.; STROM, K. Parliamentary committees. In: DÖRING, H. (Ed.).
Parliaments and majority rule in Western Europe. Frankfurt: Campus, 1995.

good governance of evidence. New York: Routledge, 2017.
PEREIRA, C.; MUELLER, B. Uma teoria da preponderância do Poder Executivo:
o sistema de comissões no Legislativo brasileiro. Revista Brasileira de Ciências
Sociais, v. 15, n. 43, p. 45-67, 2000.
RESENDE, C. A. S. Interesses organizados nas comissões permanentes: percepções
de grupos de interesse e assessores parlamentares. In: PERLIN, G.; SANTOS,
M. L. (Org.). Presidencialismo de coalizão em movimento. Brasília: Edições
Câmara, 2019.
SAIEGH, S. M. Active players or rubber stamps? An evaluation of the policymaking
role of Latin American legislatures. In: SCARTASCINI, C.; STEIN, E.; TOMMASI,
M. (Ed.). How democracy works: political institutions, actors, and arenas in Latin
American policymaking. Cambridge: IDB/David Rockerfeller Center, 2010.
SANTOS, F.; ALMEIDA, A. Fundamentos informacionais do presidencialismo
de coalizão. Curitiba: Editora Appris, 2011.
SANTOS, F.; CANELLO, J. Comissões permanentes, estrutura de assessoramento
e o problema informacional na Câmara dos Deputados do Brasil. Dados, v. 59,
n. 4, p. 1127-1168, 2016.
APÊNDICE A
TABELA A.1
Projetos da amostra e características selecionadas
Projeto Área Grupo Quali Comissão Projeto Área Grupo Quali Comissão
PL n 1.924/1989
1 o
MA 3
2 4 Ceic
7
PL n 4.828/1998
o
MA 3 1 Cesp
PL no 2.008/1989 MA 1 0 CDCMAM8 PL no 1.165/1999 DC 1 0 CDCMAM
PL n 2.114/1989
o
MA 2 1 CDCMAM PL n 1.615/1999
o
DC 3 1 Cesp
PL no 2.115/1989 MA 2 1 CDCMAM PL no 1.616/1999 MA 1 1 CDCMAM
PL n 2.277/1989
o
SE4
1 0 CME 9
PL n 1.617/1999
o
MA 3 1 CME
PL no 2.951/1989 SE 1 0 CME PL no 2.222/1999 TB 1 1 CTASP
PL no 3.654/1989 SE 1 0 CVTDUI10 PL no 2.329/2000 SE 1 0 CAPR
PL n 4.586/1990
o
SE 1 0 CVTDUI PL n 2.845/2000
o
TB 1 0 CTASP
PL no 4.643/1990 SE 1 0 CDEIC11 PL no 3.242/2000 SE 1 1 CAPR
PL n 4.789/1990
o
TB 5
1 0 CTASP 12
PL n 3.392/2000
o
TB 1 0 CTASP
PL no 5.653/1990 SE 1 0 CME PL no 3.523/2000 TB 1 1 CTASP
PL n 5.883/1990
o
SE 1 0 Ceic PL n 3.811/2000
o
TB 2 1 CAPR
PL no 638/1991 TB 1 4 CTASP PL no 3.846/2000 DC 3 1 Cesp
PL n 1.231/1991
o
TB 1 0 CTASP PL n 7.372/2002
o
TB 1 1 CTASP
PL no 1.232/1991 TB 1 0 CTASP PL no 1.248/2003 TB 1 0 CTASP
PL no 2.018/1991 TB 1 0 CTASP PLP no 210/2004 TB 3 1 Cesp
PL n 2.160/1991
o
MA 3 1 Cesp 13
PL n 3.303/2004
o
MA 2 0 CDCMAM
PL no 2.249/1991 MA 1 1 CDCMAM PL no 4.186/2004 MA 1 2 CMADS15
PL n 2.501/1992
o
SE 1 0 CME PLP n 249/2005
o
SE 1 0 CDEIC16
PL no 2.530/1992 DC6 2 1 CDCMAM PL no 4.776/2005 MA 3 1 Cesp
PL n 2.892/1992
o
MA 1 4 CDCMAM PL n 5.821/2005
o
MA 1 1 CDCMAM
PL no 3.155/1992 SE 1 0 CAPR14 PL no 5.870/2005 DC 1 0 CDC17
PL no 3.156/1992 DC 1 0 CDCMAM PL no 5.877/2005 DC 3 4 Cesp
PLP n 170/1993
2 o
SE 1 0 Ceic PL n 6.320/2005
o
DC 2 1 CDEIC
PL no 3.498/1993 DC 1 0 CDCMAM PL no 6.529/2006 SE 1 1 CDEIC
PL n 4.109/1993
o
MA 2 4 CDCMAM PL n 6.601/2006
o
TB 1 4 CTASP
PL no 4.259/1993 MA 2 1 CDCMAM PL no 6.673/2006 DC 3 1 Cesp
PL n 4.268/1993
o
SE 1 0 CAPR PL n 7.009/2006
o
TB 2 2 CTASP
PL no 4.376/1993 DC 3 1 Cesp PL no 7.029/2006 DC 2 1 CDEIC
PL n 4.677/1994
o
TB 1 2 CTASP PL n 7.505/2006
o
TB 2 0 CTASP
PL no 4.768/1994 TB 2 2 Ceic PL no 7.708/2006 MA 1 3 CDCMAM
PL no 40/1995 SE 1 0 CME PL no 1/2007 TB 3 2 Cesp
PL n 1.155/1995
o
DC 2 2 CDCMAM PLP n 388/2007
o
MA 2 1 CMADS
PL no 1.457/1996 SE 1 0 CAPR PL no 3.498/2008 DC 2 1 CFT18
(Continua)
(Continuação)
Projeto Área Grupo Quali Comissão Projeto Área Grupo Quali Comissão
PL no 2.660/1996 TB 2 2 CTASP PL no 3.571/2008 MA 1 0 CDHM19
PL n 3.125/1997
o
DC 2 1 Ceic PL n 5.892/2009
o
MA 2 0 CAPADR20
PL n 3.512/1997
o
SE 1 0 Ceic PL n 5.938/2009
o
MA 3 0 Cesp
PL no 3.747/1997 TB 1 0 CTASP PL no 5.941/2009 MA 3 3 Cesp
PL n 3.748/1997
o
TB 1 0 CTASP PL n 6.961/2010
o
DC 3 1 Cesp
PL no 3.964/1997 MA 2 3 CDCMAM PL no 7.326/2010 MA 2 3 CMADS
PL n 4.257/1998
o
DC 2 1 CDCMAM PL n 5.196/2013
o
DC 1 1 CDC
PL no 4.302/1998 TB 1 0 CTASP PL no 5.278/2016 TB 2 0 CTASP
PL n 4.694/1998
o
TB 1 0 CTASP PL n 6.787/2016
o
TB 3 3 Cesp

Notas: 1 Projeto de lei.
2
Projeto de lei complementar.
Área temática:
3
MA= meio ambiente.
4
SE= setor econômico.
5
TB= trabalho.
6
DC= defesa do consumidor.
Comissões que elaboraram o parecer:
7
Comissão de Economia, Indústria e Comércio.
8
Comissão de Defesa do Consumidor, Meio Ambiente e Minorias.
9
Comissão de Minas e Energia.
10
Comissão de Viação e Transportes, Desenvolvimento Urbano e Interior.
11
Comissão de Desenvolvimento Econômico, Indústria, Comércio e Serviços.
12
Comissão de Trabalho, Administração e Serviço Público.
13
Comissão Especial.
14
Comissão de Agricultura e Política Rural.
15
Comissão de Meio Ambiente e Desenvolvimento Sustentável.
16
Comissão de Desenvolvimento Econômico, Indústria, Comércio e Serviços.
17
Comissão de Defesa do Consumidor.
18
Comissão de Finanças e Tributação.
19
Comissão de Direitos Humanos e Minorias.
20
Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural.
Obs.: 1. Grupo: 1 = sem heterogeneidade de comissão; grupo 2 = heterogeneidade entre comissões; grupo 3 = heterogenei-
dade intracomissão.
2. Qualidade da informação do parecer (quali): 0= muito baixa; 1= baixa; 2= moderada; 3= alta; 4= muito alta.
3. Demais comissões: Comissão de Ciência e Tecnologia, Comunicação e Informática (CCTCI) e Comissão de Viação e
Transportes (CVT).
CAPÍTULO 13
ESTATATIVISMO INSTITUCIONAL E OS EPISÓDIOS EM TORNO DAS

CAUSAS DA MAGISTRATURA DE PRIMEIRA INSTÂNCIA BRASILEIRA1
Maricilene Isaira Baia do Nascimento2
João Paulo Dias3
O primeiro grau de jurisdição é a porta de entrada da
Justiça. É a linha de frente, a vanguarda do Judiciário.
É, no mais das vezes, o único ponto de contato entre
o cidadão e o Judiciário. É onde o serviço da Justiça
é visualizado, é sentido, é sonhado e concretizado. É
a face da Justiça que se perpetua no imaginário dos
milhares de homens e mulheres que anualmente a ela
se socorrem. (...). É premente a necessidade de conferir
um novo olhar ao primeiro grau. É preciso direcionar
os olhos e as atenções para a porta de entrada da Justiça4
1 INTRODUÇÃO
“[N]ós, do CNJ, o presidente Gilmar Mendes, os conselheiros, nós todos sabemos que
nós estamos vivendo num país de extrema, profunda, injusta e odiosa desigualdade
social. E as desigualdades também estão inseridas no âmbito do Poder Judiciário!”
(CNJ, 2008a), exclamou o então ministro Gilson Dipp, corregedor nacional do
CNJ, no II Encontro Nacional do Poder Judiciário, em fevereiro de 2009. Mas a
fala do ministro, ao que poderia parecer, não se referia às desigualdades de acessar a
Justiça. Referia-se às desigualdades estruturais intramagistratura, às “desigualdades
entre as instâncias”, às desigualdades entre os “tribunais inflados” e a “Justiça de pri-
meiro grau abandonada”: “A Justiça brasileira é tão desigual quanto a desigualdade
entre as pessoas” (op. cit.), em tom de denúncia, concluía o ministro. Já havia um
pouco mais de quatro anos de existência do órgão que centralizaria a coordenação
da organização administrativa e financeira do Poder Judiciário brasileiro (o CNJ ),
e, como que em uma coalizão discursiva, parece que já estavam claras as teses sobre
as causas da morosidade da Justiça, nos discursos proferidos no evento: “Embora se
diferenciem em relação às competências, os órgãos jurisdicionais brasileiros formam
um só Poder Judiciário, daí se dizer comumente que o Poder Judiciário é um poder
nacional, cuja imagem é de imediata atingida se a menor das varas fraqueja” (CNJ,
1. Agradecemos os debates, as inquietações e as sugestões de Rebecca Neaera Abers, professora do Instituto de Ciência
Política da Universidade de Brasília (Ipol/UnB), aos conceitos propostos neste capítulo, parceria esta que muito nos fez
refletir sobre as desigualdades da burocracia judicial brasileira.
2. Pesquisadora na Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia (Diest) do Ipea. E-mail:
<maricilene.nascimento@ipea.gov.br>.
3. Investigador auxiliar do Centro de Estudos Sociais (CES) da Universidade de Coimbra, em Portugal.
4. Fala do então ministro Joaquim Barbosa, na época presidente do Supremo Tribunal Federal (STF) e do CNJ, em discurso de
abertura no VII Encontro Nacional do Poder Judiciário, em Belém do Pará, em novembro de 2013. Disponível em CNJ (2013c).
2008b), declarava o então presidente do CNJ, ministro Gilmar Mendes. Era tam-
bém um discurso-denúncia: “tal como ocorre numa bem ajeitada máquina, se uma
parte não funciona, por mínima que seja, é o todo que sai prejudicado” (op. cit.).
Destacando uma das estatísticas mais impactantes do último relatório Justiça em
Números, criado pelos estatísticos do Departamento de Pesquisas Judiciárias (DPJ),
destaca ainda o presidente:
pouco importa que a taxa de congestionamento de determinado tribunal esteja regular,
ou se mostra regular, se nas comarcas acumulam-se processos. (...) Muitas vezes, pode
ocorrer exatamente isto: um dado tribunal pode estar dando a resposta adequada no
segundo grau, exatamente porque o primeiro grau está com um índice elevado de taxa
de congestionamento. [Por isso, tem] de existir equilíbrio nas condições de trabalho
oferecidas às instâncias de modo a se mostrarem adequadas às demandas que nelas
transitam, é preciso haver distribuição adequada de recursos entre o segundo grau e
o primeiro grau (CNJ, 2008b).
Seis dias antes da ocorrência do já referido II Encontro Nacional do Poder
Judiciário, onde seria aprovado o primeiro Planejamento Estratégico do Poder Ju-
diciário, chegava nas mãos do presidente Gilmar Mendes, para somar às evidências
estatísticas do relatório Justiça em Números, os recentes resultados estatísticos da
1a Pesquisa sobre as Condições de Trabalho dos Juízes, realizada pela Associação
dos Magistrados Brasileiros (AMB), na presidência pioneira de um magistrado de
primeira instância da região Nordeste, o juiz Airton Mozart Valadares Pires, do
Tribunal de Justiça do Estado de Pernambuco (TJPE). No relatório, a conclusão era
que “as condições de trabalho dos magistrados revela[vam] uma situação preocupante
e ajuda[vam] a entender a morosidade reclamada pelo cidadão quando recorre à
Justiça” (AMB, 2009, p. 4-5): o “número de juízes no Brasil é insuficiente para
a quantidade de processos”; “apenas 15% das unidades tramitam até mil processos –
número considerado aceitável”. “Além do número insuficiente de magistrados, a
pesquisa revela que a quantidade de pessoal técnico é praticamente a metade do
que seria necessário para atender à demanda do Judiciário”; temos “falta de trans-
parência na forma como os recursos do Poder Judiciário são administrados”; “quase
[a] totalidade dos magistrados desconhece o percentual do orçamento do Tribunal
que é repassado para sua unidade”; e “mais de dois terços dos juízes afirmam que
os recursos destinados são insuficientes” (op. cit.).
Esta investigação propõe destacar como a ecologia estatística foi central para
embasar uma onda de protestos intraburocracia contra as desigualdades estruturais
entre as instâncias da magistratura brasileira. O trabalho aqui realizado explora
a forma como os atores e os defensores da magistratura de primeira instância no
Brasil mobilizaram estatísticas para tentar alcançar reivindicações históricas dessa
classe, situadas em diferentes episódios, desde a instalação do CNJ, em 2005,
como, entre outras existentes: i) a busca pela padronização de critérios objetivos
na movimentação de carreira da magistratura; ii) o direito ao voto na escolha da
Estatativismo Institucional e os Episódios em torno das Causas da Magistratura | 429
de Primeira Instância Brasileira
direção dos tribunais; e iii) a construção de uma política distributiva para subsidiar
melhorias nas condições de trabalho da magistratura de base.
Para ajudar nessa proposta de investigação, dialogamos com a proposta
conceitual de Bruno, Didier e Vitale (2014), que argumentam que o ativismo
com as estatísticas, o que denominam de estatativismo, é um repertório de ação
de movimentos sociais em episódios contenciosos pela busca por representação
e afirmação da realidade que lhes é vivida, assim como para embasar críticas e
denúncias a essa realidade. Com inspirações no conceito de ativismo institucio-
nal de Abers (2017), propomos caracterizar os episódios em torno das causas da
magistratura de primeiro grau como estatativismo institucional, um movimento
ativista com as estatísticas pelos atores das próprias instituições. A partir disso,
buscamos identificar o que chamamos de práticas de mobilização das estatísticas,
um termo referente à construção de significados com os princípios, as técnicas e
os resultados estatísticos para embasar e justificar causas políticas. A metodologia
seguida privilegia a consulta de fontes oficiais e institucionais, produzida pelos
atores sociais, profissionais e institucionais, envolvidos nos episódios em torno
das reivindicações da magistratura de primeira instância no Brasil, cujos dados e
análises foram tratados no software Atlas.ti.
Conforme segue, após esta introdução, a seção 2 traz as inspirações teóricas
e os argumentos propostos; a seção 3 centraliza os episódios propostos; e, por fim,
a seção 4 apresenta as considerações finais.
2 ESTATATIVISMO INSTITUCIONAL: ATIVISMO, ESTATÍSTICAS E MOVIMENTOS

INSTITUCIONAIS
“Instituições estatísticas [tratam] pessoas como membros de grupos abstratos mais
que indivíduos com identidades, histórias e motivações únicas”, situa Haggerty
(2001, p. 100) como sendo tal afirmação uma das críticas mais centrais que se faz ao
Estado quando do uso da quantificação. Afinal, concorda Bourdieu (2014, p. 38),
“não se trata [somente] de um instrumento que permite medir, que permite aos
que governam conhecer os governados”, é um instrumento de construção simbó-
lica do Estado, em especial na construção de princípios de divisão, de produção
de identidades sociais legítimas.“Não por acaso há um vínculo entre o Estado e as
estatísticas”, refere-se Bourdieu (2014, p. 38).
Nesse papel de produção categórica, o que debatemos é sobre que “estatísticas
são frequentemente contestadas” e que “certos movimentos as denunciam, acusando
a quantificação de congelar as relações humanas; de transmitir uma imagem fria
de sociedade; de constantemente avaliar seres humanos, cidadãos, trabalhadores”,
conforme identificam Bruno, Didier e Vitale (2014, p. 199).
Mas, no contexto das expectativas conducentes à criação do CNJ,5 nascia

um movimento de mobilização de estatísticas com uma abordagem diferente dos
tradicionais movimentos de denúncia e que vem se institucionalizando ao longo dos
anos, vindo das vozes internas e externas de/em apoio à magistratura de primeira
instância no Brasil. O ex-secretário-geral e então conselheiro do CNJ, o juiz Rubens
Curado Silveira, representante da magistratura de primeira instância da Justiça do
Trabalho, em opinião publicada no famoso site Consultor Jurídico (ConJur), em
agosto de 2015, veio alertar para as graves situações de desigualdades vividas no
interior do Poder Judiciário. Em concreto, descreveu:
Os dados do Poder Judiciário mostram uma alarmante sobrecarga de trabalho sobre
a primeira instância, que se traduz para a sociedade sob a forma de morosidade
processual. Basta dizer que 95% dos casos pendentes (estoque) estão no primeiro
grau, responsável por uma taxa de congestionamento de 77%, 30 pontos percentuais
superiores à de segundo grau (47%). A carga de trabalho dos magistrados de primeiro
grau é, pasmem, de 6.383 casos por juiz, o dobro da imposta aos de segundo grau.
O peso sobre os ombros dos servidores da primeira instância é igualmente maior:
488 casos contra 227 em segunda instância. (...) por si só, revela o desequilíbrio
na distribuição da força de trabalho. Vale dizer: existem muitos servidores onde há
poucos processos e, proporcionalmente, poucos servidores onde se concentram quase
todos os processos. Esse acúmulo de acervo pode ser explicado, em grande medida,
pela má estruturação histórica da primeira instância, representada por comarcas e
unidades jurisdicionais desprovidas de recursos mínimos para atender à demanda
processual. Em contraposição, é visível a concentração de investimentos na cúpula dos
tribunais. Como resultado de uma inversão cultural de prioridades, sedes suntuosas
e apinhadas de servidores dividem o cenário com casebres abarrotados de processos
(Silveira, 2015).
Esses excertos em tom de denúncia do juiz Rubens Curado acompanhavam
a sua defesa à Política Nacional de Atenção Prioritária ao Primeiro Grau de Juris-
dição, que recentemente tinha sido lançada pelo CNJ (em 2014). O protesto do
magistrado estava embasado nas estatísticas publicadas pelo relatório Justiça em
Números, que foram mobilizadas em diversos episódios de contestação sobre as
condições de trabalho sob as quais a magistratura de primeira instância no Brasil
está historicamente submetida, e é uma manifestação que mostra que “há também
formas de ação coletiva emergentes que usam números, medidas e indicadores
como meios de denúncia e de críticas. Em certos casos, ativistas usam estatísticas
como uma ferramenta para luta e como um meio de emancipação” (Bruno, Didier
e Vitale, 2014, p. 199). Afinal, esta é uma “forma de política estatística que en-
volve (...) tentar retoricamente ‘fazer coisas’ com números, com estatísticas sendo
usadas como um dispositivo persuasivo para avançar causas políticas” (Haggerty,
5. Órgão criado pela Emenda Constitucional (EC) no 45/2004, com a missão de coordenar a gestão administrativa e
financeira dos tribunais brasileiros.
2001, p. 95). As “estatísticas estão situadas em discursos mais amplos onde podem
ser invocadas para avançar uma agenda” (op. cit., p. 95). E isso é uma forma de
ativismo. Mais especificamente, é estatativismo.
Bruno, Didier e Vitale (2014) propõem que estatativismo, um termo formado
pela contração de estatística e ativismo, é uma forma particular de ação em um
amplo repertório usado pelos movimentos sociais contemporâneos (a mobilização
de estatísticas); “ele deve ser entendido talvez como slogan a ser brandido em bata-
lha, mas também um termo a ser empregado na descrição daqueles experimentos
objetivados em reapropriar o poder das estatísticas de denunciação e emancipação”
(Bruno, Didier e Vitale, 2014, p. 199). Tradicionalmente usado por movimento de
trabalhadores, conforme afirmam Bruno, Didier e Vitale (2014), o estatativismo está
se movendo para muitos campos de ação e por muitos tipos de atores, e presente,
principalmente, em matéria de reestruturação do Estado. Nesse repertório de ação,
há dois papéis que os atores concedem às estatísticas: representação da realidade e
crítica à realidade. Sendo assim, Bruno, Didier e Vitale (2014) propõem que, na
produção de leitura compartilhada da realidade, podemos encontrar duas dimen-
sões do estatativismo: a denúncia e a afirmação. “Em outras palavras, veremos o
papel de estatativistas em denunciar um certo estado da realidade e, também, nos
esforços para usar estatísticas na criação de equivalência entre condições díspares
e na cimentação de categorias sociais emergentes” (op. cit., p. 198).
Mas, diferentemente do que propõem focar Bruno, Didier e Vitale (2014),
situando a mobilização de estatísticas em causas contenciosas como parte de um
amplo repertório de ação de movimentos sociais, propomos mostrar que o esta-
tativismo também é um repertório de ação de movimentos intraburocracia, uma
espécie de repertório de ação que sugerimos conceituar de estatativismo institucional.
Este último termo é inspirado na proposta conceitual de ativismo institucional6
de Abers (2017) – uma ação proativa que envolve a busca de oportunidades pela
burocracia estatal, sendo o objeto dessa ação a defesa de uma causa contenciosa,
“mesmo quando ela é oposta às demandas de seus superiores” (op. cit., p. 26).
No caso dos episódios que serão narrados aqui, uma coalizão em defesa às rei-
vindicações da magistratura de primeira instância no Brasil mobilizou estatísticas
oficiais, em especial para tentar avançar causas em denúncia às práticas distributivas
orçamentária e de pessoal, aos critérios e às práticas na movimentação de carreira
e ao sistema de eleição das cúpulas administrativas dos tribunais no país.
Bruno, Didier e Vitale (2014) chamam atenção sobre a urgência em “reconhe-
cer o quanto movimentos sociais usam estatísticas e a quantificação como parte de
6. Reconhecemos que nos inspiramos de modo ultra-adaptado no conceito de ativismo institucional proposto pela Abers
(2017), que situa o ativismo nas relações da burocracia com causas sociais. No entanto, ousamos propor que o conceito
nos ajuda a pensar repertórios de ação em causas que julgamos contenciosas no interior das relações intraburocracia,
viagem conceitual que, concordamos, requer refinamentos e justificações ao debate proposto neste capítulo.
seus repertórios de ação, na crítica a certas estatísticas, assim como no uso de outras
como poderosos instrumentos em lutas políticas” (op. cit., p. 202). O estatativismo,
sugerem os autores, “designa aquelas práticas estatísticas que são utilizadas para criticar
e libertar de qualquer autoridade”, mas também concordam que a quantificação,
às vezes, desempenha um papel crucial na construção de autoridade, de domina-
ção: “poderíamos também afirmar que dificilmente hoje existe melhor exemplo
de autoridade capaz de desarmar qualquer crítica do que um número ou nexos de
números” (op. cit., p. 200). Uma diferenciação importante que esses autores trazem
é que estatísticas é sobre representar – sinteticamente – a realidade e estatativismo é
sobre desafiar a representação da realidade com as próprias estatísticas. Desse modo,
para avançar nesse reconhecimento instrumental que fazem das estatísticas esses mo-
vimentos, e isso vale também para a natureza de movimento com a qual propomos
analisar neste capítulo, concordamos que um aspecto importante a ser investigado
diz respeito às práticas de mobilização de estatísticas que, assim como os propósitos
para os quais são mobilizadas, podem ajudar na compreensão de como essa forma
de ativismo se desenvolve.
Os exemplos dos episódios contenciosos, em torno das causas da magistra-
tura de primeira instância no Brasil, os quais iremos relatar na seção 3, permitem
situar as práticas de mobilização de estatísticas referentes à construção de sistemas
de significados com os elementos da ecologia estatística, como princípios, técnicas,
fórmulas e resultados, entre outras dimensões, para embasar, justificar e representar
causas políticas. No campo de batalha, às vezes, a mobilização de estatísticas se dá
em reação a critérios que foram estabelecidos; “em outros casos, estatativismo não
é contra indicadores, mas consiste em quantificar dados para tornar uma questão
visível e relevante” (Bruno, Didier e Vitale, 2014, p. 200). Sobre esse aspecto, Nas-
cimento e Abers (2020) também mostram que, a depender de onde os atores estão
situados na disputa política intraburocracia, diferentes estratégias de mobilização das
estatísticas podem ser observadas: atores produtores das estatísticas podem mobilizar
técnicas estatísticas cujos indicadores resultantes são constituídos de modo a induzir
mudanças organizacionais, ao classificar melhores e piores. De outro modo, os atores
afetados por tais técnicas de classificação – em especial, aqueles que alcançam baixas
posições em índices e indicadores –, para mitigar perdas socioinstitucionais, criam
e divulgam novas interpretações, “ora abandonando, ora recombinando alguns
(...) elementos [constitutivos das estatísticas], para proporem trilhas interpretativas
positivas de si” (op. cit., p. 138), que é o caso que trazem da criação do controverso
Índice de Produtividade Comparada da Justiça (IPC-Jus), pelo DPJ/CNJ, para aferir
a eficiência produtiva comparada dos tribunais brasileiros.
Adicionalmente, propomos também mostrar que, às vezes, as estatísticas
são mobilizadas para, simultaneamente, criticar e representar, para denunciar e
afirmar. Nos episódios que serão trabalhados em torno das causas da magistratura
de primeira instância no Brasil, esta prática simultânea será explicitada.
3 A ECOLOGIA ESTATÍSTICA DAS CAUSAS DA MAGISTRATURA DE PRIMEIRA

INSTÂNCIA BRASILEIRA
3.1 E
pisódio 1: “O merecimento não está recaindo para aquele que mais
trabalha” (AMB, 2010): questionando os critérios de movimentação da
carreira na magistratura
“Essa é uma data histórica para a magistratura brasileira”, destaca a comemoração
do presidente da AMB, o juiz Rodrigo Collaço, ao site Migalhas (CNJ acolhe...,
2005). A comemoração era referente ao acolhimento do pedido de providências
submetido pela AMB ao CNJ, o qual reivindicava que o voto nas promoções por
merecimento de magistrados do primeiro grau ao segundo grau deveria ser aberto
e fundamentado. “É o reconhecimento da importância do mérito, a introdução de
princípios constitucionais, como a transparência, a impessoalidade e a publicidade
na promoção por merecimento. Isso contribuirá para a valorização do juiz perante
a sociedade” (op. cit.), afirmava o juiz situando o significado da sua comemoração.
No requerimento submetido ao CNJ, a AMB argumentava que a Emenda
Constitucional no 45/20047 – que trazia mudanças conhecidas como a reforma
do Judiciário, entre as quais criava o CNJ – estabeleceu “quatro critérios objetivos
para fins de aferição do merecimento de magistrados visando à promoção na car-
reira”,8 e a reivindicação era que “mostrava-se necessária a observância imediata
desses parâmetros, mediante voto aberto e fundamentado, por todos os tribunais
nacionais, nos atos de promoção de magistrados”. A prática aberta e fundamentada
do voto era tão importante para o cumprimento da adoção de critérios objetivos no
processo de promoção porque “até o momento que antecedeu à EC no 45/2004,
as promoções por merecimento eram feitas, nos tribunais nacionais, por meio de
votação secreta, na qual os magistrados integrantes da lista não tinham acesso à
motivação da promoção”; por isso, “o critério subjetivo prevalecia sobre o objetivo”,
denuncia a AMB.
Outra reivindicação que acompanhava a da prática aberta e fundamentada
do voto para a ascensão ao segundo grau era a observância dos tribunais ao que já
previa a Lei Orgânica da Magistratura Nacional (Loman), em matéria de promoção:
a regulamentação pelos tribunais da apuração e aferição dos critérios de promoção.
7. Disponível em: <https://bit.ly/3Dgt4dH>.

8. As citações que se seguem foram retiradas dos arquivos documentais da página de acompanhamento processual
do CNJ. Nessa página, há diferentes imagens referentes à submissão do pedido de providências da AMB. Disponível
em: <https://bit.ly/3nygDDG>.
Citando trechos da Loman,9 o pedido de providências destacava que, para efeito

da composição de lista tríplice,
o merecimento será apurado na entrância e aferido com prevalência de critérios
de ordem objetiva, na forma do regulamento baixado pelo Tribunal de Justiça, tendo-se
em conta a conduta do juiz, sua operosidade no exercício do cargo, número de
vezes que tenha figurado na lista, (...) bem como o aproveitamento em cursos
de aperfeiçoamento.
A reclamação era sobre a validade de apurações objetivas, quando houvesse,
sem a devida regulamentação pelo tribunal. De acordo com a reivindicação e a
denúncia da AMB, em relação ao inscrito na Loman: “Como pode se ver, tais
critérios somente poderiam ser considerados efetivamente objetivos diante do
eventual ‘regulamento baixado pelo tribunal’, porque, se fossem considerados tal
como posto na lei, não atenderiam à exigência legal”.
Acresce ainda a AMB que:
É preciso que cada tribunal discipline, pelo menos, (a) quais as condutas do juiz
(...), (b) quais os parâmetros para o fim de poder ser quantificada a operosidade no
exercício do cargo, e (d) qual a valoração a ser atribuída para cada curso de aperfei-
çoamento. (...) [O]s tribunais jamais observaram esses critérios (...) as promoções
sempre se dão por meio de mera votação secreta (...). Um determinado magistrado
recebia menos votos que outro sem saber quais requisitos objetivos o vencedor teria
preenchido em detrimento dos seus requisitos.
Esse é um caso no qual pode ser observada a mobilização de estatística para
defender que a objetivação de critérios é a única prática que representa a justa
estruturação da fundamentação da movimentação da carreira da magistratura.
A reivindicação pela parametrização, pela valoração, pela operosidade quantificada
dos critérios nos ensina que os atores podem direcionar os elementos estatísticos e
a quantificação como o único meio de representação válido da realidade, inclusive
para diluir a autonomia de atores mais poderosos que, de outra forma, sob outro
tipo de operosidade, não seria possível. Nesse episódio, a estatística representa e
garante mais direitos que outro tipo de operacionalização.10
A EC no 45/2004 também legislou sobre a matéria, especificando que a
promoção deveria se dar pela “aferição do merecimento conforme o desempenho
e pelos critérios objetivos de produtividade e presteza no exercício da jurisdição e
9. Disponível em: <https://bit.ly/2YnCZ1I>.

10. Essa defesa da quantificação dos critérios deve ser lida no contexto histórico das reivindicações da magistratura
brasileira, protagonizadas pelas associações da magistratura, como esta da AMB. Já há várias décadas que a excessiva
quantificação e produção de indicadores estatísticos é questionada, principalmente quando seus promotores se esquecem
de responder à questão: para que servem os dados? Gauléjac (2005) chama-lhe mesmo de “quantifrenia”. Para mais
detalhes desta discussão em outras áreas científicas, ver, entre outros autores, Desrosières (2010), de Gauléjac (2005),
Koga (2003) ou Roy e Offredi (2011).
pela frequência e aproveitamento em cursos oficiais ou reconhecidos de aperfei-

çoamento”, acrescenta em seu pedido de providências a AMB. A petição motivou
a proposição de uma das primeiras resoluções do CNJ, a Resolução no 6, de se-
tembro de 2005, que resolvia sobre a “aferição do merecimento para promoção de
magistrados e acesso aos tribunais de segundo grau”, garantindo, no art. 1o, que “as
promoções por merecimento de magistrados serão realizadas em sessão pública, em
votação nominal, aberta e fundamentada” (CNJ, 2005). Além disso, resolvia que
os tribunais deveriam editar atos normativos disciplinando a valoração objetiva
dos critérios previstos pela EC no 45/2004.
Mas não foi o suficiente também recorrer ao CNJ para lembrar aos tribunais
sobre a observância constitucional de abertura e a fundamentação objetiva do voto;
a experiência ainda não se mostrava a ideal, em especial na dimensão da fundamen-
tação. As denúncias continuavam, como as do então presidente da AMB, o juiz
Mozart Valadares, em defesa à minuta da nova resolução proposta pela Comissão
de Prerrogativas na Carreira da Magistratura, criada na gestão do ministro Gilmar
Mendes: “A grande maioria dos desembargadores trata o espaço público como se
fosse privado”: “Para ser promovido ao TJPE, é preciso que o candidato faça uma
peregrinação pelo gabinete dos desembargadores, assumindo compromissos que esse
colegiado não abre mão”. “Então se chega lá sem independência” (Magalhães, 2008),
“o merecimento não está recaindo para aquele que mais trabalha. Se o magistrado
sabe que o trabalho não é suficiente para conseguir a promoção, o resultado é o
desestímulo” (AMB, 2010). A nova resolução, que foi aberta para consulta pública,
e que substituiria a Resolução no 6/2005, normatizava mais especificamente sobre
a parametrização e a operacionalização da objetividade dos critérios para
os membros votantes (...) declarar[em] os fundamentos de sua convicção (...) na
escolha, que são: I - desempenho (aspecto qualitativo da prestação jurisdicional);
II - produtividade (aspecto quantitativo da prestação jurisdicional); III - presteza no
exercício das funções; IV - aperfeiçoamento técnico; V - adequação da conduta ao
Código de Ética da Magistratura Nacional (2008) (CNJ, 2010).
Nas palavras do autor da proposta original, ministro Ives Gandra, ao site Miga-
lhas, “a ideia é conferir mais objetividade à promoção de magistrados, evitando-se
critérios políticos e padronizando as regras nos tribunais” (CNJ analisa..., 2010).
QUADRO 1
A estrutura de parametrização e operosidade quantificada para aferição de merecimento
na movimentação de carreira do primeiro para o segundo grau
Avaliação da produtividade Avaliação da presteza
I – Estrutura de trabalho I – Dedicação
a) compartilhamento das atividades na unidade a) assiduidade ao expediente forense;
jurisdicional com outro magistrado (titular, substituto b) pontualidade em audiências e sessões;
ou auxiliar); c) gerência administrativa;
b) acervo e fluxo processual existente na unidade d) atuação em unidade jurisdicional definida previamente pelo tribunal de
jurisdicional; difícil provimento;
c) cumulação de atividades; e) participação efetiva em mutirões, em Justiça itinerante e em outras
d) competência e tipo do juízo; e iniciativas institucionais;
e) estrutura de funcionamento da vara (recursos f) residência e permanência na comarca;
humanos, tecnologia, instalações físicas e recursos g) inspeção em serventias judiciais e extrajudiciais e em estabelecimentos
materiais). prisionais e de internamento de proteção de menores sob sua jurisdição;
II – Volume de produção h) medidas efetivas de incentivo à conciliação em qualquer fase do
a) número de audiências realizadas; processo;
b) número de conciliações realizadas; i) inovações procedimentais e tecnológicas para incremento da prestação
c) número de decisões interlocutórias proferidas; jurisdicional;
d) número de sentenças proferidas, por classe proces- j) publicações, projetos, estudos e procedimentos que tenham contribuído
sual e com priorização dos processos mais antigos; para a organização e a melhoria dos serviços públicos do Poder Judiciário;
e) número de acórdãos e decisões proferidas em e
substituição ou auxílio no segundo grau, bem como k) alinhamento com as metas do Poder Judiciário, traçadas sob a coordena-
em turmas recursais dos juizados especiais cíveis e ção do Conselho Nacional de Justiça.
criminais; e II – Celeridade na prestação jurisdicional
f) o tempo médio do processo na vara. a) observância dos prazos processuais, computando-se o número de
Operacionalização da avaliação da produtividade: processos com prazos vencidos e os atrasos injustificáveis;
a média do número de sentenças e audiências em b) o tempo médio para a prática de atos;
comparação com a produtividade média de juízes de c) o tempo médio de duração do processo na vara, desde a distribuição até
unidades similares, utilizando-se, para tanto, dos ins- a sentença;
titutos da mediana e do desvio-padrão oriundos da d) o tempo médio de duração do processo na vara, desde a sentença até
ciência da estatística, privilegiando-se, em todos os o arquivamento definitivo, desconsiderando, nesse caso, o tempo que o
casos, os magistrados cujo índice de conciliação seja processo esteve em grau de recurso ou suspenso; e
proporcionalmente superior ao índice de sentenças e) o número de sentenças líquidas prolatadas em processos submetidos ao
proferidas dentro da mesma média. rito sumário e sumaríssimo e de audiências prolatadas em audiências.
Avaliação da adequação da conduta ao Código de Ética da Magistratura
Avaliação do aperfeiçoamento técnico
Nacional (CEMN)
I – Frequência e aproveitamento em cursos oficiais a) independência, imparcialidade, transparência, integridade pessoal e
ou reconhecidos pelas escolas nacionais respectivas, profissional, diligência e dedicação, cortesia, prudência, sigilo profissional,
considerados os cursos e eventos oferecidos em conhecimento e capacitação, dignidade, honra e decoro;
igualdade a todos os magistrados pelos tribunais e b) processo disciplinar administrativo aberto contra o magistrado e sansões
conselhos do Poder Judiciário, pelas escolas dos tribu- aplicadas no período da avaliação.
nais, diretamente ou mediante convênio; Avaliação da qualidade das decisões
II – Diplomas títulos ou certificados de conclusão
de cursos jurídicos ou de áreas afins e relacionados a) redação.
com as competências profissionais da magistratura, b) clareza.
realizados após o ingresso na carreira; e c) objetividade.
III – Ministração de aulas em palestras e cursos d) pertinência de doutrina e jurisprudência.
promovidos pelos tribunais ou conselhos do Poder e) respeito às súmulas do Supremo Tribunal Federal e dos tribunais
Judiciário, pelas escolas da magistratura ou pelas ins- superiores.
tituições de ensino conveniadas ao Poder Judiciário
Avaliação do merecimento (pontuação máxima dos critérios)
I – desempenho: 20 pontos.
II – produtividade: 30 pontos.
III – presteza: 25 pontos.
IV – aperfeiçoamento técnico: 10 pontos.
V – adequação da conduta ao CEMN: 15 pontos.
Fonte: CNJ (2010).
Em vez de chamar atenção para o único meio válido de construir a funda-

mentação do voto para a movimentação da carreira, era hora de apontar as espe-
cificidades dos elementos da objetivação, da parametrização e da quantificação da
operosidade da aferição. O movimento da representação da magistratura ainda
estava em torno da aferição quantitativa daquele que mais trabalha. A nova resolução
valorava os critérios, além de especificar a operacionalização de algumas variáveis,
a exemplo das variáveis pertencentes à avaliação da produtividade e à avaliação da
presteza. Medidas como a média, a mediana, o desvio-padrão e os índices foram
sugeridos para a normatização. No entanto, conforme pode ser consultado no
quadro 1, a norma trouxe uma operacionalização híbrida dos critérios, motivo das
controvérsias que se geraram em torno da nova proposta de resolução. Apesar de a
nova normatização estabelecer a pontuação quantitativa máxima dos critérios que
compõem a aferição por merecimento, mesmo os critérios de avaliação da produ-
tividade e de avaliação da presteza, não se estabelecia especificamente em parte de
suas variáveis o quanto e como quantificar. Além disso, a nova norma acrescentava
critérios novos de difícil aferição quantitativa, a exemplo da avaliação da qualidade
das decisões e da avaliação da adequação da conduta ao Código de Ética da Magistra-
tura Nacional. A hibridez e a plasticidade de alguns critérios deixam espaço para
diferentes abordagens, em particular por quem avalia, mas interfere igualmente
no modo como o avaliado define o rumo do seu desempenho profissional, como
é possível verificar em estudos sobre a problemática (Dias, 2004).
A nova norma gerou muitas repercussões contrárias pelas associações da ma-
gistratura; em especial, a AMB, a Associação dos Juízes Federais do Brasil (Ajufe) e a
Associação Nacional dos Magistrados da Justiça do Trabalho (Anamatra), alegando
que, com a Resolução no 106/2010, na verdade, os propositores “acabaram por
estabelecer critérios subjetivos e ainda viola[va]m os princípios da independência
dos juízes, da isonomia e da proporcionalidade” (STF, 2010), argumentaram as
associações na Ação Direta de Inconstitucionalidade (ADI) no 4.510, ajuizada
no STF. Antes, as associações haviam submetido um pedido de providências ao
CNJ, denunciando que muitos dispositivos da Resolução no 106/2010 não tinham
amparo constitucional, a exemplo dos novos critérios para aferição, além do risco
de subjetividade que propiciavam na avaliação. No entanto, esta é a resolução que
vigora até hoje.
3.2 Episódio 2: “colocarmos esses mais de 80% dos membros do Judiciário

como protagonistas da gestão do sistema de Justiça” (CNJ, 2016a): o
Movimento Eleições Diretas nos Tribunais Brasileiros
A data de 31 de março de 2014 marcou o ápice do que ficou conhecido de Movi-
mento Eleições Diretas nos Tribunais Brasileiros. Nesse dia, juízes e juízas de todo o
país, coordenados pelas associações profissionais nacionais e locais da magistratura,
protocolaram requerimentos pedindo alteração nos regimentos internos de seus
respectivos tribunais, a fim de que todos os juízes e juízas vitalícios do primeiro grau
também tivessem direito ao voto para escolher a presidência e a vice-presidência
dos tribunais (Diretas Já..., 2014). Era também uma velha reivindicação que já
vinha de tempos mais remotos e que ganhou força com a chegada de integrantes
da magistratura de primeiro grau na presidência das associações (Magalhães, 2008):
“Não há democracia interna no Poder Judiciário (...)”, “(...) juízes de primeiro grau
são membros do Poder Judiciário e têm que participar da administração deste po-
der”, “Queremos um Judiciário mais acessível, feito para servir à população e não a
juízes, desembargadores e ministros”, “Nós queremos boas condições de trabalho,
prédios funcionais e não luxo” (op. cit.), denunciava e reivindicava, na época de sua
presidência na AMB, o juiz do primeiro grau pernambucano Mozart Valadares.
FIGURA 1
Imagem de campanha do movimento Diretas Já nos tribunais brasileiros
Fonte: Cardoso (2014).
Continuando a defesa pela democratização nos tribunais brasileiros, o então

presidente da AMB, o juiz de primeiro grau do Tribunal de Justiça do Estado
do Rio Grande do Sul (TJRGS), João Ricardo dos Santos Costa, explicou que
a data de 31 de março de 2014 não era aleatória para proclamar o movimento:
“A escolha da data pela Associação dos Magistrados Brasileiros foi (...) uma forma
de mostrar que, 50 anos depois do golpe militar de 64, ‘o Judiciário ainda não
atingiu a democracia em sua plenitude’,(...) somente os desembargadores, que
representam 17% dos magistrados de todo país, podem votar” (Diretas Já..., 2014).
Aliás, a abertura das eleições para todo o Judiciário “possibilitará uma melhor
qualificação do Poder Judiciário e a melhoria da nossa prestação jurisdicional”
(Santos e Romão, 2014), publicava no site da Ordem dos Advogados do Brasil
(OAB), regional do Ceará, um magistrado de segundo grau do Tribunal de Justiça
do Estado do Ceará (TJCE) em favor à causa. Segundo Santos e Romão (2014):
“diversos tribunais brasileiros abandonam a primeira instância, conferindo boas
condições de trabalho apenas ao segundo grau; e isso nada mais é do que um
reflexo do processo eleitoral para a administração da corte”, por isso, “mediante
uma eleição direta, os juízes monocráticos terão como cobrar dos desembargadores
eleitos, exigindo uma gestão voltada ao primeiro grau” (op. cit.). Não é somente
uma causa da magistratura, “a eleição direta revela uma forma de inserir a gestão
democrática no âmbito do Poder Judiciário, porque a democracia possibilita uma
direção comprometida com os anseios dos jurisdicionados e com os resultados
almejados pela instituição” (op. cit.). Sendo assim, o magistrado faz a seguinte afir-
mação: “Ninguém melhor do que o julgador de primeiro grau para diagnosticar as
necessidades da comarca destinatária de seu labor, em virtude de sua aproximação
das partes e dos advogados” (op. cit.).
A questão é que
não se trata apenas de democratizar a estrutura administrativa do Poder Judiciário,
mas, principalmente, de permitir a escolha daquele magistrado que, para a maioria
dos membros da magistratura, se apresente o melhor gestor, o melhor administra-
dor da coisa pública, (...) enquanto o processo de escolha dos cargos de direção
estiver estrito ao colégio eleitoral formado por magistrados que integram a segunda
instância, ficará a administração da primeira instância relegada à vontade particular
do magistrado eleito (...) pelos membros exclusivamente da segunda instância.
[Por isso] a partir do momento em que o processo de escolha tiver de passar também
pela manifestação de vontade dos magistrados de primeira instância, passará a haver,
em princípio, uma tendência de se fazer uma administração voltada também para a
primeira instância (AMB, 2014, p. 2).
“Afinal, não é crível que apenas 17% da magistratura seja admitida a definir
os destinos do Poder Judiciário” (AMB, 2014, p. 9), reivindicava o presidente da
AMB, no pedido de providências ao CNJ, protocolado em 8 de abril de 2014,
como símbolo nacional da coalizão pelas Diretas Já nos tribunais brasileiros, solici-
tando que o conselho expedisse “recomendação a todos os tribunais de Justiça para
que estes alterem seus regimentos internos, visando ampliar o colégio de eleitores
de modo a alcançar todos os magistrados vinculados aos tribunais, no processo de
escolha dos presidentes e vice-presidentes” (op. cit., p. 10).
O movimento pelas eleições diretas nos tribunais invoca a velha relação que
há entre os princípios estatísticos e a democratização. Mais de 80% dos integrantes
do Poder Judiciário sem direito ao voto para a escolha da direção dos tribunais, que
é a porcentagem dos integrantes da magistratura nacional de primeira instância,
justifica a crítica de que não há democracia no Poder Judiciário, de que não há
um sistema de representação da maioria, de que a proporção vigente não significa
democracia. Somente 17% dos integrantes da magistratura e pertencentes a outro
grau de jurisdição com direito ao voto foi a representação proporcional usada
pelos atores para caracterizar o sistema de governo organizacional dos tribunais
como ditaduras, conforme indica o simbolismo da campanha Eu quero votar para
presidente. Diretas Já nos tribunais brasileiros.
E chegou o dia de votação pelo deferimento ou não do pedido de providências
submetido pela AMB, especificamente na 238a Sessão Ordinária do CNJ, ocorrida
em 28 de setembro de 2016. Apesar de, no pedido documentado, submetido em
2014, não haver a mobilização de estatísticas para embasar os argumentos pela
democratização dos tribunais estaduais, ela foi deixada para o momento crucial das
plenárias do conselho, que é a sustentação oral da parte interessada. Em defesa à
reivindicação, o juiz presidente da AMB, Ricardo Costa, lembra ao plenário que essa
luta vem do período pré-democratização do país, e acabou que a Constituição de
[19]88 não contemplou uma democratização plena dos três poderes da República
e ficou pendente o Judiciário. Nós fizemos esse pedido baseado na possibilidade de
o Conselho Nacional de Justiça, como gestor de políticas nacionais para o Poder
Judiciário, emitir uma recomendação, (...) é uma recomendação que nós estamos
propondo, no sentido de os tribunais progredirem nessa questão da participação
integral da magistratura na escolha das mesas diretivas (...). Eu gostaria de tratar aqui
desse tema sob a ótica da gestão do sistema de Justiça brasileiro: uma das maiores difi-
culdades que nós temos hoje, talvez o problema maior, talvez não, o maior problema
do sistema de Justiça brasileiro, é o congestionamento, são os serviços demorados
que o Poder Judiciário tem prestado para a sociedade brasileira. [N]esses dez anos de
CNJ, nós não conseguimos ainda avançar nesse aspecto, e entendemos que um passo
importante para avançarmos seria colocarmos esses mais de 80% dos membros do
Poder Judiciário como protagonistas da gestão do sistema de Justiça (CNJ, 2016a).
A correlação entre a não participação eleitoral dos quase 80% de integrantes
da magistratura do Judiciário brasileiro e os problemas do Judiciário era íntima,
na visão dos atores reivindicadores
são muito visíveis as dificuldades que nós temos para dar, para conceber uma política
nacional na base do sistema de Justiça, onde se recebe toda a demanda por justiça no
país (...) essas dificuldades (...) notadamente se dão em função das políticas vertica-
lizadas que são concebidas pelos tribunais. E isso se deve à forma que se constitui a
representação da Justiça brasileira (CNJ, 2016a).
Essa correlação construída pelos atores expõe a crise de representação de gestão

administrativa existente nos tribunais brasileiros. Ainda na visão do magistrado
presidente da AMB, “avançamos muito em relação a isso, mas em muitos tribunais
ainda praticamos o critério de antiguidade. Então, o gestor, hoje, ele espera a sua
vez, ele não se compromete com um projeto, (...) e ele não presta contas depois que
sai” (CNJ, 2016a). Neste excerto, há outra denúncia do sistema de constituição
das cúpulas administrativas – e de representação – nos tribunais, que é a existência
ainda da regra da antiguidade dos candidatos que concorrem à presidência. Por
motivos dessa estruturação eleitoral, o presidente da AMB denuncia, “os membros
do Poder não sabem o que vai ser executado, os compromissos que têm, (...) já se
constata aí um problema de legitimação e um problema sério na representação,
que é algo caro na democracia. Isso, no âmbito da gestão, tem reflexos bastante
evidentes” (op. cit.). Se “trata de valorizar aquele setor [em] que entra toda a de-
manda por justiça e [em] que quase, muito mais que a metade,uase que 90% dos
litígios estão na base do sistema de Justiça, e essa base encontra-se precarizada em
face da forma que vêm sendo geridos os tribunais” (op. cit.), sustenta.
Há outra dimensão de representação construída pelos atores quando reivin-
dicam a valorização via direito ao voto àquele setor em que entra toda a demanda
por justiça: não representar a magistratura de base é não representar também o
jurisdicionado, a sociedade. Essa não representatividade é sustentada, na visão dos
atores, pela proporção das condições estruturais de trabalho entre as instâncias,
dimensão centralmente trazida em sustentação oral pelo presidente da Ajufe, juiz
Roberto Carvalho Veloso, em apoio à AMB:
O tema abordado hoje é de extrema importância para a magistratura. Ele é de extrema
importância para a magistratura porque nós, magistrados de primeiro grau, estamos,
em sua grande maioria, para que eu não generalize, alijados das decisões das cortes às
quais pertencemos. (...) Há, de fato, no Brasil, um descompasso entre a magistratura
de primeiro grau e a magistratura de segundo grau. Enquanto os gabinetes dos juízes
de primeiro grau possuem, no máximo, dois assessores, os gabinetes dos desembar-
gadores estão com, no mínimo, dezoito assessores (...). Há situações de tribunais no
Brasil que, apesar de possuírem apenas 4% dos processos em tramitação no estado,
possuem 26% dos servidores alocados no Judiciário estadual. Isso é uma situação
que nós sabemos que ela se reflete, diretamente, na questão da democratização, [e o]
Judiciário (...) não pode ficar imune, infenso, à atividade democrática; e a atividade
democrática, ela passa justamente pela participação de juízes do primeiro grau nas
decisões dos tribunais (CNJ, 2016a).
Em comparação à maneira como se desenvolve o sistema de participação
nos outros poderes, enfatiza o magistrado, presidente da Ajufe, Roberto Carvalho
Veloso, na sua sustentação oral,
até mesmo o Executivo, os executivos, principalmente os executivos municipais,

que são eleitos pelo voto direto do povo, hoje, adotaram a medida do orçamento
participativo, no qual a população é ouvida antecipadamente (...). Por que que nós
não podemos fazer isso também no Judiciário? E o caminho é a participação dos
magistrados do primeiro grau na eleição da mesa diretora (CNJ, 2016a).
Outro aspecto que chama atenção é a estratégia dos atores na invocação de um
sistema de termos que ajudam no enquadramento do significado da proporciona-
lidade de litígios e da quantidade de magistrados na composição das instâncias, a
fim de dar força retórica à reivindicação pelo voto. Termos mobilizados, como base
do sistema, porta de entrada, população, Diretas Já, representação, participação e
manifestação da vontade [popular], aproximaram a magistratura de primeiro grau
como sendo comparada ao povo, à sociedade, ao eleitor – um movimento estata-
tivista que propunha o significado de primeira instância como não sendo a mais
inferior, e, sim, a mais crucial para o sistema de Justiça, significado que ganhou
grande repercussão na construção da Política Nacional de Atenção Prioritária ao
Primeiro Grau de Jurisdição do CNJ.
3.3 Episódio 3: “basta dizer, não vou me alongar em números, que 90% dos
processos no brasil estão no primeiro grau de jurisdição” (CNJ, 2013b):
A Política Nacional de Atenção Prioritária ao Primeiro Grau de Jurisdição
A luta continuava mesmo tendo o plenário do CNJ indeferido o pedido da AMB
pela expedição de recomendação aos tribunais da inclusão da magistratura de
primeira instância no processo eleitoral. Em tempos de projeção do que ficaria
conhecido como o ápice do movimento das associações pela democratização das
estruturas administrativas do Poder Judiciário, de dentro do CNJ também nascia
outra mobilização em torno da causa, na construção de uma política pública
institucional judiciária que tentaria mudar os rumos do significado da Justiça de
primeira instância na estrutura organizacional do sistema de Justiça:
Ontem também recebemos, com muita alegria, a constituição desse grupo de tra-
balho, (...) algo inovador por parte do ministro Joaquim Barbosa, de um grupo
para apresentar a ele, ao Conselho Nacional de Justiça, (...) propostas que venham
a consolidar e a concretizar uma futura, mas já lançada, política de priorização do
primeiro grau de jurisdição (CNJ, 2013b).
Esse foi um anúncio entusiasmado, na Reunião Preparatória para o VII
Encontro Nacional do Poder Judiciário, do conselheiro representante da magistratura
de primeiro grau da Justiça do Trabalho, o juiz Rubens Curado Silveira, um dos
atores centrais na idealização dessa política e coordenador do grupo de trabalho
instituído pela Portaria CNJ no 155, de 6 de setembro de 2013 (CNJ, 2013a).
“E o que fez o Conselho Nacional, em especial o presidente, propor esse grupo
de trabalho, em uma sinalização de uma política permanente nacional voltada à
priorização de primeiro grau de jurisdição, foram os dados extraídos de todo esse

trabalho de gestão estratégica” (CNJ, 2013b), justificava ainda o conselheiro.
Os dados extraídos eram referentes aos publicados no relatório Justiça em
Números, cujas estatísticas sistematizam os resultados comparativos das demandas
processuais, orçamentária e de pessoal entre o primeiro e o segundo graus de jurisdi-
ção de cada segmento da Justiça pelo CNJ. Os índices e os indicadores do relatório
foram a fonte de evidência institucional central para embasar todo o argumento em
favor da necessidade de centralizar o tema das condições estruturais da Justiça de
primeira instância, como sendo prioritárias nas políticas de modernização do Poder
Judiciário; em especial, um indicador que, na visão dos reivindicadores, traduzia
estatisticamente a morosidade na prestação jurisdicional e a proporção da demanda
processual às instâncias, ao mesmo tempo que representava as dificuldades estru-
turais enfrentadas pela Justiça de primeira instância (a taxa de congestionamento):
Basta dizer, não vou me alongar em números, que 90% dos processos do Brasil
estão no primeiro grau de jurisdição (...). Um diagnóstico que embasa todo esse
nosso trabalho, e que salta aos nossos olhos, na verdade, e que é do conhecimento
de todos nós, [é que o] (...) grande gargalo do Judiciário está no primeiro grau de
jurisdição (...). Dos 89 milhões de processos que tramitaram em 2011, é o último
dado oficial do [relatório] Justiça em Números, quase 80,79 milhões estão no primeiro
grau de jurisdição. (...) E nós conhecemos, todos nós conhecemos o primeiro grau de
jurisdição, e sabemos das dificuldades enfrentadas (...), que também são retratadas
na taxa de congestionamento, que é mais de 50%, em média nacional, [que a de]
segundo grau (CNJ, 2013b).
Em 2013, na portaria que instituía o grupo de trabalho, a presidência do CNJ,
no uso de suas atribuições, já dava o tom estatístico que legitimava a interpretação
dessa espécie de cadeia causal estatística da morosidade da Justiça para justificar a
necessidade de criação desse grupo, a fim de pensar a política de priorização
de acordo com os dados do relatório Justiça em Números, 90% dos processos em
tramitação do Judiciário estão nas unidades de primeiro grau, ensejando taxa de
congestionamento média de 73%, 23 pontos percentuais acima da taxa existente
no segundo grau, e causa principal da morosidade sistêmica atual; [além disso,] os
dados desse mesmo relatório apontam, via de regra, uma inadequada distribuição de
servidores entre o primeiro e segundo graus de jurisdição, desproporcional à demanda
de processos (CNJ, 2013a).
Sob tais justificativas estatísticas, o grupo criado tinha a responsabilidade de
“elaborar estudos e apresentar propostas (...) com vistas à implementação de política
nacional voltada à priorização do primeiro grau de jurisdição nos tribunais brasi-
leiros”, em especial “com vistas a identificar os principais problemas enfrentados
pelos tribunais brasileiros” (CNJ, 2013a).
Nesse episódio mais amadurecido da reivindicação da magistratura de primeiro

grau, em que já se trazia para as ações do CNJ uma política nacional específica de
priorização, a taxa de congestionamento processual ligada a outras estatísticas que
evidenciavam a proporção desigual das condições estruturais entre as instâncias,
como a proporção de servidores existente entre elas, foi central na mobilização de
evidências pelos atores reivindicadores para reafirmar, em diagnósticos registrados
em documentos oficiais, como relatórios técnicos, que, na visão da instituição res-
ponsável pela coordenação das políticas de modernização do Poder Judiciário, havia
algo errado na gestão dos recursos nos tribunais: “[O] primeiro grau de jurisdição
é o segmento mais sobrecarregado do Poder Judiciário e, por conseguinte, aquele
que presta serviços judiciários mais aquém da qualidade desejada” (CNJ, 2013c,
p. 5), concluía o relatório publicado em dezembro de 2013, constando os estudos
e as propostas realizados pelo grupo de trabalho, que contou, entre outros atores
institucionais, com o apoio técnico do DPJ. Mas não era uma crítica ao primeiro
grau, era a defesa de causas antigas:
De acordo com o relatório Justiça em Números 2013, dos 92,2 milhões de processos
que tramitaram no Judiciário brasileiro no ano de 2012, 82,9 milhões encontravam-
-se no primeiro grau (...). Os dados também revelam que o primeiro grau baixou
23,1 milhões de processos, a demonstrar que sua capacidade produtiva anual é de
apenas 28% da demanda (casos novos mais acervo) imposta à sua apreciação (...).
Por conseguinte, a taxa de congestionamento do primeiro grau é de 72%, 26 pontos
percentuais acima da taxa do segundo grau, de 46% (CNJ, 2013c, p. 5).
No relatório, uma conclusão: a produtividade da primeira instância estava
comprometida. As propostas de solução traduzidas em minutas de resolução no
referido relatório foram intituladas pelo grupo de trabalho como sendo propostas
da Política Nacional de Atenção Prioritária ao Primeiro Grau de Jurisdição. Na
política, linhas de atuação eram propostas, eram as que representavam antigos
anseios e reivindicações da magistratura de primeiro grau quase que em fórmulas,
entre as quais: i) equalização da força de trabalho entre o primeiro e o segundo
graus, proporcionalmente à demanda de processos; ii) adequação orçamentária ao
desenvolvimento das atividades judiciárias da primeira instância; iii) infraestrutura
e tecnologia; iv) governança colaborativa, favorecendo a democracia interna; e v)
diálogo social e institucional (CNJ, 2013c).
Entre as propostas de resolução que constavam no relatório, previu-se empo-
derar a magistratura e os serventuários de primeira instância do país para gerirem
a política, na instituição da Rede de Priorização do Primeiro Grau: “os tribunais
indicarão à presidência do CNJ, no prazo de trinta dias, dois magistrados de
primeiro grau para atuarem como gestores regionais da política no âmbito de sua
atuação” (CNJ, 2013c, p. 22). Era a proposta de um sistema de representação e de
participação que tentava diluir o sistema majoritário da magistratura de segunda
instância na tomada de decisão sobre os recursos dos tribunais e os parâmetros

desiguais alocativos desses recursos. Para buscar garantir novos caminhos de alo-
cação dos recursos, duas outras diretrizes eram especificamente o centro de outra
minuta de resolução proposta pelo grupo de trabalho no âmbito da política: “A
má distribuição dos recursos disponíveis nos tribunais, notadamente entre as uni-
dades de primeiro e segundo graus, configura-se como uma das principais causas
do desempenho insuficiente da primeira instância” (op. cit., p. 25), diagnosticava
o grupo de trabalho. Era a grande oportunidade para a magistratura de base na
institucionalização pela busca de igualdade nas condições de trabalho entre as
instâncias: “Com efeito, o grupo de trabalho apresenta proposta de edição de ato
normativo para disciplinar a distribuição equânime de orçamento, servidores, cargos
em comissão e funções comissionadas entre primeiro e segundo graus de jurisdição,
a prestigiar os princípios da eficiência e da proporcionalidade” (op. cit., p. 25); e
para, além disso, “fortalecer a independência e a autonomia dos magistrados de
primeiro grau” (op. cit., p. 25).
Os anseios pela democratização das estruturas administrativas dos tribunais
foram corporificados pelos atores nas fórmulas estatísticas, que operacionalizavam a
equalização entre as instâncias. A proposta de resolução disciplinava sobre “identi-
ficação e distribuição proporcional do orçamento entre o primeiro e segundo graus,
(...) participação efetiva de magistrados e servidores no planejamento e na execução
do orçamento, [e] aperfeiçoamento da qualidade da execução orçamentária” (CNJ,
2013c, p. 26). Especificamente, a proposta estabelecia a aplicação de “parâmetros
objetivos [na] distribuição [e movimentação] da força de trabalho, vinculados à
demanda de processos, com garantia de estrutura mínima das unidades da área-fim”
(op. cit., p. 28); ou seja, a construção de parâmetros distributivos estava em fun-
ção da carga de trabalho, função que favoreceria a instância mais sobrecarregada.
O projeto de parametrização estatística dos atores direcionava-se para a democra-
tização das estruturas administrativas. Essa proposta de resolução, para disciplinar
sobre a matéria, mobilizava ainda outras estatísticas usadas no relatório Justiça em
Números, com a finalidade de parametrização e distribuição, entre as quais:
• o IPS, “obtido a partir da divisão do total de processos baixados no ano
anterior pelo número de servidores”;
• o Índice de Produtividade Aplicado à Atividade de Execução de Mandados
(Ipex), “obtido a partir da divisão do total de mandados cumpridos no ano
anterior pelo número de servidores da área de execução de mandados”;
• a taxa de congestionamento, “indicador que [mensura] o percentual de
processos que tramitaram durante um determinado período-base (casos
novos mais casos pendentes), mas que não foram baixados”; e
• o quartil, “medida estatística que divide o conjunto ordenado de dados

em quatro partes iguais, em que cada parte representa 25%” (CNJ,
2013c, p. 30).
As representações estatísticas que propunham a formulação da operacionaliza-
ção da equidade distributiva da força de trabalho estavam em torno da proporção
de casos novos que entram nas instâncias (quadro 2).
QUADRO 2
Fórmulas de operacionalização da distribuição equitativa da força de trabalho
proporcional ao tamanho processual entre primeiro e segundo grau
Fórmula: proporção para o primeiro grau Fórmula: proporção para o segundo grau
Aplicando-se os percentuais obtidos na formulação anterior para o total de servidores das

áreas de apoio direto à atividade judicante, tem-se:
Fórmula: total de servidores das áreas de apoio direto à Fórmula: total de servidores das áreas de apoio direto à
atividade judicante no primeiro grau atividade judicante no segundo grau
Glossário
CN1o – casos novos no primeiro grau: indica o total de casos

novos na primeira instância durante o ano-base. Considera-se a
soma dos processos de conhecimento e execução. Média de casos novos da primeira instância no último triênio.
CN2o – casos novos no segundo grau: indica o total de casos

novos no segundo grau durante o ano-base.
Média de casos novos de segundo grau no último triênio.
SaJud – total de servidores das áreas de apoio direto à atividade judicante: indica o total de servidores lotados nas áreas de apoio
direto à atividade judicante em efetiva atividade ao final do ano-base, abrangendo os servidores efetivos – exceto cedidos –,
requisitados e comissionados sem vínculo. Considera-se, ainda, a soma do primeiro e segundo graus.
Fonte: CNJ (2013c).
Esse episódio em torno da construção de uma política institucional que

busque tornar prioritárias as demandas do primeiro grau mostra que o estatativis-
mo como repertório de ação de movimentos institucionais não se limita à ação de
mobilizar estatísticas como instrumentos de reivindicação ou de afirmação, os atores
reivindicadores também criam campos institucionais para dar voz a uma coalizão
discursiva, com o propósito de legitimar o argumento de que os parâmetros da
operosidade estatística proposta representam uma cadeia de atores. Essa prática foi
proposta e realizada pelo grupo de trabalho, e, por sua solicitação, a presidência do
CNJ convocou a primeira audiência pública do conselho, ocorrida em fevereiro de
2014, com vistas a ouvir os atores interessados no tema para tecer opiniões sobre
as propostas normativas, além de colher contribuições em torno da eficiência do
primeiro grau de jurisdição e aperfeiçoamento legislativo voltado ao Poder Judiciário,
tema da audiência (CNJ, 2014a). A criação desse campo institucional motivado em

torno da proposta de uma política prioritária convocava muitas causas em torno
de uma (a da magistratura de primeira instância). As formulações estatísticas em
torno da equidade estavam situadas em discursos mais amplos, os representativos
da sociedade, convocados para dar força à agenda proposta: a democratização das
estruturas dos tribunais, conforme profere o ministro Joaquim Barbosa, dando
início aos trabalhos:
A audiência pública que ora se inicia carrega importantes simbolismos. É simbólica
porque é a primeira audiência pública da história do Conselho Nacional de Justiça, a
primeira oportunidade em que o CNJ, por dois dias, suspende parte da sua atuação
para ouvir a sociedade para ser representada pelos principais atores do sistema de
Justiça, na certeza de que o diálogo social e interinstitucional oxigena as instituições e
alimenta a democracia. É simbólica, ainda, porque coloca temas da maior relevância
para a Justiça e para a sociedade brasileira. Nesses dois dias de audiência, ouviremos
representantes de destacadas instituições públicas e privadas que atenderam ao cha-
mado do CNJ para se pronunciarem sobre os temas em debate: (...) magistrados,
membros do Ministério Público, defensores públicos, advogados públicos e privados,
servidores e representantes da academia (...). A eficiência do primeiro grau não é um
desejo, não é um sonho, é uma obrigação (CNJ, 2014b).
Dando voz aos convidados, vozes sustentadas em anseios e estudos técnicos,
as propostas paramétricas deram identidade aos discursos. Conforme discursa o
então presidente da AMB, o juiz Ricardo Costa, centralizando a reivindicação de
adequação dos recursos dos tribunais conforme a demanda processual recebida
pelas instâncias:
É (...) um momento de grande oportunidade, uma grande oportunidade de inau-
gurarmos um discurso diferenciado, de adequarmos o nosso Poder Judiciário à
demanda de justiça do nosso tempo. (...) [C]omo já dito aqui, toda a demanda de
justiça que há no país entra pelo primeiro grau. É lá que o juiz é visto pela sociedade.
É o fórum do interior. É o fórum da capital. É o Judiciário que é mais frequentado
pela população (CNJ, 2014b).
A presidente da Associação dos Servidores do Poder Judiciário da Bahia, em
apoio à política, sinaliza a ausência de participação nos tribunais: “(...) estou ma-
ravilhada com esta audiência, pois servidores da Justiça terão direito a falar sobre
seus problemas em seus estados” (CNJ, 2014b). O secretário-geral da Federação
Nacional dos Servidores do Judiciário nos Estados, Volnei Rosalem, em apoio,
discursa e lembra que o “primeiro grau” é muito mais amplo que um corpo de
magistrados; é “um balcão”, é o “mundo real do Judiciário”, constituído de muitos
servidores, os quais também dão voz aos usuários da Justiça: “É no primeiro grau
que a população se aproxima do balcão e toma contato com o Judiciário como
serviço público. Também [é] no primeiro grau [que] o processo ainda se encontra
ligado ao mundo real e às necessidades reais” (CNJ, 2014b).
Colhidas as contribuições e os protestos, a Resolução no 194, de 26 de maio

de 2014, normatiza sobre a instituição da Política Nacional de Atenção Prioritária
ao Primeiro Grau de Jurisdição. Mas somente em 2016 a polêmica Resolução
no 219, de 26 de abril, que versa sobre a distribuição e a movimentação propor-
cional da força de trabalho, foi aprovada pelo CNJ (CNJ, 2016b). Desde então,
tais são estas resoluções que vêm embasando lutas e estratégias institucionais por
mais igualdade entre as instâncias do sistema de Justiça.
[A]qui eu sou tentado a invocar o poeta e dramaturgo Bertolt Brecht, que diz o se-
guinte: “que tempos são esses em que precisamos defender o óbvio?”. Toda vez que
eu vou falar desse assunto, eu invoco o Brecht (...): parece tão natural que tenha
que existir a priorização do primeiro grau de jurisdição, que parece até um contras-
senso nós estarmos tratando disso como uma política pública institucional e termos,
principalmente, que explicar o que significa isso! (STM, 2016).
Essa foi a fala do então conselheiro do CNJ e juiz da primeira instância da
Justiça do Trabalho, Carlos Eduardo Oliveira Dias, em seus primeiros momentos
de palestra na Escola de Formação da Justiça Militar, intitulada Efetivo Significado
e Sentido da Priorização do Primeiro Grau de Jurisdição, em novembro de 2016.
Era o óbvio porque as estatísticas mostravam isso, segundo Carlos Eduardo Oliveira
Dias, no decorrer da sua palestra. Mas a declaração do magistrado conselheiro era
também a ressonância temporal de um movimento de burocracia do significado
construído para aquelas estatísticas – o novo olhar à primeira instância: “melhorar
o judiciário = melhorar o primeiro grau” (CNJ, 2015), já difundia o conselheiro
Rubens Curado em sua apresentação na 1a Reunião da Rede de Priorização do
Primeiro Grau, em 2014.
Inspirado pela existência de uma ação peculiar no repertório de batalha no
campo dos movimentos sociais, que é a mobilização de estatísticas, e pelo fato de
que a burocracia estatal também se mobiliza para defender causas internas que
lhes são caras, o objetivo desta investigação foi mostrar como as estatísticas foram
centrais para embasar uma onda de movimentos intramagistratura contra as desi-
gualdades historicamente existente entre as instâncias. Especialmente, as práticas
de mobilização estatística (construção de sistemas de significados com os elementos
da ecologia estatística, como princípios, técnicas, fórmulas, entre outras dimensões,
para embasar, justificar e representar causas políticas) nos ajudaram a compreen-
der esta centralidade em diferentes episódios, que marcaram os movimentos pela
democratização das estruturas administrativas dos tribunais.
No primeiro episódio apresentado (subseção 3.1), a busca por merecimento
àquele que mais trabalha – ou seja, por novos critérios de avaliação para fins de
movimentação na carreira da magistratura de primeiro grau ao segundo grau –, a
reivindicação estava em torno da exigência de voto aberto e fundamentada nos pro-

cessos de promoção por merecimento. Nesse episódio, as estatísticas foram centrais
para evitar que, segundo os reivindicadores, os critérios subjetivos prevalecessem
sobre os objetivos e ajudassem a tornar os processos de promoção mais transparentes.
A objetivação de critérios sob reivindicações pela prática da parametrização, valoração
e operosidade quantificada era o único meio de representação válido da realidade,
inclusive para fins de diluir a autonomia de atores mais poderosos, estabelecendo os
fundamentos de sua convicção, que, sob outro tipo de operosidade, não seria possível.
Sob uma manifestação diferente, os princípios estatísticos foram igualmente
centrais para a construção de significados em torno do que ficou conhecido como
Movimento Eleições Diretas nos Tribunais Brasileiros. O segundo episódio (subseção
3.2) versou acerca das causas da magistratura de primeira instância pela democra-
tização das estruturas dos tribunais, movimento que marcou a luta institucional
nacional das associações da magistratura pelo direito de voto à magistratura-base
na escolha de presidentes e vice-presidentes das cortes. Neste segundo episódio
analisado, a proporcionalidade quantitativa de magistrados com direito ao voto
foi a prática estatística mobilizada para criticar que somente 17% de eleitores vá-
lidos para a escolha da direção dos tribunais caracterizava o sistema judicial como
ditatura não representativa da maioria dos componentes da magistratura, que são
mais de 80%. Nesse movimento pelas Diretas Já, foi invocada a velha relação que
há entre os princípios estatísticos e a democratização. Além disso, a partir dessa
proporção, os atores construíram a justificativa de que há uma relação íntima entre
a não participação eleitoral da maioria da magistratura e a existência de problemas
no Poder Judiciário, em especial porque, igualmente, a maior proporção de litígios
está na primeira instância, os verdadeiros representantes dos anseios da sociedade,
conforme se autodefinem. Aqui, há um exemplo em que, ao mesmo tempo, as
estatísticas são mobilizadas para criticar e representar a realidade vivida pelos atores.
Por fim, o terceiro episódio (subseção 3.3) trazido para este debate é marcado
pela construção de uma política institucional de priorização da primeira instân-
cia em torno da distribuição equitativa dos recursos orçamentários e de pessoal.
Nesse episódio, as estatísticas foram centrais na busca pelas melhorias de condições
de trabalho do primeiro grau, mobilizadas para tornar a movimentação de for-
ça de trabalho e de orçamento proporcional à litigiosidade entre as instâncias.
A construção de fórmulas estatísticas que tornavam as magistraturas-base divisões
dos recursos em função de casos novos que ingressam no primeiro e no segundo
grau foi a prática central de mobilização de estatísticas neste caso. Além disso,
para reafirmar a importância do projeto estatístico de alocação distributiva dos
recursos dos tribunais em função da proporção da litigiosidade, a criação de um
campo institucional para convocar a visão e a contribuição de diversos atores para
tornar o projeto representativo e legítimo por meio de uma cadeia de atores, que
foi a ocorrência de uma audiência pioneira sobre o tema, buscou institucionalizar

os novos olhares e significados à primeira instância.
A reflexão apresentada e os casos exemplificados nos questionam sobre o
poder das estatísticas na interpretação da realidade, em que a quantificação está
longe de exercer somente o papel controverso de congelar e representar friamente
os indivíduos e as relações sociais. As estatísticas são instrumentos de interpretação
e leitura da realidade, de batalha e lutas pelos argumentos que suportam, de crí-
ticas e questionamentos pelos resultados obtidos, de reafirmação e de construção
de novos olhares a atores que são desfavorecidos no jogo político. E não somente
instrumentos aos repertórios de ação dos movimentos sociais. Nos episódios de
luta intramagistratura no Brasil, foi possível identificar que princípios, técnicas
e representações estatísticas e da quantificação são centrais para a construção de
significados que simbolizem e embasem a justificação de protestos intraburocracia
contra as desigualdades que as estruturam. Igualmente, observou-se que as estatís-
ticas são centrais para mudança e criação de políticas institucionais que, de certo
modo, ajudem a diluir tais desigualdades.
Por fim, neste capítulo, ousamos identificar que a recorrência central aos
princípios, aos instrumentos e às representações estatísticas e da quantificação
em episódios de contenção em temas de desigualdades intraburocracia pode ser
pensada como uma forma de estatativismo institucional – ou seja, uma ação cria-
tiva de atores institucionais denunciando com as estatísticas a própria estrutura
organizacional na qual atuam. Um conceito que compartilha com – e convida
para – uma agenda de debates sobre a heterogeneidade da burocracia estatal, bem
como sobre suas lutas, suas causas e suas desigualdades.
REFERÊNCIAS
ABERS, R. N. Bureaucratic activism: pursuing environmentalism inside the
Brazilian state. Latin American Politics and Society, v. 61, n. 2, p. 21-44, 2017.
AMB – ASSOCIAÇÃO DOS MAGISTRADOS BRASILEIROS. 1a Pesquisa
sobre as Condições de Trabalho dos Juízes. Brasília: MCI Estratégia, jan. 2009.
Apresentação em PowerPoint. 55 slides. Disponível em: <https://bit.ly/2ZsQJsY>.
______. CNJ aprova Resolução no 106 e estabelece critérios objetivos para
promoção de juízes. Brasília: AMB, abr. 2010.
______. Pedido de Providências no 1386908. Brasília, 18 abr. 2014. Disponível
em: <https://bit.ly/317CBpF>.
BOURDIEU, P. Sobre o Estado, cursos no Collège de France (1989‑92). 1.
ed. Tradução de Rosa Freire d’Aguiar. São Paulo: Companhia das Letras, 2014.
BRUNO, I.; DIDIER, E.; VITALE, T. Statactivism: forms of action between dis-
closure and affirmation. Partecipazione e Conflitto, v. 7, n. 2, p. 198-2020, 2014.
CARDOSO, R. Amapar solicita ingresso como interessada em pedido de provi-
dências no CNJ que trata das eleições diretas nos tribunais. Amapar Notícias, jul.
2014. Disponível em: <https://bit.ly/3a5xWpn>.
CNJ – CONSELHO NACIONAL DE JUSTIÇA. Resolução no 6, de 13 de
setembro de 2005. Dispõe sobre a aferição do merecimento para promoção de
magistrados e acesso aos Tribunais de segundo grau. Diário da Justiça Eletrônico
(DJe),Brasília, 16 set. 2005. Disponível em: <https://bit.ly/3D7uWFs>.
______. Palestra do ministro Gilson Dipp à Corregedoria Nacional de Justiça
na Gestão Estratégica. In: ENCONTRO NACIONAL DO JUDICIÁRIO, 2.
Parte 2 de 3. YouTube, 16 fev. 2008a.
______. Palestra do ministro Gilmar Mendes. Planejamento estratégico no
Judiciário. In: ENCONTRO NACIONAL DO JUDICIÁRIO, 2. Parte 1 de 2.
YouTube, 16 fev. 2008b.
______. Resolução no 106, de 6 de abril de 2010. Dispõe sobre os critérios ob-
jetivos para aferição do merecimento para promoção de magistrados e acesso aos
tribunais de segundo grau. Diário da Justiça Eletrônico (DJe), Brasília, 6 abr.
2010. Disponível em: <https://bit.ly/3uIOn4H>.
______. Portaria no 155, de 6 de setembro de 2013. Designa grupo de trabalho
para elaborar estudos e formular propostas para a implementação de Política
Nacional voltada à priorização do primeiro grau de jurisdição dos tribunais brasi-
leiros. Diário da Justiça Eletrônico (DJe), Brasília, 6 set.2013a. Disponível em:
<https://bit.ly/2Yjj30E>.
______. 1a Exposição da Mesa de Abertura da Reunião. Brasília: CNJ, 27 set.
2013b. Arquivo de vídeo.
______. Grupo de trabalho (Portaria no 155/2013). Política Nacional de Prio-
rização do Primeiro Grau de Jurisdição. Relatório final. Brasília: CNJ, dez. 2013c.
Disponível em: <https://bit.ly/3iyHDRV>.
______. Resolução no 194, de 26 de maio de 2014. Institui a Política Nacional
de Atenção Prioritária ao Primeiro Grau de Jurisdição e dá outras providências.
Diário da Justiça Eletrônico (DJe), Brasília,26 maio 2014a. Disponível em:
<https://bit.ly/3uIvpuN>.
______. 1a Audiência Pública sobre Eficiência do Primeiro Grau de Jurisdição.
Primeiro dia completo. Brasília: CNJ, 17 fev. 2014b. Arquivo de vídeo.
______. A Política de Atenção ao Primeiro Grau: priorização do primeiro grau

da Justiça, nossa meta é você. 1a Reunião da Rede de Priorização do Primeiro Grau.
Apresentação em PowerPoint. 66 slides. Brasília: CNJ, 5 maio 2015. Disponível
em: <https://bit.ly/3mgNiOI>.
______. 238a Sessão Ordinária do CNJ: sustentação oral do juiz Ricardo Costa,
28 set.2016a. YouTube. Disponível em: <https://bit.ly/3nujtcV>. Acesso em: 2
out. 2020.
______. Resolução no 219, de 26 de abril de 2016. Dispõe sobre a distribuição
de servidores, de cargos em comissão e de cargos de confiança nos órgãos do Po-
der Judiciário de primeiro e segundo graus e dá outras providências. Diário da
Justiça Eletrônico (DJe), Brasília, 26 abr. 2016b. Disponível em: <https://bit.
ly/3mstMO6>.
CNJ ACOLHE requerimento da AMB sobre promoção de juízes. Migalhas, 31
ago. 2005. Disponível em: <https://bit.ly/2ZZlKVx>.
CNJ ANALISA hoje critérios para promoção de juízes. Migalhas, 23 mar. 2010.
Disponível em: <https://bit.ly/3ixEC4r>.
DESROSIÈRES, A. Les crises économiques et les statistiques: de 1880 à 2010.
Paris Innovation Review, 30 août 2010. Disponível em: <https://bit.ly/3uGJz-
wH>. Acesso em: 20 mar. 2021.
DIAS, J. P. O mundo dos magistrados: a evolução da organização e do autogo-
verno judiciário. Coimbra: Almedina, 2004.
DIRETAS JÁ: associação de juízes de todo país pedem eleições diretas nos tribunais.
Revista Consultor Jurídico (ConJur), 1o abr. 2014. Disponível em: <https://bit.
ly/2YiMX5b>.
GAULÉJAC, V. La société malade de la gestion. Paris: Seuil, 2005.
HAGGERTY, K. D. The politics of statistics: variations on a theme. The Canadian
Journal of Sociology, v. 27, n. 1, p. 89-105, 2001.
KOGA, D. Medidas de cidades: entre territórios de vida e territórios vividos. São
Paulo: Cortez, 2003.
MAGALHÃES, A. Uma Justiça para o cidadão. Revista Algomais, n. 22, jan. 2008.
NASCIMENTO, M. I. B; ABERS, R. N. Sempre haverá o melhor e o pior: con-
trovérsias, criatividade e enquadramentos interpretativos em torno das estatísticas
de produtividade comparada dos atores e das organizações judiciárias no Brasil.
Boletim de Análise Político-Institucional , n. 24, p. 135-145, 2020.
ROY, A. L.; OFFREDI, C. La quantification au service de l’observation socialelocale:

à quelles conditions? Revue Française de Socio‑Économie, n. 7, p. 191-220, 2011.
SANTOS, R. N. S.; ROMÃO, P. F. Diretas Já, no Poder Judiciário: a democratização
da Justiça. OAB Ceará, 30 abr. 2014. Disponível em: <https://bit.ly/3Fjarrm>.
SILVEIRA, R. C. Valorização do primeiro grau é desafio para o CNJ. Consultor
Jurídico Notícias, 21 ago. 2015. Disponível em: <https://bit.ly/2ZXudIO>.
STF – SUPERIOR TRIBUNAL FEDERAL. Associações de juízes contestam
norma do CNJ que estabelece critérios para promoção por merecimento. JusBrasil
Notícias, dez. 2010. Disponível em: <https://bit.ly/3BdbSVQ>.
STM – SUPERIOR TRIBUNAL MILITAR. Efetivo significado e sentido da
priorização do primeiro grau de jurisdição. 17 nov. 2016.YouTube. Disponível
em: <https://bit.ly/3GBi2SS>.
AMB ENTREGA ao CNJ pesquisa sobre as condições de trabalho dos juízes.
Agência CNJ de Notícias, Brasília, 10 fev. 2009. Disponível em: <https://bit.
ly/3Aaj5EL>.
Seção IV
O Estado como Produtor de Evidências

CAPÍTULO 14
PRODUÇÃO ESTATAL DE EVIDÊNCIAS E USO DE REGISTROS

ADMINISTRATIVOS EM POLÍTICAS PÚBLICAS1
Janine Mello2
1 INTRODUÇÃO
O debate sobre o uso (ou não uso) de evidências para subsidiar a atuação governa-
mental, apesar de não constituir novidade enquanto prática voltada para a organiza-
ção e legitimação da ação do Estado, tem sido cada vez mais incorporado à literatura
do campo de políticas públicas. Nas últimas décadas, a defesa da necessidade de que
mais e melhores evidências sejam produzidas como instrumentos capazes de balizar
a produção3 de políticas públicas tem se intensificado. Em contrapartida, diferentes
autoras e autores têm chamado a atenção para os limites analíticos e conceituais
de noções restritas de evidências entendidas fundamentalmente como represen-
tações da verdade, a partir de pressupostos de racionalidade técnico-instrumental
presente no cerne do papel atribuído ao conhecimento científico na modernidade
(Parkhurst, 2017; Cairney, 2019; Nutley, Walter e Davies, 2007; Jasanoff, 2012).
De maneira concomitante, a produção de informações públicas e estatísticas
oficiais assumiu contornos de maior amplitude, escopo e complexidade. Aqui reside
também o caráter dual das interpretações sobre o fenômeno. Há tanto argumentos
centrados na potencialidade do uso desses dados visando ao aprimoramento das
intervenções estatais e, consequentemente, sobre as condições de bem-estar das
populações, quanto reflexões sobre os limites éticos atrelados ao uso dessas infor-
mações pelos governos (como questões de consentimento e privacidade), além
do papel efetivamente exercido por esses registros na configuração de elementos
que delimitam determinados temas ou problemas sociais, na definição de quais
parcelas da população serão ou não atendidas por políticas específicas, ou ainda
em avaliações sobre o desempenho de estratégias governamentais a partir de dados
físico-financeiros dos programas e políticas (Penner e Dodge, 2019; Poel, Meyer
e Schroeder, 2018; Silveira, 2017).
1. A autora agradece os comentários atentos e generosos feitos por Paulo Jannuzzi e Isabele Bachtold sobre este capítulo.
Eventuais erros e omissões são de inteira responsabilidade da autora.
das Instituições e da Democracia (Diest) do Ipea. E-mail: <janine.mello@ipea.gov.br>.
3. O uso do termo produção abarca as fases de formulação, implementação, monitoramento e avaliação de políticas públicas.
O diálogo mais óbvio entre os dois debates está centrado em como esses dados
são utilizados pelo Estado no planejamento de suas intervenções e em processos
mais amplos de produção de políticas públicas. Apesar de reconhecer a relevância
dessa dimensão de análise, a proposta deste texto é abordar a discussão de evidên-
cias a partir do papel assumido pelo Estado como produtor de evidências capazes de
balizar a atuação governamental sobre determinados temas/agendas/políticas, e não
apenas enquanto usuário de dados e informações que possam subsidiar sua atuação.
Reconhecendo a heterogeneidade4 que caracteriza os diferentes registros ad-
ministrativos existentes, suas diferentes origens, especificidades e principalmente
a função que assumem para as políticas públicas, figuram como objetivos deste
capítulo: i) mapear as principais fontes de dados, sob a forma de registros admi-
nistrativos, existentes no governo federal; ii) categorizar os diferentes registros
administrativos, conforme possíveis funções a serem desempenhadas; e iii) avaliar
sua articulação como potencial fonte de evidência para subsidiar políticas públicas.
Metodologicamente, a análise terá caráter exploratório e qualitativo e será apoiada
pela categorização dos casos selecionados em razão de suas especificidades e múl-
tiplos usos nas etapas das políticas públicas.
Serão mapeados registros administrativos sob a responsabilidade do governo
federal5 que atendam aos seguintes critérios:
• abrangência nacional;
• disponibilidade de dados para consulta;
• atuação do Executivo federal na gestão dos registros;
• grau de consolidação da base de dados (tempo de existência, caráter
oficial da base de dados, mecanismos de gestão da base, atualizações
periódicas, entre outros); e
• diversidade temática entre áreas governamentais.
Feito o mapeamento e a identificação das principais características dos casos
selecionados, as bases serão classificadas segundo seus usos e funções nas seguintes
categorias: i) subsídio para formulação de políticas públicas; ii) instrumento para
orientar a implementação; iii) mecanismo de acompanhamento e monitoramento
das ações; iv) apoio a ações de fiscalização e controle da execução físico-financeira;
e v) mecanismos de prestação de contas, transparência e controle social.
4. Apesar da multiplicidade de informações geradas pelo aparato estatal, optou-se por limitar a análise ao conjunto
de dados provenientes de registros administrativos gerenciados no âmbito federal, como, por exemplo: Cadastro Único
para Programas Sociais do Governo Federal (Cadastro Único); Departamento de Informática do Sistema Único de Saúde
(Datasus); Censo Escolar; Relação Anual de Informações Sociais (Rais) e Cadastro Geral de Empregados e Desempregados
(Caged); Sistema de Informações de Projetos de Reforma Agrária (Sipra); Declaração de Aptidão ao Programa Nacional
de Fortalecimento da Agricultura Familiar (DAP); entre outros.
5. O que não significa que os demais entes subnacionais não participem ou tenham funções específicas em processos
de cadastramento, atualização e qualificação de informações, entre outros.
Produção Estatal de Evidências e Uso de Registros Administrativos em Políticas Públicas | 459
Por último, serão analisados os registros administrativos e suas diferentes

formas de articulação com a produção de políticas públicas permitindo aprofundar
o entendimento sobre como essas informações são utilizadas enquanto evidências
pela esfera governamental federal.
Como resultado da análise, espera-se ampliar a compreensão sobre os papéis
exercidos pelos registros administrativos nas diferentes etapas de produção das po-
líticas públicas, suas potencialidades e limitações. Além disso, procura-se levantar
hipóteses e possíveis explicações para o uso e o não uso de informações dessa natureza
enquanto evidências úteis ao aprimorar o desenho, a execução e a entrega de servi-
ços essenciais para a melhoria das condições de bem-estar da população brasileira.
Tendo esses objetivos em vista, além desta introdução, o texto foi dividido em
mais quatro seções. A seção 2 é dedicada à discussão do conceito de evidências a
partir da problematização de noções apoiadas em pressupostos racional-positivistas
sobre o papel desempenhado pelas evidências nas políticas públicas. A seção 3 es-
tabelece os referenciais teóricos adotados para compreender as noções de Estado e
políticas públicas mobilizadas no texto e suas relações com a produção de evidências.
A seção 4 entra propriamente na discussão sobre os registros administrativos e seus
diferentes usos em políticas públicas, além de serem discutidos os resultados obtidos
a partir da categorização proposta. A seção 5 traz as considerações finais, retoman-
do os resultados e suas conexões com tópicos mencionados na discussão teórica.
2 NOTAS BREVES SOBRE O CONCEITO DE EVIDÊNCIA

Nas últimas décadas, a defesa da necessidade de que mais e melhores evidências
sejam produzidas como instrumentos capazes de orientar a produção de políticas
públicas tem se intensificado. No escopo dos debates sobre políticas públicas base-
adas em evidências (evidence-based policy), têm sido recorrentes estudos sobre como
instâncias governamentais fazem (ou deveriam fazer) uso de evidências – generi-
camente definidas como algo passível de comprovação científica – para subsidiar
ou aperfeiçoar sua atuação com relação às parcelas populacionais.
No entanto, diferentes autoras e autores têm problematizado elementos cen-
trais desse debate como a própria noção do que constitui evidência e a necessidade
de compreender de que maneira a dimensão política perpassa a adoção ou não de
conjuntos de evidências como orientadores da ação governamental. São incorpo-
radas à discussão questões acerca de como valores, pressupostos, visões de mundo
e interesses exercem efeitos sobre a definição do que constitui ou não subsídio
válido para a ação pública e estratégias de uso dessas informações.
O entendimento do que constitui uma evidência é polissêmico e multiface-
tado e neste trabalho será assumida como premissa uma compreensão ampliada
sobre evidências em políticas públicas a partir das discussões travadas em trabalhos
como Pinheiro (2019), Nutley, Walter e Davies (2007), Oliver, Lorenc e Innvær
(2014), entre outros. De forma geral, estes estudos abordam as evidências como
uma entre várias fontes informacionais mobilizadas para subsidiar processos de
tomada de decisão apontando a necessidade de um alargamento conceitual do que
poderia ser entendido como evidência válida no âmbito do debate de produção de
políticas públicas. Além disso, o caráter contingencial e inacabado das evidências
assume posição explicativa central como chave para compreender a relação entre
as configurações de poder, interesses, visões de mundo e valores compartilhados
em um determinado tempo sócio-histórico e processos de produção e significação
do que é classificado como evidência.
A partir dessa perspectiva, evidências podem ser entendidas como dados gerados
no âmbito de pesquisas científicas realizadas por universidades e institutos de pesquisa,
assim como podem resultar de avaliações internas feitas pelos próprios governos sobre
suas políticas. Podem ainda ser encontradas em auditorias de órgãos de controle, em
relatórios e notas técnicas produzidas pela burocracia estatal ou ainda como resultado
de avaliações externas de consultorias especializadas contratadas pelo poder público.
Evidências são produzidas dentro e fora do arcabouço estatal. Dentro do
Estado podem estar compiladas como relatórios de acompanhamento de execu-
ção físico-financeira, avaliações de desempenho, cadastros, censos populacionais,
registros administrativos, entre outros. Fora dele, são produzidas pelos centros de
pesquisa, universidades e think tanks, podem estar dispersas em materiais de veí-
culos de comunicação ou serem o resultado empírico da vivência profissional de
pessoas envolvidas com determinado tema.6 Evidências podem assumir viés mais
científico ou técnico, dependendo de como, por quem e para que são produzidas.
Indo além, o que diferencia evidências científicas e técnicas de conjuntos de
valores, crenças e convicções que as pessoas possuem sobre determinada questão?
Em que medida as noções que temos de ciência e técnica não constituem elas
mesmas formas de interpretar o mundo e a realidade que nos cerca assim como
valores ético-morais ou crenças religiosas? Qual a diferença entre usar essas dife-
rentes fontes de informação (se considerarmos todas como legítimas sob o ponto
de vista epistemológico), na medida em que expressam tentativas de construção
de explicações para os acontecimentos que preenchem a vida humana? No limite,
por que evidências científicas e técnicas seriam mais adequadas do que crenças e
convicções pessoais para balizar a produção de políticas públicas?
A compreensão contemporânea sobre funções e sentidos do conhecimento
técnico-científico está calcada em pressupostos iluministas próprios do período da
modernidade no Ocidente sobre as condições de possibilidade do conhecimento, as
6. Para mais detalhes sobre como experiências pessoais adquirem status de conhecimento e/ou evidências nos processos
de produção de políticas públicas, ver Mazanderani et al. (2020) e Smith-Merry (2020).
potencialidades e limites da racionalidade humana e o papel dos distintos saberes

(míticos, culturais, locais) mobilizados pelas diferentes sociedades ao longo do
tempo. Como Susanne Langer (2004, p. 270) bem sumariza:
herdamos a perspectiva realística e seu ideal intelectual, a ciência. Herdamos uma
fé ingênua no caráter substancial e último dos fatos, e estamos convencidos de
que a vida humana, para ter qualquer valor, deve ser adaptada não apenas casual e
oportunamente às suas exigências (...), mas deve ser intelectualmente preenchida
pela apreciação das “coisas como elas são”. Os fatos são nossa própria medida de
valor. Constituem a armação de nossas vidas; o pensar que leva à descoberta de fato
observável nos faz “descer para a realidade”; Wittgenstein realmente compreendeu e
registrou a atitude intelectual do homem moderno, nos seus aforismos metafísicos.
(...) Nosso mundo “divide-se em fatos” porque nós assim o dividimos. Os fatos são
nossas garantias da verdade.
Nesse sentido, aquilo colocado como fora da racionalidade é descartado
como fato, como dado da realidade, como evidência. No entanto, vale ressaltar
que a noção de racionalidade instrumental, central para o projeto da modernidade,
tem há muito sido questionada e substituída por noções contextuais e situacionais
de racionalidade (Kay, 2011; Nugroho, Carden e Antlov, 2018; Jasanoff, 2012;
Jasanoff e Kim, 2015). A razão, consequentemente, passa a ser entendida a partir
de sua multiplicidade e da contingência como fator-chave para a compreensão da
ação humana e suas formas de significação do mundo. Não apenas uma razão,
mas distintas racionalidades, não mais um conhecimento universal e único, mas
diferentes tipos de saberes epistemologicamente válidos como tentativas de com-
preensão dos fenômenos da vida humana e seus acontecimentos.
Evidências, nesse sentido, deixam de ser entendidas como elementos puros,
neutros ou a-históricos capazes de revelar o mundo e – abraçando o caráter ina-
cabado do conhecimento postulado ainda nos anos 1920 por Bachelard (2004) –
passam a ser percebidas, assim como outros fenômenos sociais, como resultado
de processos construídos de significação da realidade permeados por relações de
poder, interesses, valores e visões de mundo que afetam a maneira como dados
informacionais são produzidos, recebidos e interpretados pelos indivíduos e grupos
sociais. Evidências não emergem em vazios institucionais e carregam em si elementos
situacionais que não deveriam ser desconsiderados pelos esforços de compreensão
de suas potencialidades e limites na produção de políticas públicas.
Neste capítulo, o uso de evidências é abordado como subsídio para a ela-
boração e a implementação de políticas públicas, entendidas em sua acepção
mais básica como respostas estruturadas para solução de problemas encontrados
na sociedade que visam atingir um objetivo de mudança da realidade. O foco
está restrito ao uso de evidências (de diferentes tipos) capazes de fornecer infor-
mações que contribuam de alguma forma para a compreensão de problemas de
ordem coletiva existentes na sociedade, como aumento da desigualdade social,

altas taxas de criminalidade, falta de professores ou de leitos hospitalares, entre
tantos outros.
Nesses casos, evidências deveriam idealmente contribuir para subsidiar
decisões capazes de aumentar o bem-estar e melhorar as condições de vida de
distintas parcelas da população. Isso não implica assumir de maneira ingênua que
processos decisórios serão necessariamente informados por evidências ou que, ao
serem incorporadas à tomada de decisão, evidências produzirão melhores políticas
públicas. Evidências são um entre outros elementos capazes de contribuir para a
resolução de problemas. Não contêm respostas em si mesmas, nem trazem soluções
prontas para a ação governamental. Como “dado relativo à cultura, (...) necessa-
riamente inserido numa construção” (Bachelard, 2004, p. 18), elas dependem de
interpretação abrindo um amplo leque de possibilidades para o uso de evidências
como subsídio da atuação estatal.
Considerando as premissas expostas, evidências em políticas públicas seriam
então todos aqueles dados e informações capazes de ampliar o entendimento sobre
fenômenos de distintas ordens (econômica, social, cultural, política) e suas repercus-
sões (positivas ou não) sobre diferentes públicos, regiões, contextos ou situações de
vida. Paradoxalmente, o mesmo movimento que possibilita uma compreensão mais
alargada do que pode ser considerado como fonte de conhecimento em políticas
públicas permite distinguir evidências de outros conjuntos de argumentos mobi-
lizados para justificar a ação pública em determinada direção e em detrimento de
outras possibilidades. De modo distinto de crenças e convicções pessoais, evidências,
sejam elas de teor técnico, científico, profissional ou local (Nugroho, Carden e
Antlov, 2018), deveriam ser responsivas a critérios de isonomia e republicanismo.
Isto não significa dizer que justificativas baseadas em crenças e convicções
pessoais não sejam dotadas de racionalidade ou não sejam válidas enquanto co-
nhecimento construído sobre o mundo. No entanto, admitindo como correta a
coexistência entre distintas formas de conhecimento, faria mais sentido considerar
suas especificidades, diferenças e semelhanças de modo a entender como múltiplos
saberes se relacionam com diferentes dimensões da vida humana. Se, por um lado,
isso não pressupõe que haja uma hierarquização entre os diferentes tipos de sabe-
res, por outro, não é razoável assumir que sejam conhecimentos indistinguíveis
e intercambiáveis entre si. Nesse sentido, compreender como os diferentes tipos
de saberes são construídos, seus diferentes estatutos epistemológicos e suas lógicas
internas de constituição e legitimação tende a ser um esforço crucial para explicitar
o papel atribuído a cada um desses regimes discursivos, no sentido foucaultiano,
suas possibilidades e limitações como instrumentos de justificação para as inter-
venções operadas continuamente sobre a realidade social.
Longe de adotar uma postura de reificação do saber técnico-científico ou

de atribuir às evidências um lugar sacralizado, a produção do conhecimento
técnico-científico deve ser entendida ela mesma como parte de processos cons-
truídos de compreensão sobre o mundo que nos cerca e por isso mesmo passível
de erro, incompletude e permeada por valores, interesses e correlações de forças.7
E é exatamente por não estarem isentas de falhas e de não constituírem “verdades
inquestionáveis” que evidências são objeto de disputa e podem ser submetidas ao
escrutínio e ao questionamento de diferentes setores da sociedade, sejam eles grupos
de pesquisadores, “especialistas” em determinado tema, formadores de opinião e
outros atores da sociedade civil.
Evidências deveriam atender elementos de publicidade mínimos capazes de
garantir, em alguma medida, transparência aos métodos e teorias que levaram ao
alcance de determinados resultados via divulgação ampla e periódica. A divulgação
periódica de estatísticas, relatórios e estudos permite que conjuntos de dados e
resultados sobre inúmeros temas sejam acompanhados e questionados como indi-
cam variados exemplos da história recente.8 Enquanto evidências são produzidas
a partir de sistemas hipotético-dedutivos constituídos por conceitos, paradigmas
e escolhas metodológicas e conceituais legitimadas por comunidades epistêmicas,
valores e crenças derivam de outras matrizes de significação.
Apesar do rol de argumentos favoráveis ao uso de evidências em políticas
públicas, sua adoção como elemento informacional para a formulação e imple-
mentação de políticas governamentais é eminentemente uma decisão política.
Como será abordado na seção 3, políticas públicas não são feitas apenas de dados,
informações e estatísticas, elas estão permeadas por compromissos, interesses, va-
lores e maior ou menor adesão a visões de mundo compartilhadas pelos diferentes
setores da sociedade.
Nesse sentido, a simples existência de evidências e sua produção em profusão
ou a defesa de que dados científicos são melhores que crenças e convicções ou
ainda que evidências deveriam se sobrepor às concertações entre diferentes inte-
resses políticos e econômicos não implicam na adoção automática de evidências
pelos governos.9 A literatura sobre evidências tem se debruçado sobre as razões
7. Essa questão é amplamente discutida nos estudos de filosofia da ciência e da sociologia do conhecimento, entre
outras áreas. Para mais detalhes, ver, por exemplo, Latour (1994), Bachelard (2004) e Langer (2004).
8. Embates sobre os dados de desmatamento divulgados pelo Instituto Nacional de Pesquisas Espaciais (Inpe), as formas
de contagem dos óbitos decorrentes da covid-19 e as métricas de desemprego adotadas pelo Instituto Brasileiro de
Geografia e Estatística (IBGE). Na mesma linha, o aumento de pedidos de acesso a dados governamentais via Lei de
Acesso à Informação (LAI) ou os questionamentos acerca da atribuição de sigilo a documentos que subsidiem reformas
como nos casos da previdenciária e administrativa mais recentemente, entre outros exemplos.
9. Diferentes estudos defendem que a melhor alternativa para aumentar o uso de evidências se daria a partir da adoção
de estratégias específicas de disseminação do conhecimento (Dias et al., 2015). No entanto, trabalhos como o de Hall
e Battaglio (2019) problematizam explicações centradas apenas nas barreiras e dificuldades de acesso às evidências
por partes dos gestores públicos.
que levariam governantes e gestores públicos a fazer ou não uso de evidências.

Os fatores apontados vão desde a falta de evidências adequadas para subsidiar as
políticas em discussão, passando pela diferença de lógicas, linguagens e tempo de
produção de evidências e a urgência em responder a problemas que tem lugar neste
momento. Outros estudos veem o desconhecimento por parte de gestores públicos
de evidências produzidas por instituições de pesquisa como uma das principais
barreiras ao seu uso ou ainda ressaltam a dificuldade de tradução de evidências
em informações capazes de orientar o desenho ou a implementação das políticas
e a necessidade de construir pontes entre os produtores e usuários de evidências10
(Hall e Battaglio, 2019; Weiss, 1977).
Cabe destacar que o não uso de evidências pode assumir um caráter estratégico
e constituir uma decisão em si. Ou seja, nem sempre o não uso de evidências se
deve a alguma barreira de acesso ou compreensão desses dados. Evidências podem
ser deliberadamente descartadas por inúmeras razões. Casos mais palpáveis ocor-
rem quando evidências apontam resultados opostos aos interesses ou narrativas
adotadas pelos governos sobre determinados assuntos ou quando, diante de uma
multiplicidade de evidências disponíveis, o conjunto de evidências mobilizado é
selecionado como maneira de corroborar decisões previamente tomadas em detri-
mento de outras evidências vinculadas à mesma temática.
A dimensão política não está fora do jogo de produção e uso de evidências.
O que não significa que, em função disso, dados e informações utilizados como
evidências devam ser invalidados ou descartados como parte dos processos decisó-
rios. Assumir a natureza construída dos diferentes tipos de conhecimento não nos
permite afirmar que não há diferença entre eles. Distintos saberes possuem distintos
propósitos, carregam em si pressupostos e origens diversas e detêm múltiplos usos
e significados dependendo do contexto em que se encontram.
Para os fins deste trabalho, preocupado em discutir a relação entre evidên-
cias e políticas públicas, é importante que evidências sejam entendidas como um
elemento entre outros possíveis que, idealmente, deveriam se distinguir de outros
tipos de saberes quando se trata de questões de cunho público, de proteção aos
direitos de diferentes parcelas da população e de temas passíveis a intervenções
governamentais por terem que responder a critérios de responsividade maior do
que crenças e convicções pessoais.
10. Estudos mais recentes têm proposto adotar cocriação ou coprodução como termos mais adequados para abarcar as
estratégias de aproximação entre pesquisa e prática. Para mais informações, ver Metz, Boaz e Robert (2019).
3 ESTADO, POLÍTICAS PÚBLICAS E A PRODUÇÃO DE EVIDÊNCIAS

Como parte do contexto institucional mais amplo, não seria possível entender os
processos de produção de políticas públicas e de instrumentos mobilizados para
organizar a ação governamental, entre eles a construção de evidências, sem consi-
derar o papel central exercido por discursos, ideias, grupos, valores ou estruturas
hegemônicas na criação de referenciais para a ação e o comportamento de organi-
zações e indivíduos, assim como no reconhecimento ou questionamento de regras
e limites para a inclusão e exclusão de posicionamentos específicos.
Esses pressupostos dialogam com estudos que, mais acentuadamente a par-
tir das décadas de 1980 e 1990, têm questionado a noção de políticas públicas
como resultado técnico-racional de ações lineares, organizadas separadamente em
processos sequenciais. Perdem força análises centradas em abordagens da teoria da
escolha racional (Shepsle, 2006; Shepsle e Bonchek, 1997) e do ciclo de políticas
públicas (Ball, 1993; Cairney, 2012; Howlett et al., 2013), e entram em cena
estudos voltados para a dimensão política das políticas públicas e para aspectos
como linguagem, argumentação, representações, ideias e significados – até então
pouco explorados como variáveis para entender os processos de produção de po-
líticas públicas e seus efeitos – como resultado do crescimento/fortalecimento de
perspectivas analíticas associadas às vertentes pós-positivistas, argumentativas ou
de estudos críticos11 (critical policy studies) na literatura anglo-saxã sobre políticas
públicas (Yanow, 2015; Cairney, 2012; Fischer et al., 2015; Bacchi, 1999) ou na
corrente francesa de estudos da sociologia da ação pública (Halpern, Lascoumes
e Le Galès, 2021).
De maneira similar, estudos centrados no papel desempenhado pelas evi-
dências na atuação estatal têm assumido um viés crítico em relação às ideias quase
axiomáticas de que “quanto mais evidências, melhor a política” ou do “o que
funciona?” (what works?) como forma de preconizar caminhos a serem persegui-
dos pela gestão pública em busca de soluções mais efetivas e eficientes olhando
apenas para parte dos elementos que compõem a complexa e intrincada arena de
produção de políticas públicas.
Elementos como poder, conflito, contexto, construção social, ideias e repre-
sentação tornam-se centrais para compreender o uso de evidências em políticas
públicas, definidas não apenas enquanto ferramentas governamentais, mas sim
como janelas que permitem observar os meandros dos processos políticos nos
quais atores, conceitos e instrumentos interagem de diferentes formas, criando ou
consolidando “novas racionalidades de governança e regimes de conhecimento e
poder” (Shore, Wright e Però, 2011, p. 2).
11. Também conhecidas como interpretativas, ideacionais, cognitivas, construtivistas, entre outros termos correlatos.
Ver mais em Fischer et al. (2015).
A definição conceitual de políticas públicas adotada neste trabalho parte da

mescla de elementos teóricos presentes em diferentes matrizes interpretativas, de
modo a permitir o estabelecimento de um arcabouço mais amplo, capaz de in-
corporar distintas dimensões e a complexidade inerente à ação pública. Para isso,
foram estabelecidas três premissas que, a meu ver, abordam questões fundamentais
para o entendimento das políticas a partir do referencial teórico adotado.
A primeira delas é a de que políticas públicas, enquanto materializações da atu-
ação estatal, são constituídas por regras, normas, requisitos e/ou critérios com potencial
para orientar, definir, restringir ou incentivar comportamentos. De maneira geral, a
elaboração de uma política é definida como um processo de caráter técnico-político,
configurado por um conjunto de decisões tomadas por atores/organizações a partir das
possibilidades e limitações produzidas pelo contexto no qual estão inseridos (Stein-
mo, 2016; Immergut, 2007). Considerando que “os efeitos das políticas públicas
são moldados no cerne das estruturas nas quais esses atores operam e de acordo
com ideias que eles sustentam” (Howlett et al., 2013, p. 20), é razoável supor que
tanto o desenho das políticas públicas quanto suas formas de implementação são
influenciadas por percepções e expectativas disseminadas, e socialmente aceitas,
sobre aquilo que é definido como objeto de intervenção pública, assim como sobre o
que é apontado como demanda do público a ser atendido pela ação governamental.
Assume centralidade, sob esse viés, compreender como regras, representações e
expectativas que compõem implícita ou explicitamente o conteúdo de uma política
influenciam dinâmicas de reforço ou desconstrução de práticas com potencial para
perpetuar condições de desigualdades entre os sujeitos sociais.
Dito de outra forma, isso traz para o cerne da discussão sobre políticas públicas
a concepção de que preferências, interesses e representações sociais não emergem
de vazios institucionais. São, em contrapartida, resultado de construções sociais
alicerçadas em um dado contexto institucional no qual conjuntos de percepções e
crenças influenciam as formas utilizadas pelos atores sociais para construir imagens
e percepções sobre a realidade social, bem como orientar suas ações e comporta-
mentos em função desses referenciais (Castoriadis, 2007; Stone, 1988; Muller e
Surel, 2002; Ingram e Schneider, 2015).
Perde o sentido, sob essa perspectiva, caracterizar a produção das políticas
públicas como resultado de processos lógico-racionais pautados por uma pretensa
imparcialidade técnica isenta de valores e componentes ideológicos. O entendimen-
to das razões pelas quais uma política assume determinado teor, escopo, alcance
ou objetivo em detrimento de outros possíveis requer que a ênfase da análise não
esteja limitada apenas aos processos formais e materiais que saltam aos olhos, mas
também que seja deslocada para a explicitação de elementos simbólicos ou infor-
mais que permeiam as lógicas, os sentidos, os conteúdos, os textos e os discursos
associados à ação pelo rol heterogêneo de atores que transita em torno dos processos
de produção das políticas e que não pode ser desvinculado das condições sociais,
econômicas e políticas que constituem o momento histórico ao qual pertencem.
A segunda premissa é a de que políticas públicas também poderiam ser concebidas
enquanto produtoras de referenciais específicos sobre determinado tema, problema ou
grupo. A compreensão das políticas, dessa forma, requer que elas sejam consideradas
parte e produto do contexto institucional do qual emergem, ao mesmo tempo em
que desempenham, elas próprias, papel similar ao constituírem matrizes cogni-
tivas12 a partir das quais múltiplos atores significam a realidade social e pautam
suas ações e interações com outros sujeitos sociais. As políticas públicas seriam, a
partir dessa perspectiva,
processos através dos quais são elaboradas representações que uma sociedade se faz
para compreender e agir sobre o real. A elaboração de uma política pública envolve
primeiramente a construção de uma representação da realidade sobre a qual se in-
tervém e é através desta imagem que os atores interpretam o problema, confrontam
possíveis soluções e definem sua ação (Grisa, 2010, p. 106).
Recorrentemente adotada pelos estudos associados à abordagem cognitiva das
políticas públicas (Jobert, 1989; Braun, 2015; Hajer e Laws, 2006), essa noção
permite que sejam incorporados ao bojo da análise: os elementos ligados à necessi-
dade de enfatizar como ocorrem as relações entre a produção de políticas; os atores
inseridos nesses processos; o conjunto de ideias mobilizado no decorrer das etapas
de formulação e implementação; e as múltiplas representações que permeiam essas
interações e podem ou não se estabelecer enquanto referenciais de compreensão
dos sentidos, objetivos, justificativas e intenções de uma dada ação governamental.
Considerando o foco da análise, assumir que políticas desempenham um papel
relevante no estabelecimento das formas mobilizadas pelos indivíduos para conceitua-
lizar e simbolizar relações sociais, a partir das quais organizam suas vidas e estruturam
a realidade social, estaria diretamente vinculado ao papel assumido pelas ideias na
constituição de múltiplas representações ou visões presentes nas políticas públicas.
Interpretadas não como resultados inequívocos ou inexoráveis de processos pautados
pela assimetria de poder, mas como uma teia de significações a partir da qual conjun-
tos de ideias, ou representações, são mobilizados, de maneira estratégica, consciente,
intencional ou não, para delimitar as possibilidades de ação em um dado momento.13
12. Também definidas como frames, referenciais ou quadros, entre outras possibilidades. Para mais informações sobre
isso, ver Goffman (2007). Análises baseadas na abordagem cognitiva defendem a compreensão das políticas públicas
enquanto “matrizes cognitivas e normativas, constituindo sistemas de interpretação do real, no interior dos quais os
diferentes atores públicos e privados poderão inscrever sua ação” (Muller e Surel, 2002, p. 44).
13. O que não significa que não ocorram mudanças nas condições de produção desses referenciais e em suas formas
de uso. Para mais informações, ver Tomazini (2021).
Entretanto, vale reiterar a pertinência de tratar as representações que preva-

lecem como norteadoras da ação governamental e dos múltiplos entendimentos
construídos pelos atores afetados, em maior ou menor grau, por essas políticas
como elementos estratégicos de compreensão das disputas simbólicas e materiais
que ocorrem na etapa de formulação, além dos impactos produzidos por essas
representações ao longo da implementação da ação.
Nesse sentido, ideias que conformam uma política tendem a constituir
cernes orientadores para o que seria entendido como um desenho adequado da
política considerando os contornos dados ao problema em questão e suas causas,
assim como os critérios utilizados para definir os parâmetros adotados nas etapas
de implementação e, por conseguinte, os referenciais de desempenho a partir dos
quais a política será avaliada.
Como terceira premissa, assumem-se as políticas como instrumentos por meio
dos quais é possível aos governos e a outros atores da esfera pública classificar e regular
espaços, sujeitos e objetos passíveis de serem “governados” em diálogo com concepções
adotadas por autoras e autores associados à vertente antropológica de estudos sobre
políticas públicas (Shore, Wright e Però, 2011; Wedel e Feldman, 2005; Miranda,
2005; Porto, 2014).14
Cabe ponderar, apoiada por uma acepção ampliada de poder nos termos
defendidos por Foucault (2008), que admitir a influência das políticas sobre a
realidade social não pressupõe afirmar que sua atuação seja pautada invariavel-
mente por um teor restritivo em torno de classificações, delimitações e distinções
estabelecidas pelas políticas. Em contraposição, as políticas seriam dotadas de uma
natureza ambivalente, em que ora servem como instrumentos de consolidação,
validação e legitimação de determinada ordem social, ora podem contribuir como
dispositivos de alteração da realidade (Lovbrand e Stripple, 2015; Luke, 2015).
Compreendidas a partir desses referenciais, as políticas públicas
não são simplesmente forças externas, generalizadas ou restritivas, nem estão confi-
nadas aos textos. Em vez disso, elas são produtivas, performativas e continuamente
contestadas. Uma política pública encontra expressividade por meio de sequências
de eventos; cria novos espaços sociais e semânticos, novos conjuntos de relações,
novos sujeitos políticos e novas redes de significados (Shore, Wright e Però, 2011,
p. 1, tradução nossa).15
14. Nestes estudos, assim como em parte das análises que constituem a sociologia da ação pública, a noção foucaultiana
de governamentalidade assume papel central como chave explicativa das condições de possibilidade para a ação estatal.
15. Do original: “are not simply external, generalized or constraining force, nor are they confined to texts. Rather, they
are productive, performative, and continually contested. A policy finds expressional through sequences of events; it cre-
ates new social and semantic spaces, new sets of relations, new political subjects and new webs of meaning” (Shore,
Wright e Però, 2011, p. 1).
Emerge como pressuposto geral a noção de que compreensões mais compa-

tíveis com a complexidade inerente à estrutura estatal e aos processos de produção
de políticas públicas incorporariam em seu horizonte interpretativo reflexões sobre
interações contextuais, correlações de força e fatores ligados a ideias, interesses e
crenças como dimensões constitutivas de perspectivas teóricas baseadas na cons-
trução social da realidade como prerrogativa de análise.
A mesma reflexão vale para entender a dinâmica de produção dos distintos
tipos de evidências mobilizados pelos atores governamentais em determinado
momento histórico. Em consonância com os argumentos apresentados neste
texto, evidências, enquanto parte dos elementos constitutivos da produção de
políticas públicas, podem afetar as formas com que regras, normas, requisitos
e/ou critérios com potencial para orientar, definir, restringir ou incentivar
comportamentos são incorporados ao desenho das políticas. Podem ainda
contribuir, fortalecendo determinados referenciais construídos sobre temas,
problemas ou públicos específicos. Evidências podem assumir ainda um papel
relevante como instrumentos por meio dos quais é possível aos governos e outros
atores da esfera pública classificar e regular espaços, sujeitos e objetos passíveis
de serem governados.
Tecidas essas considerações, é crucial entender as dinâmicas que delimitam
a utilização de evidências por parte dos atores estatais e, especialmente, aquelas
que possibilitam que um rol amplo de evidências seja produzido no âmbito dos
órgãos governamentais e de que maneira essas informações, em especial, para os
fins deste trabalho, os registros administrativos são produzidos e adotados como
subsídios válidos na produção de políticas públicas.
4 REGISTROS ADMINISTRATIVOS ENQUANTO EVIDÊNCIAS

Apesar de perpassarem cotidianamente a rotina de organização da atuação go-
vernamental e de fornecerem elementos para a tomada de decisão em diferentes
momentos da produção de políticas públicas, os registros administrativos ainda são
pouco abordados nas análises sobre a estruturação e gestão das ações governamentais
e aparecem de maneira ainda escassa nos estudos que tratam da produção e do uso
de evidências pela esfera estatal (Holt, 2008; Groves e Schoeffel, 2018). A despeito
dos esforços existentes em diferentes países para fomentar o uso de registros admi-
nistrativos para fins estatísticos e como fonte de evidências para políticas públicas
(United States, 2014; 2016; Wallgreen e Wallgreen, 2014),16 a subutilização desses
dados pode ser explicada por inúmeros motivos. Entre estes, e talvez o principal,
é que advenha da natureza administrativo-operacional atribuída a esse tipo de
16. Mais informações em: <https://bit.ly/3BrR7oD>.

informação, quase sempre produzida no interior das instâncias governamentais

e utilizadas majoritariamente por gestores públicos e lideranças responsáveis pela
condução das políticas em desenvolvimento pelos governos.
Descritos de maneira bastante ampla como “dados que derivam da opera-
cionalização de sistemas administrativos, tipicamente feita por agências do setor
público” (Elias, 2014, p. 103), os registros administrativos têm em geral propó-
sitos ligados à gestão das próprias políticas e são adotados para fins de registro e
acompanhamento de informações necessárias para viabilizar o cumprimento das
competências e responsabilidades jurídico-normativas atribuídas aos diferentes
órgãos setoriais.
É possível argumentar, à luz da experiência brasileira, que, para além de destina-
ções de caráter mais operacional como aquelas listadas por Woollard (2014) – registro
de informações específicas fornecidas por indivíduos ou organizações armazenadas
como referência (nascimentos, mortes, dados cadastrais etc.); coleta de informações
que subsidiam o cumprimento de responsabilidades governamentais (concessão de
benefícios, arrecadação tributária etc.); e ainda o armazenamento permanente de
informações sobre eventos específicos de interesse da administração pública –, os
registros administrativos também desempenham outras funções, mais ligadas aos
processos de produção de políticas públicas, e reiteradas vezes podem assumir o papel
de evidências adotadas para subsidiar decisões e medidas visando garantir a execução
ou o bom andamento dessas intervenções.
Os registros administrativos podem facilmente se converter em evidências
úteis para orientar a atuação estatal, na medida em que consolidam informações que
podem ser mobilizadas na elaboração de diagnósticos sobre determinada situação
ou problema público, fornecem dados sobre parcelas populacionais que podem ou
não se tornar beneficiárias de determinado programa governamental ou funcionam,
ainda, como referências válidas para acompanhar a execução e implementação de
políticas públicas e para apoiar o monitoramento e a avaliação dessas iniciativas.
A administração pública brasileira dispõe de inúmeros registros administrativos
que variam enormemente em abrangência, grau de consolidação (norteados por
aspectos como tempo de existência, caráter oficial da base de dados, mecanismos
de gestão da base, atualizações periódicas, entre outros), grau de transparência,
disponibilidade de dados para consulta, em arranjos de gestão, assim como em
propósitos e áreas temáticas.
Se existem, por um lado, áreas que dispõem de sistemas robustos capazes de
consolidar diferentes camadas e níveis de informações e de orientar a execução de
políticas setoriais (saúde e educação, por exemplo), por outro, há setores que vêm
avançando gradualmente na estruturação de mecanismos de sistematização de
dados e ampliação do uso estratégico desses registros para o planejamento de suas
intervenções (área ambiental e assistência social são exemplos). Há ainda aquelas

áreas situadas em fases incipientes de gestão dessas bases, dispondo muitas vezes
apenas de planilhas ou registros isolados mobilizados pelos atores envolvidos na
operacionalização de suas políticas (por exemplo, dados sobre povos e comuni-
dades tradicionais).17
Reconhecendo a heterogeneidade que caracteriza esses registros, suas origens,
especificidades e principalmente as funções que assumem para as políticas públicas,
optou-se por limitar a análise ao conjunto de dados provenientes de parte dos prin-
cipais registros administrativos gerenciados no âmbito federal caracterizados pela
abrangência nacional, que tivessem dados disponíveis para consulta e relativo grau
de consolidação. Estes dados foram coletados de maneira exploratória e qualitativa
por meio da consulta aos sítios eletrônicos dos órgãos da administração pública
federal, assim como das bases indicadas no portal de Dados Abertos.18 Entre eles
estão, por exemplo, o Cadastro Único, os sistemas ligados ao Datasus, o Censo
Escolar, os dados da Rais e do Caged, o Sipra, a DAP, entre outros dispostos de
maneira detalhada no apêndice A.19
Entre as principais vantagens elencadas para fomentar o uso de registros
administrativos estão o nível de desagregação e detalhamento de dados sobre
públicos específicos (chegando em alguns casos à identificação individualizada de
informações), assim como o baixo custo de acesso a esses cadastros, dado que já
estão internalizados no âmbito da estrutura governamental.
Além disso, os registros administrativos são caracterizados, em geral, por
grande escala populacional, ampla abrangência territorial e longas séries temporais.
Ademais, são submetidos a rotinas de atualização mais frequentes e periódicas do
que outros agregados informacionais, como surveys ou levantamentos desenvolvi-
dos por instituições e agências não governamentais que carecem de periodicidade
pré-estabelecidas, ou seguem focados em um número restrito de casos.
Para fins analíticos, os registros administrativos guardam uma grande vanta-
gem em relação a outros dados ao disporem de um maior potencial de articulação
e diálogo com a realidade das políticas públicas e seus variados processos de gestão
e execução ao buscarem sistematizar informações sobre a totalidade dos serviços,
equipamentos públicos ou beneficiários resultantes de determinada política.
17. Diferentes capítulos desta publicação evidenciam os múltiplos usos e estágios de desenvolvimento desses registros
na administração pública federal. Ver, por exemplo, os capítulos 7, 17, 20, 23, 26 e 27.
18. Para mais informações, acessar o link: <https://dados.gov.br/>.
19. Vale mencionar que não há um mapeamento consolidado de todos os registros administrativos sob a responsabilidade
do governo federal e que, apesar de dar início a uma sistematização preliminar nesse sentido, este estudo não tem
intenção de abarcar a totalidade dos sistemas e bases de dados produzidos no interior da estrutura técnico-gerencial do
nível federal. Em função do caráter disperso e diverso que caracteriza essas informações, um estudo posterior focado em
aprofundar os detalhes e principais características dessas bases se faz necessário. A maior parte desses registros pode
ser identificada a partir dos sítios eletrônicos dos órgãos da administração pública federal e do portal de Dados Abertos.
Os registros administrativos são capazes de fornecer, em diferentes casos,

informações sobre público e regiões atendidas por determinadas políticas, tipos
de entregas realizadas, lacunas de atendimento e sobreposição de esforços. Podem
servir como parâmetros para a concessão de benefícios, além de apresentarem dados
sobre situações específicas como ocorre com dados do mercado de trabalho, taxas de
natalidade e mortalidade, entre outras informações demográficas e socioeconômicas.
Apesar do potencial subutilizado dos registros administrativos, cabe explicitar
os limites aos quais essas bases estão sujeitas, tendo em vista que, substancialmen-
te, essas informações não foram coletadas com propósitos estatísticos (Groves e
Schoeffel, 2018; Walgreen e Walgreen, 2014).
Com frequência, os registros estão limitados à população potencial ou atendida
por determinada política e sua cobertura temporal pode estar restrita ao período
de duração da iniciativa. Além disso, pode haver uma grande heterogeneidade
entre as variáveis que compõem o cadastro desses registros, inclusive podendo
haver diferenças nos períodos de atualização entre informações dentro de um
mesmo cadastro ou mesmo nas instâncias responsáveis pelo preenchimento e pela
verificação de consistências. É possível também que existam lacunas no registro
de valores anteriores. Campos atualizados podem sobrescrever outros sem que a
informação anterior seja salva adequadamente incorrendo em perdas de informações
distribuídas temporalmente.
Outros aspectos que afetam a consistência desses dados e que constituem
fatores condicionantes do uso de registros administrativos enquanto fonte confiável
de evidências para subsidiar políticas públicas são: heterogeneidade nas metodolo-
gias de coleta e registro das informações ao longo do tempo, descontinuidade no
preenchimento ou na atualização de informações, lacunas nos metadados, falta
de transparência sobre os critérios de coleta e tratamento dos dados ou ainda a
existência de requisitos de sigilo e privacidade que limitam o acesso às informações
por terceiros.
Em resumo, os desafios voltados para o aprimoramento da gestão dessas
bases e também, na linha proposta neste trabalho, da ampliação do uso estratégico
desses registros enquanto evidências para políticas públicas demandam esforços
em múltiplas direções visando dirimir imprecisões conceituais e metodológicas na
construção, no preenchimento e na atualização das variáveis, assim como proble-
mas decorrentes da dispersão e falta de integração entre registros administrativos
com convergências temáticas e/ou chaves de identificação comuns. Além disso, há
aqueles obstáculos ligados a falhas oriundas de processos de descontinuidade na
governança dos dados ou de inconsistências internas aos registros e, por último,
aspectos vinculados ao sigilo e às restrições de acesso a informações de natureza
sensível contidas nos registros visando garantir a segurança no uso dos dados.
A despeito das ressalvas expostas, a exploração preliminar de registros admi-

nistrativos no Brasil indica caminhos promissores para a ampliação do uso desses
dados e suas possíveis aplicações considerando as diferentes funções que cumprem
na organização da ação estatal e na operacionalização de políticas públicas.
O quadro 1 resume os registros administrativos selecionados na análise a
partir dos critérios indicados anteriormente de abrangência nacional, grau de
atualização e consolidação, disponibilidade dos dados para consulta etc. e sua
classificação pelos seguintes usos e funções: i) subsídio para formulação de polí-
ticas públicas; ii) instrumento para orientar a implementação; iii) mecanismo de
acompanhamento e monitoramento das ações; iv) apoio a ações de fiscalização e
controle da execução físico-financeira; e v) mecanismos de prestação de contas,
transparência e controle social.
Cabe ressaltar uma vez mais que essa sistematização não representa a totali-
dade dos registros administrativos produzidos pelos órgãos federais, mas parte de
exemplos entre os registros conhecidos e utilizados pela administração pública de
maneira bastante frequente.
QUADRO 1
Registros administrativos por órgão e usos e funções
Número Nome Sigla Órgão gestor Usos e funções
1 Relação Anual de Informações Sociais Rais MTE i), ii), iii), iv)
2 Cadastro Único para Programas Sociais do Governo Federal Cadastro Único MCidadania i), ii), iii)
3 Cadastro Geral de Empregados e Desempregados Caged MTE i), ii), iii)
Sistema Integrado de Planejamento, Orçamento e
4 Simec MEC i), ii), iii), iv), v)
Finanças
5 Sistema de Benefícios da Previdência Social Sisben MPS ii), iii), iv)
6 Sistema Nacional de Informações de Registro Civil Sirc MMFDH i), iii)
Sistema de Cadastramento de Usuários do Sistema Único
7 Cadsus MS i), ii), iii), iv)
de Saúde
8 Sistema de Controle de Óbitos Sisobi MS i), ii), iii), iv)
9 Sistema de Informações de Projetos de Reforma Agrária Sipra Incra i), ii)
Declaração de Aptidão ao Programa Nacional de Fortale-
10 DAP Mapa i), ii)
cimento da Agricultura Familiar
Sistema de Informações das Famílias em Unidades de
11 SISFamílias ICMBio i), ii), iii)
Conservação Federais
12 Sistema de Análise e Monitoramento de Gestão SAMGe ICMBio i), ii), iii)
13 Sistema Nacional de Gestão de Fauna Silvestre Sisfauna Ibama i), ii), iii)
14 Programa de Cálculo do Desflorestamento da Amazônia Prodes Inpe iii), v)
15 Detecção de Desmatamento em Tempo Real Deter Ibama iii), iv), v)
16 Terraclass Não se aplica Inpe/Embrapa iii), iv), v)
(Continua)
(Continuação)
Número Nome Sigla Órgão gestor Usos e funções
Sistema de Cadastro do Sistema Único de Assistência
17 Cadsuas MCidadania i), ii), iii)
Social
18 Sistema de Benefícios ao Cidadão Sibec MCidadania ii), iii), iv)
19 Sistema de Gestão do Programa Bolsa Família SIGPBF MCidadania ii), iii), iv)
20 Sistema de Condicionalidades Sicon MCidadania ii), iii), iv)
Sistema de informação do Programa de Aquisição de
21 SIS/PAA MCidadania i), ii), iii), iv)
Alimentos
22 Sistema de Informações Gerenciais do Programa Cisternas SIGCisternas MCidadania ii), iii), iv)
23 Sistema de Informação em Saúde para a Atenção Básica Sisab MS i), ii), iii), iv)
24 Sistema de Informações sobre Mortalidade SIM MS i), iii), v)
Sistema de Informações Hospitalares do Sistema Único
25 SIH/SUS MS ii), iii)
de Saúde
26 Sistema de Informações de Nascidos Vivos Sinasc MS i), iii)
27 Sistema de Informação de Agravos de Notificação Sinan MS i), iii), iv), v)
Sistema de Informações do Programa Nacional de
28 SI/PNI MS i), ii), iii)
Imunização
Sistema de Informações Ambulatoriais do Sistema Único
29 Siasus MS ii), iii), iv)
de Saúde
30 Cadastro Nacional de Estabelecimentos de Saúde CNES MS i), ii), iii)
31 Sistema de Informações Energéticas SIE-Brasil MME i), ii), iii), v)
32 Cadastro Ambiental Rural CAR MMA i), ii), iii), iv), v)
33 Sistema Indigenista de Informações Não se aplica Funai i), ii), v)
34 Censo Escolar Não se aplica Inep i), ii), iii), iv), v)
35 Sistema Educacional Brasileiro SEB Inep/MEC i), ii), iii), iv)
36 Censo da Educação Superior Não se aplica Inep i), ii), iii), iv), v)
37 HÓRUS Não se aplica Minfra i), ii), iii)
38 Sistema Nacional de Informação sobre Meio Ambiente Sinima MMA i), ii), iii), iv), v)
39 Comunidades quilombolas certificadas Não se aplica FCP i), ii), v)
40 Sistema de Registro Nacional de Emissões Sirene MCTI i), ii), iii)
Elaboração da autora.
Obs.: MTE – Ministério do Trabalho e Emprego; MCidadania – Ministério da Cidadania; MEC – Ministério da Educação; MPS –
Ministério da Previdência Social; MMFDH – Ministério da Mulher, da Família e dos Direitos Humanos; MS – Ministério
da Saúde; Incra – Instituto Nacional de Colonização e Reforma Agrária; Mapa – Ministério da Agricultura, Pecuária e
Abastecimento; ICMBio – Instituto Chico Mendes de Conservação da Biodiversidade; Ibama – Instituto Brasileiro do Meio
Ambiente e dos Recursos Naturais Renováveis; Embrapa – Empresa Brasileira de Pesquisa Agropecuária; MME – Ministério
de Minas e Energia; MMA – Ministério do Meio Ambiente; Funai – Fundação Nacional do Índio; Inep – Instituto Nacional
de Estudos e Pesquisas Educacionais Anísio Teixeira; Minfra – Ministério da Infraestrutura; FCP – Fundação Cultural
Palmares; MCTI – Ministério da Ciência, Tecnologia e Inovações.
4.1 Usos e funções dos registros administrativos no Brasil

Tendo como referencial a análise exploratória do rol selecionado de registros
administrativos, foi possível identificar diferentes usos e funções atribuídos a
esses cadastros e bases atrelados aos processos de produção das políticas públicas.
Diferentes situações foram indicativas da adoção potencial dessas informações

como fontes de evidências voltadas para o apoio à decisão e ao aprimoramento de
desenho e implementação de ações.
Vale ressaltar que muitos dos registros analisados são multifinalitários exer-
cendo funções simultâneas20 que variam de acordo com os propósitos para os quais
foram criados, ou ainda devido a alterações e ampliações de escopo incorporadas a
esses cadastros ao longo do tempo. O mesmo ocorre naqueles casos em que sistemas
são elaborados para consolidar ou organizar conjuntos dispersos e fragmentados
de informações sob uma plataforma comum.
Isto posto, os usos e as funções dos registros analisados foram divididos em
cinco grandes grupos: i) subsídio para formulação de políticas públicas; ii) ins-
trumento para orientar a implementação; iii) mecanismo de acompanhamento e
monitoramento das ações; iv) apoio a ações de fiscalização e controle da execução
físico-financeira; e v) mecanismos de prestação de contas, transparência e controle
social. Como mencionado anteriormente, essas categorias são úteis para eviden-
ciar a presença e o potencial uso dos registros em distintas etapas de produção de
políticas públicas e para entender melhor como se enquadram nessas categorias.
É muito comum observar, na literatura sobre desenho de políticas públicas
(policy design), a valorização e a indicação da necessidade de que diagnósticos e
dados existentes sobre o objeto da política em discussão sejam levados em consi-
deração pelos formuladores no momento do planejamento e da delimitação do
escopo da ação governamental (Weiss, 1977; Capano et al., 2019; Howlett, 2019;
Howlett et al., 2013). Estatísticas oficiais, dados censitários e pesquisas realizadas
por institutos de pesquisa e universidades podem ser mobilizados para subsidiar
inúmeras dessas iniciativas como explicitado por diferentes capítulos contidos
nesta publicação.21 No entanto, resultados22 de survey realizado com mais de 2 mil
servidores federais indicam que os insumos mais utilizados pela burocracia derivam
de fontes internas baseadas na produção técnica do próprio órgão ou mesmo nas
vivências e experiências dos servidores sobre determinado tema.
Nessa linha, registros administrativos também podem cumprir e cumprem,
em variadas situações, papel central como subsídio para formulação de políticas
públicas na elaboração de diagnósticos que possibilitem ao poder público planejar
medidas e estimar possíveis impactos de suas políticas. Enquanto instrumentos
orientadores para o desenho de políticas públicas, os registros administrativos podem
20. Caso do Simec é um exemplo claro disso.

21. Para mais informações, ver os capítulos 15, escrito por Paulo de Martino Jannuzzi, e 17, de autoria de Natália Massaco
Koga, Rafael Viana, Bruno Gontyjo do Couto, Isabella de Araujo Goellner e Ivan da Costa Marques, desta publicação.
22. Descritos por Natália Massaco Koga, Pedro Lucas de Moura Palotti, Rafael da Silva Lins, Bruno Gontyjo do Couto,
Miguel Loureiro e Shana Nogueira Lima no capítulo 9 deste livro.
ser adotados como ponto de partida para delimitar e identificar o público poten-
cial a ser atendido por determinada política; assim como podem funcionar como
parâmetro para orientar a atuação no território e direcionar entregas de serviços e
implantação de equipamentos públicos. Indo na mesma direção, vários registros
permitem ainda a identificação de lacunas de atendimento ou vazios assistenciais
e desigualdades populacionais ou regionais no acesso a serviços essenciais.
Outro uso recorrente dos registros materializa-se sob a forma de instrumentos
que servem para fins de operacionalização dos processos de implementação de
políticas. Esses sistemas não apenas apoiam a gestão das políticas, mas configuram,
em muitos casos, os canais de formalização de demandas, submissão de propostas,
aprovação de projetos, entre outras possibilidades, garantindo o cumprimento de
etapas e requisitos previstos na implementação das políticas.
Os dados gerados no decorrer desses múltiplos processos podem se tornar
importantes subsídios, na medida em que permitem visualizar as subsequentes
etapas de implementação das políticas e as possíveis lacunas, dificuldades e restri-
ções que perpassam esses processos servindo, dessa forma, como instrumentos para
orientar a implementação.
Sob essa ótica, informações sobre execução físico-financeira, grau de adesão
de atores subnacionais ou não estatais a determinadas iniciativas, dificuldades de
acesso ao rol de ações ofertadas pelo Estado se tornam evidências estratégicas que
podem ser aplicadas na resolução de problemas e eventuais correções de rumo
durante os processos de execução das políticas.
O debate sobre uso de evidências possui uma longa trajetória de associação
com as discussões sobre a relevância das estratégias e ferramentas de monitoramento
e avaliação de políticas para qualificação das políticas governamentais.23 Dados
sobre o alcance de metas previstas, impactos decorrentes das intervenções estatais
e outros indicadores sobre o desempenho de iniciativas do poder público têm
sido largamente adotados como subsídio para aperfeiçoar as diferentes etapas de
produção de políticas a partir de mecanismos de acompanhamento e monitoramento
das ações (Howlett et al., 2013).
Os sistemas de monitoramento geridos no âmbito governamental produzem
um quantitativo massivo de informações usados, principalmente, para fins geren-
ciais ou para informar dirigentes e outras lideranças do status atual de políticas em
andamento; no entanto, informações dessa natureza também constituem evidências
capazes de aprimorar políticas existentes e futuras intervenções tendo como base
aprendizados oriundos de experiências pregressas.
23. Para mais informações, ver Sanderson (2002).

Informações contidas nos registros administrativos podem ainda ser utilizadas

para apoiar ações de fiscalização e controle sob a ótica das ações de controle inter-
no e externo acerca da entrega de resultados previstos ou da devida aplicação de
recursos públicos. Eles podem ter sido sistematizados para fins de fiscalização ou
aprimorados em decorrência de auditorias periódicas e ações similares. Inúmeros
registros administrativos, em especial aqueles adotados para fins de concessão de
benefícios ou para prestação de contas, por exemplo, passam por rodadas de audi-
torias periódicas para fins de verificação da adequação e conformidade.
Quando passíveis de publicização e divulgação periódica, os registros admi-
nistrativos cumprem ainda um importante papel como insumos para a prestação de
contas dos resultados alcançados pelas políticas e da aplicação de recursos públicos
fortalecendo, dessa forma, mecanismos de prestação de contas, transparência e controle
social da população sobre os serviços públicos ao permitirem aos diferentes atores
envolvidos no tema enxergarem a ação do Estado em suas múltiplas dimensões.
A intenção deste capítulo foi entender o Estado não apenas enquanto potencial
usuário de evidências, mas também como instância produtora de evidências,
observando em que medida recursos informacionais – neste caso materializados
sob a forma de registros administrativos – gerados ao longo de diferentes proces-
sos constituidores da atividade burocrática podem ser utilizados na produção de
A análise apoiou-se sobre pressupostos que ampliam o escopo de compreensão
a respeito da dinâmica de produção de políticas públicas e de evidências no âmbito
da atuação estatal. O primeiro deles está centrado na noção de que evidências e
políticas públicas não são neutras e estão perpassadas por relações de poder que
configuram suas condições de possibilidade e sentidos assumidos dentro e fora do
aparato estatal. O segundo é o de que dados informacionais usados para subsidiar
decisões acerca de intervenções governamentais podem ser entendidos a partir de
suas múltiplas origens e naturezas, não estando restritos apenas a determinado
campo de produção do conhecimento.
A adoção desses pressupostos tem como implicação a problematização tanto
de visões apoiadas em um arcabouço restritivo sobre o que constitui uma evidência
válida, quanto daquelas perspectivas ancoradas por um relativismo radical, inca-
pazes de abrir espaço para que sejam vislumbradas as diferenças existentes entre as
múltiplas formas de manifestação do conhecimento e explicações sobre o mundo e,
de maneira ainda mais grave, as múltiplas repercussões produzidas pela adoção de
diferentes tipos de conhecimentos construídos acerca da realidade sócio-histórica.
A forma com que evidências são entendidas, nesse sentido, contribui para
alargar ou restringir as perspectivas reconhecidas como válidas ou mesmo aptas a se
pronunciar como posições consideradas no debate público. Nessa linha, é crucial
que, ao mobilizarem fontes informacionais sobre determinada temática, gestores e
dirigentes reconheçam as múltiplas possibilidades de produção de conhecimento
sem que sejam ignoradas as especificidades e os contextos de construção de cada
um desses referenciais. Aqui o argumento é de que não seria adequado eleger
apenas um tipo de conhecimento como possível e subalternizar todos os demais,
dados os ganhos de considerar não apenas o saber científico, mas também aqueles
produzidos por instâncias técnico-burocráticas ou pelos públicos-alvo das políticas
e seus saberes locais e vivências como informações que contribuem para entender
a implementação de políticas e seus efeitos sobre a realidade.
Dentro deste arcabouço, os registros administrativos foram elencados como
uma das formas por meio da qual as instâncias estatais produzem evidências poten-
cialmente úteis para subsidiar sua própria atuação. Uma das questões decorrentes
dessa análise reside no fato de que, comumente, esses registros não são entendidos
como evidências por não responderem a requisitos específicos atribuídos ao saber
científico e, consequentemente, sua mobilização e uso como subsídio capaz de
influenciar as diferentes etapas de produção de políticas públicas também não são
lidos pela ótica da burocracia pública como adoção de mecanismos para melhor
informar as políticas sob sua responsabilidade.
Entretanto, como exposto ao longo deste texto, esses registros perpassam dife-
rentes etapas da produção de políticas públicas assumindo funções de diagnóstico,
controle, operacionalização e publicidade da ação pública e têm sido objeto de
aperfeiçoamento constante e melhoria em suas práticas de gestão. Nesse sentido, o
uso dessas informações sob a forma de evidências já é algo que ocorre na prática em
diferentes áreas de políticas, sem que, no entanto, esse processo seja reconhecido
como tal ou ganhe visibilidade a partir desse enquadramento.24
Há um espaço enorme para ampliação dessas práticas a partir do reconheci-
mento da importância dos registros administrativos como ferramentas de gestão
interna das instâncias governamentais e como formas de estruturar a percepção
estatal sobre os problemas públicos e as diferentes possibilidades de intervenção
sobre estes temas. Para tornar esse movimento possível, os registros administrativos
precisam constituir um corpo de ferramentas conhecido e disseminado no âmbito
da administração pública, dirimindo riscos, inclusive, de que transições de poder
ou mudanças de gestão impliquem em perdas ligadas aos custos de aprendizagem
sobre quais dados já existem, estão disponíveis, suas formas de constituição e como
podem ser utilizados pelos atores governamentais e não governamentais.
24. Para mais informações, ver o capítulo 9 desta publicação.

Se, por um lado, há uma lacuna substantiva no reconhecimento e na apro-

priação pelo próprio corpo político-burocrático da miríade de dados produzidos
pelos inúmeros processos de organização da ação estatal, por outro, evidentemente,
há um longo caminho a ser percorrido para assegurar que esses registros expandam
suas possibilidades de uso enquanto evidências capazes de informar processos
consistentes de diagnóstico e tomada de decisão por parte dos gestores.
Como ponto de partida, esses registros carecem de ações organizadas voltadas
para sua divulgação e disseminação dentro da administração pública. Como decor-
rência do desconhecimento da própria burocracia da existência ou das características
desses registros, ocorre a sobreposição de esforços e retrabalho de coleta de dados
já existentes em outros cadastros, bem como caem drasticamente as possibilidades
de articulação entre setores que poderiam utilizar essas informações para enxergar
múltiplas dimensões dos problemas enfrentados pelas políticas.
Esforços nesse sentido contribuiriam para ampliar o diálogo entre áreas respon-
sáveis pela gestão desses registros. Isso abre espaço para a cooperação e a colaboração
entre áreas convergentes e desestimula a lógica de propriedade desses registros que
obstaculiza esforços de maior integração e troca de informações dentro e fora dos
setoriais. Essa circunstância depende, por óbvio, da disponibilização planejada
e segura dos dados garantindo o cumprimento de regras de privacidade, sigilo e
consentimento em relação àquelas informações de caráter sensível que possam, de
alguma forma, expor ou prejudicar indivíduos ou organizações em razão do uso
indevido desses dados.
Em contrapartida, a ampliação do acesso a esses dados fomentaria a reali-
zação de pesquisas por atores não estatais e o maior aproveitamento pelos órgãos
de pesquisa e academia dessas informações, estendendo a compreensão sobre as
potencialidades dos registros como dados estatisticamente válidos e consistentes.
Isso depende, em grande medida, do reconhecimento nas instâncias gerenciais da
necessidade de sistematizar e organizar os sistemas existentes – garantindo conti-
nuidade, atualização, rotinas claras e registradas, assim como esforços na geração
de insumos que permitam que etapas de construção e atualização das bases sejam
de conhecimento comum das equipes atuais e futuras envolvidas nessas áreas.
É essencial, para a intensificação do uso de evidências em políticas públicas,
o reconhecimento de que evidências são produzidas a todo instante no âmbito
estatal e que seu uso pode ser aprimorado, reduzindo significativamente os custos
de acesso a dados cruciais sobre população brasileira e suas demandas e poten-
cialidades. Desse modo, medidas que fomentem o rigor na gestão dos registros
administrativos criando regras e orientações para sua construção, manutenção e
atualização, assim como a criação de instâncias nos órgãos responsáveis pela gestão
de informações e pela produção de evidências capazes de contribuir para melhor
informar as políticas públicas, tornam-se essenciais para que o debate sobre o me-
lhor uso de insumos produzidos pelo aparato estatal sirvam como subsídios cada
vez mais consistentes e robustos para uso do próprio Estado.
REFERÊNCIAS
BACHELARD, G. Ensaio sobre o conhecimento aproximado. Rio de Janeiro:
Contraponto, 2004.
BACCHI, C. L. Women, policy and politics: the construction of policy problems.
London: Sage, 1999.
BALL, S. J. What is policy? 21 years later: reflections on the possibilities of policy
research. Discourse Studies in the Cultural Politics of Education, v. 36, n. 3,
p. 306-313, 1993.
BRAUN, K. Between representation and narration: analyzing policy frames. In:
FISCHER, F. et al. Handbook of critical policy studies. United Kingdom:
Edward Elgar Publishing, 2015.
CAIRNEY, P. Complexity theory in political science and public policy. Political
Studies Review, v. 10, p. 346-358, 2012.
______. The UK government´s imaginative use of evidence to make policy. Br
Polit, v. 14, p. 1-22, 2019.
CAPANO, G. et al. Making policies work: first and second-order mechanisms
in policy design. Northampton: Edward Elgar Publishing, 2019.
CASTORIADIS, C. Sujeito e verdade no mundo social-histórico. Rio de Janeiro:
Civilização Brasileira, 2007.
DIAS, R. et al. Estratégias para estimular o uso de evidências científicas na tomada
de decisão. Cadernos de Saúde Coletiva, Rio de Janeiro, v. 23, n. 3, 2015.
ELIAS, P. Administrative data. In: DUSA, A. et al. Facing the future: European
research infrastructures for the humanities and social sciences. Berlin, 2014.
FISCHER, F. et al. Handbook of critical policy studies. United Kingdom:
Edward Elgar Publishing, 2015.
FOUCAULT, M. Microfísica do poder. Rio de Janeiro: Graal, 2008.
GOFFMAN, E. A representação do eu na vida cotidiana. 14. ed. Petrópolis:
Vozes, 2007.
GRISA, C. Diferentes olhares na análise de políticas públicas: considerações sobre
o papel do Estado, das instituições, das ideias e dos atores sociais. Sociedade e
Desenvolvimento Rural, v. 4, n. 1, 2010.
IMMERGUT, E. O núcleo teórico do novo institucionalismo. In: SARAVIA, E.;

FERRAREZI, E. Coletânea de políticas públicas. Brasília: Enap, 2007. v. 1.
INGRAM, H.; SCHNEIDER, A. Making distinctions: the social construction of
target populations. In: FISCHER, F. et al. Handbook of critical policy studies.
United Kingdom: Edward Elgar Publishing, 2015.
HAJER, M.; LAWS, D. Ordering through discourse. In: MORAN, M.; REIN,
M.; GOODIN, R. The Oxford handbook of public policy. Oxford, New York:
HALL, J.; BATTAGLIO, P. Bridging the divide: when research speaks – and lis-
tens – to practice. Public Administration Review, v. 79, n. 4, p. 461-464, 2019.
GROVES, R.; SCHOEFFEL, G. Use of administrative records in evidence-based
policymaking. AAPSS, v. 678, n. 1, July 2018.
HALPERN, C.; LASCOUMES, P.; LE GALÈS, P. As abordagens a partir dos
instrumentos da ação pública. In: PORTO, O.; HASSENTEUFEL, P. Sociologia
política da ação pública: teorias, abordagens e conceitos. Brasília: Enap, 2021.
HOLT, T. Official statistics, public policy and public trust. Journal of the Royal
Statistical Society, v. 171, n. 2, p. 322-346, 2008. Disponível em: <https://bit.
ly/3jgg2p7>.
HOWLETT, M. Designing public policies: principles and instruments. 2019.
HOWLETT, M. et al. Políticas públicas: seus ciclos e subsistemas. Rio de Janeiro:
Editora Elsevier, 2013.
JASANOFF, S. Science and public reason. Routledge, 2012.
JASANOFF, S.; KIM, S. Dreamscapes of modernity: sociotechnical imaginaries
and the fabrication of power. University of Chicago Press, 2015.
JOBERT, B. The normative frameworks of public policy. Political Studies, v. 37,
p. 376-386, 1989.
KAY, A. Evidence-based policy-making: the elusive search for rational public
administration. The Australian Journal of Public Administration, v. 70, n. 3,
p. 236-245, 2011.
LANGER, S. Filosofia em nova chave. 2004.
LATOUR, B. Jamais fomos modernos: ensaio de antropologia simétrica. Rio de
Janeiro: Editora 34, 1994.
LOVBRAND, E.; STRIPPLE, J. Foucault and critical policy studies. In: FIS-
CHER, F. et al. Handbook of critical policy studies. United Kingdom: Edward
Elgar Publishing, 2015.
LUKE, T. The interpretation of power. In: FISCHER, F. et al. Handbook of critical

policy studies. United Kingdom: Edward Elgar Publishing, 2015.
MAZANDERANI, F. et al. Knowledge, evidence, expertise? The epistemics of expe-
rience in contemporary healthcare. Evidence & Policy, v. 16, n. 2, p. 267-284, 2020.
METZ, A.; BOAZ, A.; ROBERT, G. Co-creative approaches to knowledge pro-
duction: what next for bridging the research to practice gap? Evidence & Policy,
v. 15, n. 3, p. 331-337, 2019.
MIRANDA, A. P. M. de. Antropologia, Estado moderno e poder: perspectivas
e desafios de um campo em construção. Avá. Revista de Antropología, n. 7,
p. 1-27, 2005.
MULLER, P.; SUREL, Y. A análise das políticas públicas. Pelotas: Educat,
2002. 156 p.
NUGROHO, K.; CARDEN, F.; ANTLOV, H. Forms of knowledge and policy
influence. In: NUGROHO, K.; CARDEN, F.; ANTLOV, H. Local knowledge
matters: power, context and policy making in Indonesia. Bristol University Press;
Policy Press, 2018. Disponível em: <https://bit.ly/2Z1bcEX>.
NUTLEY, S.; WALTER, I.; DAVIES, H. Using evidence: how research can inform
public services. The Policy Press, 2007.
OLIVER, K.; LORENC, T.; INNVÆR, S. New directions in evidence-based
Systems, v. 12, n. 34, 2014.
PARKHURST, J. The politics of evidence. Oxon: Routledge, 2017.
PENNER, A. M.; DODGE, K. A. Using administrative data for social science
and policy. RSF: The Russel Sage Foundation Journal of the Social Sciences,
v. 5, n. 2, p. 1-18, 2019.
PINHEIRO, M. Políticas públicas baseadas em evidências (PPBEs): delimitan-
do o problema conceitual. Brasília: Ipea, 2019. (Texto para Discussão, n. 2554).
POEL, M.; MEYER, E. T.; SCHROEDER, R. Big data for policymaking: great
expectations, but with limited progress? Policy & Internet, v. 10, n. 3, 2018.
PORTO, J. R. S. Uma analítica do poder para as políticas públicas: Foucault e a
contribuição da Anthropology of Public Policy. Estudos, Sociedade e Agricultura,
Rio de Janeiro, v. 22, n. 2, p. 360-385, 2014.
Public Administration, v. 80, n. 1, 2002.
SHEPSLE, K. Rational choice institutionalism. In: The Oxford Handbook of

Political Institutions, v. 23, p. 24-26, 2006.
SHEPSLE, K. A.; BONCHEK, M. S. Analyzing politics: rationality, behaviors,
and institutions. New York: W.W. Norton & Company, 1997.
SHORE, C.; WRIGHT, S.; PERÒ, D. Policy worlds: anthropology and the
analysis of contemporary power. New York: Berghahn Books, 2011.
SILVEIRA, S. A. Governo dos algoritmos. Revista de Políticas Públicas, v. 21,
n. 1, p. 267-281, 2017.
SMITH-MERRY, J. Evidence-based policy, knowledge from experience and va-
lidity. Evidence & Policy, v. 16, n. 2, p. 305-316, 2020.
STEINMO, S. Historical institucionalism and experimental methods. In: FIORE-
TOS, O.; FALLETI, T.; SHEINGATE, A. The Oxford Handbook on Historical
Institucionalism. New York: Oxford University Press, 2016.
STONE, D. Policy paradox and political reason. Boston: Scott, Foresman and
Company, 1988.
TOMAZINI, C. Mudança de políticas públicas: a força das ideias. In: PORTO,
O.; HASSENTEUFEL, P. Sociologia política da ação pública: teorias, abordagens
e conceitos. Brasília: Enap, 2021.
UNITED STATES. Office of Management and Budget. M-14-06: Guidance
for providing and using administrative data for statistical purposes. Washington:
OMB, 2014. Disponível em: <https://bit.ly/3pkWJPf>.
______. Office of Management and Budget. Barriers to using administrative
data for evidence-building. Washington: OMB, 2016. Disponível em: <https://
bit.ly/3vyP3tO>.
WALLGREN, A.; WALLGREN, B. Register-based statistics: administrative data
for statistical purposes. 2nd ed. Chichester, United Kingdom: J.Wiley & Sons, 2014.
WEDEL, J.; FELDMAN, G. Why an anthropology of public policy. Anthropology
Today, v. 21, n. 1, 2005.
WEISS, C. Using social research in public policy making. Lexington Books,
D.C. Heath and Company, 1977.
WOOLLARD, M. Administrative data: problems and benefits. A perspective from
the United Kingdom. In: DUŞA, A. et al. Facing the future: European research
infrastructures for the humanities and social sciences. Berlin, 2014.
YANOW, D. Making sense of policy practices: interpretation and meaning.
Communication Studies Department Wageningen University, 2015.
BALL, S. J. What is policy? Texts, trajectories and toolboxes. Discourse Studies
in the Cultural Politics of Education, v. 13, n. 2, 1993.
BLYTH, M. M. Any more bright ideas? The ideational turn of comparative political
economy. Comparative Politics, v. 29, n. 2, p. 229‑250, 1997.
BOURDIEU, P. Sobre o Estado. Companhia das Letras: Rio de Janeiro, 2014.
CASTORIADIS, C. A instituição imaginária da sociedade. São Paulo: Paz e
Terra, 1982.
MELLO, J. Gênero, representação e instituições. 2007. Dissertação (Mestrado) –
Universidade de Brasília, Brasília, 2007.
______. Núcleo de governo de fato: o caso do Plano Brasil sem Miséria. Rio de
Janeiro, Ipea, 2018. (Texto para Discussão, n. 2397).
OFFE, C. Problemas estruturais do estado capitalista. Rio de Janeiro: Tempo
Brasileiro, 1984.
SCHNEIDER, A.; INGRAM, H. Policy design for democracy. Kansas: Uni-
versity Press of Kansas, 1997.
SEARLE, J. R. The construction of social reality. New York: Free Press, 1995.
APÊNDICE A
QUADRO A.1
Lista detalhada de registros administrativos selecionados na análise
Data de Órgão Usos e
Nome Sigla Descrição
criação gestor funções
A gestão governamental do setor do trabalho conta com o importante instrumento de coleta de dados denominado de Rais.
Instituída pelo Decreto no 76.900, de 23 de dezembro de 1975, a Rais tem por objetivo:
o suprimento às necessidades de controle da atividade trabalhista no país,
Relação Anual o provimento de dados para a elaboração de estatísticas do trabalho e a disponibilização de informações do mercado de trabalho
i), ii), iii),
de Informações Rais às entidades governamentais. 1975 MTE
iv)
Sociais Os dados coletados pela Rais constituem expressivos insumos para atendimento das necessidades da legislação da nacionaliza-
ção do trabalho; de controle dos registros do Fundo de Garantia do Tempo de Serviço (FGTS); dos Sistemas de Arrecadação e de
Concessão e Benefícios Previdenciários; de estudos técnicos de natureza estatística e atuarial; de identificação do trabalhador com
direito ao abono salarial do Programa Integração Social e do Programa de Formação do Patrimônio do Servidor Público (PIS/Pasep).
O Cadastro Único é um instrumento que identifica e caracteriza as famílias de baixa renda, permitindo que o governo conheça
melhor a realidade socioeconômica dessa população. Nele são registradas informações como: características do domicílio, identifi-
cação de cada pessoa, escolaridade, situação de trabalho e renda, entre outras.
Desde 2003, o Cadastro Único se tornou o principal instrumento do Estado brasileiro para a seleção e a inclusão de famílias de bai-
Cadastro Único xa renda em programas federais, sendo usado obrigatoriamente para a concessão dos benefícios do programa Bolsa Família (PBF),
para Programas Cadastro da Tarifa Social de Energia Elétrica, do Programa Minha Casa Minha Vida, entre outros. Também pode ser utilizado para a seleção MCidada-
2003 i), ii), iii)
Sociais do Gover- Único de beneficiários de programas ofertados pelos governos estaduais e municipais. Por isso, ele funciona como uma porta de entrada nia
no Federal para as famílias acessarem diversas políticas públicas.
A execução do Cadastro Único é de responsabilidade compartilhada entre o governo federal, os estados, os municípios e o Distrito
Federal. Em nível federal, o Ministério da Cidadania (MCidadania) é o gestor responsável, e a Caixa Econômica Federal é o agente
operador que mantém o Sistema de Cadastro Único.
O Cadastro Único está regulamentado pelo Decreto no 6.135, de 26 de junho de 2007, e em outras normas.
O Caged foi criado como registro permanente de admissões e dispensa de empregados, sob o regime da Consolidação das Leis do
Trabalho (CLT).
Cadastro Geral
É utilizado pelo Programa de Seguro-Desemprego, para conferir os dados referentes aos vínculos trabalhistas, além de outros
Produção Estatal de Evidências e Uso de Registros Administrativos em Políticas Públicas
de Empregados e Caged 1965 MTE i), ii), iii)

programas sociais.
Desempregados
Este cadastro serve, ainda, como base para a elaboração de estudos, pesquisas, projetos e programas ligados ao mercado de
trabalho, ao mesmo tempo em que subsidia a tomada de decisões para ações governamentais.
| 485
(Continua)
(Continuação)
486 |
O Simec é um portal operacional e de gestão do MEC que trata do orçamento e monitoramento das propostas on-line do governo
federal na área da educação. É no Simec que os gestores verificam o andamento dos Planos de Ações Articuladas em suas cidades.
Sistema O MEC oferece aos estados, aos municípios e ao Distrito Federal um ambiente virtual do Simec, para elaboração do Plano de Ações
Integrado de Articuladas e acompanhamento das obras pactuadas com o Fundo Nacional de Desenvolvimento da Educação (FNDE).
i), ii), iii),
Planejamento, Simec Os módulos de Plano de Ações Articuladas (PAR e PAR) 2011-2014 do Simec constituem ferramenta que oferece um instrumento 2005 MEC
iv), v)
Orçamento e de diagnóstico e planejamento de política educacional, concebido para estruturar e gerenciar metas definidas de forma estratégica,
Finanças contribuindo para a construção de um sistema nacional de ensino.
O módulo Obras 2.0 do Simec constituí uma ferramenta de acompanhamento e controle das obras pactuadas com o FNDE englo-
bando construções, reformas e ampliação dos espaços educacionais.
O Sisben é responsável pela concessão mensal de milhões de benefícios e, com isto, torna-se muito importante a questão da segu-
Sistema de
rança e auditoria nas agências e unidades de atendimento avançadas da previdência social que concedem estes benefícios e nas Sem infor-
Benefícios da Sisben MPS ii), iii), iv)
gerências que supervisionam e, por fim, na Empresa de Tecnologia e Informações da Previdência (Dataprev), que é quem executa os mações
Previdência Social
serviços de armazenamento e manutenção destes dados.
O Sirc faz a captação e o tratamento dos dados dos registros civis de nascimento, casamento, óbito e natimortos.
Sistema Nacional Com o Sirc, essas atividades são realizadas com o apoio de uma plataforma digital, em um fluxo que conecta os cartórios aos
de Informações Sirc ambientes de governo eletrônico do Estado brasileiro. Além de contribuir para a erradicação do sub-registro no país, ampliando o 2019 MMFDH i), iii)
de Registro Civil exercício pleno da cidadania, o Sirc busca promover melhorias na prestação dos serviços públicos, facilitando o acesso a direitos e
benefícios sociais.
Sistema de
O Cadsus permite a geração do Cartão Nacional de Saúde (CNS), que facilita a gestão do Sistema Único de Saúde (SUS) e contribui
Cadastramento
para o aumento da eficiência no atendimento direto ao usuário. Sem infor- i), ii), iii),
de Usuários do Cadsus MS
O cadastramento permite a construção de um banco de dados para diagnóstico, avaliação, planejamento e programação das ações mações iv)
Sistema Único de
de saúde.
Saúde
O Sisobi é responsável por colher informações de óbitos dos cartórios de registro civil de pessoas naturais do Brasil.
Sistema de Con- i), ii), iii),
Sisobi No Instituto Nacional do Seguro Social (INSS), os dados do Sisobi são utilizados para cancelar benefícios por meio de cruzamentos 2001 MS
trole de Óbitos iv)
com o Sistema Unificado de Benefícios (SUB).
Sistema de
Informações O Sipra é o sistema informatizado que tem como objetivo tratar, sistematizar e recuperar dados sobre os Projetos de Reforma Sem infor-
Sipra Incra i), ii)
de Projetos de Agrária, bem como dos seus beneficiários. mações
Reforma Agrária
(Continua)
(Continuação)
Declaração de
Aptidão ao Pro- Instrumento utilizado para identificar e qualificar as Unidades Familiares de Produção Agrária (UFPA) da agricultura familiar e suas
grama Nacional formas associativas organizadas em pessoas jurídicas. Consideram-se beneficiários de DAP a UFPA composta por: agricultores/ Sem infor-
DAP Mapa i), ii)
de Fortalecimento as familiares, pescadores artesanais, aquicultores, maricultores, silvicultores, extrativistas, quilombolas, indígenas, assentados da mações
da Agricultura reforma agrária e beneficiários do Programa Nacional de Crédito Fundiário.
Familiar
Sistema de Infor-
mações das Famí- Ferramenta on-line de gerenciamento de dados lançada pelo Instituto Chico Mendes de Conservação da Biodiversidade (ICMBio)
SISFamí-
lias em Unidades em abril de 2015. Além de reunir as informações já coletadas, o SISFamílias fornece fotos, imagens de satélite e relatórios sobre 2013 ICMBio i), ii), iii)
lias
de Conservação cada unidade, permitindo atualizações, correções e incorporações de novas famílias no sistema.
Federais
O SAMGe é uma ferramenta que visa analisar e monitorar a efetividade de gestão de nossas Unidades de Conservação.
O SAMGe se pauta nas relações entre recursos e valores alocados em objetivos, suas inter-relações com a sociedade por meio dos
Sistema de usos e como a instituição responde aos desafios territoriais de gestão. Esses elementos determinam a efetividade de gestão, que
Análise e é o cumprimento da política pública dentro de um espaço territorialmente protegido. A ferramenta já vem servindo como subsídio
SAMGe 2016 ICMBio i), ii), iii)
Monitoramento para a elaboração e revisão dos Planos de Manejo, bem como para a tomada de decisão em diferentes setores da Instituição. Da
de Gestão mesma forma, o Ministério do Meio Ambiente (MMA) tem se valido do SAMGe como instrumento para medir a efetividade de
gestão das unidades de conservação sob o guarda-chuva de diversos projetos, além de estar avaliando outras formas de aplicação
da metodologia como ferramenta de auxílio na alocação de recursos e de esforços de gestão.
O Sisfauna é um sistema eletrônico de gestão e controle dos empreendimentos e atividades relacionadas ao uso e manejo da fauna
Sistema Nacional
silvestre em cativeiro em território nacional. Existem duas versões deste sistema: o Sisfauna 1.0 – Gestão de Fauna, dedicado à Sem infor-
de Gestão de Sisfauna Ibama i), ii), iii)
emissão de Autorização Prévia, de Instalação e de Manejo; e o Sisfauna 1.2 – Recadastramento, direcionado ao recadastramento mações
Fauna Silvestre
de empreendimentos já autorizados e ao controle de plantel.
Programa de
Cálculo do Serve para contabilizar anualmente o que foi perdido de mata nativa, para que o governo, a partir desses dados, elabore políticas
Prodes 1988 Inpe iii), v)
Desflorestamento públicas.
da Amazônia
Detecção de Sistema responsável por fornecer alertas preliminares de áreas com sinais de devastação, levantamento rápido, quase em tempo
Desmatamento Deter real, para dar suporte à fiscalização e ao controle do desmatamento realizados pelo Instituto Brasileiro do Meio Ambiente e dos 2004 Ibama iii), iv), v)
em Tempo Real Recursos Naturais Renováveis (Ibama).

(Continua)
| 487
(Continuação)
488 |
Sistema usado para medir as mudanças no uso do solo e aferir se o terreno da floresta desmatada está sendo usado para pecuária,
Inpe/Em-
Terraclass agricultura, mineração ou pasto, por exemplo. Mapeamentos detectaram o estado do solo em 2004, 2008, 2010, 2012 e 2014 – 2004 iii), iv), v)
brapa
possibilitando uma análise da década.
Sistema de
Cadastro do
Sistema de cadastro do Suas, que comporta todas as informações relativas a prefeituras, órgão gestor, fundo e conselho municipal Sem infor- MCidada-
Sistema Único Cadsuas i), ii), iii)
e entidades que prestam serviços socioassistenciais. mações nia
de Assistência
Social
Sistema de Ges-
Com o objetivo de aperfeiçoar e integrar a gestão de seus principais processos, foi desenvolvido o SIGPBF que permite o acompa- Sem infor- MCidada-
tão do Programa SIGPBF ii), iii), iv)
nhamento de todas as ações de gestão relativas ao PBF e ao Cadastro Único. mações nia
Bolsa Família
O Sicon é uma ferramenta de apoio à gestão intersetorial que integra as informações do acompanhamento de condicionalidades
nas áreas de Saúde e Educação, promovendo a interoperabilidade a partir da integração e consolidação das informações de frequ-
ência escolar, do calendário de vacinação e das consultas pré-natais oriundas dos sistemas específicos desenvolvidos e gerenciados
Sistema de Con- pelos Ministério da Educação (MEC) e Ministério da Saúde (MS), e das informações de atendimento/acompanhamento familiar da Sem infor- MCidada-
Sicon ii), iii), iv)
dicionalidades Secretaria Nacional de Assistência Social de forma a auxiliar no acesso aos serviços sociais e monitoramento das famílias beneficiá- mações nia
rias do PBF para uma gestão mais eficiente e eficaz do PBF.
Trata-se de um sistema multiusuário para gestores federais, estaduais e municipais e membros do controle social, acessível via
internet.
Ferramenta operacional e de gestão do Programa de Aquisição de Alimentos (PAA) adotada para:

Sistema de infor- cadastrar unidades executoras, beneficiários fornecedores, unidades recebedoras e produtos do programa;
mação do Progra- registrar operações de aquisição e distribuição de produtos; MCidada- i), ii), iii),
SIS/PAA 2015
ma de Aquisição acompanhar cumprimento dos limites anuais dos beneficiários e organizações fornecedores; nia iv)
de Alimentos acompanhar aquisição de produtos; e
acompanhar cumprimento de metas.
Sistema de Infor- Todas as cisternas construídas são cadastradas no SIG Cisternas. Cada cadastro apresenta os dados de localização geográfica
mações Geren- SIG Cis- (georreferenciamento) da tecnologia, dados do beneficiário e das etapas de construção. Também é anexado à documentação um Sem infor- MCidada-
ii), iii), iv)
ciais do Programa ternas termo de recebimento assinado pela família, documento com foto que tem como objetivo comprovar a entrega da tecnologia ao mações nia
Cisternas beneficiário. O SIG Cisternas é a garantia do controle e transparência do programa.
(Continua)
(Continuação)
O Sisab foi instituído em 2013, passando a ser o sistema de informação da Atenção Básica vigente para fins de financiamento e de ade-
Sistema de Infor- são aos programas e estratégias da Política Nacional de Atenção Básica, substituindo o Sistema de Informação da Atenção Básica (Siab).
mação em Saúde O Sisab integra a estratégia do Departamento de Saúde da Família (DESF/SAPS/MS) denominada e-SUS Atenção Primária (e-SUS APS), i), ii), iii),
Sisab 2013 MS
para a Atenção que propõe o incremento da gestão da informação, a automação dos processos, a melhoria das condições de infraestrutura e a melho- iv)
Básica ria dos processos de trabalho. Com o Sisab, será possível obter informações da situação sanitária e de saúde da população do território
por meio de relatórios de saúde, bem como de relatórios de indicadores de saúde por estado, município, região de saúde e equipe.
O SIM foi criado pelo Departamento de Informática do Sistema Único de Saúde (Datasus) para a obtenção regular de dados sobre
Sistema de In-
mortalidade no país. A partir da criação do SIM, foi possível a captação de dados sobre mortalidade, de forma abrangente, para
formações sobre SIM MS i), iii), v)
subsidiar as diversas esferas de gestão na saúde pública. Com base nessas informações, é possível realizar análises de situação,
Mortalidade
planejamento e avaliação das ações e programas na área.
Criado em agosto de 1981, em Curitiba, substituindo em 1982 o sistema Guia de Internação Hospitalar (GIH), o popularmente
conhecido Sistema AIH passou por várias plataformas em mainframes UNISYS e ABC-BULL, na fase de processamento centralizado.
Foi o primeiro sistema do Datasus a ter captação implementada em microcomputadores (AIH em disquete – 1992) e descentra-
lizada nos próprios usuários, encerrando a era dos polos de digitação. O processamento das AIHs continuou centralizado até ser
Sistema de
descentralizado para os gestores de secretaria de Saúde em abril de 2006, usando plataforma Windows, SGBD Firebird e linguagem
Informações
de programação delphi – que é o estado em que se encontra atualmente.
Hospitalares do SIH/SUS 1981 MS ii), iii)
A finalidade do AIH (Sistema SIHSUS) é registrar todos os atendimentos provenientes de internações hospitalares que foram financia-
Sistema Único de
das pelo SUS e, a partir deste processamento, gerar relatórios para que os gestores possam fazer os pagamentos dos estabelecimen-
Saúde
tos de saúde. Além disso, o nível federal recebe mensalmente uma base de dados de todas as internações autorizadas (aprovadas ou
não para pagamento) para que possam ser repassados às secretarias de Saúde os valores de produção de média e alta complexida-
de, além dos valores de Central Nacional de Regulação da Alta Complexidade (CNRAC), Fundo de Ações Estratégicas e Compensação
(FAEC) e de hospitais universitários – em suas variadas formas de contrato de gestão.
Sistema de
O Datasus desenvolveu o Sinasc visando reunir informações epidemiológicas referentes aos nascimentos informados em todo Sem infor-
Informações de Sinasc MS i), iii)
território nacional. mações
Nascidos Vivos
O Sinan é alimentado, principalmente, pela notificação e investigação de casos de doenças e agravos que constam da lista nacional
de doenças de notificação compulsória (Portaria de Consolidação no 4, de 28 de setembro de 2017, anexo V, capítulo I), mas é
facultado a estados e municípios incluir outros problemas de saúde importantes em sua região. Sua utilização efetiva permite a
Sistema de
realização do diagnóstico dinâmico da ocorrência de um evento na população, podendo fornecer subsídios para explicações causais
Informação de i), iii),
Sinan dos agravos de notificação compulsória, além de vir a indicar riscos aos quais as pessoas estão sujeitas, contribuindo, assim, para a 2005 MS
Agravos de iv), v)
identificação da realidade epidemiológica de determinada área geográfica. O seu uso sistemático, de forma descentralizada, contri-
Notificação
bui para a democratização da informação, permitindo que todos os profissionais de saúde tenham acesso à informação e as tornem
disponíveis para a comunidade. É, portanto, um instrumento relevante para auxiliar o planejamento da saúde, definir prioridades de
| 489
intervenção, além de permitir que seja avaliado o impacto das intervenções.

(Continua)
(Continuação)
490 |
Sistema de
Objetivo fundamental do SI/PNI é possibilitar aos gestores envolvidos no programa uma avaliação dinâmica do risco quanto à
Informações
ocorrência de surtos ou epidemias, a partir do registro dos imunos aplicados e do quantitativo populacional vacinado, que são Sem infor-
do Programa SI/PNI MS i), ii), iii)
agregados por faixa etária, em determinado período de tempo, em uma área geográfica. Em contrapartida, possibilita também o mações
Nacional de
controle do estoque de imunos necessário aos administradores que têm a incumbência de programar sua aquisição e distribuição.
Imunização
O Siasus foi criado em 1992 e implantado a partir de julho de 1994 nas secretarias estaduais que estavam substituindo os sistemas
Guia de Autorização de Pagamento (GAP) e Sistema de Informações e Controle Ambulatorial da Previdência Social (Sicaps) para
financiar os atendimentos ambulatoriais. Em 1996, foi largamente implantado nas secretarias municipais de Saúde – então
chamadas de gestão semiplenas – pela Norma Operacional Básica (NOB) 96. Em 1997, o aplicativo passou a processar, além dos
Sistema de tradicionais Boletim de Produção Ambulatorial (BPA), um documento numerado e autorizado chamado Autorização de Procedimen-
Informações to de Alta Complexidade (Apac).
Ambulatoriais do Siasus O Siasus recebe a transcrição de produção nos documentos BPA e Apac, faz consolidação e valida o pagamento contra parâmetros 1992 MS ii), iii), iv)
Sistema Único de orçamentários estipulados pelo próprio gestor de saúde, antes de aprovar o pagamento – para isto utiliza-se do sistema Ficha de
Saúde Programação Orçamentária (FPO). Mensalmente os gestores, além de gerar os valores devidos a sua rede de estabelecimentos, en-
viam ao Datasus-RJ uma base de dados contendo a totalidade dos procedimentos realizados em sua gestão. Também mensalmente
o Datasus-RJ gera arquivos para tabulação contendo estes atendimentos. Complementando as informações do sistema Sihsus,
fornece ao Secretaria de Atenção à Saúde/Departamento de Regulação, Avaliação e Controle (SAS/Drac) os valores do teto de
financiamento a serem repassados para os gestores.
Sistema de informação oficial de cadastramento de informações de todos os estabelecimentos de saúde no país, independentemen-
te de sua natureza jurídica ou de integrarem o SUS. Trata-se do cadastro oficial do MS no tocante à realidade da capacidade insta-
Cadastro
lada e mão de obra assistencial de saúde no Brasil em estabelecimentos de saúde públicos ou privados, com convênio SUS ou não.
Nacional de
CNES O CNES é a base cadastral para operacionalização de mais de noventa sistemas de base nacional, tais como: Sistema de 2000 MS i), ii), iii)
Estabelecimentos
Informação Ambulatorial (SIA), Sistema de Informação Hospitalar (SIH), e-SUS Atenção Primária (e-SUS APS), entre outros. É uma
de Saúde
ferramenta auxiliadora que proporciona o conhecimento da realidade da rede assistencial existente e suas potencialidades, de
forma a auxiliar no planejamento em saúde das três esferas de governo, para uma gestão eficaz e eficiente.
Ferramenta útil ao processo de gestão e transparência de informações energéticas do país.

O sistema permite ao Ministério de Minas e Energia (MME) o gerenciamento e a disseminação de informações de oferta e deman-
Sistema de
SIE- da de energia, instalações energéticas, recursos e reservas, preços de energéticos, equipamentos de consumo, produção industrial,
Informações MME i), ii), iii), v)
-Brasil eficiência, demografia, economia, emissões de partículas e prospectiva, além de informações legais e documentais. Os módulos
Energéticas
do Brasil, dos estados, dos municípios e de países e mundo permitem a comparabilidade entre indicadores, a partir de critérios
uniformes de tratamento dos dados.
(Continua)
(Continuação)
Registro público eletrônico de âmbito nacional, obrigatório para todos os imóveis rurais, com a finalidade de integrar as informa-
ções ambientais das propriedades e posses rurais referentes às áreas de preservação permanente (APPs), de uso restrito, de reserva
legal, de remanescentes de florestas e demais formas de vegetação nativa, e das áreas consolidadas, compondo base de dados
para controle, monitoramento, planejamento ambiental e econômico, e combate ao desmatamento.
Cadastro Am- i), ii), iii),
CAR A inscrição no CAR é o primeiro passo para obtenção da regularidade ambiental do imóvel e contempla: dados do proprietário, 2012 MMA
biental Rural iv), v)
possuidor rural ou responsável direto pelo imóvel rural; dados sobre os documentos de comprovação de propriedade e ou posse;
e informações georreferenciadas do perímetro do imóvel, das áreas de interesse social e das áreas de utilidade pública, com a
informação da localização dos remanescentes de vegetação nativa, das APPs, das áreas de uso restrito, das áreas consolidadas e
das reservas legais.
Sistema
Não se Este módulo permite pesquisar sobre as terras indígenas localizadas no território brasileiro e suas etapas no processo de demarca- Sem infor-
Indigenista de Funai i), ii), v)
aplica ção: em estudos; delimitadas; declaradas; homologadas; e regularizadas. mações
Informações
O Censo Escolar é o principal instrumento de coleta de informações da educação básica e a mais importante pesquisa estatística
educacional brasileira. É coordenado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e realizado
em regime de colaboração entre as secretarias estaduais e municipais de Educação e com a participação de todas as escolas
públicas e privadas do país.
Ele abrange as diferentes etapas e modalidades da educação básica e profissional:
ensino regular (educação infantil, ensino fundamental e médio);
educação especial – modalidade substitutiva;
Não se educação de jovens e adultos (EJA); e i), ii), iii),
Censo Escolar 2007 Inep
aplica educação profissional (cursos técnicos e cursos de formação inicial continuada ou qualificação profissional). iv), v)
A coleta de dados das escolas tem caráter declaratório e é dividida em duas etapas. A primeira etapa consiste no preenchimento
da matrícula inicial, quando ocorre a coleta de informações sobre os estabelecimentos de ensino, gestores, turmas, alunos e
profissionais escolares em sala de aula. A segunda etapa ocorre com o preenchimento de informações sobre a situação do aluno e
considera os dados sobre o movimento e rendimento escolar dos alunos, ao final do ano letivo.
O Censo Escolar é regulamentado por instrumentos normativos que instituem a obrigatoriedade, os prazos, os responsáveis e suas
responsabilidades, bem como os procedimentos para realização de todo o processo de coleta de dados. Toda a legislação relativa
ao Censo Escolar está disponível para consulta no menu Documentos e Legislação.
(Continua)
| 491
(Continuação)
492 |
O SEB é um cadastro contínuo, preenchido e atualizado por instituições de educação básica (educação infantil, ensino fundamental
e ensino médio) de educação superior, federais, estaduais e municipais, públicas e privadas, assim como instituições federais de
educação profissional e tecnológica.
O SEB reúne dados do corpo docente e discente dos estabelecimentos de ensino; matrícula e frequência do estudante; e histórico
escolar do estudante. Os dados podem ser compartilhados com órgãos e entidades da administração pública federal direta,
Sistema Educa- autárquica e fundacional interessados, e com outras entidades, para fins de formulação, implementação, execução, avaliação e MEC ou i), ii), iii),
SEB 2019
cional Brasileiro monitoramento de políticas públicas. Devem ser observadas normas e procedimentos de segurança, proteção e confidencialidade. Inep iv)
Os serviços oferecidos a partir do SEB beneficiarão tanto as instituições quanto os estudantes. A primeira iniciativa é a Identidade
Estudantil (ID Estudantil), gratuita, digital e destinada aos estudantes da educação básica, tecnológica e superior. A emissão da ID
poderá ser feita por meio de aplicativo de celular. Em breve, novos serviços serão viabilizados por meio do SEB.
O cadastro de informações no SBE não segue um cronograma específico. A qualquer momento as instituições de educação básica e
as instituições de ensino superior (IES) podem definir novos gestores para o SEB e incluir ou alterar informações dos estudantes.
O Censo da Educação Superior, realizado anualmente pelo Inep, é o instrumento de pesquisa mais completo do Brasil sobre as IES
que ofertam cursos de graduação e sequências de formação específica, além de seus alunos e docentes. Essa coleta tem como ob-
jetivo oferecer à comunidade acadêmica e à sociedade em geral informações detalhadas sobre a situação e as grandes tendências
do setor.
O Censo da Educação Superior reúne informações sobre as instituições de ensino superior, seus cursos de graduação presencial ou
Censo da Educa- i), ii), iii),
a distância, cursos sequenciais, vagas oferecidas, inscrições, matrículas, ingressantes e concluintes e informações sobre docentes 1997 Inep
ção Superior iv), v)
nas diferentes formas de organização acadêmica e categoria administrativa.
Os dados são coletados a partir do preenchimento dos questionários, por parte das IES e por importação de dados do Sistema
e-MEC. Durante o período de preenchimento do questionário, os pesquisadores institucionais podem fazer, a qualquer momento,
alterações ou inclusões necessárias nos dados das respectivas instituições. Após esse período, o Inep verifica a consistência das
informações coletadas. O sistema do censo é então reaberto para conferência e validação dos dados pelas IES.
Sistema da Secretaria Nacional de Aviação Civil que apresenta informações, em um formato ágil e interativo, sobre a aviação civil Sem infor-
HÓRUS Minfra i), ii), iii)
brasileira. Estão disponíveis dados de infraestrutura, operação e desempenho relativos aos aeródromos do país. mações
(Continua)
(Continuação)
O Sinima é um dos instrumentos da Política Nacional do Meio Ambiente, previsto na Lei no 6.938/1981. É considerado pela Política
de Informação do MMA como a plataforma conceitual baseada na integração e no compartilhamento de informações entre os
diversos sistemas existentes ou a construir no âmbito do Sistema Nacional do Meio Ambiente (Sisnama), conforme Portaria no
160/2009. O Sinima é o instrumento responsável pela gestão da informação no âmbito do Sisnama, de acordo com a lógica da
gestão ambiental compartilhada entre as três esferas de governo, tendo como forma de atuação três eixos estruturantes:
eixo 1 – desenvolvimento de ferramentas de acesso à informação;
Sistema Nacional
eixo 2 – integração de bancos de dados e sistemas de informação. Esses dois eixos são interligados e tratam de ferramentas de
de Informação i), ii), iii),
Sinima geoprocessamento, em consonância com diretrizes estabelecidas pelo governo eletrônico (e-Gov), que permitem a composição de 1981 MMA
sobre Meio iv), v)
mapas interativos com informações provenientes de diferentes temáticas e sistemas de informação. São desenvolvidos com o apoio
Ambiente
da Coordenação Geral de Tecnologia da Informação e Informática (CGTI) do MMA; e
eixo 3 – fortalecimento do processo de produção, sistematização e análise de estatísticas e indicadores relacionados com as
atribuições do MMA. Este é o eixo estratégico do Sinima cuja função precípua é fortalecer o processo de produção, sistematização
e análise de estatísticas e indicadores ambientais; recomendar e definir a sistematização de um conjunto básico de indicadores
e estabelecer uma agenda com instituições que produzem informação ambiental; e propiciar avaliações integradas sobre o meio
ambiente e a sociedade.
Comunidades
Não se Base com dados sobre as comunidades quilombolas certificadas composta pelas certidões expedidas às comunidades remanescen- Sem infor-
quilombolas FCP i), ii), v)
aplica tes de quilombos (CRQs). mações
certificadas
Conjunto de dados sobre os resultados de emissões de gases de efeito estufa no país (Decreto no 9.172/2017). A série temporal de
Sistema de
emissões é referente aos últimos resultados publicados no Inventário Nacional, como parte da Terceira Comunicação Nacional do
Registro Nacional Sirene 2017 MCTI i), ii), iii)
Brasil à Convenção-Quadro das Nações Unidas sobre Mudanças do Clima, e das terceira e quarta edições das estimativas anuais,
de Emissões
cujos dados dos gráficos e das tabelas podem ser exportados para Excel.
Obs.: 1. MTE – Ministério do Trabalho e Emprego; MPS – Ministério da Previdência Social; MMFDH – Ministério da Mulher, da Família e dos Direitos Humanos; Incra – Instituto Nacional de Colonização e
Reforma Agrária; Mapa – Ministério da Agricultura, Pecuária e Abastecimento; Inpe – Instituto Nacional de Pesquisas Espaciais; Embrapa – Empresa Brasileira de Pesquisa Agropecuária; Funai –
Fundação Nacional do Índio; Minfra – Ministério da Infraestrutura; FCP – Fundação Cultural Palmares; MCTI – Ministério da Ciência, Tecnologia e Inovações.
2. Os usos e as funções dos registros analisados foram divididos em cinco grandes grupos: i) subsídio para formulação de políticas públicas; ii) instrumento para orientar a implementação; iii) mecanismo
de acompanhamento e monitoramento das ações; iv) apoio a ações de fiscalização e controle da execução físico-financeira; e v) mecanismos de prestação de contas, transparência e controle social.
| 493
CAPÍTULO 15
ESTATÍSTICAS PÚBLICAS E O COMBATE À FOME E À POBREZA:

AFINIDADES ELETIVAS QUE FIZERAM DIFERENÇA NOS
RESULTADOS DA AÇÃO GOVERNAMENTAL1
Paulo de Martino Jannuzzi2
1 INTRODUÇÃO
Nas últimas décadas, as políticas públicas brasileiras tornaram-se conhecidas e
reconhecidas no contexto internacional pelos impactos que geraram em diversas
dimensões da realidade social no país. Diversas publicações nacionais e interna-
cionais lançadas nos últimos anos destacaram os avanços do país com relação a
mitigação da fome, redução da pobreza e desigualdade, universalização da educação
básica, ampliação de acesso à água, à energia elétrica e aos bens de consumo, bem
como inclusão universitária de estudantes negros e mobilidade social, entre os
aspectos mais citados.3 Nesses relatórios, em especial os produzidos pelas agências
das Nações Unidas, o Brasil é citado como modelo referencial para países pobres
e de renda média pela estruturação do conjunto de políticas públicas – universais,
redistributivas e de reconhecimento sociocultural – desde meados dos anos 1990
e, sobretudo, nos anos 2000. Com as limitações e ambiguidades desse sistema de
políticas, os resultados até então evidenciados pareciam promissores, considerando
que a experiência brasileira havia percorrido apenas duas décadas, muito menos que
os oitenta anos de estruturação do Estado de bem-estar em Alemanha, França e
Suécia, ou que os quarenta anos em Portugal e Espanha (Castro e Pochmann, 2020).
Os avanços sociais no Brasil seriam explicados, segundo vários analistas
e instituições de pesquisa, pela centralidade da Estratégia Fome Zero (Aranha,
2010) e do Plano Brasil Sem Miséria (BSM) (Campello et al., 2014) na agenda
prioritária de governo, pelo volume crescente de recursos em um amplo leque de
1. O autor agradece as valiosas sugestões dos pareceristas a uma primeira versão deste capítulo, acolhidas no texto
segundo a capacidade reflexiva do autor.
2. Professor da Escola Nacional de Ciências Estatísticas do Instituto Brasileiro de Geografia e Estatística (Ence/IBGE)
e bolsista de produtividade em pesquisa no projeto Informação Estatística e Políticas Públicas no Brasil: uma análise
comparativa internacional, do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). E-mail: <paulo.
jannuzzi@ibge.gov.br>.
3. Ver PNUD (2011), Osório, Soares e Souza (2011), PNUD (2013; 2014), FAO (2014), Ipea (2014), CEPAL (2015), IBGE
(2016), Jannuzzi (2016), World Bank (2016), Campello (2017), FGV (2018), Gonzalez, Prado e Deak (2018), Jannuzzi
e Montagner (2020), Castro (2020), entre outros.
políticas públicas, pelos efeitos da dinamização da economia e emprego no país

e, complementarmente, pela conjuntura internacional favorável das commodities
entre 2004 e 2007. Entretanto, pouco se registra nessas publicações a contribuição
para os avanços sociais decorrentes das inovações institucionais, do fortalecimento
da capacidade técnica do setor público e dos esforços de pactuação federativa e de
articulação intersetorial para implementação dos programas públicos no período.
Menos mencionado ainda é o papel relevante das estatísticas, dos estudos técni-
cos e das evidências para a elaboração de diagnósticos, formulação de programas,
monitoramento e avaliação de políticas públicas.
No entanto, esse acervo informacional fez diferença, em especial na estratégia
de combate à fome e à pobreza, como se procura mostrar neste capítulo. Dispor
de um sistema estatístico complexo e abrangente foi um fator crucial à estrutu-
ração das políticas públicas no Brasil contemporâneo, fato que manifestações
mais recentes de autoridades públicas querem negar.4 Sem estatísticas, pesquisas
de campo – qualitativas e quantitativas – e estudos analíticos sobre a realidade
socioeconômica, o país seria provavelmente mais desigual, pobre, desmatado e
menos desenvolvido do que é hoje. Com todas as iniquidades sociais que ainda
persistem, o quadro seria seguramente pior sem estatísticas públicas, periódicas e
abrangentes para subsidiar o desenho e a gestão de políticas públicas. Não fosse
o portfólio variado de levantamentos estatísticos disponíveis no Brasil, a natureza
pública e sua regularidade de produção, pouco se conheceria sobre a mudança
social ao longo do século XX no país e, em especial, após a Constituição Federal
de 1988 (CF/1988).
Mais especificamente, tomando-se como objeto de análise a estratégia brasi-
leira de combate à fome e à pobreza e, naturalmente, seus efeitos, a proposta deste
texto é mostrar, de um lado, que o acervo informacional produzido no Instituto
Brasileiro de Geografia e Estatística (IBGE) possibilitou maior precisão e rigor
técnico na formulação e na avaliação de políticas públicas; e, de outro lado, que as
demandas mais complexas de intervenção pública levaram à ampliação do escopo
de estatísticas públicas, estudos diagnósticos e avaliações de programas públicos. Se
a ação governamental nesse campo programático não tivesse, além de prioridade na
agenda, se revestido de racionalidade técnica fortemente embasada em estatísticas
e estudos, os resultados das políticas públicas talvez fossem menos significativos.
Não tivessem as políticas de combate à fome e à pobreza a centralidade na agenda
governamental e, por detrás, um corpo técnico com conhecimento mais apro-
fundado no uso de evidências em formulação e avaliação de programas, as novas
4. Sistema estatístico refere-se ao conjunto de levantamentos estatísticos, registros administrativos, cadastros públicos e
outras fontes de dados oficiais, conduzidos ou compilados por instituições públicas, com o objetivo de prover informação
periódica e qualificada para retratar a realidade social, econômica e ambiental – e as políticas públicas relacionadas –
em diferentes escalas territoriais.
Estatísticas Públicas e o Combate à Fome e à Pobreza: afinidades eletivas que | 497
fizeram diferença nos resultados da ação governamental
demandas de informação estatística talvez não tivessem a acolhida e o impacto no

plano de trabalho do IBGE no período. Apontar evidências desse círculo virtuoso
e retroalimentador entre política pública e informação estatística é, em síntese, o
propósito deste trabalho.
Procura-se mostrar que os programas e ações que constituíram o campo
das políticas de desenvolvimento social e combate à fome (PDSCF) valeram-se
de um conjunto amplo de evidências e estudos de pesquisas regulares do IBGE,
o que acabou influenciando, por sua vez, o programa de trabalho da instituição,
pela incorporação de quesitos em questionários de pesquisas, criação de novos
encartes temáticos em pesquisas já consolidadas e ainda na realização de
novos levantamentos estatísticos. Ao ampliar o escopo de estatísticas disponíveis por
esses instrumentos, técnicos e gestores do então Ministério do Desenvolvimento
Social e Combate à Fome (MDS) – além de pesquisadores – acabaram podendo
identificar lacunas de oferta ou oportunidades de avanços em intervenções, per-
mitindo o aprimoramento da própria política pública. Mais do que oportunidades
casuais vislumbradas de um lado e do outro (MDS e IBGE), parece ter se presen-
ciado na situação aqui analisada certa convergência e alinhamento de interesses
entre atores das duas instituições, o que acabou favorecendo intencionalmente, de
um lado, agendas específicas de acesso a informações estratégicas para potencializar
os resultados da política pública e, de outro, agendas de legitimação institucional
da produção estatística oficial.
Talvez se possa até mesmo interpretar esse caso a partir da chave analítica de
“afinidades eletivas” entre duas comunidades de práticas da administração pública
federal, hipótese que certamente demandaria um esforço maior de investigação
documental e entrevistas para sua comprovação. De forma simplificada, “afinidade
eletiva” é uma chave analítica empregada para ilustrar situações de convergência de
interesses entre atores ou de correspondência estrutural entre eles. É um termo que
veio da química (elementos atraem outros elementos específicos com os quais têm
afinidade química), passou pela literatura (em romance de Goethe) e se consolidou
nas ciências sociais no clássico de Max Weber A Ética Protestante e o Capitalismo,
ao evidenciar a relação funcional entre trabalho e esforço individual na legitimação
da remuneração ou retorno deles advindos (Frederico, 2015).
A proposição dessa hipótese de afinidade eletiva entre esses atores públicos,
tanto do MDS como do IBGE, baseia-se na busca, de um lado, pela informação
mais aprimorada para a gestão das políticas de combate à fome e à pobreza e, de
outro, pela ampliação do escopo do sistema estatístico – e, daí, a sua legitimidade
e dos recursos para seu financiamento. Essa proposta interpretativa é, em boa me-
dida, inspirada no artigo de Leão e Eyal (2019). Resumidamente, no que interessa
destacar para a discussão neste texto, os autores atribuem a retomada das avaliações
experimentais de políticas públicas nas últimas décadas em projetos de cooperação
internacional – depois do descenso que amargaram nas décadas de 1970 e 1980 – às

afinidades de interesses entre a comunidade dos “randomistas comportamentais” e
a dos financiadores privados de projetos sociais pelo mundo.
No contexto de participação crescente de fundações privadas – bem capita-
lizadas – no fomento de projetos sociais, a comunidade acadêmica da economia
comportamental, então emergente, viu a oportunidade de resgatar o ferramental
produzido há algumas décadas e reembalá-lo como a mais nova e robusta metodo-
logia de avaliação, o padrão-ouro a ser empregado na apreciação do que “funciona
ou não” em projetos de desenvolvimento. Por formação ou por necessidade de
garantir emprego de procedimentos “racionais, transparentes e neutros”, os filantro-
capitalistas acreditavam ou haviam se convencido de que a avaliação experimental
se constituiria no padrão adequado para apreciação de projetos meritórios para
financiamento. Esse parece ser um bom caso ilustrativo para a sociologia das políticas
públicas baseadas em evidências, ao analisar como determinados tipos de evidências
produzidas no meio acadêmico e tecnocrático são legitimadas – em detrimento de
outras – na avaliação de políticas públicas.
Este capítulo está estruturado em seis seções – incluindo esta introdução e
as considerações finais –, iniciando-se com uma reflexão sobre o enquadramento
das estatísticas públicas como instrumentos de gestão governamental e como parte
das evidências que informam as políticas públicas. Depois, em seções subsequentes,
registra-se como o “acervo de evidências” de três levantamentos de larga maturidade
no IBGE – o Censo Demográfico; a Pesquisa de Informações Básicas Municipais
(Munic) e a Pesquisa Nacional por Amostra de Domicílios (PNAD) – foram re-
levantes para: o dimensionamento, a localização e a caracterização da população
em extrema pobreza; a elaboração de diagnósticos de capacidade de gestão, pessoal
e equipamentos para as PDSCF; bem como para o monitoramento, o ajuste de
focalização de públicos-alvo e a avaliação da efetividade dessas políticas públicas
entre 2004 e 2014.
2 ESTATÍSTICAS COMO EVIDÊNCIAS A INFORMAR AS POLÍTICAS PÚBLICAS

Estatísticas, como a etimologia da palavra o revela, são assuntos – fatos e dados –
acerca do Estado e, como tal, elas sempre foram necessárias para controle, governança
ou gestão do “príncipe”, dos tempos bíblicos à contemporaneidade (Desrosières,
1996; Martin, 2001). Na sua origem histórica, o termo alemão statistik foi cunhado
em 1749 para designar “a descrição, em sentido amplo, da constituição de fatos
notáveis a respeito do Estado” (Traversini e Bello, 2009, p. 139). A formação do
Estado moderno requeria a identificação dos limites das nações em processo de
unificação territorial e o dimensionamento de sua população, para fins de estimação
de base para arrecadação fiscal, recrutamento de exércitos e definição de parâmetros
para representação política nos parlamentos emergentes.
Mais modernamente, as estatísticas refletem as demandas de estruturação do

Estado de bem-estar e das políticas, programas e outras iniciativas implementadas
para sua efetivação (Atkinson et al., 2005). Nesse contexto, as estatísticas compõem
o acervo de informações e estudos que Lindblom (1991) destaca na sua análise do
processo de decisão em políticas públicas. Estatísticas têm grande utilidade para
os diversos agentes e instituições envolvidos na definição das prioridades sociais e
na alocação de recursos do orçamento público. Se bem empregadas, elas podem
enriquecer a interpretação empírica da realidade social e orientar de forma mais
competente a análise, a formulação e a implementação de políticas. Reduzem
incertezas, auxiliam no debate com a sociedade e subsidiam com informações
técnicas as decisões que são inexoravelmente políticas. Estatísticas não constituem
uma informação qualquer: têm institucionalidade, periodicidade, abrangência.
Valendo-se das categorias de capacidades estatais de Gomide e Pires (2014),
as estatísticas públicas compõem o portfólio de ferramentas da capacidade técnico-
-administrativa e contribuem para adensar a capacidade político-relacional dos
agentes envolvidos. Ao padronizarem e “objetivarem” perspectivas da realidade
social e econômica, as estatísticas também contribuem para facilitar a construção
de consensos ou explicitar mais claramente os dissensos, ambos necessários ao
aprimoramento da capacidade político-relacional ou de governança política dos
agentes estatais. Enfim, estatísticas mais amplas, consistentes e regulares – ou mais
institucionalizadas – parecem constituir uma das “formas simplificadas”, “esquemas”,
categorias ou representações indispensáveis para, de um lado, reduzir e simplificar
a legibilidade da sociedade intrinsecamente complexa e, de outro, facilitar o di-
álogo, o embate – enfim, as interações socioestatais e a eventual incorporação de
demandas sociais pelas políticas públicas (Szwako e Lavalle, 2019).
Certamente que o sucesso das políticas públicas depende de muitos outros
fatores além da qualidade dos seus diagnósticos iniciais e da adequação do desenho
das intervenções. Em um contexto complexo e heterogêneo como o brasileiro,
gestores e técnicos lidam com uma série de fatores críticos na implementação de
tais políticas, da coordenação federativa dos agentes à garantia de qualidade dos
serviços prestados na ponta (Lotta et al., 2018). Políticas públicas se estruturam,
no caso brasileiro, como sistemas complexos, articulando programas de natureza
universal com ações redistributivas em várias áreas setoriais, operados por agentes
em diferentes níveis federativos de governo e em contextos desiguais, em termos
de capacidade de gestão e de perfil socioeconômico de públicos-alvo. Assim, para
atender demandas públicas, mitigar problemáticas reconhecidas como legítimas
ou promover valores coletivamente compartilhados, as políticas públicas são in-
tensivas no uso de informação. Demandam estudos de diferentes naturezas como
levantamentos diagnósticos, sistemas de indicadores de monitoramento de ações,
pesquisas de avaliação de processos e de resultados de programas, investigação de
potenciais impactos e suas eventuais externalidades negativas.
Essa demanda por informação, evidências e estudos só se fez ampliar nas

últimas décadas, com os aportes orçamentários crescentes em políticas públicas
no país (Castro, 2011; 2020). Políticas que se propunham de natureza universal –
em educação, saúde, trabalho e assistência social – foram fortalecidas, aumentan-
do seu alcance e presença na população brasileira. Concomitantemente, foram
criados ou ampliados programas e ações com o propósito de promover a inclusão
social da população mais pobre e vulnerável, como os programas de transferência
de renda, de fomento ao agricultor familiar e de garantia à segurança alimentar.
A essas políticas sociais somar-se-iam, ao longo dos anos 2000, políticas de coorte
mais transversal, seja com caráter mais protetivo ou de promoção social, voltadas
para a igualdade de gênero, a igualdade racial, os direitos humanos e os segmentos
demográficos (crianças, adolescentes, juventude e idosos). Nesse período, também
foram ampliados os programas públicos de infraestrutura urbana, mobilidade e
saneamento. Reflexo – ou determinante – dessa ampliação de escopo e escala de
políticas públicas, o gasto público das três esferas de governo na área social passou
de 13% para quase 25% do produto interno bruto, entre a década de 1980 e final
dos anos 2000 (Mauro et al., 2013).
Em meio a tal processo de expansão de políticas públicas, foram introduzidas
inovações institucionais e técnicas relevantes para aprimorar sua gestão intersetorial
e interfederativa. A criação do Cadastro Único de Programas Sociais do Governo
Federal (Cadastro Único) em 2001, a definição da Estratégia Fome Zero em 2003,
a proposição do então MDS e a implantação do Sistema Único de Assistência
Social (Suas) em 2004, bem como do Sistema Nacional de Segurança Alimentar e
Nutricional (Sisan) em 2006 e o lançamento do BSM em 2011, foram inovações
que respondiam à priorização governamental de demandas populares ainda não
plenamente atendidas e normatizadas no sistema de políticas sociais brasileiro
(Campello et al., 2014). Se educação, saúde, trabalho e seguridade social já eram
campos programáticos com maturidade institucional mais avançada em meados
dos anos 2000, o mesmo não se pode dizer das áreas de transferência de renda,
assistência social, segurança alimentar e nutricional e inclusão produtiva (Jaccoud,
2020). A integração dessas áreas sob o “guarda-chuva” do que se convencionou a
chamar de PDSCF, a sua priorização na agenda de governo, a alocação crescente
de recursos orçamentários e a constituição de uma burocracia específica e espe-
cializada, além de fóruns de participação e controle social, colaboraram para os
resultados positivos em relação ao combate à pobreza, à fome e à desigualdade,
assim como para o alargamento temático das estatísticas públicas, questão que
aqui se procura evidenciar.
A demanda por estatísticas e outros subsídios para gestão das políticas públicas
também decorreu da ampliação da capacidade técnico-administrativa do Estado
brasileiro, seja pelo expressivo crescimento do número de servidores públicos, seja
pela qualificação do corpo funcional nas últimas décadas. Como revela o Atlas do
Estado brasileiro, do Ipea, o funcionalismo público dobrou entre 1986 e 2014, pas-
sando de 5,1 milhões para 11,5 milhões de colaboradores (Lopez e Guedes, 2019).
Não menos significativa foi a mudança do perfil de escolaridade e qualificação do
funcionalismo nessas três décadas: servidores com nível superior respondiam por
20% do total em 1986, 27% em 2002 e 45% em 2014. Foi a esfera municipal
a que mais expandiu seu corpo funcional, em especial a partir de 2003: de 1986
a 2002, o quantitativo de servidores municipais passou de 1,7 milhão para 3,7
milhões; ao longo das décadas de 2000 e 2010, foram incorporados 2,8 milhões
de funcionários municipais, totalizando cerca de 6,5 milhões de pessoas em 2014.
Vale destacar, ainda, nesse processo, a mudança do perfil de qualificação na esfera
municipal: em 1986, os profissionais com nível superior nos municípios represen-
tavam 10% do total e, em 2014, eram 40% da força de trabalho. Esse era o efeito
da estruturação das políticas e programas pelo país ao longo das últimas décadas,
com contratação de professores e profissionais da saúde (em especial entre 1986 e
2002) e de um conjunto mais diversificado de técnicos nos anos que se seguiram,
como assistentes sociais, psicólogos, além de professores da educação infantil,
equipes multiprofissionais na saúde etc.
De forma concomitante à expansão do escopo e escala das políticas públicas
e do corpo técnico e gerencial para implementá-las país afora, presenciou-se a
institucionalização de mecanismos de participação popular de acompanhamento,
para o qual as estatísticas eram recursos instrumentais importantes, visando ga-
rantir legitimação de demandas, transparências das ações e evidenciação de seus
efeitos. Experiências de orçamento participativo e participação em conselhos e
conferências em níveis local e nacional floresceram nos anos 1990 e atingiram o
cume nas primeiras gestões federais petistas, como aponta Avritzer (2013). Em
um contexto de redemocratização e de maior participação popular, sindicatos e
movimentos sociais passaram a fazer uso crescente de estudos e indicadores para
fundamentar demandas por políticas. É revelador, nesse sentido, a produção e o
uso de estatísticas de reconhecimento identitário de negros, indígenas, quilombolas,
bem como da população em situação de rua.
Esse contexto dinâmico de formulação, gestão e participação social ensejado
pela estruturação de políticas públicas acabou tendo repercussões sobre o sistema
estatístico. De modo a responder às demandas de informação mais específicas e
regulares de governos, academia, sociedade civil e agências internacionais, o IBGE
introduziu no seu programa de trabalho, entre começo dos anos 1990 e 2014, um
importante conjunto de levantamentos.5 A dotação orçamentária ao IBGE reflete

tal ampliação de pesquisas: em valores de dezembro de 2019, a despesa executada
pela instituição passou de R$ 1,27 bilhão em 2004 para R$ 2,62 bilhões em 2014,
montante duas vezes maior e superior à expansão das despesas gerais da União (cujo
valor aumentou uma vez e meia no período).6 Tal como o IBGE, outras instituições
pertencentes ao sistema estatístico também adensaram a relação de levantamentos
e estudos, como revelam os instrumentos de avaliação educacional do Instituto
Nacional de Estudos e Pesquisa Educacionais Anísio Teixeira (Inep), a qualifica-
ção das bases de dados e os registros no campo de saúde, trabalho, previdência e
desenvolvimento social. Estatísticas e indicadores ambientais entraram na lista de
prioridades de governo, ensejando a estruturação de novos processos de trabalho
e novos parceiros institucionais para o sistema estatístico, com nível tecnológico
bastante sofisticado para sua produção, como ilustra de forma emblemática a
estimativa de desmatamento da Amazônia, computada pelo Instituto Nacional
de Pesquisas Espaciais – Inpe (Scandar Neto e Bollinger, 2004; Jannuzzi, 2017).
Ao longo dos anos 1990 e 2000, a produção das estatísticas também foi
favorecida pela crescente institucionalização de instrumentos de monitoramento
e avaliação de políticas públicas no país (Paes-Souza e Vaistmann, 2011). O New
Public Management, introduzido nas reformas conservadoras no Reino Unido e nos
Estados Unidos nos anos 1980, havia chegado no país com algum atraso (somente
na década de 1990), pautando desenho e redesenho de uma série de práticas de
formulação e gestão de políticas públicas (Carneiro e Minegucci, 2001). Para o
Banco Internacional para Reconstrução e Desenvolvimento (BIRD) e o Banco
Interamericano de Desenvolvimento (BID), era necessário implantar a cultura de
gestão por resultados e promover um “choque de gestão” na burocracia pública bra-
sileira. Para tanto, era imprescindível criar a cultura de políticas públicas orientadas
por evidências nas três esferas de governo, o que os levou a organizar seminários,
lançar manuais, patrocinar capacitação técnica e fomentar redes e instituições que
a pudessem disseminar. Pelo que descrevem Borges et al. (2011), desse esforço se
poderia contabilizar – em maior ou menor grau –, de Norte a Sul do país, os genes
de formação da Rede Brasileira de Monitoramento e Avaliação, do Movimento
5. Entre outros, cabe destacar: Munic, Pesquisa de Informações Básicas Estaduais (Estadic), Pesquisa Nacional de Saúde,
Pesquisa Nacional de Saúde Escolar, Cadastro Nacional de Endereços para Fins Estatísticos e Pesquisa de Entidades da
Assistência Social. Foram replicados levantamentos já tradicionais – como a Pesquisa de Orçamentos Familiares (POF)
e a PNAD – com amostras redesenhadas, questionários mais densos e suplementos temáticos inéditos. Nesse período,
realizaram-se três levantamentos censitários (1991, 2000 e 2010), com questionários ampliados, em alguma medida,
dialogados com sociedade civil, academia e governo, com inovações tecnológicas na coleta e processamento. Em meio
a esse esforço, o IBGE implantou, a partir de 2012, a PNAD Contínua e iniciou a reformulação de suas pesquisas econô-
micas e da agropecuária. Essas inovações estão registradas em relatórios anuais de gestão do IBGE e em depoimentos
orais de vários ex-presidentes da instituição. Ver, entre outros, o depoimento de Wasmália Bivar (2017), que presenciou
e protagonizou várias dessas inovações em pesquisas (disponível em: <https://bit.ly/3Gj0z1o>).
6. Dados extraídos do Portal Siga Brasil, do Senado, realizando pesquisa no painel especialista, acerca da evolução das
despesas executadas da União e do IBGE em valores deflacionados pelo Índice Nacional de Preços ao Consumidor
Amplo (IPCA) para dezembro de 2019 (disponível em: <https://bit.ly/3vvZvSG>).
Brasil Competitivo e de uma série de atividades em avaliação de programas e pro-

jetos sociais realizadas pela Fundação João Pinheiro, pela Fundação Seade, pelo
Instituto Unibanco e pelo Banco do Nordeste do Brasil.
Procurava-se replicar no Brasil, de forma abreviada e condensada, o processo
que Leeuw (2011) descreveu como o da “era de ouro da avaliação dos Estados
Unidos”, nas décadas de 1960 e 1970, e a emergência, anos mais tarde, do “movi-
mento da política pública baseada em evidências”. Segundo o autor, a implantação
do plano great society no governo Lyndon Johnson, nos Estados Unidos, durante
a década de 1960 – com a criação de programas públicos voltados ao combate à
pobreza, promoção do emprego, da educação e da segurança pública em localidades
mais pobres –, havia ensejado a demanda por avaliações de efetividade das políticas
sociais. Esse esforço de produção de evidências acerca da eficácia e do impacto dos
programas acabou por fomentar, nas décadas seguintes, a cultura de uso de infor-
mação técnica e estruturada na administração federal no país. A esse processo teria
se somado o movimento medicina baseada em evidências, que, desde os anos 1970,
vinha se estruturando no Reino Unido e nos Estados Unidos (Pinheiro, 2020).
Para que o pacote “gestão por resultados-choque de gestão-política pública
por resultados” pudesse se viabilizar por completo, era necessário dispor de esta-
tísticas específicas para os temas que o BIRD e o BID procuravam influenciar na
agenda de políticas públicas no Brasil. São emblemáticos, nesse sentido, a parceria
do BIRD com o IBGE na realização da Pesquisa Padrão de Vida, para investiga-
ção da pobreza em uma amostra no Nordeste e no Sudeste do país em 1996, e o
intercâmbio técnico com a Secretaria de Avaliação e Gestão da Informação (Sagi)
do então MDS.7
Se, por um lado, esse advocacy de organismos multilaterais de fomento favo-
receu o desenvolvimento e o aprimoramento das estatísticas públicas, por outro,
reforçou concepções tecnocráticas e um tanto ingênuas acerca de formulação e
gestão das políticas públicas. Para certas comunidades da administração pública,
as decisões baseadas em dados, indicadores e evidências produzidas em avaliações –
sobretudo as de natureza experimental – gozariam de neutralidade e objetividade
acima de qualquer suspeita. Como já alertara Porter (1995, p. 8), uma “decisão
tomada pelos números (ou por regras explícitas de algum tipo) tem pelo menos a
aparência de ser justa e impessoal”. Assim, o uso da informação técnica seria um
recurso poderoso para a tomada de decisão aparentemente imparcial e objetiva em
políticas públicas, conferindo autoridade a quem não a conquistou legitimamente
pelo voto ou por delegação. No culto da “política pública orientada por evidências”
7. Como apresentado em livro de memória institucional de dez anos da Sagi (Brasil, 2016), o BIRD contribuiu para a
contratação de várias pesquisas e de consultores em gestão da informação, monitoramento e avaliação de programas,
conforme previsto no acordo de empréstimo do banco e do então MDS. A pesquisa “Avaliação de Impacto do Bolsa
Família” (rodadas I e II) foi uma dessas pesquisas.
que professam, as estatísticas e indicadores de pesquisas de avaliação experimental

estariam no topo da hierarquia “evidencional”; na base ou no porão, estariam as
informações provenientes de estratégias qualitativas, pouco tangíveis ou afeitas à
modelização econométrica. Acreditam eles, ou querem assim acreditar, que estatís-
ticas revelariam a realidade da forma mais “verdadeira” possível, em especial aquelas
sobreviventes à perícia – em alguns casos, peripécia – técnica no laboratório de
econometria (Mayne, 2011).
Entretanto, como assinala Besson (1995, p. 26), dados resultantes de le-
vantamentos experimentais de campo ou “estatísticas não são nem verdadeiras
nem falsas, mas relativas”. Não são fotografias, mas resultados de modelizações
complexas, que dependem das escolhas das lentes, das características da câmera,
do ângulo de visão e dos próprios fotógrafos. Na realidade, dados e indicadores
resultam de uma série de escolhas políticas (sobre que aspectos observar e medir)
e preferências metodológicas (sobre como observá-los e medi-los).
Lindblom (1991) já havia apontado em seu livro O processo de elaboração de
políticas públicas, publicado em 1980, os limites éticos, políticos e operacionais
de uma administração tecnocrática em contextos democráticos. O autor explicita
tensões que à época ainda eram fortes entre, de um lado, a razão tecnocrática e
as análises científicas e, de outro, a política e a democracia. Na realidade, essa
disputa parece estar longe de estar resolvida na cabeça e nas práticas de boa parte
da comunidade de gestores e técnicos nas três esferas de governo. No terceiro ca-
pítulo de seu livro, com o sugestivo título de Os limites da análise como alternativa
à política, são sistematizadas quatro motivações para precedência da política em
detrimento da “análise científica” no processo de formulação das políticas públicas.
Em primeiro lugar, as ciências sociais não têm explicações infalíveis e plenamente
consensuais sobre os fenômenos estudados, menos ainda para as problemáticas
complexas e multideterminadas tratadas pelas políticas públicas. Para uma mesma
questão pública, diferentes analistas de políticas públicas podem ter recomendações
muito diversas. Felizmente, em democracias desenvolvidas, há mecanismos – voto,
representação parlamentar, participação popular, referendo etc. – que podem di-
rimir dissensos quanto ao caminho a seguir ou corrigir decisões que, baseadas em
forte lastro técnico, se relevem inexequíveis na implementação ou desastrosas nos
seus efeitos. Esses mesmos instrumentos podem legitimar escolhas políticas que
podem não parecer “racionalmente” melhores para a perspectiva técnica advogada
por burocratas, pesquisadores ou especialistas. Ainda que para outro conjunto de
técnicos, partidários de outro paradigma de intervenção, a decisão possa parecer
sensata, as escolhas da sociedade – ou de seu representante eleito – têm a legitimi-
dade da decisão final, gostem ou não os burocratas, pesquisadores ou especialistas.
Em segundo lugar, lembra Lindblom (1991) que a decisão pública en-
volve valores e escolhas, muito além do ambíguo e elástico “interesse público”.
Nas decisões em políticas públicas, há quem ganhe e há quem perca, seja a es-
colha orientada por um princípio benthamiano de “maximização da utilidade
para o máximo de pessoas”, paretiano de “beneficiar a todos ou parte deles, sem
prejudicar os demais”, meritocrático de “privilegiar o esforço individual, qualquer
que seja a situação”, ou solidário de “garantir a todos um mínimo de dignidade”.
Esses princípios de justiça orientam diferentes escolhas no desenho de políticas:
universais ou focalizadas, alocativas ou redistributivas, regulatórias ou indutivas.
Eles também influenciam, inclusive, quais são as demandas reconhecidas ou os
problemas sociais a serem enfrentados, terceiro “dilema” entre a vontade política
e a razão técnica na decisão em políticas públicas em contextos democráticos.
Diagnósticos baseados em estudos e informação exaustiva não resolvem quais
devem ser a lista e a prioridade dos problemas a serem encampados na agenda
de políticas públicas. Acesso à educação, saúde universal, desigualdade, pobreza
e baixa qualificação profissional são demandas ou questões sociais priorizadas de
forma diferente segundo cada um dos princípios de justiça ou entendimento do
interesse público anteriormente apontados.
Por fim, como último argumento em defesa da precedência da política em
detrimento da “análise científica”, o autor lembra que a decisão política tem seu
tempo e custo; não pode esperar indefinitivamente a produção de estudos baliza-
dores, nem implicar em alocação de recursos despropositados. O capital político se
esvai com o tempo, a menos que seja mantido ou reforçado com decisões acertadas
no momento requerido. Adiar decisões em busca de análises mais aprofundadas
pode fazer sentido no contexto da ciência, mas não parece ser uma alternativa ao
tempo da política.
É preciso reconhecer que, em tempos “terraplanistas” e obscurantistas, é grande
o desconforto da comunidade epistêmica e de práticas das estatísticas públicas –
como também dos econometristas e sociometristas – em aceitar que a observação
da realidade não é neutra, mas sim social e previamente construída, que podem
existir várias “verdades” e não uma “verdade” científica, que pesquisadores são não
necessariamente altruístas e voltados ao bem comum. A comunidade científica não
é o grupo “neutro e desinteressado” que por vezes ela imagina ser; é um segmento
da classe média, com seus preceitos, conceitos e preconceitos, como bem coloca
Fourez (1995). Como bem lembra Marcuse (2009, p. 162), a ciência puritana,
praticada sem consciência de valores éticos e políticos, “colabora na construção da
mais eficiente maquinaria de aniquilamento da história”.
É preciso assumir, sem que isso represente um desprestígio ao método e à
“boa” técnica e, muito menos, uma rendição ao relativismo pós-moderno de que
“todas verdades são discursivamente constituídas e que todos os discursos são iguais”
(Ling, 2011, p. 64), que o discurso científico é menos uma demonstração cabal
hipotético-dedutiva e mais uma narrativa de achados derivados de um programa
de pesquisa reconhecido como relevante e consistente com os princípios e previsões

do paradigma partilhado pela comunidade epistêmica a que se pertence (Kropf
e Ferreira, 1998). Como notou Latour (2000) em sua investigação etnográfica
nos laboratórios de pesquisa e centros de estudos, a construção do fato científico
envolve um processo de argumentação persuasiva, com a utilização de várias estra-
tégias retóricas de sustentação dos achados nos laboratórios e centros de pesquisa.
Essa estratégia persuasiva envolveria a busca do argumento de autoridade pela
citação de bibliografia clássica ou de pesquisadores de um centro ou universidade
de prestígio, a resposta antecipada às críticas de outros autores ou atenuação das
evidências contrárias de outras pesquisas, uso de gráficos, tabelas e diagramas, a
“matematização” dos procedimentos de pesquisa e, naturalmente, a construção do
argumento por meio de um processo de dedução lógica dos resultados.
Enfim, a produção de conhecimento tem muitos limites “explicativos” em
qualquer área das ciências, sejam elas ciências duras, macias ou moldáveis, como
o campo de conhecimento das políticas públicas. Por vezes, não há apenas uma
explicação plausível. Escolas diferentes de pensamento têm interpretações diversas
sobre causas dos problemas públicos e formas de equacioná-los. O desenho de
políticas e programas – assim como avaliações – depende dos valores daqueles que
os propõem e realizam. Como bem pontuam Mello et al. (2020), políticas públicas
“não são feitas apenas de dados, informações e estatísticas. Elas estão permeadas
por compromissos, interesses, valores e maior ou menor adesão a visões de mun-
do compartilhadas pelos diferentes setores da sociedade”.8 O uso de estatísticas e
evidências é certamente bem-vindo nas políticas públicas, mas elas precisam ser
entendidas dentro do quadro de relevância e limitações apontadas.
3 A LOCALIZAÇÃO DOS BOLSÕES DE POBREZA PELO CENSO DEMOGRÁFICO

O sistema estatístico procurou, como discutido na seção 2, responder às demandas
ensejadas pela institucionalização dos mecanismos previstos na CF/1988 quanto
ao planejamento, à participação social e ao controle público e profissionalização
da gestão pública. Nos diferentes governos que se seguiram de 1994 a 2014, a
informação estatística começou a ter espaço crescente nos documentos oficiais,
como nos primeiros planos plurianuais, organizados nos anos 1990, nas narrativas
de balanços das políticas durante a presidência de Lula – como revelam os cinco
relatórios dos Objetivos de Desenvolvimento do Milênio (Ipea, 2014) – e nos
diagnósticos exaustivamente detalhados de programas na gestão da presidenta
Dilma Rousseff. A estatística, que servia para ilustrar o governo do “príncipe”,
revelou-se fundamental na proposição, defesa e debate sobre a pauta prioritária
8. Ver: <https://bit.ly/3AZZ4kG>.
de políticas com movimento social e sociedade, além de crucial para a gestão mais
técnico-política dos assuntos complexos do Estado.
Censos demográficos constituem a base de qualquer sistema estatístico e,
nesse sentido, têm grande relevância para políticas públicas de modo geral. De
fato, esse foi o caso para as PDSCF, em especial as informações coletadas sobre
mercado de trabalho e rendimento coletadas nos Censos Demográficos 2000 e
2010. Afinal, o censo é a única fonte de dados capaz de captar integralmente o
perfil de ocupação e a base produtiva nos municípios brasileiros, contribuindo para
formulação de programas de inclusão produtiva e de trabalho decente, bem como
projetos de desenvolvimento local e de combate ao trabalho infantil. Não fossem
as informações coletadas sobre ocupação exercida, situação urbana/rural e idade,
não teria sido possível caracterizar situações típicas de trabalho infantil e trabalho
“não decente” com precisão estatística suficiente para compor diagnósticos orien-
tadores e pactuação de compromissos da ação governamental (Guimarães, 2012).
Também foi muito relevante às PDSCF o detalhamento no Censo 2010 acerca
do acesso a programas sociais, como o Programa Bolsa Família (PBF), o Programa
de Erradicação do Trabalho Infantil (Peti) e o Benefício Assistencial de Prestação
Continuada da Lei Orgânica da Assistência Social (BPC/Loas). A ampliação de
quesitos relacionados às diferentes fontes alternativas de rendimento, associada ao
aumento da cobertura da população suscetível a recebê-las, proporcionou expressiva
melhora na estimativa de renda domiciliar per capita e permitiu a identificação
microterritorializada da extrema pobreza nos municípios.9 Com um aplicativo na
web – Identificação de Domicílios Vulneráveis (IDV)10 –, viabilizou-se a construção,
para cada município, dos mapas de pobreza e de outras vulnerabilidades referidos a
setores censitários ou áreas de ponderação nos Censos Demográficos 2000 e 2010
(Jannuzzi et al., 2014).11
Esses mapas permitiram que equipes municipais do Cadastro Único e da as-
sistência social pudessem chegar aos públicos-alvo das políticas de desenvolvimento
social, no campo e nas periferias das maiores cidades. De fato, há relatos12 de que o
aplicativo foi usado, como se esperava, para dirigir esforços de busca ativa de famílias
no território municipal para inscrição no Cadastro Único, assim como foi utilizado
no planejamento da logística de carros de som para informar a população de baixa
9. Contudo, pela natureza mais simplificada da captação em relação às outras pesquisas do IBGE, como a PNAD e a POF,
as estimativas de população em situação de pobreza e extrema pobreza pelo Censo eram substancialmente mais altas.
10. Vale registar que esse aplicativo se inspirou em outro anteriormente desenvolvido pelo IBGE, a pedido do então
MDS, com a plataforma Estatcart, com base no Censo 2000.
11. Setor censitário é a unidade geográfica básica para operacionalização da coleta de dados nos Censos Demográficos
e também de disseminação dos resultados do questionário básico. No meio urbano corresponde, em geral, a um conjunto
de cerca de 300 domicílios particulares. As áreas de ponderação são agregações de setores censitários, usadas para
divulgação de estimativas de variáveis levantadas no questionário da amostra do Censo.
12. Ver Brasil (2016).
renda sobre a necessidade de atualização de informações no cadastro. Inscritas,

essas famílias podiam ser orientadas a solicitar benefícios do programa PBF,
BPC, aposentadoria ou ainda serem identificadas como públicos potenciais de
vários programas, como Água para Todos, Tarifa Social de Energia Elétrica, Luz
para Todos e Educação de Jovens e Adultos. Esses mapas também permitiram a
identificação das áreas prioritárias para atendimento do Programa Mais Médicos
e para a construção de equipamentos esportivos e de lazer, pelo então Ministério
dos Esportes, entre 2011 e 2014 (Brasil, 2016). Enfim, alguma contribuição para
a reconhecida focalização do PBF na população mais pobre no país deve ser de-
bitada a esse mapeamento.
4 O DIAGNÓSTICO DA CAPACIDADE SUBNACIONAL DE GESTÃO DAS PDSCF

Para além do mapeamento e diagnósticos sobre os públicos-alvo que os Censos
Demográficos proporcionaram às ações das PDSCF, também foi fundamental a
contribuição da Munic no levantamento da capacidade instalada de atendimento
das políticas. Afinal, em um país com as dimensões continentais e estrutura federa-
tiva como as do Brasil, políticas e programas precisam estar adequados à estrutura
diversa de gestão existente. Propostas meritórias de programas, com desenhos lógicos
consistentes “em tese”, podem ser inviabilizadas pelos problemas de implementação
decorrentes de baixa capacidade de gestão de agentes encarregados da operação em
municípios, estados ou departamentos de um determinado ministério. Assim, além
de um bom diagnóstico socioeconômico, o sucesso de uma política ou programa
depende da disponibilidade de informações acerca da capacidade de gestão e im-
plementação dos agentes públicos envolvidos, nos diferentes contextos de atuação.
É, pois, imprescindível dispor-se de estatísticas e indicadores de estrutura de gestão
e de oferta de serviços, de caracterização dos recursos humanos, de disponibilidade
e instalação de equipamentos públicos.
Essas são as principais contribuições das edições anuais da Munic desde 1999
e da congênere Estadic desde 2012. Esses levantamentos, realizados em todas as
prefeituras (e estados) do país, têm permitido construir indicadores para retratar
o grau de participação e controle popular da ação pública, bem como indicadores
para caracterizar o estágio de desenvolvimento institucional para as atividades de
planejamento e capacidade de gestão pelo país. A pesquisa tem sido usada pelos
ministérios para levantar, em suplementos específicos anuais, aspectos da gestão
municipal necessários à implementação de programas e políticas federais, como no
caso de meio ambiente, cultura, esportes, direitos humanos e temas das PDSCF
(assistência social, segurança alimentar, inclusão produtiva, entre outros).
Contratado pela Sagi, o IBGE foi a campo em 2005, 2009 e 2013, com
suplemento temático de “assistência social” na Munic, para levantar informações
sobre o grau de estruturação dos serviços socioassistenciais no país. Era necessário,
sobretudo na primeira edição, dimensionar o quantitativo de pessoal técnico e

equipamentos pelo território brasileiro, informação até então não disponível com
a precisão necessária aos gestores do MDS. Conhecer a capilaridade do Suas era
um pressuposto importante para pactuar as ações com municípios para inscrição
no Cadastro Único e para oferta de todos os demais serviços e programas das PDS-
CF. Em 2012, o então MDS, por intermédio da Sagi, ajudou o IBGE a realizar a
primeira Estadic, que investigou aspectos da estrutura administrativa da assistência
social e segurança alimentar nas 27 Unidades da Federação.
De forma a fortalecer e repensar as políticas de segurança alimentar e inclusão
produtiva no MDS, em 2014, as duas pesquisas – Munic e Estadic – encartaram
suplementos sobre a estrutura institucional e administrativa dessas políticas nos
estados e municípios.13 Tais pesquisas trouxeram um diagnóstico inédito para o
desenho de intervenções públicas mais integradas nessas áreas programáticas, nas
quais se imaginava que teriam sua maturação em um possível plano Brasil Incluído,
que viria a substituir o BSM na nova gestão da presidenta Dilma.14 Afinal, mitigada
a fome, era preciso – usando o bordão conservador – “estimular as famílias que
entraram no PBF a encontrarem as portas de saída do programa”. Era necessário,
pois, desenhar programas de inclusão produtiva mais customizados e adequados
às dinâmicas econômicas locais e aos perfis socioeconômicos dos públicos-alvo.
Mapear tais experiências foi o objetivo dessas pesquisas, um caso raro em que a
disponibilidade da informação – o diagnóstico sobre inclusão produtiva em estados
e municípios – conseguiu se adiantar à demanda para fins de desenho e implemen-
tação de ações no campo que seria implantado nos anos seguintes.
Essas pesquisas possibilitaram pactuar compromissos e metas de atendimento
de serviços socioassistenciais com os agentes operadores, como revelam os pactos
articulados no Conselho Nacional de Assistência Social (CNAS).15 Ademais, por essa
razão, acabaram ensejando a criação de um levantamento anual – pela internet –,
em que se começou a coletar dados cada vez mais detalhados e abrangentes sobre
o Suas nas prefeituras, governos estaduais e conselhos de participação social. Esse
instrumento, criado em 2007 como uma ficha de registro de caracterização básica
dos Centros de Referência da Assistência Social (Cras), passou a ser denominado
de Censo Cras no ano seguinte (Brasil, 2015). Em 2009, o levantamento passou
a abranger também a coleta de dados dos Centros de Referência Especializados
13. Ver: <https://bit.ly/3jo7Gvy>.

14. Embora não houvesse clara determinação de substituição da agenda de combate à fome e à pobreza no MDS, havia
expectativa entre parte de técnicos de que os esforços de continuidade dos programas de qualificação profissional, apoio
aos empreendimentos urbanos por equipes do Sebrae e fomento à agricultura familiar fossem mais adensadas a ponto
de explicitarem mais claramente as “portas de saída” que já vinham sendo construídas desde 2011. Brasil Incluído era
um mote que procurava resumir essas propostas, mas nunca foi oficialmente tratado.
15. Ver a Resolução no 18, de 15 de julho de 2013 (Brasil, 2013a), e a Resolução no 32, de 31 de outubro de 2013
(Brasil, 2013b), do CNAS, em que se especificam, respectivamente, o Pacto de Aprimoramento da Gestão dos Municípios
e o Pacto de Aprimoramento da Gestão dos Estados e do Distrito Federal no âmbito do Suas.
da Assistência Social (Creas), recebendo a denominação de Censo Suas. Nos anos

seguintes, refletindo o processo de institucionalização crescente do Suas e de de-
mandas mais complexas de informação, o Censo ampliou substancialmente seu
escopo investigativo.
Esse processo ilustra, de um lado, como a “complexificação” das PDSCF foi
requerendo informação com escopo temático mais amplo, periódico e em nível
administrativo mais granular; de outro, mostra um caso de aprendizado insti-
tucional a partir da relação com o IBGE e as pesquisas mencionadas. De forma
diferente de outros ministérios que realizaram a parceria com o IBGE, no caso do
então MDS, em função da existência de uma unidade específica encarregada da
agenda da “política pública orientada por evidências” (a Sagi), foi possível inter-
nalizar conhecimentos e criar seus próprios levantamentos, como o Censo Suas e
as mais de uma centena de pesquisas de avaliação realizadas, várias delas por meio
de encartes nas PNADs.
5 MONITORAMENTO, AVALIAÇÃO E LEGITIMAÇÃO DAS PDSCF PELA PNAD

Com a entrega das últimas publicações de resultados no primeiro semestre de 2017,
a PNAD encerrou seu ciclo de cinquenta anos de produção e disseminação de
informações estatísticas para Estado e sociedade brasileiros. Implantada em 1967
com o objetivo de captar, principalmente, as mudanças conjunturais e estruturais
do mercado de trabalho brasileiro, a pesquisa passou a contemplar, gradativamente,
a investigação de várias temáticas da lista de prioridades políticas no país (IBGE,
2015). Assim, anualmente, além da aplicação do questionário padrão, em que se
registravam informações sobre características demográficas e ocupacionais da mão
de obra (rendimento, horas trabalhadas, situação de emprego, ocupação etc.),
levantaram-se, de forma suplementar, temas como trabalho infantil, situação do
menor, ensino supletivo, acesso a serviços de saúde, acesso a programas sociais,
vitimização, segurança alimentar e, mais recentemente, acesso às tecnologias da
informação e comunicação, inclusão produtiva e cuidados da primeira infância.
Para as PDSCF, as informações aportadas pela PNAD nos anos 2000 foram
fundamentais para o aprimoramento de seus programas e para a avaliação dos efeitos
conjugados na redução da pobreza e da desigualdade. Pela regularidade da série
histórica de indicadores, foi possível acompanhar os efeitos das ações de mitigação
do trabalho infantil e da redução da pobreza pelo PBF. Seus dados possibilitaram
avaliar impactos de simulações de diferentes estruturas de benefícios (em termos de
idade dos filhos e composição familiar). As demais variáveis coletadas na pesquisa
ampliaram as perspectivas de entendimento do fenômeno e suas associações com
outras dimensões de condições de vida. Os suplementos de acesso a programas
sociais em 2004, 2006 e 2014 permitiram avaliar a cobertura do PBF, mostrar sua
adequada focalização e desmistificar falsas assertivas acerca do nível de fecundidade
e de participação econômica das famílias mais pobres, como revela a coletânea

organizada por Campello e Neri (2013).
O suplemento de 2004 foi particularmente importante para que se fizesse
“a primeira avaliação da focalização dos programas de transferência de renda”
(Rocha, 2013, p. 109). Ao dispor de quesitos específicos sobre PBF, Bolsa Escola,
Auxílio-Gás, Bolsa Alimentação, Cartão Alimentação, Peti e transferências gover-
namentais pelo Instituto Nacional do Seguro Social (INSS) – aposentadoria rural
e BPC –, a pesquisa permitiu que se pudesse conhecer, pela primeira vez em escala
nacional, com a precisão de uma amostra já consolidada, o perfil dos beneficiários
dos programas e as sobreposições entre eles.
Outro uso instrumental da pesquisa para as PDSCF foi o de prover legitimi-
dade da priorização de combate à fome nos anos 2000, por meio das ações do Fome
Zero, do PBF e do BSM. Havia um relativo “contencioso” explorado pela mídia
no primeiro ano de gestão do governo Lula, entre o IBGE e a equipe do Fome
Zero, acerca dos resultados de desnutrição de crianças e de obesidade divulgados,
no final de 2004, pela POF 2002/2003 (Bello, 2013). A pesquisa mostrou que a
desnutrição infantil crônica, medida pelos indicadores antropométricos de peso e
altura, já havia diminuído significativamente nos anos 1990, por ações públicas
em nutrição e merenda escolar, estruturadas desde os anos 1970, assim como as
ações já relatadas do Comunidade Solidária e da sociedade civil. O levantamento
apontou também que a obesidade e o sobrepeso começavam a se tornar preocu-
pantes em parcela da população brasileira.
Não obstante o fato de diversos estudos realizados por Ipea, Fundação Ge-
tulio Vargas (FGV) e outras instituições dimensionarem, com base na PNAD, a
indigência ou extrema pobreza em mais de 15% no país, em 2003 (Rocha, 2013;
Ipea, 2014), e de que a estatística de subalimentação da FAO apontava mais de
15% de subalimentados no Brasil ao final dos anos 1990 (FAO, 2014), disseminou-
-se, por meio de alguns articulistas da mídia impressa e televisiva, a falsa ideia de
que o “contingente de famintos” era muito menor e que a agenda de governo de
priorização do combate à fome estaria equivocada, baseada em dados inflados.16
O equívoco dessa narrativa foi sendo desmontado pelos resultados atingidos por
intermédio da corroboração do “tamanho” da insegurança alimentar no país,
estimado em suplemento encartado na PNAD 2004. A pesquisa apontou que a
insegurança alimentar moderada e grave acometia cerca de 19% dos domicílios
do país. O combate à fome e à extrema pobreza era, sim, pelos indicadores sociais
disponíveis, um tema prioritário nas políticas públicas do começo do século XXI.
16. Ver: Pereira, M. Fome política. O Globo, 22 dez. 2004. Disponível em: <https://bit.ly/3Gb2pRG>.
As duas últimas edições da PNAD foram emblemáticas para demonstrar sua

contribuição histórica como instrumento de apoio às decisões em políticas públicas
no país. Em 2014, para captar os efeitos da ampliação de escala e escopo das ações de
qualificação profissional no país, assim como de inclusão produtiva, foram elaborados
questionários temáticos específicos, em cooperação conjunta do então MDS e do
Ministério da Educação. Nesse mesmo ano, dois outros suplementos foram coleta-
dos: um inédito, para avaliar a cobertura e foco do Cadastro Único, e outro sobre
mobilidade social, para captar informações de filhos, além de chefes de domicílios e
cônjuges. Na última edição da PNAD, em 2015, foram coletadas informações mais
detalhadas sobre acesso e permanência de crianças em creches e outros arranjos, por
meio de suplemento sobre primeira infância, de forma a dispor de informações para
aprimoramento das ações do Programa Brasil Carinhoso.
A importância das estatísticas para as PDSCF esteve, naturalmente, associada à
relevância destas na agenda de governo no período em análise. Por meio de ações
estratégicas como Fome Zero e BSM, as PDSCF estiveram no centro dos esforços
governamentais durante doze anos. Como “vitrines” do governo, era fundamental
que dessem certo e garantissem fôlego ao projeto político-social progressista que
se dizia implementar. Era preciso garantir recursos e instrumentos de gestão –
e informação qualificada – para que os programas pudessem entregar o que
prometiam. Se o sistema estatístico já atendia, em boa medida, as demandas de
informação para as políticas de trabalho, educação e saúde, nas áreas conexas das
PDSCF – assistência social, transferência de renda, segurança alimentar e inclusão
produtiva – havia muito por fazer. Eram novas políticas, com novas demandas de
informação para diagnósticos de públicos-alvo, desenho de programas e gestão.
Como políticas centrais na pauta de governo, com orçamento “blindado”,
reconhecidas como áreas de melhor desempenho do governo nas pesquisas de
opinião, não bastava que as PDSCF produzissem resultados efetivos, reconhecidos
por quem as usufruía concretamente.17 Se eram reconhecidas como efetivas no
combate à fome, conviviam cotidianamente sob o “fio da navalha” quanto à sua
legitimidade mais geral, em relação à população. Era necessário também convencer
outros segmentos da opinião pública sobre a veracidade dos impactos sociais das
PDSCF, no que as estatísticas do IBGE poderiam “emprestar” alguma credibili-
17. Nas pesquisas periódicas de avaliação do governo federal da Confederação Nacional da Indústria (CNI) e do Instituto
Brasileiro de Opinião Pública e Estatística (Ibope), a área de combate à fome e à pobreza manteve, desde 2004, níveis
de aprovação entre 55% e 65% da população até maio de 2013, quando caíram para o patamar de 50%, refletindo a
queda generalizada – mas menos intensa – dos índices de aprovação do governo com as jornadas de 2013. Para mais
informações, ver: <https://bit.ly/3C6a2X4>.
dade, sobretudo no contexto de vilanização e judiciarização em que a política e as

políticas públicas viveram no período.18
Em todo o período aqui analisado, discursos no Parlamento, bem como ma-
térias e editoriais em jornais, procuravam resumir a estratégia Fome Zero e BSM
como se fossem constituídas de ações simplórias de assistencialismo inconsequente,
com efeitos sociais indesejados, como se estivessem promovendo a inatividade,
incentivando a natalidade ou induzindo o voto nas eleições, como o revelam os
motes pejorativos “bolsa-preguiça”, “bolsa-barriga” ou “bolsa-voto” (Leite, Fonseca
e Holanda, 2019; Campello e Neri, 2013). Talvez não fosse surpresa que assim
fossem tratadas, dado o histórico da grande imprensa na cobertura das políticas
de cotas e outros temas de políticas sociais (Azevedo, 2009; 2018; Campos, Feres
Júnior e Daflon, 2013; Haddad, 2017; Mundim et al., 2019). Na própria acade-
mia, as PDSCF não escapavam ao reducionismo de enxergá-las como se fossem
resumidas ao PBF, uma delimitação funcional à interpretação da agenda social
como “rendição” à agenda neoliberal – de encarar política pública como política
para pobres – ou como um “apanágio assistencialista” ou “bolsa-esmola”, que
inviabilizaria a “revolução tão necessária e urgente”.19
Como se procurou mostrar nas seções anteriores, seja para as demandas para
gestão de novas ações e programas, seja para garantir a disputa de narrativas e
legitimidade da agenda política em relação à sociedade, as PDSCF contaram com
um componente informacional expressivo. Procurou-se mostrar, especificamente,
como três levantamentos de larga institucionalidade no IBGE – o Censo Demográ-
fico, a PNAD e a Munic – garantiram a disponibilidade de dados para vários fins,
quer para identificação microterritorializada da população em extrema pobreza,
para elaboração de diagnósticos de capacidade de gestão, pessoal e equipamentos
para as PDSCF, quer para monitoramento, ajuste na focalização de públicos-alvo
e avaliação da efetividade das ações de combate à fome e insegurança alimentar
entre 2004 e 2014.
Gestores e técnicos do então MDS necessitavam de informação mais especí-
fica e qualificada para desenho e acompanhamento dos programas, e também para
evidenciar os avanços alcançados pelas estatísticas oficiais de um órgão reconhecido
por mídia, meio político e sociedade, como o IBGE. Para isso, o uso dessas pesquisas
pelo MDS e a demanda de levantamentos e informações adicionais para subsidiar a
agenda estratégica de governo sinalizava o reconhecimento institucional e o apoio
18. Para diferenciar de judicialização, Lynch (2017) propôs o termo judiciarização para designar o fenômeno de exacer-
bação do protagonismo que juízes e promotores passaram a ter na vida política nacional nos últimos quinze anos, como
reação à corrupção na gestão pública, à baixa efetividade das políticas públicas e às distorções de representatividade
parlamentar. Esses agentes – “tenentes togados” – precisariam iluminar os caminhos para o “avanço civilizacional”
e a “superação do atraso nacional” (Lynch, 2017, p. 163) a que os políticos e gestores públicos, invariavelmente des-
compromissados, inaptos ou corruptos, haviam condenado o Brasil.
19. Ver, entre outros, Lavinas (2013) e Gonçalves (2014).
nas disputas por recursos orçamentários para o sistema estatístico. Suplementos

temáticos de pesquisas foram criados – assistência social, segurança alimentar,
acesso ao Cadastro Único e inclusão produtiva, alguns já replicados mais de uma
vez – na PNAD ou na Munic; quesitos ou conjunto de questões foram incluídos
em questionários de pesquisas (recebimento de PBF e outras rendas, por exem-
plo); e categorias estatísticas foram aprimoradas, como na estimação do trabalho
infantil ou abastecimento domiciliar por cisternas, por exemplo. Para técnicos do
IBGE, de forma mais efetiva que outras experiências com outros ministérios, a
oportunidade de diálogo com equipes envolvidas com desenho e gestão de políticas
públicas pareceu fortalecer um canal institucional relevante para a atualização do
programa de trabalho da instituição, para além dos interlocutores mais antigos na
academia, nos organismos internacionais e na sociedade civil.
Nesse sentido, parece ter se configurado uma situação de convergência tática
de interesses entre essas duas comunidades – técnicos e gestores do MDS e pesqui-
sadores do IBGE – na busca de seus objetivos específicos. Tratou-se, pois, de um
caso ilustrativo da lógica virtuosa e autorreforçadora entre estatísticas e políticas
públicas orientadas por evidências – um caso em que demandas mais sofisticadas de
diagnósticos e desenho de políticas e programas requereram e viabilizaram pesquisas
mais detalhadas, que, com seus indicadores derivados, mais específicos, conduziram
a mudanças incrementais e inovações nas políticas e programas. Talvez seja mes-
mo um caso de “afinidades eletivas”, a ser aprofundado por meio de investigação
documental e entrevistas. Dessa forma, poder-se-ia, inclusive, explicitar melhor
as disputas, ambiguidades e dificuldades nesse diálogo interinstitucional. Afinal,
para além das convergências e afinidades de interesses, também houve impasses nas
definições metodológicas a serem empregadas, na viabilidade operacional de certas
demandas, nas ênfases das narrativas nas publicações de resultados das pesquisas,
nos prazos de entregas dos cronogramas e no volume de recursos transferidos.20
Ao fim e ao cabo, diante dos contratempos que o país tem vivenciado com
relação à realização do seu próximo censo, 150 anos depois de tantas contribuições
que ele trouxe desde sua primeira edição em 1872, esse caso aqui relatado corrobora
a assertiva de que as estatísticas importam. Retomando a assertiva subjacente deste
capítulo, sem Estado (e estatísticas), o Brasil seria diferente, provavelmente mais
pobre, desigual e desmatado.
20. Ensaiou-se algo nesse sentido em Jannuzzi (2020).

REFERÊNCIAS
ARANHA, A. Fome Zero: uma história brasileira. Brasília: MDS, 2010.
ATKINSON, T. et al. Social indicators: the EU and social inclusion. Oxford:
AVRITZER, L. Um balanço da participação social no Brasil pós-Constituição de
1988. In: AVRITZER, L. Experiência democrática, sistema político e parti-
cipação popular. São Paulo: Editora Fundação Perseu Abramo, 2013. p. 11-20.
AZEVEDO, F. A imprensa brasileira e o PT: um balanço das coberturas das elei-
ções presidenciais (1989-2006). ECO-Pós, v. 12, n. 3, p. 48-65, set.-dez. 2009.
______. PT, eleições e editoriais da grande imprensa (1989-2014). Opinião Pú-
blica, v. 24, n. 2, p. 270-290, 2018.
BELLO, L. A. A mídia e os órgãos oficiais de estatísticas. 2013. Dissertação
(Mestrado) – Escola Nacional de Ciências Estatísticas, Instituto Brasileiro de
Geografia e Estatística, Rio de Janeiro, 2013.
BESSON, J. L. A ilusão das estatísticas. São Paulo: Ed Unesp, 1995.
BIVAR, W. Depoimento. In: IBGE – INSTITUTO BRASILEIRO DE GEO-
GRAFIA E ESTATÍSTICA. História oral. Rio de Janeiro: CDDI, 2017.
BORGES, A. H. et al. A rede brasileira de monitoramento e avaliação: um relato do
processo de sua criação e desenvolvimento. Revista Brasileira de Monitoramento
e Avaliação, Brasília, n. 1, p. 4-17, jan.-jun. 2011.
BRASIL. Resolução no 18, de 15 de julho de 2013. Dispõe acerca das prioridades e
metas específicas para a gestão municipal do Sistema Único de Assistência Social –
SUAS, para o quadriênio 2014-2017, pactuadas pela Comissão Intergestores Tri-
partite – CIT. Diário Oficial, Brasília, n. 136, 2013a. Seção 1. Disponível em:
<https://bit.ly/3IPWGBo>.
______. Resolução no 32, de 31 de outubro de 2013. Dispõe sobre o Pacto de
Aprimoramento da Gestão dos Estados e do Distrito Federal no âmbito do Sistema
Único de Assistência Social – SUAS, estabelece a revisão das prioridades e metas
específicas para a gestão estadual e do Distrito Federal e os compromissos do go-
verno federal, estabelecidos na Resolução no 17, de 18 de novembro de 2010, da
Comissão Intergestores Tripartite – CIT, e dá outras providências. Diário Oficial,
Brasília, n. 213, 2013b. Seção 1. Disponível em: <https://bit.ly/346zSyC>.
______. Ministério do Desenvolvimento Social e Combate à Fome. Secretaria de
Avaliação e Gestão da Informação. Censo Suas 2014: análise dos componentes
sistêmicos da política nacional de assistência social. Brasília: Sagi, 2015.
______. Ministério do Desenvolvimento Social e Combate à Fome. Secretaria

de Avaliação e Gestão da Informação. Sagi: informação e conhecimento para as
políticas de desenvolvimento social. Brasília: Sagi, 2016.
CAMPELLO, T. Faces da desigualdade no Brasil. Rio de Janeiro: Flacso, 2017.
CAMPELLO, T.; FALCÃO, T.; COSTA, P. V. (Org.). O Brasil Sem Miséria.
Brasília: MDS, 2014.
CAMPELLO, T.; NERI, M. C. (Org.). Programa Bolsa Família: uma década de
inclusão e cidadania. Brasília: Ipea, 2013.
CAMPOS, L. A.; FERES JÚNIOR, J.; DAFLON, V. T. Administrando o debate
público: o Globo e a controvérsia em torno das cotas raciais. Revista Brasileira
de Ciência Política, n. 11, p. 7-31, maio-ago. 2013.
CARNEIRO, R.; MENICUCCI, T. M. G. Gestão pública no século XXI: refor-
mas pendentes. Brasília: Ipea, 2001. (Texto para Discussão, n. 1686).
CASTRO, J. A. Política social no Brasil: marco conceitual e análise da ampliação
do escopo, escala e gasto público. Revista Brasileira de Monitoramento e Ava-
liação, Brasília, n. 1, p. 66-95, 2011.
______. Evolução do bem-estar social dos brasileiros: da expectativa cidadã ao
prenúncio da barbárie social. In: CASTRO, J. A.; POCHMANN, M. (Org.).
Brasil: Estado social contra a barbárie. São Paulo: Fundação Perseu Abramo,
2020. p. 207-230.
CASTRO, J. A.; POCHMANN, M. (Org.). Brasil: Estado social contra a barbárie.
São Paulo: Fundação Perseu Abramo, 2020.
CEPAL – COMISSÃO ECONÔMICA PARA A AMÉRICA LATINA E O
CARIBE. Desarrolo social inclusivo. Santiago: CEPAL, 2015.
DESROSIÈRES, A. Do singular ao geral: a informação estatística e a construção
do Estado. In: ENCONTRO NACIONAL DE PRODUTORES E USUÁRIOS
DE INFORMAÇÕES SOCIAIS, ECONÔMICAS E TERRITORIAIS, 1., 1996,
Rio de Janeiro. Anais... Rio de Janeiro: IBGE, 1996.
FAO – FOOD AND AGRICULTURE ORGANIZATION OF THE UNITED
NATIONS. State of food insecurity in the world. Rome: FAO, 2014.
FGV – FUNDAÇÃO GETÚLIO VARGAS. Políticas públicas para o desenvol-
vimento sustentável: dos mínimos sociais dos objetivos de desenvolvimento do
milênio à agenda multissetorial e integrada de desenvolvimento sustentável. Rio
de Janeiro: DAPP/FGV, 2018.
FOUREZ, G. A construção das ciências. São Paulo: Ed. Unesp, 1995.
FREDERICO, C. “Afinidades eletivas” ou “Relações perigosas”, por Michael Löwy.

Estudos Avançados, v. 29 n. 83, p. 331-334, 2015.
GOMIDE, A. A.; PIRES, R. R. C. Capacidades estatais e democracia: a abordagem
dos arranjos institucionais para análise de políticas públicas. In: GOMIDE, A. A.;
PIRES, R. R. C. Capacidades estatais e democracia. Brasília: Ipea, 2014. p. 15-29.
GONÇALVES, R. Balanço crítico da economia brasileira nos governos do Partido
dos Trabalhadores. Revista da Sociedade Brasileira de Economia Política, São
Paulo, n. 37, p. 7-39, jan. 2014.
GONZALEZ, L.; PRADO, M. A.; DEAK, M. O Brasil mudou mais do que
você pensa. Rio de Janeiro: FGV, 2018.
GUIMARÃES, J. R. Perfil do trabalho decente no Brasil: um olhar sobre as
Unidades da Federação. Brasília: OIT, 2012.
HADDAD, F. Vivi na pele o que aprendi nos livros. Piauí, n. 129, p. 28-37,
jun. 2017.
IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA.
PNAD: um registro histórico 1967-2015. Rio de Janeiro: IBGE, 2015.
______. Síntese de indicadores sociais: uma análise das condições de vida da
população brasileira. Rio de Janeiro: IBGE, 2016.
IPEA – INSTITUTO DE PESQUISA ECONÔMICA APLICADA. Objetivos de
Desenvolvimento do Milênio: quinto Relatório Nacional de Acompanhamento.
Brasília: Ipea, 2014.
JACCOUD, L. A seguridade social e trajetória recente da assistência social no
Brasil. In: CASTRO, J.; POCHMANN, M. (Org.). Brasil: Estado social contra
a barbárie. São Paulo: Fundação Perseu Abramo, 2020. p. 469-484.
JANNUZZI, P. M. Pobreza, desigualdade e mudança social: trajetória no Brasil
recente (1992 a 2014). Revista De Estudos E Pesquisas Sobre As Américas,
v. 10, n. 3, p. 1-28, 2016.
______. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações.
6. ed. Campinas: Alínea Editora, 2017.
______. Informação estatística e políticas públicas no Brasil: contribuições de
pesquisas do IBGE para as políticas de desenvolvimento social e combate à fome
(2004-2014). 2020. Monografia (Especialização em Política e Sociedade) – Instituto
de Estudos Sociais e Políticos, Universidade do Estado do Rio de Janeiro, Rio de
Janeiro, 2020. Disponível em: <https://bit.ly/3BRVDhc>.
JANNUZZI, P. M. et al. Construindo mapas de pobreza, serviços públicos e de

oportunidades para o Plano Brasil Sem Miséria. Cadernos de Estudos Desenvol-
vimento Social em Debate, Brasília, n. 19, p. 78-87, 2014.
JANNUZZI, P. M.; MONTAGNER, P. Estado de bem-estar, políticas públicas
e mobilidade social no Brasil. In: CASTRO, J.; POCHMANN, M. (Org). Bra-
sil: Estado social contra a barbárie. São Paulo: Fundação Perseu Abramo, 2020.
p. 231-254.
KROPF, S. P; FERREIRA, L. O. A prática da ciência: uma etnografia no labora-
tório. História Ciências Saúde-Manguinhos, v. 4, n. 3, p. 589-597, 1998.
LATOUR, B. Ciência em ação: como seguir cientistas e engenheiros sociedade
afora. São Paulo: Unesp, 2000.
LAVALLE, A. G. et al. Movimentos sociais, institucionalização e domínios de
agência. In: LAVALLE, A. G. et al. Movimentos sociais e institucionalização:
políticas sociais, raça e gênero no Brasil pós-transição. Rio de Janeiro: Ed. UERJ,
2019. p. 21-86.
LAVINAS, L. Notas sobre os desafios da redistribuição no Brasil. In: FONSECA,
A.; FAGNANI, E. (Org.). Políticas sociais, desenvolvimento e cidadania. São
Paulo: Fundação Perseu Abramo, 2013. p. 99-145.
LEÃO, L. S.; EYAL, G. The rise of randomized controlled trials (RCTs) in interna-
tional development in historical perspective. Theor Soc, v. 48, p. 383-418, 2019.
LEEUW, F. L. On the contemporary history of experimental evaluations and its
relevance for policy making. Comparative Policy Evaluation, v. 15, p. 11-26, 2011.
LEITE, C. K. S.; FONSECA, F. C. P.; HOLANDA, B. M. Imagens e narrativas do
Bolsa Família: análise da retórica da grande imprensa. Revista de Administração
Pública, Rio de Janeiro, v. 53, n. 5, p. 879-898, set. 2019.
LINDBLOM, C. E. El proceso de elaboración de políticas públicas. Madrid:
MAP, 1991.
LING. T. What counts as sufficient evidence and compelling argument in evalu-
ation. Comparative Policy Evaluation, n. 15, p. 53-65, 2011.
LOPEZ, F.; GUEDES, E. Três décadas de evolução do funcionalismo público no
Brasil (1986-2017). Atlas do Estado Brasileiro. Brasília: Ipea, 2019. Disponível
em: <https://bit.ly/3m2hXzr>.
LOTTA, G. S. et al. Por uma agenda brasileira de estudos sobre implementa-
ção de políticas públicas. Revista do Serviço Público, v. 69, n. 4, p. 779-810,
out.-dez. 2018.
LYNCH, C. E. C. Ascensão, fastígio e declínio da “Revolução Judiciarista”. Insigth

Inteligência, n. 79, p. 158-169, 2017.
MARCUSE, H. A responsabilidade da ciência. Scientiae Studia, São Paulo, v. 7,
n. 1, p. 159-164, mar. 2009. Disponível em: <https://bit.ly/3G2V6M0>. Acesso
em: 22 abr. 2019.
MARTIN, O. Da estatística política à sociologia estatística: desenvolvimento e
transformações da análise estatística da sociedade (séculos XVII-XIX). Revista
Brasileira de História, São Paulo, v. 21, n. 41, p. 13-34, 2001.
MAURO, P. et al. A modern history of fiscal prudence and profligacy. Wash-
ington, D.C.: IMF, 2013. (IMF Working Paper, n. 13/5).
MAYNE, J. Results management: can results evidence gain a foothold in public
service. Comparative Policy Evaluation, n. 15, p. 177-148, 2011.
MELLO, J. et al. O uso e o não uso de evidências pelos governos como decisão
política. Nexo Jornal, 2 out. 2020. Disponível em: <https://bit.ly/3AZZ4kG>.
MUNDIM, P. S. et al. O Programa Bolsa Família e seus beneficiários na opinião
pública brasileira. Opinião Pública, v. 25, n. 3, p. 556-576, 2019.
OSÓRIO, R. G.; SOARES, S.; SOUZA, P. H. Erradicar a pobreza extrema: um
desafio ao alcance do Brasil. Brasília: Ipea, 2011. (Texto para discussão, n. 1619).
PAES-SOUZA, R.; VAITSMANN, J. Avaliação de programas e profissionalização
da gestão pública. Revista Brasileira de Monitoramento e Avaliação, Brasília,
n. 1, p. 18-35, 2011.
PINHEIRO, M. Políticas públicas baseadas em evidências (PPBEs): delimi-
tando o problema conceitual. Brasília: Ipea, 2020. (Texto pra discussão, n. 2554).
PNUD – PROGRAMA DAS NAÇÕES UNIDAS PARA O DESENVOLVI-
MENTO. Relatório de desenvolvimento humano. Lisboa: PNUD, 2011.
______. Relatório de desenvolvimento humano. Lisboa: PNUD, 2013.
______. Relatório de desenvolvimento humano. Lisboa: PNUD, 2014.
PORTER, T. Thrust in numbers: the pursuit of objectivity in science and public
life. New Jersey: Princeton University Press, 1995.
ROCHA, S. Transferências de renda no Brasil: o fim da pobreza? Rio de Janeiro:
Elsevier, 2013.
SCANDAR NETO, W. J.; BOLLIGER, F. P. Estatísticas ambientais e indicadores
de desenvolvimento sustentável no Brasil. In: ROMEIRO, A. (Org.). Avaliação e
contabilização de impactos ambientais. 1. ed. Campinas: Editora da Unicamp,
2004. p. 271-297.
SZWAKO, J.; LAVALLE, A. G. Seeing like a social movement: institucionalização

simbólica e capacidades estatais cognitivas. Novos Estudos CEBRAP, São Paulo,
v. 38, n. 2, p. 411-434, ago. 2019.
TRAVERSINI, C. S.; BELLO, S. E. L. O numerável, o mensurável e o auditável;
estatística como tecnologia para governar. Educação & Realidade, Porto Alegre,
v. 34, n. 2, p. 135-152, maio-ago. 2009.
WORLD BANK. Retaking the path to inclusion, growth and sustainability.
Brasília: World Bank, 2016.
BARBOSA, R. J.; SZWAKO, J. Por que há uma grave ameaça de apagão estatístico
no Brasil? Nexo Jornal, 21 abr. 2019. Disponível em: <https://bit.ly/3jgSr7r>.
CAMPELLO, T.; MELLO, J. O processo de formulação e os desafios do Plano
Brasil Sem Miséria. In: CAMPELLO, T.; FALCÃO, T.; COSTA, P. V. (Org.). O
Brasil Sem Miséria. Brasília: MDS, 2014. p. 33-66.
FAO – FOOD AND AGRICULTURE ORGANIZATION OF THE UNITED
NATIONS . Voices of hungry: methods for estimating comparable prevalence rates
of food insecurity experienced by adults throughout the world. Rome: FAO, 2016.
MELLO, J. Nota de apresentação dos editores. Boletim de Análise Político-Ins-
titucional, Brasília, n. 24, p. 5-16, nov. 2020.
MONTAGNER, P.; MULLER, L. H. Apresentação. Cadernos de Estudos
Desenvolvimento Social em Debate, Brasília, n. 24, p. 7-17, 2015.
PINTO, L. F.; FREITAS, M. P. S.; FIGUEIREDO, A. W. S. Sistemas Nacionais de
Informação e levantamentos populacionais: algumas contribuições do Ministério
da Saúde e do IBGE para a análise das capitais brasileiras nos últimos 30 anos.
Ciência & Saúde Coletiva, v. 23, n. 6, p. 1859-1870, 2018.
SUBIRATS, J.; DENTE, B. Decisiones públicas. El análisis y estudio de los
procesos de decisión en políticas públicas. Barcelona: Ariel, 2014.
XIMENES, D. (Org.) Resultados, avanços e desafios das condicionalidades de
educação do Programa Bolsa Família. Cadernos Desenvolvimento Social em
Debate, Brasília, n. 18, 2014.
CAPÍTULO 16
POLICY DESIGN E USO DE EVIDÊNCIAS: O CASO DA

PLATAFORMA GOV.BR1,2
Fernando Filgueiras3
Maricilene Isaira Baia do Nascimento5
1 INTRODUÇÃO
A utilização de novas tecnologias de coleta, armazenamento, processamento e
compartilhamento de dados e, também, de novas plataformas para prestação de
serviços públicos tem alterado a dinâmica de funcionamento dos governos (OECD,
2019). Plataformas são espaços virtuais que oferecem serviços de forma integrada
e estabelecem modelos de interação com diferentes tipos de usuários. Uma plata-
forma digital é um conjunto de subsistemas e interfaces que moldam um modelo
de negócio e compartilham uma estrutura comum, em que as tecnologias digitais
podem conectar quem produz com quem consome, possibilitando uma relação
de troca entre ambos (Frischmann e Selinger, 2018).
Plataformas são essenciais na estratégia de governos digitais, o que constitui
uma diferença importante em relação ao conceito de governo eletrônico. Governo
eletrônico é o uso de tecnologias de informação e comunicação para digitalizar ser-
viços públicos (Veale e Brass, 2019). Governo digital vai além da ideia de governo
eletrônico. Ele incorpora a digitalização de serviços públicos – ou o governo eletrô-
nico – para realizar a coleta, armazenamento, processamento e compartilhamento
de dados com o objetivo de antecipar demandas dos cidadãos, promover não só a
crescente automação e personalização de serviços, mas também a utilização dos dados
1. Este capítulo aprofunda a investigação apresentada em uma versão anterior no Boletim de Análise Político-Institucional
(BAPI), número 24, de novembro de 2020, intitulada Policy design e múltiplas evidências: proposta analítica da dinâmica
da política de transformação digital dos serviços públicos da administração pública federal brasileira.
2. Nossos agradecimentos a Bianca Soletti Teixeira, estagiária do Ipea, que nos ajudou na fase de transcrição das
entrevistas realizadas nesta pesquisa.
3. Professor do Departamento de Ciência Política da Universidade Federal de Minas Gerais (UFMG); professor do
mestrado profissional em governança e desenvolvimento e do doutorado profissional em políticas públicas da Escola
Nacional de Administração Pública (Enap); affiliate faculty do Ostrom Workshop on Political Theory and Policy Analysis,
da Indiana University; e pesquisador do Instituto Nacional de Ciência e Tecnologia – Democracia Digital (INCT-DD).
E-mail: <fernandofilgueiras@hotmail.com>.
das Instituições e da Democracia (Diest) do Ipea. E-mail: <pedro.palotti@ipea.gov.br>.
5. Pesquisadora do Subprograma de Pesquisa para o Desenvolvimento Nacional (PNPD) na Diest/Ipea. E-mail: <mari-
cilene.nascimento@ipea.gov.br>.
coletados para diversas finalidades de políticas públicas com o uso de inteligência

artificial, internet das coisas ou blockchain, por exemplo (Dunleavy e Margetts, 2013).
O uso de aplicativos da internet pode promover o acesso a uma prestação de
serviços eficiente. Nesse caso, parte-se da premissa que a infraestrutura tecnológica
do governo é condição necessária e suficiente para a prestação de serviços públicos
digitais. Uma estrutura de governo eletrônico é condição necessária, mas não suficiente,
para constituir plataformas. Além da estrutura digitalizada de serviços, uma plata-
forma de serviços públicos deve coletar, armazenar, processar e compartilhar dados.
Plataformas se sustentam em metodologias de big data, coletando dados dos usuários
com o objetivo de promover a crescente personalização dos serviços e antecipação de
demandas dos cidadãos (Williamson, 2014; Jeffares, 2021; Desouza e Jacob, 2017).
Sob o discurso de maior eficiência na utilização de recursos públicos e de
melhoria da satisfação dos usuários com a atuação governamental – principalmente
cidadãos e empresas –, os meios virtuais e digitais têm sido mobilizados para imple-
mentar mecanismos de governo digital, os quais, para além do governo eletrônico,
visam promover a plataformização da estrutura governamental e o trabalho com
dados massivos da sociedade. Essa perspectiva de governo digital, promovendo a
crescente digitalização e plataformização do governo, requer mudanças institucio-
nais na política de serviços, compreendendo novos parâmetros de interação dos
governos com a sociedade e novas modalidades de instrumentação dos serviços
públicos (O’Reilly, 2010).
O governo federal no Brasil tem promovido políticas para a plataformização
do serviço público, acelerando a digitalização de serviços públicos e dispondo
estes serviços em uma estrutura integrada e padronizada, cujo objetivo é promo-
ver a facilitação do acesso e transações mais eficientes e efetivas entre governo e
sociedade. O Brasil tem uma longa tradição de governo eletrônico, que se iniciou
com a criação do Serviço Federal de Processamento de Dados (Serpro) em 1964.
Importantes iniciativas de governo eletrônico foram realizadas a partir das reformas
gerenciais introduzidas em 1995, com a sistematização e digitalização de serviços
públicos, especialmente da Receita Federal.
O ano de 2016, no entanto, marca uma importante mudança no marco
do governo eletrônico brasileiro. O governo federal iniciou uma estratégia robusta de
governo digital, acelerando a digitalização de serviços públicos e iniciando estra-
tégias para incorporar metodologias de big data no trabalho da burocracia federal.
O lançamento da Estratégia de Governança Digital (EGD), em 2016, represen-
tou uma mudança institucional importante, incorporando diversos elementos de
inovação em serviços públicos, constituição de parcerias e a construção de uma
plataforma única de serviços públicos, capaz de incorporar toda a estrutura de ser-
viços prestados aos cidadãos de forma integrada. A partir da EGD, configurou-se
a política de transformação digital de serviços públicos, cujo produto central é a
construção da plataforma Gov.br.
Policy Design e Uso de Evidências: o caso da plataforma Gov.br | 523
A plataforma Gov.br é uma estratégia do governo federal para consolidar

em uma plataforma toda a estrutura de serviços públicos prestados a cidadãos e
empresas, promovendo o redesenho de serviços, a digitalização e a implementação
de instrumentos de big data para promover os objetivos de um governo digital.
Policymakers iniciaram uma série de atividades de design da política, integrando redes
internacionais e utilizando evidências para sustentar o desenho e a efetividade dos
instrumentos selecionados para que a política produza os resultados. No caso brasilei-
ro, o contexto de implementação dessa política aponta para a sua utilização residual
em iniciativas de democracia digital, em particular deliberação digital (Almada
et al., 2019), além das limitações de uso de novas plataformas por alguns segmentos
da população – em particular os mais velhos – e pelo predomínio da utilização do
telefone celular para acessar a internet (Avelino, Pompeu e Fonseca, 2021).
Neste capítulo tratamos da complexidade sobre o uso de evidências para
sustentar o desenho de uma política pública. Para abordar esta questão maior, fa-
remos um estudo de caso da política de transformação digital de serviços públicos,
enfocando, especificamente, a construção da plataforma Gov.br. Assim, pretende-se
responder à questão de como e quando mobilizaram-se evidências para sustentar
a dinâmica do desenho da política de transformação digital de serviços públicos –
especificamente, o caso da construção da plataforma Gov.br. A pesquisa foi realizada
a partir da análise documental dos principais normativos e documentos vinculados
à estratégia de governo digital da administração pública federal em curso desde
2016.6 Foram realizadas também entrevistas com atores-chave da burocracia federal.
A seguir, serão abordados os problemas e as perspectivas da literatura interna-
cional sobre o uso de evidências para a transformação digital dos serviços públicos.
Na sequência, serão expostos os principais elementos analíticos que irão compor
o framework para compreensão do policy design e sua relação com a mobilização
de múltiplas evidências. Iremos então detalhar o método de pesquisa empregado
e nos dedicaremos a compreender a utilização de evidências no design da política
de transformação dos serviços públicos da administração pública federal brasileira,
a partir da identificação de suas principais ferramentas de implementação.
2 TRANSFORMAÇÃO DIGITAL DE SERVIÇOS PÚBLICOS E O USO DE EVIDÊNCIAS:

PROBLEMA E PERSPECTIVAS
A digitalização dos serviços públicos tem o objetivo de produzir automação dos
serviços, criando capacidades e um processo de plataformização da relação entre
governos e sociedade. Os governos têm seguido uma tendência crescente de plata-
formização (Van Dijck, Poell e De Waal, 2018; Helmond, 2015). Plataformas de
governo consideram as experiências de modelos de mídia social como Facebook,
6. Nesta pesquisa adotamos o recorte temporal a partir de 2016. Este recorte se justifica pela dinâmica de mudança
institucional em função da adoção de governo digital, indo além da ideia de governo eletrônico.
YouTube, Twitter, entre outras, para promover a interação entre duas ou mais partes
distintas nas transações governamentais. As plataformas fornecem um novo modo
de comunicação entre governos e sociedade, especialmente no que diz respeito a
serviços e políticas públicas, envolvendo camadas de inteligência artificial e novos
parâmetros computacionais para modificar a experiência do usuário (O’Reilly,
2010). Elas representam o progresso natural das tecnologias digitais para resolver
problemas coletivos, por meio das quais os cidadãos têm as habilidades necessárias
para resolver problemas locais e nacionais. Os governos fornecem informações e
serviços exigidos pelos cidadãos, os quais têm poderes para estimular a inovação que
irá melhorar a governança com base em princípios de cocriação de serviços públicos.
A plataformização dos governos tem um pré-requisito essencial: o uso de
ferramentas de big data que estimulam essa cocriação de serviços e uma crescente
personalização dos serviços para os usuários. Para isso, as plataformas de governo
devem coletar dados dos seus usuários a fim de manter um processo permanente
de redesenho dos serviços para que eles sejam cada vez mais personalizados e ba-
seados em uma lógica de autosserviço (Jeffares, 2021; Williamson, 2014; Desouza
e Jacob, 2017). A dataficação da sociedade é uma consequência dos processos
massivos de coleta de dados no mundo digital. Dataficação é a transformação
das atividades diárias da ação social em dados quantificados on-line, permitindo
assim o monitoramento em tempo real, rastreamento, análise preditiva e otimi-
zação (Kitchin, 2014; Mayer-Schonberger e Cukier, 2014). No caso dos serviços
públicos pensados na dinâmica das plataformas, a coleta dos dados dos usuários é
central para promover análise preditiva e conhecer o interesse dos usuários e uma
série de facilitações na prestação do serviço público, possibilitando antecipação de
demandas, automação, simulação e capacidades aumentadas do serviço público
para tomar decisão de forma mais rápida e eficiente (Jeffares, 2021).
Basicamente, a melhoria dos serviços públicos por meio das ferramentas digitais
ocorre pelo processo de digitalização e mudança nos padrões de governança (Dunleavy
e Margetts, 2013). De um lado, a digitalização de serviços públicos ocorre pela adoção
de sistemas de automação. A automação de serviços públicos ocorre por meio de um
processo baseado em regras, em que os serviços têm os seus trâmites redesenhados
para que possam ser realizados pela transação entre o usuário e a máquina. De outro
lado, o processo de digitalização ocorre pela adoção de sistemas que aumentam as
capacidades de entrega dos serviços. Essa perspectiva de prestação de serviços públi-
cos ocorre por meio da adoção de sistemas que promovam novas experiências aos
usuários e melhorias contínuas por meio de machine learning (Veale e Brass, 2019).
O uso de ferramentas digitais oportuniza um meio para as organizações enfren-
tarem problemas de interrupção, concorrência e incentivos (Dunleavy e Margetts,
2013). As ferramentas digitais levaram a mudanças organizacionais decorrentes
de mudanças na sociedade civil e do posicionamento político e institucional dos
gestores públicos. A governança digital pode não só promover a reintegração de

serviços em plataformas e reengenharia de processos, mas também criar governos
mais ágeis que respondam rápida e flexivelmente às mudanças no ambiente so-
cial, promovendo uma concepção mais holística dos serviços públicos. Por fim,
a digitalização promove mudanças na entrega de serviços públicos com base nas
necessidades do usuário para gerar ganhos de produtividade (Dunleavy et al., 2006).
Reintegração de serviço, holismo baseado em necessidades e digitalização são fatores
que afetam e transformam a governança pública (Dunleavy e Margetts, 2013).7
A política de transformação digital no Brasil foi redesenhada a partir de
2016, com o lançamento da EGD. Desde então, foram feitos avanços e mudan-
ças que se concretizaram no lançamento da plataforma Gov.br, reproduzindo o
trabalho de policymakers que desenharam diversas intervenções com o objetivo de
sustentar um governo digital no Brasil. O desenho de políticas é uma atividade
dinâmica em que os formuladores de políticas, idealmente, tomam decisões com
base em evidências, aprendem com o passado e relacionam as ferramentas de forma
congruente, coerente e consistente (Capano, 2017; Howlett e Mukherjee, 2014;
Radaelli e Dunlop, 2013). A possibilidade de que os formuladores de políticas
possam usar evidências, mobilizar conhecimento, aplicá-los e implantar
políticas depende da dinâmica e das situações de ação moldadas em ambientes
que valorizam a técnica (Radaelli e Dunlop, 2013). O uso de evidências no design
da política de transformação digital ocorre tanto no processo de identificação e
classificação dos serviços, usuários, trâmites e atores quanto na identificação de
custos e experiências dos usuários que suportem o redesenho e alimentem o uso
de novas ferramentas digitais. Evidências contribuem para a política de transforma-
ção digital, possibilitando identificar os problemas e justificar as soluções propos-
tas, alcançando um processo de maturidade das ferramentas digitais empregadas
na política.
Analiticamente, podemos investigar o uso de evidências na política de trans-
formação digital perquirindo como elas incidiram no desenho da estratégia para
produzir a plataforma Gov.br. Como ressaltamos, a atividade de desenho de
políticas públicas é dinâmica e apresenta uma série de questões que podem co-
nectar os instrumentos de políticas selecionados pelos policymakers com o alcance
dos objetivos propostos. Ou seja, questiona-se como e quando evidências foram
mobilizadas para conformar o desenho da plataformização do governo federal. Para
seguir investindo na busca empírica sobre como diferentes atores, em diferentes
processos, mobilizaram diversas fontes de evidência para a política de transformação
7. Este é um marcador importante do governo digital em relação ao governo eletrônico. Os governos digitais representam
uma nova estratégia de reforma das organizações públicas porque modificam atributos institucionais da nova gestão
pública. Além disso, promovendo uma concepção holística e reintegradora do serviço público, combatem a tendência
de agencificação, diluição e concorrência dos serviços prestados pelas organizações públicas.
digital, a construção de um modelo analítico é central para guiar essa busca. Esse
modelo será apresentado e discutido na próxima seção.
3P
OLICY DESIGN, MÚLTIPLAS EVIDÊNCIAS E PROPOSTA DE
FRAMEWORK ANALÍTICO
A utilização da terminologia e do conceito de design decorre de estudos clássicos
no campo da administração pública e de políticas públicas. Um dos trabalhos
pioneiros é de autoria de Simon (1996), que associa a função do designer à “ciên-
cia do artificial”, dedicada a projetar como as coisas devem ser para atingir seus
objetivos e cumprir sua funcionalidade. Peters (2018) destaca que o processo de
desenho de políticas envolve a tentativa de integrar entendimentos do problema a
ser enfrentado aos instrumentos que serão usados na produção de intervenções dos
governos na sociedade para que as políticas possam atingir seus objetivos formu-
lados. Howlett e Mukherjee (2017) destacam também que policy design envolve a
tentativa intencional de governos ligarem instrumentos de políticas aos objetivos que
buscam realizar. Envolve, além disso, a compreensão das vantagens e desvantagens
dessas ferramentas, no intuito de aumentar a efetividade da política contemplada.
Sobre outros aspectos envolvidos, Peters (2018) acrescenta que o desenho da
política está inserido em um contexto político, que chama atenção para o fato
de que não apenas a visão técnica importa no processo, envolve ainda: i) a intera-
ção de múltiplos atores; ii) o conhecimento sobre como a área de política afetada
funciona para a produção de um denominador comum; e iii) a consideração das
consequências políticas da escolha da política pública. Além disso, o desenho de uma
política pública envolve uma abordagem complexa da ligação entre instrumentos
e objetivos, pela qual os instrumentos devem ser constantemente calibrados por
policymakers para atender a requisitos institucionais e políticos. O desenho de uma
política pública envolve a convergência setorial, a temporalidade, a conexão entre os
instrumentos escolhidos e ideias e paradigmas, fazendo com que a conexão entre ins-
trumentos e objetivos seja permeada de complexidade baseada em diferentes interesses
e paradigmas que orientem a construção da política (Capano e Howlett, 2020).
Nesse processo, mudanças respondem aos balanços avaliativos da efetividade
da política conhecida como situações de redesenho: uma resposta do desenho atual
a adaptações que foram julgadas necessárias. Somado a isso, o desenho tem de
considerar em quais comportamentos humanos a implementação resultará (Schneider
e Ingram, 1990). Para isso, saber manipular símbolos e informações é crucial para
tornar a política aceitável aos seus afetados. Muitas das adequações necessárias são
referentes a aspectos dos comportamentos e dos valores humanos impactados pela
política desenhada. Essas adequações também são resultantes do conhecimento
mais aprofundado do limite da área que deveria ser atingida pela política.
Em suma, Peters (2018) propõe um modelo de policy design que resume o

processo de política em: identificar a causa de um problema (causação), estabelecer
os instrumentos necessários (instrumentação), avaliar o desenho (avaliação) e intervir
(intervenção). Desse modo, o design pode ser compreendido como a tentativa de
se produzir resultados duradouros em relação a problemas comuns que atingem
a sociedade. Isso implica a utilização de instrumentos de políticas públicas que
possam contribuir com soluções sustentáveis no tempo (Capano e Woo, 2018).
Conforme já introduzido, por envolver muitos atores, processos e instru-
mentos e, por consequência, diferentes paradigmas e ideias (Capano e Howlett,
2020), parte-se do entendimento de que o desenho da política pública envolve uma
multiplicidade de naturezas de evidências. O uso de evidências não é um processo
racionalista do tipo causa-efeito, mas um trabalho que busca a justificação do
uso de determinados instrumentos de políticas para conectá-los com os objetivos
propostos. Na instrumentação da política pública, os atores mobilizam diferentes
conhecimentos e informações, a partir de diferentes estratégias, para sustentar uma
ideia de política transformativa. Concordamos com a visão de Wesselink, Cole-
batch e Pearce (2014) sobre o argumento de que os participantes terão distintas,
sobrepostas e conflitantes visões sobre a natureza do problema identificado e do
conjunto de conhecimentos que serão mais apropriados para desenhar uma política.
Além disso, concordamos também que o uso de evidências em suas diferentes
naturezas tem o contexto como fator central. A depender do contexto, pratictio-
ners “mobilizam o discurso e a evidência apropriada no tempo certo”. Para isso,
“[p]ratictioners percebem múltiplas fontes de evidência, mobilizando o conheci-
mento ou julgamento prático mais que privilegiar estudos que clamam oferecer
explicações e predições law-like, desenhadas para assegurar o controle técnico do
mundo” (Wesselink, Colebatch e Pearce, 2014, p. 342). O design de uma política
pública é, antes de qualquer coisa, uma forma de conhecimento prático que liga
ideias, paradigmas, instrumentos e objetivos formulados politicamente (Bobrow
e Dryzek, 1987).
Esse conhecimento não é cientificamente desempenhado, mas evidências
cumprem um papel importante no entendimento dos problemas e na relação
de causação entre os problemas, os instrumentos e os objetivos de políticas. Essa
também é a proposta de Veselý, Ochrana e Nekola (2018), que seguem uma
corrente sobre os estudos de evidência na política pública os quais mostram que
policymakers desenham a política a partir de uma ampla variedade de informação e
conhecimento e, portanto, “suas interpretações do que conta como evidência útil
e relevante são simplesmente diferentes das dos proponentes das PPBES” (Veselý,
Ochrana e Nekola, 2018, p. 223). Acrescentam ainda o pressuposto de que o uso
de evidência é um processo dinâmico, emaranhado no design da política pública.
Nessa oportunidade de reconhecer que a burocracia estatal mobiliza diferentes

evidências e discursos estratégicos de maneira relacionada como atores usam a evi-
dência em suas narrativas é uma estratégia metodológica de muita valia. A exemplo
da proposta de Schlaufer (2018, p. 90), concordamos que “[o] uso narrativo de
evidência é definido pelos diferentes papéis que [um tipo] de evidência desempe-
nha no enredo de uma narrativa”. Contudo, evidências são instrumentalizadas em
diversas fontes para construir uma narrativa sobre a política. Mais especificamente,
o framework analítico que propomos construir vai ao encontro da proposta de Head
(2008). A defesa do autor parte do entendimento de que decisões sobre políticas
são oriundas de um contexto político, com julgamentos e debates, mais que uma
simples dedução de análises empíricas. Debates e análises no âmbito da produção
de política pública envolvem intercâmbios entre fatos, normas e ações desejáveis em
que evidência ganha uma natureza diversa e contestável. Sendo assim, Head (2008,
p. 4, tradução nossa) argumenta que “[s]oluções técnicas simples de especialistas
não estão disponíveis ou são impraticáveis. Nessas circunstâncias, pode surgir uma
abordagem ‘negociada’ e ‘relacional’ para a solução de problemas”.8 Uma abordagem
relacional para essa discussão reconhece a dimensão da negociação em que “[r]edes
e parcerias trazem para a mesa de negociação uma diversidade de ‘evidências’ das
partes interessadas, ou seja, informações, interpretações e prioridades relevantes”
(Head, 2008, p. 4, tradução nossa).9
Head (2008), portanto, propõe três tipos importantes de conhecimento, aos
quais suas visões de evidência são correspondentes: conhecimento político; conhe-
cimento científico (baseado em pesquisa); e conhecimento prático-profissional. No
campo do conhecimento político, atores políticos mobilizam análises e julgamentos
para desenvolver melhores estratégias, táticas, persuasão, comunicações-chave, bem
como para moldar e responder a questões de accountability, entre outras. No campo
do conhecimento científico, produtos de análises sistemáticas são mobilizados a fim
de esclarecer causas inter-relacionadas que expliquem condições e predições. Por fim,
no campo do conhecimento prático-profissional, mobilizam-se experiências da prática
profissional oriundas de comunidades de práticas profissionais e de conhecimentos
organizacionais associados com gerenciamento de implementação de política.
A utilização de evidências é um insumo relevante para o design das políticas, por
vezes assumindo um papel instrumental, conceitual ou simbólico (Amara, Ouimet
e Landry, 2004). A mobilização, captação, interpretação e utilização de evidências,
em suas diferentes perspectivas, perpassam a construção de capacidades analíticas,
gerenciais e políticas dos gestores governamentais. Essas capacidades serão então
8. No original: “Simple technical solutions by experts are unavailable or unworkable. In these circumstances, a ‘negotiated’
and ‘relational’ approach to problem-solving may emerge”.
9. No original: “Networks and partnerships bring to the negotiation table a diversity of stakeholder ‘evidence’, ie, relevant
information, interpretations and priorities”.
aplicadas à construção de soluções de políticas públicas que possam se tornar efetivas

(Mukherjee e Bali, 2019). A figura 1 tenta traduzir, em síntese, os elementos teórico-
-conceituais que guiarão a pesquisa em torno da relação entre a busca por soluções
de políticas e o uso de diferentes fontes de evidência. Explicando a disposição dos
elementos na figura como uma tentativa de representar processualmente a possível
configuração da dinâmica da política de transformação digital dos serviços públicos
federais no Brasil, operamos uma análise baseada sobre como estes conhecimentos
se entrelaçam e relacionam evidências para sustentar o desenho da política.
Conforme representado na figura 1, esses diferentes atores, em suas diferen-
tes mobilizações de evidências, podem fazer parte de todas as fases do desenho
da política. No entanto, uma fase crucial que vivifica e torna ativa a participação
desses diferentes atores diz respeito à fase de instrumentação, parte do processo que
indicará a efetividade ou não da política e seus futuros redesenhos. A dimensão da
efetividade de fato é posta como um elemento central para a compreensão do design.
Nas palavras de Peters et al. (2018, p. 5), “[um] objetivo central – na verdade, o
objetivo central – do design de políticas públicas é a ‘efetividade’. Efetividade serve
como o fundamento básico de qualquer design, sobre o qual outros objetivos como
eficiência e equidade se baseiam”.
FIGURA 1
Elementos teórico-conceituais da relação entre policy design e múltiplas evidências
para a política de transformação digital de serviços
Fiscal
Janela de oportunidade
(justificação) Social
Mobilizada no Múltiplas fontes Desenho da política Efeitos da política

seio da própria de evidências
burocracia
Política de Múltiplos atores Conhecimento político Causação

transformação digital Diferentes usos de Efetividade
institucionais e evidências – produção Instrumentação e redesenho
Conhecimento científico
organizacionais de narrativas sobre da política
envolvidos/afetados Avaliação
Conhecimento a política proposta
prático-profissional Intervenção
Problema público
interseccionado
Implicações Implicações
políticas administrativas
Esse longo background analítico demonstra como o desenho de uma política

pública é uma atividade complexa, envolvendo diferentes atores, contextos institu-
cionais e atividades de instrumentação que requerem usos narrativos de evidências
para sustentar os objetivos de políticas. Na próxima seção, tratamos do método
adotado na pesquisa.
4 MÉTODO DE PESQUISA
Para a realização da pesquisa empírica, foram constituídos dois esforços principais.
O primeiro foi o de coleta e análise dos principais normativos da política de 2016
a 2020. Esse método possibilitou a compreensão dos instrumentos efetivamente
desenhados pelos formuladores da política, apontando evidências mobilizadas ou
a necessidades de se constituir tais evidências. O segundo se deu por meio de um
conjunto de entrevistas com os formuladores e implementadores da política de
transformação digital de serviços públicos no governo federal, com especial enfoque
no processo de mobilização de evidências.
Entre dezembro de 2020 e fevereiro de 2021, foram realizadas nove entrevistas
semiestruturadas com gestores da política de transformação digital, de maneira
que pudéssemos identificar, no design da política, o uso e não uso de diferentes
fontes de evidências. O conjunto de entrevistados foi composto pela alta gestão
da Secretaria de Governo Digital do Ministério da Economia (SGD/ME), como
coordenadores e ex-coordenadores, diretores e assessores. As entrevistas duraram
em média uma hora, sendo realizadas por videoconferência, em razão da neces-
sidade de isolamento social imposta pela pandemia do novo coronavírus. Para
fins de identificação das falas dos atores entrevistados, adotamos a identificação
codificada como “Entrevistado 1”, “Entrevistado 2” e assim por diante, de modo a
preservar a identidade dos atores. A estratégia de coleta obedeceu à lógica da “bola
de neve”, encerrando-se a etapa de entrevistas quando as informações fornecidas
pelos entrevistados deixaram de apresentar novas contribuições para a pesquisa.
As entrevistas foram conduzidas a partir de questionamentos sobre a trajetória
profissional dos atores, sobre como vem se constituindo a política de transforma-
ção digital desde o início, sobre as interações com diferentes atores estatais e não
estatais, sobre a mobilização de diferentes fontes de informação e sobre o uso dessas
diferentes fontes. Evidentemente, estamos tratando da perspectiva dos gestores da
política e não dos seus afetados. Queríamos entender como evidências incidiram
na dinâmica do design da política de transformação digital de serviços públicos.
Não foi feita, portanto, uma avaliação da política de transformação digital de
forma a entender seus impactos ou efeitos positivos ou negativos. O tratamento
das entrevistas foi inspirado no processo de codificação in vivo.
5 INSTRUMENTAÇÃO E USO DE EVIDÊNCIAS PARA O DESIGN DA

TRANSFORMAÇÃO DOS SERVIÇOS PÚBLICOS DE ATENDIMENTO DA
ADMINISTRAÇÃO PÚBLICA FEDERAL BRASILEIRA: A ORGANIZAÇÃO
DA PLATAFORMA GOV.BR
O objetivo da política de transformação digital é constituir uma plataforma única
de serviços públicos (Gov.br), modificando procedimentos e transações de serviços,
com a finalidade de produzir maior facilitação para o usuário e construir proce-
dimentos para a coleta, armazenamento, processamento e compartilhamento de
dados dos usuários. Os dados coletados incrementalmente produzem personalização,
automação e autosserviço. O desenho da política, portanto, pretende automatizar
os trâmites entre o governo e os usuários de serviços públicos, ao passo que visa
promover melhorias na experiência do usuário de maneira a aumentar as capacidades
de entrega dos serviços mediante aplicação de ferramentas digitais. A seguir, iremos
analisar os normativos e as visões dos gestores governamentais sobre a política.
5.1 Análise dos normativos: instrumentos e evidências mobilizadas

No caso brasileiro, a construção de uma política pública de governo digital remonta
ao início dos anos 2000, com a criação de uma política então definida como e-gov
e com a organização de um Comitê Executivo de Governo Eletrônico (CEGE).
Os anos seguintes reúnem esforços de compartilhamento de infraestrutura de
acesso, certificação digital, modelo de acessibilidade de governo eletrônico (eMag),
portal de inclusão digital, modelo de software público, entre outras iniciativas de
construção institucional para fomento do governo eletrônico (Filgueiras, Cireno
e Palotti, 2019).
O mais recente retrato sistematizado dos serviços públicos do governo federal
remonta à pesquisa do Censo dos Serviços Públicos de Atendimento do governo
federal, produzida pela Escola Nacional de Administração Pública (Enap), sob
coordenação do Ministério do Planejamento, Desenvolvimento e Gestão (MP) e
a Presidência da República. Em 2018, o governo federal brasileiro era responsável
pela execução de 1.740 serviços em 85 órgãos da administração direta e indireta e
964 serviços públicos em 104 instituições de ensino superior (IES) federais. Esses
serviços encontravam-se em graus distintos de digitalização. No caso da adminis-
tração direta e indireta, somente um pouco menos de um terço se encontravam
digitalizados ou como um autosserviço. Para as IES, o cenário era de menos de
um quinto dos serviços digitalizados ou como autosserviço (Enap, 2018a; 2018b).
Entre 2016 e 2020, vários decretos presidenciais e uma lei deram uma
nova institucionalidade ao processo incremental de constituição de governo
digital, modificando o desenho da governança por meio do uso de ferramentas
digitais. Foram instituídas uma nova política de governança digital (Decreto no
8.638/2016, substituído pelo Decreto no 10.332/2020), uma política de dados
abertos para o Poder Executivo (Decreto no 8.777/2016), uma regulamentação do

compartilhamento de bases de dados na administração pública federal (Decreto
no 8.789/2016, posteriormente substituído pelo Decreto no 10.046/2019) e a
plataforma de cidadania digital (Decreto no 8.936/2016), convertida em 2019
na plataforma Gov.br (Decreto no 9.756/2019). Houve também a definição acerca
da participação, proteção e defesa dos direitos dos usuários dos serviços públicos da
administração federal (Lei n o 13.460/2017, regulamentada pelos Decretos
no 9.094/2017 e no 9.723/2019) e a Lei do Governo Digital (Lei no 14.129, de 29
de março de 2021). É importante destacar o esforço complementar de elaboração
do documento norteador E-Digital: estratégia brasileira para a transformação digital,
a cargo do Ministério da Ciência, Tecnologia, Inovações e Comunicações (Decreto
no 9.584/2018, substituído pelo Decreto no 10.332/2020).
O mandato para a construção da plataforma de serviços públicos foi dado,
até 2018, ao Ministério do Planejamento, Orçamento e Gestão e, após o processo
de transição de governo, à Secretaria de Desburocratização e Governo Digital do
Ministério da Economia. Todo esse processo foi coordenado pela Casa Civil da
Presidência da República, estando atualmente, a partir do Decreto no 10.332/2020,
a cargo da Secretaria-Geral da Presidência da República.
Apesar de a política de transformação digital no Brasil ser implementada no
seio da burocracia estatal, houve o envolvimento de stakeholders do setor privado.
Em especial, foram realizados diversos seminários e reuniões com movimentos
empresariais e associações, a fim de promover políticas que ampliem a competiti-
vidade da economia brasileira no cenário internacional. Entre esses movimentos
do setor privado, destacamos o Movimento Brasil Competitivo (MBC), o Grupo
de Líderes Empresariais (LIDE), bem como as confederações corporativas – entre
elas a Confederação Nacional da Indústria (CNI) e a Confederação Nacional
do Comércio (CNC). O desenho da política de transformação digital também
envolveu fortemente o corpo de técnicos da Organização para a Cooperação e
Desenvolvimento Econômico (OCDE), que fizeram advisory da política e revisões
sistemáticas do processo, tendo em vista o objetivo de associação do Brasil a esse
grupo de países. A participação da OCDE foi importante no desenho da política
de transformação digital, oferecendo evidências organizadas em benchmarks, es-
tudos de caso, análises de custo e benefício da transformação digital, mudanças
organizacionais e avaliações sistemáticas, usando science diplomacy.10
O quadro 1 sintetiza os principais normativos, seus instrumentos e as evidên-
cias mobilizadas explicitamente para nortear a transformação digital dos serviços
públicos de atendimento.
10. Science diplomacy é o uso de colaboração científica para resolver problemas da sociedade, moldando políticas
públicas baseadas em cooperação internacional e construção de parcerias. A esse respeito, conferir Stone (2019).
QUADRO 1
Normativos, instrumentos e evidências para a transformação digital
Normativos ou
Evidências mobilizadas para a proposta ou previstas para
documentos Instrumentos previstos
serem produzidas
norteadores
Decreto no Política de governança digital, cujo desdobramento faz referência a:

8.638/2016, i) estratégia brasileira de governança digital; Remete a normativos anteriores que instituíam o comitê
substituído ii) c omitê de governança digital nos órgãos e entidades da executivo do governo eletrônico e seus comitês técnicos,
pelo Decreto no administração pública federal; e fazendo a revogação dessa estrutura anterior.
10.332/2020 iii) rede Gov.br.
Política de dados abertos do Poder Executivo federal, estabelecendo

que:
i) a coordenação da política será feita pela Controladoria-Geral
Decreto no Enumera um conjunto de bases de dados de interesse
da União (CGU), por meio da Infraestrutura Nacional de Dados
8.777/2016 público para priorização da política de dados abertos.
Abertos (Inda); e
ii) a execução se dará por meio do plano de dados abertos de cada
órgão ou entidade.
Estabelece o compartilhamento de bases de dados na administração

Decreto no
pública federal: Prevê a criação de catálogo das bases sobre a gestão
8.789/2016
i) níveis de compartilhamento; de cada órgão ou entidade federal, informando os
e Decreto no
ii) cadastro base do cidadão; e compartilhamentos vigentes.
10.046/2019
iii) comitê central de governança de dados.
Plataforma de cidadania digital, composta por:

Cadastramento e atualização de informações sobre
i) portal de serviços do governo federal;
os serviços públicos no portal de serviços do governo
Decreto no ii) mecanismo de acesso digital único do usuário a serviços públicos;
federal, pela qual decorre o comissionamento da
8.936/2016 iii) ferramenta de solicitação e acompanhamento de serviços públicos;
pesquisa Censo dos Serviços Públicos de Atendimento do
iv) painel de monitoramento do desempenho dos serviços públicos; e
governo federal (Heckert, 2018).
v) comitê gestor da plataforma de cidadania digital.
Portal único “Gov.br”, de forma a:

Decreto no i) migrar os conteúdos de seus portais na internet para o portal Benchmarking de outras experiências internacionais
9.756/2019 único; e coordenadas pela OCDE.
ii) desativar os endereços de sítios eletrônicos existentes.
- Órgãos e entidades devem avaliar os serviços

prestados quanto a: i) satisfação do usuário com o
Lei no Normas básicas para participação, proteção e defesa de direitos do serviço prestado; ii) qualidade do atendimento prestado
13.460/2017, usuário de serviços públicos: ao usuário; iii) cumprimento dos compromissos e
regulamentada i) quadro geral de serviços; prazos definidos para a prestação dos serviços; iv)
pelos Decretos no ii) carta de serviços do usuário; quantidade de manifestações de usuários; e v) medidas
9.094/2017 e no iii) conselhos de usuários; e adotadas pela administração pública para melhoria e
9.723/2019 iv) solicitação de simplificação. aperfeiçoamento da prestação do serviço.
- Ranking das entidades com maior incidência de
reclamação dos usuários e com melhor avaliação.
E-Digital: - Mobilização de cinco subgrupos formados por

estratégia servidores públicos envolvidos com essa temática.
Proposta de dois grandes eixos temáticos:
brasileira para a - Consulta focada em um grupo de 130 especialistas.
i) habilitadores (infraestrutura e acesso às tecnologias de informação
transformação - Reuniões setoriais – iniciativa privada, organizações
e comunicação; pesquisa, desenvolvimento e inovação; confiança
digital (Decreto não governamentais e entidades governamentais.
no ambiente digital; educação e capacitação profissional;
no 9.584/2018, - Consulta pública.
dimensão internacional); e
substituído - Citação de literatura nacional e internacional sobre
ii) transformação digital (economia; cidadania e governo).
pelo Decreto no o tema – estudos de caso, relatório de organismos
10.332/2020) internacionais etc.
Definição: Aplicação a todos os órgãos da administração pública,

Lei no i) dos princípios do governo digital; incluindo empresas públicas e sociedades de economia
14.129/2021 ii) das ferramentas do governo digital; e mista, o Poder Legislativo, Judiciário e o Tribunal de
iii) dos parâmetros de governança de serviços públicos digitais. Contas da União.
A constituição desses normativos foi importante para o desenho da política

de transformação digital, especialmente com relação ao desenho da plataforma
Gov.br. A EGD delimita os termos gerais e os objetivos da política. Ela especifica
como objetivo da política a plataformização dos serviços públicos com base na ideia
de transformação digital e governança digital, conforme os termos apresentados

anteriormente. A política de transformação digital mobilizou diferentes benchmarks
organizados pela OCDE, assim como evidências sobre as transformações da relação
entre custo e benefício e o enfoque da perspectiva do usuário como condicionantes
para o desenho da política. Isso coaduna com a plataforma de cidadania digital,
que obriga as diferentes organizações públicas a redesenharem a sua estrutura de
serviços e digitalizar a oferta de serviços públicos em parâmetros únicos, voltados
para a experiência do usuário de serviços em uma única plataforma. Importante
observar que a implementação da política de transformação digital de serviços
foi centralizada no Ministério do Planejamento e continuou centralizada no
Ministério da Economia. Esta centralização implicou o fato de que o desenho da
política buscou padrões únicos com relação ao processo de digitalização de serviços.
O Decreto no 8.936/2016 recompôs uma visão holística dos serviços públicos,
enfocando a necessidade do usuário como o parâmetro de redesenho dos serviços.
A Lei no 13.460/2017 delimitou essa mudança institucional dos serviços públicos,
com o objetivo de promover maior facilidade de acesso, reintegração e crescente
uso dos dados para produzir melhorias na estrutura de serviços públicos. Por fim,
a Lei no 14.129/2021 delimitou os princípios, instrumentos e os parâmetros de
governança dos serviços públicos digitais.
Os demais instrumentos normativos reconhecem os elementos centrais que vão
além da ideia de governo eletrônico. Em primeiro lugar, o Decreto no 8.777/2016
modificou a estrutura institucional da política de dados abertos do governo federal.
A expectativa com este normativo foi favorecer e robustecer a disponibilização de
dados governamentais, mudando a governança e possibilitando o uso destes dados
para a construção de diferentes aplicações tecnológicas por parte do próprio governo
ou da sociedade. Em segundo lugar, os Decretos no 8.789/2016 e no 10.046/2019
visaram à constituição de diretrizes para o compartilhamento de dados dentro
da administração pública. O Decreto no 10.046/2019 cria o Cadastro Base dos
Cidadãos e toda uma estrutura de governança de dados que sustentam os aspectos
institucionais relacionados ao uso de dados para a plataformização dos serviços
públicos e para o desenvolvimento de aplicações para políticas públicas. Por exem-
plo, o Decreto no 10.046/2019 estabelece os requisitos institucionais para o uso
de dados biométricos, os quais sustentam o uso de tecnologia de reconhecimento
facial ou diversos dados que são fundamentais para o desenvolvimento de soluções
de inteligência artificial para a administração pública.
Os normativos elencados no quadro 1, portanto, representam a conexão dos
objetivos da política – a plataformização dos serviços públicos – com os instru-
mentos que serão selecionados e calibrados para que a política possa atingir seus
objetivos. Nesse caso, merece destaque: i) a conexão das ideias de transformação
digital com os objetivos da política e a experiência internacional; ii) a constituição
de um arranjo institucional que modifique a gestão dos serviços públicos, criando

parâmetros unificados e integradores dos serviços; e iii) a facilitação de acesso e
compartilhamento de dados, os quais podem sustentar soluções de inteligência
artificial para a implementação de uma reforma silenciosa da administração pública.
Estes normativos instrumentalizaram a política de transformação digital de serviços
públicos na direção da plataformização. As opções realizadas pelos policymakers para
desenhar a política de transformação digital de serviços utilizou os benchmarks e
análises da OCDE, convergindo o conhecimento técnico gerado nesta organização
internacional com os objetivos políticos de adesão do Brasil, além de integrar os
policymakers em redes de conhecimento prático e profissional (OECD, 2018).
Para além da OCDE, que expressa um objetivo político do governo brasileiro
para acessão, a política de transformação digital contou com parcerias do Banco
Interamericano de Desenvolvimento (BID), enfocando a realidade latino-ameri-
cana e redes regionais de práticas profissionais, especialmente com os governos do
Uruguai, Argentina, Peru, Chile e México.
5.2 Análise das entrevistas: usando evidências no desenho da política

As entrevistas realizadas com os gestores da política de transformação digital dos
serviços públicos do governo federal revelam achados interessantes no que diz res-
peito à dinâmica do design da política. O objetivo da política, expresso na EGD, é
reintegrar os serviços públicos em uma visão holística, de maneira a constituir uma
plataforma única de serviços que promovam mudanças institucionais na relação
entre governo e sociedade. O primeiro aspecto que as entrevistas revelam é o uso
de evidências que surgem de benchmarks realizados por organizações internacio-
nais. A diplomacia científica exercida pela OCDE foi fundamental na construção
e disseminação de uma ideia de transformação digital e governança digital. Esta
ideia vinculou os agentes, os quais colaboraram para a constituição de um desenho
mais coeso e coerente a partir da seleção de instrumentos para o alcance dos ob-
jetivos da política. Como os próprios gestores relatam: “a gente consumiu muito
relato, muita referência [para] transformar processos (...) houve muita inspiração
(...) internacional” (Entrevistado 6); “a gente fez muita visita técnica, muita missão
nos países que estão muito perpetuados em redes internacionais” (Entrevistado 4);
“mas a gente sempre teve uma missão, desde o primeiro dia, de ter o nosso próprio
relato” (Entrevistado 6).
Esses benchmarks internacionais disseminaram ideias e processos, vincularam
atores e compartilharam modelos de arranjo institucional da política, especialmen-
te com relação aos objetivos, a lógica de plataformização da oferta de serviços e
motivadores da narrativa que justificam a política de transformação digital. Com
relação a este último aspecto, a literatura internacional aponta, como um dos
principais motivadores para a adoção de transformação digital de serviços públicos,
a possibilidade de redução de custos dos serviços e orientação da política para o

enfrentamento das crises fiscais dos governos (Dunleavy e Margetts, 2013).
De fato, os gestores relatam que os principais motivadores que justificam a
política de transformação digital de serviços públicos no Brasil são a possibilidade
de redução de custos e a colaboração que a política presta para a austeridade fiscal
do governo federal. Como os gestores relatam:
o BID foi um ator importante, entre outras coisas, para internalizar [esse] modelo de
custo. A gente tinha um pouco o modelo de custos administrativos e dava exatamente
esse cálculo [a redução de custos] – o quanto você reduziu de operação no Estado de
forma digital e o quanto você tirou do cidadão a carga de hora, de espera em fila,
de deslocamento na cidade, coisas desse tipo. Então, o BID foi uma importante ajuda
nesse sentido (Entrevistado 5).
O contexto de crise fiscal no Brasil, a partir de 2014, criou uma janela de
oportunidade para mudar a política de governo eletrônico visando à constituição de
um governo digital. A crise fiscal representou, segundo os gestores, uma conjuntura
crítica para que promovesse o engajamento dos atores com as mudanças propostas
e concretizadas na estratégia de governança digital. A EGD foi propositalmente
colocada como uma das estratégias para enfrentar a crise fiscal, mobilizando atores
da indústria, de mercado e diversos outros atores governamentais com os objetivos
compartilhados de plataformização dos serviços públicos. A justificativa para isso é
o fato de a plataformização representar uma redução brutal de custos dos serviços
públicos. Como aponta o entrevistado 4,
[f ]oi por isso que a gente, apesar de consultar muitas referências internacionais – por
exemplo, o tipo de indicador que a gente usou de fora, que a gente esteve muito
interessado desde o início [foi o de] custos da transformação digital, a redução de
custos para o Estado e para a sociedade a partir da transformação digital. Em várias
referências do mundo dizia-se que um serviço digital custava 7% do valor de um
serviço físico ofertado em balcão. A gente queria saber como que era essa realidade
no Brasil.
Nessa construção do desenho da política de transformação digital de serviços
públicos, evidências foram construídas e mobilizadas com atores internacionais
para justificar a política na dimensão dos desafios fiscais enfrentados pelo go-
verno brasileiro.
As entrevistas revelaram que, além dessas evidências relacionadas aos custos de
serviços e enquadradas nas dificuldades fiscais apresentadas pelo governo, rankings
internacionais foram utilizados para a construção da narrativa de justificação da
política. Segundo os gestores, “os rankings de governo digital, aí acho que ONU,
OCDE, (...) também nos trouxeram muita reflexão, porque é nos componentes
desses rankings que você vê que importa para um país estar mais acima ou abaixo
(...), então, isso também foi útil de todo jeito” (Entrevistado 5). Especificamente
o da OCDE, “o Digital Government Index, [no] resultado de 2019, (...) o Brasil

está ocupando a 16a posição no ranking geral e, na dimensão direcionada ao usu-
ário, é a mais alta que a gente está [quando comparada às outras dimensões que
compõem o índice], 13a [posição]” (Entrevistado 1).
Destacando outro relato qualificando a relação governo-usuário em plataformas
digitais, a entrevistada 1 ainda menciona:“[N]a pesquisa sobre governo eletrônico
da ONU, o EGDI (e-Government Digital Index), (...) a gente teve uma mudança
de queda”. Explicando a estrutura do índice, continua a entrevistada:
ele avalia três dimensões principais, (...) para olhar o governo digital (...), [o] on-line
service index foi onde a gente mudou muito – (...) o que nos cabe é a disponibilização
de serviços governamentais públicos e on-line, que foi onde a gente teve um avanço
muito grande. [Então], no ano passado, a gente começou a ter uma subida nos rankings
de governo digital significativa, (...) eu acho que [organizações internacionais] são
atores importantes (Entrevistada 1).
Não somente rankings internacionais, outros índices produzidos no país
também foram base de reflexão para a construção inicial do design da política de
transformação digital, conforme ainda lembra o entrevistado 5:
Acho que uma coisa também que a gente utilizou muito no início foi a “digitalização
da sociedade brasileira” (...) por exemplo, as estatísticas sobre uso das telecomunicações
no Brasil acabam importando muito no nosso argumento porque, (...) lá naquele
momento, já se tinha chegado à conclusão de que a sociedade brasileira já era digital,
só o Estado que não era. [Parte] da sociedade não tem conexão à internet ou não
é alfabetizada digitalmente, ou os aparelhos que possuem não são tão apropriados
para o acesso à internet ou para esses serviços por celular, mas, abstraindo isso, o
brasileiro é cidadão digital, (...) inclusive nas favelas, independente de escolaridade
ou idade, de alguma maneira, é muito conectado, sempre usando redes sociais, enfim,
e o governo precisava olhar pra isso. Acho que teve esse alerta para a gente também,
do tipo, “vamos correr atrás que o brasileiro já está consumindo serviços da internet
e o Estado ficou pra trás”.
Entre tantos relatos sobre o embasamento de dados, evidências e fómulas
estatísticas buscadas de “fora”, o entrevistado 5 destaca um entedimento impor-
tante para embasar o argumento da importância da política de transformação
digital dos serviços federais, usando os resultados da pesquisa Latinobarómetro,
em parceria com o BID:
[há]outro elemento importante; (...) no início, [em] uma pesquisa que fala sobre
“confiança no Estado”, os dados são interessantes, (...) acho que são de 2016 ou 2015.
(...) a gente [entendeu] que os cidadãos latino-americanos desconfiam dos Estados;
mas uma coisa que a gente não sabia: o que estava por trás dessa desconfiança exata-
mente. (...) [E]la indicou, com muita clareza, que, para aqueles que apontavam não
confiar no Estado, era sobre a má prestação de serviços, o aspecto mais citado pra
gerar essa desconfiança, e foi um termo mais citado que corrupção, por exemplo.
As entrevistas com os gestores revelam duas questões importantes. Em pri-

meiro lugar, o enquadramento do design conforme conhecimento político. O
enquadramento produzido pelos gestores na construção da ideia de transformação
digital de serviços públicos serviu aos objetivos políticos do governo. Em segundo
lugar, as evidências sobre os custos dos serviços públicos. Tais evidências serviram
para conectar a ideia de transformação digital com objetivos políticos mais am-
plos, relacionados com reformas para construir austeridade fiscal. A política de
transformação digital de serviços públicos serviu para o governo indicar iniciativas
de políticas fiscais mais austeras e soluções que mirassem o potencial resgate da
legitimidade e qualidade governamental pelo lado da conexão com os cidadãos.
A construção desta justificativa dialoga com evidências que foram mobili-
zadas nas narrativas apresentadas pelos gestores e pelo governo – evidências sobre
custo e benefício dos serviços públicos digitais, enfrentamento da ineficiência do
Estado na prestação de serviços e qualidade do governo. Ao mesmo tempo, isso
possibilitou, aos gestores da política de transformação digital de serviços, auto-
nomia para desenhar a política de forma técnica, mobilizando para o design uma
série de evidências que assegurem maior coerência e consistência dos instrumentos
selecionados (figura 1 e quadro 1).11
Essa narrativa construída com evidências mobilizou uma série de conheci-
mentos tanto políticos, relacionados ao contexto brasileiro, quanto científicos e
prático-profissionais, decorrentes da inserção dos gestores nas redes da OCDE
e do BID. A narrativa construída mobilizou diversos stakeholders e possibilitou
aos gestores desenhar a política de transformação digital de serviços públicos,
instrumentalizando os aspectos relacionados a redesenho dos serviços, construção
da plataforma Gov.br e mudanças institucionais para o crescente uso de dados –
implementando ferramentas de big data – que possibilitem o aprimoramento dos
serviços, personalização, conveniência e uso crescente de inteligência artificial.
As evidências apresentadas deram suporte para o engajamento dos diversos
stakeholders da política de transformação digital de serviços públicos. Especialmente
com relação à importância do setor privado nas motivações de um movimento
para a transformação digital nos órgãos federais, o entrevistado 6 especifica que
essa política “foi um desejo político, na época, do Ministério do Planejamento
com a Casa Civil, e também um pouco motivado pela sociedade, mas principal-
mente pela área empresarial”, refente ao Programa Brasil Competitivo, voltado ao
empresariado. Nesse caso, o direcionamento de evidências para a construção de
narrativas possibilitou a mobilização de stakeholders específicos.
11. Um aspecto importante, destacado pela literatura de policy design, é que interferências políticas ou construções
ideológicas podem criar situações de não design. Policy design é uma atividade política, em que capacidades técnicas
e políticas interagem de forma dinâmica para desenhar uma política pública. A esse respeito, ver Capano (2017) e
Howlett e Mukherjee (2014).
As narrativas construídas com as evidências, segundo os entrevistados, indicam

os elementos de causação, instrumentação, avaliação e intervenção. A construção
do problema (causação) motivada pela crise fiscal e a má qualidade da prestação
de serviços, identificada pelos gestores com base em evidências, possibilitou uma
instrumentação baseada na construção da plataforma Gov.br, modificando a estru-
tura institucional dos serviços públicos no Brasil. Esta instrumentação justifica a
adoção dos instrumentos legais elencados na seção anterior, a busca por tecnologias
apropriadas para lidar com o problema e a inserção em redes de conhecimento
internacionais – científico e prático-profissional – que possibilitaram construir
capacidade e mobilizar os atores no desenho da política.
Além destas redes de conhecimento internacionais, os gestores da política
incentivaram a constituição de redes locais, disseminadas entre diferentes orga-
nizações públicas, que proporcionassem o compartilhamento das ideias – espe-
cialmente de transformação digital –, a troca de experiência e aprendizado, bem
como a mobilização de evidência em relação aos objetivos da política. O arranjo
institucional construído baseou-se em elementos colaborativos que produzissem a
convergência de ideias e a coerência e consistência dos instrumentos selecionados
para a reintegração dos serviços públicos e sua plataformização. Como relatam
alguns dos entrevistados:
Na primeira semana da inovação, surgiu uma rede de inovação, a Rede InovaGov,
que surgiu espontaneamente e que ajudou muito, com a Enap. (...) a gente tem uma
rede de inovação bastante forte lá, há muita troca: pessoas de inovação, do TCU
[Tribunal de Contas da União], do Banco Central, da Anac [Agência Nacional de
Aviação Civil], da Anvisa [Agência Nacional de Vigilância Sanitária]. (...) há uma
rede de pessoas da rede de inovação que persiste até hoje, um pessoal que pensa em
inovação, em laboratórios, em design thinking, sempre pensando (...) nessa questão
de serviços. (...) Até hoje, tem muito esta visão: não é nada muito inovador, não é
uma descoberta, é o básico do governo digital, o básico da tecnologia, (...) [a Rede]
é onde tem mais troca. (...) Deu tão certo que a própria Rede [InovaGov] foi institu-
cionalizada. (...) Foi firmado acordo entre os três poderes, o TCU, o CJF [Conselho
da Justiça Federal] e o [Ministério do] Planejamento, como coordenadores dessa
rede; tem gente dos estados, gente da academia.
O corolário dessas entrevistas aponta para o fato de que evidências têm um peso
importante para assegurar aos policymakers autonomia para desenhar as intervenções
e produzir instrumentação necessária para alcançar os objetivos da política – a
plataformização dos serviços públicos. O uso de evidências fortalece a capacidade
política e administrativa da burocracia, compondo um rol importante para que
gestores instrumentalizem a política pública. O caso da transformação digital de
serviços públicos do governo federal mostra que o uso de evidências no desenho da
política possibilita o compartilhamento de ideias, a construção de redes e mobilização
dos atores, a construção de perspectivas políticas e mobilização de conhecimentos
científicos e profissionais que orientem a calibração dos instrumentos de política.

Nesse aspecto, os gestores da política de transformação digital de serviços públicos
calibraram os instrumentos reconhecendo os avanços do conhecimento, oriundos
de diferentes experiências internacionais (quadro 1) para produzir mudanças
institucionais da política pública.
A calibração destes instrumentos não é politicamente neutra e nem tecno-
crática. O desenho da política de transformação digital de serviços públicos e
a plataformização da prestação de serviços pelo governo federal responderam a
atividades dinâmicas que mobilizam evidências de forma seletiva, de maneira a
justificar a instrumentação da política para o alcance dos objetivos propostos. Nesta
primeira dimensão, o uso de evidências explica aspectos fundamentais das narra-
tivas construídas para a plataformização dos serviços públicos. Na próxima seção,
investigamos, por meio das entrevistas, a forma como evidências são produzidas
para sustentar a nova dinâmica digital dos serviços públicos, baseada em elementos
de coprodução de serviços, redesenho e coleta de dados para o aprimoramento de
serviços com o uso de ferramentas digitais.
5.3 “A voz do usuário está na mesa do gestor”: a experiência do usuário no

desenho da política de transformação digital
A transformação digital de serviços públicos tem um segundo aspecto com relação
ao uso de evidências. Os benchmarks produzidos pelas organizações internacionais
e as redes de conhecimento prático-profissional valorizam o uso de evidências com
base na experiência do usuário. Estes dados e informações servem ao processo de
coprodução de serviços públicos e para a usabilidade de plataformas digitais. A
“experiência do usuário” com os serviços se tornou a fonte de informação mais
central para evidenciar o êxito e a qualidade do serviço transformado digitalmente,
visto que quem recebe o serviço é o principal termômetro da implementação da
política, principalmente para fins de redesenho do que foi projetado para a trans-
formação digital dos serviços públicos. Nesse sentido, os designers da plataforma
Gov.br utilizam-se de diferentes formas de produção de evidências que sustentem
a dinâmica de policy design da transformação digital de serviços públicos. De
acordo com os entrevistados: “A SGD [Secretaria de Governo Digital] oferece (...)
ferramentas tecnológicas, como ferramentas de escuta dos usuários e ferramenta de
avaliação, por exemplo” (Entrevistada 1). Envolvida diretamente com essa área, a
entrevistada 1 explica que a secretaria tem uma espécie de portfólio de instrumen-
tos e que, “dependendo do serviço, o órgão e [a] coordenação de relacionamento
(...) identificam o que é necessário para [transformar esses serviços]”. Um aspecto
importante no desenho das pesquisas, relata ainda a entrevistada 1, é que,
[a depender] da situação, a gente precisava fazer entrevistas com usuários reais, [e],
em outros casos, a gente buscava usuários em potencial, [para] uma solução que não
existia, que seria desenhada ainda. (...) A gente precisava fazer algumas conversas com
stakeholders, às vezes é uma rede ali vinculada [com] aquela política, [com] aquele
programa, então a gente precisava fazer algo assim. [Entre as estratégias metodoló-
gicas de pesquisa], a gente (...) buscava mesclar um pouco as ferramentas quando
necessário: às vezes, a gente fazia grupos focais, às vezes, a gente fazia entrevistas, às
vezes, a gente aplicava um survey.
O uso de surveys, grupos focais ou conversas com usuários de serviços públi-
cos moldaram as atividades de redesenho de serviços e o redesenho constante da
própria política de transformação digital de serviços públicos. Interessante cons-
tatar nas entrevistas que o uso dessas metodologias de pesquisa social alinham-se
com a coleta de dados a partir do uso da própria plataforma, a qual ocorre com o
uso de ferramentas de big data, em particular ferramentas do Google Analytics. A
implementação destes mecanismos para a coleta de dados sobre a experiência do
usuário constitui uma situação de construção de feedbacks que alimentam a instru-
mentação da política de transformação digital. Nesse sentido, o uso de evidências,
em particular da experiência do usuário, incide nas opções de desenho e redesenho
de serviços e na própria estratégia de transformação digital.
A SGD conta com uma diretoria de avaliação que atua não apenas no monito-
ramento da qualidade dos serviços digitais, mas também na produção de evidências
que mobilizem o desenho da política. Segundo a entrevistada 1:
a gente tinha muita proximidade com a equipe [de qualidade] para pensar essas fer-
ramentas de escuta desses usuários, (...) buscava fazer isso tudo muito rapidamente,
sem buscar um número muito grande de pessoas ouvidas, para dar um feedback
rápido com uns insights relevantes para aquele gestor do serviço.
A proximidade com a equipe de avaliação da qualidade complementava a
abordagem de aferição da experiência com o usuário, destaca a entrevistada 1:
eles olhavam mais para os dados em grande volume, e a gente olhando mais nos
detalhes, entrando para conversar com o usuário; mas, muitas vezes, a gente mesclava
e precisava deles, (...) e [nós ajudávamos] a pensar o modelo de qualidade, os critérios
do modelo de qualidade que serão olhados.
Ainda sobre as estratégias de pesquisa adotadas com usuários, também relata
o entrevistado 5:
às vezes, a gente verticaliza completamente, profundamente – vai pra rua com
o usuário. A gente já fez mais de 2.300 entrevistas com usuários, isso permitiu
[mensurar] até algo interessante. (...) Na primeira vez, a gente conseguiu construir
as “top oito dores do usuário” (...), que são as dores mais citadas nessas mais de 2 mil
entrevistas. Essas entrevistas foram com cada indivíduo, então foi muito micro para
entender a jornada daquele usuário no detalhe. (...) Mas é óbvio que esse tipo de
análise é muito focado num serviço específico, num protótipo específico que a gente
tem [para] averiguar e intensificar. Pesquisas com usuários começam com a pergunta
que o gestor quer responder, e aí a gente vai investigar no campo.
Para dar conta do desafio de desenhar pesquisas com usuários para diferentes
fases da transformação digital dos serviços, “a gente procurou se capacitar muito em
metodologias de testes com usuários, de pesquisas usadas em serviços e produtos
digitais mesmo. A equipe tem um olhar, uma experiência muito [da metodologia]
de redes sociais, e também [com] pessoas, [com] vivências” (Entrevistada 1). Apesar
da busca por capacitação metodológica, a imensidão de tipos de serviços trazia
desafios para além da capacidade metodológica que se buscava, conforme ainda
destaca a entrevistada 1:
muitas vezes, a gente precisava de uma multiplicidade de níveis técnicos para conseguir
[desenvolver a pesquisa com usuário], porque, às vezes, a gente estava tentando
entender um serviço para estudante e, [em outra oportunidade] a gente buscava
entender um serviço para idosos; (...) então, era muito diferente, até pela forma
de chegar nessas pessoas, de ouvi-las, a gente precisava entender um pouco dessa
necessidade, para o desenho se ajustar ao longo da pesquisa; (...) às vezes, a gente
via que com um perfil era melhor fazer um grupo focal do que fazer uma entrevista
individual, a gente ia sentindo e fazendo da melhor forma que a gente achava ser
necessário, a gente ia fazendo aquele mix de técnicas mesmo para ver o que era
mais adequado.
Exemplificando, o entrevistado 6 relata que, na “pesquisa de usabilidade
[da] nova carteira de trabalho digital, [a gente] foi pra rua e ouviu as pessoas”.
“[Na] carteira de trabalho digital, a gente fez várias rodagens de pesquisas antes
do lançamento, ela foi muito importante no período de pandemia”, complementa
a entrevistada 1. Outro exemplo: “uma pessoa com deficiência no passe livre: a
maioria das pessoas conseguia iniciar o processo, mas não terminava. A gente viu
que era um serviço bom, mas complicado, a gente via que pessoas com deficiência
visual, que é o público da política, não conseguiam acessar, aí a gente foi lá, fez as
pesquisas”, relata o entrevistado 6.
As pesquisas com usuários também foram instrumentos para convencimento
dos órgãos da necessidade de melhoria dos serviços digitais:
a gente percebeu que a forma como a gente apresentava os dados era muito impor-
tante (...) por exemplo, antes, a gente fazia um relatório (...) e percebeu que não
dava, tinha que fazer algo mais visual, precisa gravar algumas falas do usuário para
levar, para ser algo bem impactante, a gente precisa usar citação de usuário, precisa
colocar “olha essa pessoa tá passando duas horas pra fazer uma solicitação do seu
serviço” (Entrevistada 1).
Além disso, citando como um ator relevante para ajudar no convencimento,
“a gente foi também aprendendo que precisava sempre ter a SEME [Secretaria
Especial de Modernização do Estado] por perto, porque, sendo da Presidência,
traz uma autoridade, traz uma cobrança”. Entre outros aprendizados que ajudaram
no redesenho da política de transformação digital ao longo do tempo, “a gente
começou a perceber também que as sugestões que a gente levantava precisavam

ser classificadas, (...) a gente começou a classificar essas sugestões em termos de
complexidade técnica e impacto para o usuário” (Entrevistada 1).
Ter o usuário como a principal fonte de informação para construir evidências
foi central para caracterizar a política de transformação digital de serviços públicos
como uma que “entrega”, transformando estruturas organizacionais, estimulando
diferentes relações e a construção de diferentes estratégias de implementação,
avaliação e redesenho da política:
nossa relação com o cidadão mudou muito nesses últimos anos, porque a gente
conseguiu se conectar com esse usuário; agora, a gente tem que ir pra rua, inclusive
desconstruindo raciocínios de dentro da Esplanada sobre os serviços (...) tem muito
gestor que agora está sendo surpreendido por notícias do usuário e a gente faz questão
de, nas nossas pesquisas, na hora de apresentá-la, colocar as aspas do usuário. A voz
do usuário está na mesa do gestor (Entrevistado 5).
6 DISCUSSÃO: TRANSFORMANDO SERVIÇOS PÚBLICOS NO MUNDO DIGITAL

O conjunto das entrevistas revela que os policymakers mobilizaram múltiplas evi-
dências para o desenho da política de transformação digital de serviços públicos do
governo federal. O desenho da política é informado de maneira que os policymakers
justificam as escolhas de instrumentos e produzem calibrações mobilizando conhe-
cimentos políticos, científicos e práticos para desempenhar atividades relacionadas
ao desenho da política.
O primeiro elemento que os achados empíricos revelam é que o desenho e as
evidências mobilizadas são produzidos por diversos atores, os quais interagem em
contextos institucionais diferentes. Estes diversos atores constroem narrativas que
expressam ideias e paradigmas que vão solidificando os elementos dos problemas
públicos a serem enfrentados. Uma primeira fonte é a constituição de percepções
e ideias que orientam a identificação dos problemas.
A pesquisa revela que problemas são partilhados por diversos atores e dependem
de narrativas, as quais mobilizam diferentes evidências. Estas narrativas buscam
construir o problema e justificar a política, criando engajamento dos diversos atores
na implementação. O uso de evidência no design da política é fundamental para a
construção de capacidades da burocracia. Capacidades, nesse caso, não represen-
tam um estoque de condições, mas a construção de motivação e engajamento de
gestores a partir de perspectivas relacionais e administrativas, fundamentais para
o trabalho da política pública (Filgueiras, Koga e Viana, 2020).
Interessante notar como, no caso da política de transformação digital de ser-
viços públicos, constroem-se uma perspectiva relacional por meio de mecanismos
de cooperação internacional e o papel institucional de diferentes organizações
internacionais, tais como o BID e a OCDE. Este papel das organizações interna-
cionais nas políticas de transformação digital sedimenta a dinâmica de diplomacia
científica, fazendo com que a construção do problema dependa de interações das
agências governamentais para o desenvolvimento de tecnologias para enfrentar
problemas nacionais e internacionais (Stone, 2019).
Esses diversos atores utilizam evidências para construir a justificação da política.
Narrativas são potentes para construir dinâmicas institucionais, possibilitando identi-
ficar os principais objetivos de políticas. No caso da política de transformação digital
de serviços públicos no Brasil, a relação entre custos e benefícios de serviços digitais é
um catalisador do processo de mudança institucional de serviços públicos.
A busca dos policymakers por mensuração e comparação de custos e benefícios
de serviços digitalizados e não digitalizados é central no argumento de justificação
desenvolvido para a política. A construção do problema é interseccionada entre
política e administração, configurando uma relação complexa que pretenda, por
um lado, reconstruir a confiança dos cidadãos na estrutura de serviços e, por outro
lado, contribuir para resolver problemas administrativos relacionados com os custos
dos serviços dentro da estrutura orçamentária.
Esta intersecção de problemas políticos e administrativos proporciona aos
policymakers mobilizar evidências para calibrar os instrumentos da política, como
demonstra o quadro 1. Por exemplo, a busca por indicadores internacionais e
métricas de satisfação dos usuários de serviços públicos direciona a narrativa no
jogo de efetividade e eficiência da política.
As conexões e parcerias construídas pelos policymakers da política de transfor-
mação digital de serviços públicos visam constituir um conhecimento complexo,
com perspectivas políticas, científicas e práticas, configurando uma relação que
perpassa o desenho da política. As múltiplas evidências mobilizadas pelos poli-
cymakers são utilizadas para a escolha dos instrumentos, nos processos de avaliação,
causação e construção das intervenções de políticas com o público-alvo.
A política de transformação digital de serviços públicos do governo federal
tem como público-alvo a própria burocracia. O uso de múltiplas evidências e cons-
trução de problemas e intervenções formulam diferentes templates que refletem o
desenho da política e suas diferentes abordagens. A identificação e classificação dos
serviços públicos, o desenho dos templates de intervenção e mudança, as métricas de
satisfação dos usuários, os índices internacionais e de custos de serviços cimentaram
as narrativas e guiaram o processo de formulação e implementação da política.
Nessa dinâmica de instrumentação, contida no desenho da política, as evi-
dências são mobilizadas de maneira também instrumental, considerando a con-
veniência política, o conhecimento científico acumulado e o aprendizado gerado
nas comunidades de práticas. Quando policymakers mobilizam evidências, esse

processo não é propriamente uma construção científica da política pública. O
uso de evidências demanda contextualização política, janelas de oportunidade que
possibilitem o fluxo da mudança institucional e um processo de calibração dos
instrumentos que facilitem o alcance dos objetivos.
Neste capítulo, concentramo-nos na dinâmica do desenho da política de
transformação digital de serviços públicos a partir da EGD, observando as estratégias
adotadas pelos gestores para calibrar os instrumentos da política a partir do uso das
evidências elencadas. Esta pesquisa confirma alguns achados de estudos recentes
(Carney, 2019; Parkhust, 2017). O uso de evidências no desenho de uma política
pública não constitui uma atividade racionalista. O uso de evidências é uma ativi-
dade política, cujo objetivo é justificar as escolhas de instrumentos, relacionando
capacidade de influência técnica de designers no processo decisório. Ou seja, o uso
de evidências sustenta a justificação da política pública na dinâmica de desenho
e redesenho, sendo fundamental para que policymakers calibrem os instrumentos,
revisem os objetivos e construam os templates que orientam as intervenções.
7 CONCLUSÃO
A plataforma Gov.br pretende transformar a estrutura dos serviços públicos por
um desenho de política que promova automação e aumento das capacidades e
novas experiências para o usuário. A escolha das ferramentas e o design da política
de transformação digital mobilizaram evidências múltiplas para construir uma
narrativa que possa justificar o processo de mudança dos serviços públicos, com
especial enfoque nos benefícios da automação, para o enfrentamento da crise fiscal
do Estado, e na maior agilidade do governo, para prestar serviços e ser coerente
com os interesses dos usuários.
Essa narrativa baseada em evidências possibilitou um processo de mudança
calcado na experiência do usuário como feedback que alimenta a política, justifica
a calibração dos instrumentos e o processo de mudança institucional da oferta
de serviços pelo governo federal. Este capítulo teve como objetivo compreender
quais os tipos mais recorrentes e de que forma as evidências são utilizadas no
âmbito da política de transformação digital do governo federal brasileiro para a
instrumentação de mudanças institucionais que incidam diretamente no processo
de plataformização dos serviços públicos.
O caso da construção da plataforma Gov.br permite a conclusão de que evi-
dências são usadas de maneira instrumental, convergindo conhecimento político,
científico e prático-profissional para desenhar políticas. O recorte que adotamos
a partir da EGD revela que os policymakers relacionaram evidências para instru-
mentalizar a política de transformação digital de serviços públicos e a decorrente
plataformização da oferta de serviços. Essa relação instrumental entre evidências e

policy design é uma atividade política, por meio da qual as evidências justificam as
escolhas dos instrumentos de políticas, a mudança e calibração deles, os processos
de redesenho e o feedback.
Outro achado importante é que o uso instrumental de evidências promove a
convergência dos atores envolvidos em torno de ideias – no caso, a ideia de trans-
formação digital – que surgem de processos complexos de cooperação e influência
recíproca dos atores no desenho da política. As evidências e a decorrente justificativa
da política definem os stakeholders que serão incluídos no processo decisório. Nesse
caso, justificada pelas necessidades de austeridade fiscal, o desenho da política
excluiu atores importantes da sociedade civil, como movimentos relacionados à
proteção de dados e privacidade dos cidadãos e movimentos de democratização
da internet, promoção da inclusão e alfabetização digital.12
Seguindo os insights de Capano (2017), os achados da pesquisa indicam que
o trabalho dos designers da plataforma Gov.br produziu uma situação de desenho
efetivo, relacionando capacidades técnicas e políticas que orientaram o desenho da
política de transformação digital de serviços públicos. No caso da política de trans-
formação digital de serviços públicos, os policymakers mobilizaram as evidências
na formulação da política e nas situações de feedback que orientaram redesenho e
adequações a partir da experiência do usuário.
O fato de ter produzido uma situação de desenho efetivo da política não
significa que ela passa ilesa a situações de conflito. A participação dos stakeholders
excluiu diversos aspectos relacionados com a democracia digital e os problemas
que surgem com o uso de tecnologias emergentes, como a inteligência artificial.
Os stakeholders foram selecionados e convergiram politicamente com o desenho da
política em função dos problemas fiscais e potenciais benefícios da plataformização
de serviços públicos. O uso de tecnologias como inteligência artificial não reduz
situações de incertezas e ambiguidades em políticas públicas (Filgueiras, 2021).
O Brasil ainda tem uma situação de profunda exclusão e analfabetismo
digital, que exclui, quase que de forma automática, diversos cidadãos da oferta
de serviços públicos efetivos (Silva, Ziviani e Ghezzi, 2019). Ademais, ainda não
foram mensuradas, no Brasil, as possibilidades de que plataformas como a Gov.
br produzam formas de exclusão baseadas em vieses e discriminação algorítmicos.
Por fim, os parâmetros institucionais de governança de dados estão em constru-
ção no Brasil, havendo a reprodução de problemas com relação a vazamentos de
dados, problemas de qualidade e formas opacas de coleta que reproduzem falhas
12. Ações particularmente relacionadas ao compartilhamento de dados pessoais têm suscitado críticas de movimentos
da sociedade civil preocupados com a proteção de dados e construção de uma transformação digital segura e confiável
para o cidadão. A esse respeito, conferir: <https://bit.ly/3EZbdJg>.
importantes na prestação de serviços digitais (Almeida et al., 2020). Estes pontos

críticos ainda estão omitidos no desenho da política de transformação digital de
serviços públicos no Brasil, não compondo o rol de intervenções que configuram
o desenho da política.
REFERÊNCIAS
ALMADA, M. P. et al. Democracia digital no Brasil: obrigação legal, pressão política
e viabilidade tecnológica. Matrizes, v. 13, p. 161-181, 2019.
ALMEIDA, B. A. et al. Preservação da privacidade no enfrentamento da covid-19: dados
pessoais e a pandemia global. Ciência e Saúde Coletiva, v. 25, n. 1, p. 2487-2492, 2020.
AMARA, N.; OUIMET, M.; LANDRY, R. New evidence on instrumental,
conceptual, and symbolic utilization of university research in government agen-
cies. Science Communication, v. 26, n. 1, p. 75-106, 2004.
AVELINO, D.; POMPEU, J.; FONSECA, I. Democracia digital: mapeamento
de experiências em dados abertos, governo digital e ouvidorias públicas. Brasília:
Ipea, 2021. (Texto para Discussão, n. 2624).
BOBROW, D. B.; DRYZEK, J. S. Policy analysis by design. Pittsburgh: Uni-
versity of Pittsburgh Press, 1987.
CAPANO, G. Policy design spaces in reforming governance in higher education:
the dynamics in Italy and the Netherlands. Higher Education, v. 75, p. 675-694,
2017.
CAPANO, G.; HOWLETT, M. The knowns and unknowns of policy instrument
analysis: policy tools and the current research agenda on policy mixes. Sage Open,
v. 10, n. 1, p. 1-13, 2020.
CAPANO, G.; WOO, J. J. Designing policy robustness: outputs and processes,
CARNEY, P. Evidence and policy making. In: BOAZ, A, et al. (Ed.). What works
now? Evidence-informed policy and practice revisited. Bristol: Policy Press, 2019.
DESOUZA, K.C.; JACOB, B. Big data in public sector: lessons for practitioners
and scholars. Administration and Society, v. 49, n. 7, p. 1043-1064, 2017.
DUNLEAVY, P.; MARGETTS, H. The second wave of digital-era governance: a
quasi- paradigm for government on the web. Philosophical Transactions of the
Real Society, v. 371, p. 1-17, 2013.
DUNLEAVY, P. et al. New public management is dead-long live digital-era gov-

ernance, Journal of Public Administration Research and Theory, v. 16, n. 3,
p. 467-494, 2006.
EARLEY, S. The digital transformation: staying competitive. IT Professional,
v. 16, n. 2, 58-60, 2014.
ENAP – ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA. Pesquisa
sobre Serviços Públicos de Atendimento do Governo Federal. Brasília, 2018a.
(Caderno Enap, n. 55).
______. Pesquisa sobre Serviços Públicos de Atendimento do Governo Fede-
ral. Brasília: IFES, 2018b. (Caderno Enap, n. 63).
FILGUEIRAS, F. New New Pythias of Public Administration: Ambiguity and
Choice in AI Systems as Challenges for Governance. AI and Society, v. 36,
p. 1-14, 2021.
FILGUEIRAS, F.; CIRENO, F.; PALOTTI, P. L. de M. Digital transformation
and public service delivery in Brazil. Latin American Policy, v. 10, n. 2, p. 195-
219, 2019.
FILGUEIRAS, F.; KOGA, N. M.; VIANA, R. State capacities and policy work in
Brazilian civil service. Revista de Sociologia e Política, v. 28, n. 74, p. 1-22, 2020.
FRISCHMANN, B.; SELINGER, E. Re-engineering humanity. Cambridge:
Cambridge University Press, 2018.
HEAD, B. W. Three lenses of evidence- based policy. The Australian Journal of
HECKERT, C. R. Plataforma de cidadania digital. Enap/SEGES - Casos SEGES:
renovando a gestão pública, p. 1-14, 2018.
HEEKS, R. Understanding e‐governance for development. Institute for Devel-
opment Policy and Management, University of Manchester, 2001. (i‐Government
Working Paper Series, n. 11).
HELMOND, A. The platformization of the web: making web data platform ready.
Social Media + Society, v. 1, n. 2, p. 1-11, 2015.
HOWLETT, M.; MUKHERJEE, I. Policy design and non-design: towards
a spectrum of policy formulation types. Politics and Governance, v. 2, n. 2,
p. 57-71, 2014.
______. Policy design: from tools to patches. Canadian Public Administration/
Administration Publique du Canada, v. 60, n. 1, p. 140-144, 2017.
JEFFARES, S. The virtual public servant – Artificial intelligence and frontline

work. London: Palgrave, 2021.
KITCHIN, R. The data revolution. Big data, open data, data infrastructures, and
their consequences. Los Angeles: Sage, 2014.
MAYER-SCHONBERGER, V.; CUKIER, K. Big data – a revolution that will
transform how we live. New York: Eamon Dolan/Mariner Books, 2014.
MUKHERJEE, I.; BALI, A. S. Policy effectiveness and capacity: two sides of the
design coin. Policy Design and Practice, v. 2, n. 2, p. 103-114, 2019.
O’REILLY, T. Government as platform. In: LAHTROP, D.; RUMA, L. (Ed.).
Open government: collaboration, transparency, and participation in practice.
Sebastopol: O’Reilly Media, 2010.
OECD – ORGANISATION FOR ECONOMIC CO-OPERATION AND
DEVELOPMENT. Digital government review of Brazil. Paris: OECD Publish-
ing, 2018.
______. The innovation system of the public service in Brazil. Paris: OECD
Publishing, 2019.
PARKHUST, J. The politics of evidence – from evidence-based policy to the
PETERS, B. G. The logic of policy design. In: PETERS, B. G. Policy problems
and policy design – new horizons in public policy. Edward Elgar: Cheltenham,
2018. p. 1-34.
PETERS, B. G. et al. Designing for policy effectiveness. Cambridge: Cambridge
RADAELLI, C. M.; DUNLOP, C. A. Learning in the European Union: theo-
retical lenses and meta-theory. Journal of European Public Policy, v. 20, n. 6,
p. 923-940, 2013.
SALAMON, L. The new governance and the tools of public action: an introduc-
tion. Fordham Urban Law Journal, v. 28, n. 5, p. 1611-1674, 2001.
SCHLAUFER, C. The narrative uses of evidence. The Policy Studies Journal,
v. 46, n. 1, p. 90-118, 2018.
SCHNEIDER, A. L.; INGRAM, H. Policy design: elements, premises, and strate-
gies. In: NAGEL, S. S. (Ed.). Policy theory and policy evaluation – Concepts,
knowledge, causes, and norms. New York: Greenwood Press, 1990.
SIMON, H. The sciences of the artificial. Cambridge, MA: MIT Press, 1996.
STONE, D. Making global policy. Cambridge: Cambridge University Press, 2019.

VAN DIJCK, J.; POELL, T.; DE WAAL, M. The platform society – public values
in a connective world. Oxford: Oxford University Press, 2018.
VEALE, M.; BRASS, I. Administration by algorithm? Public management meets
public sector machine learning. In: YEUNG, K.; LODGE, M. (Ed.). Algorithm
regulation. Oxford: Oxford University Press, 2019.
VESELÝ, A.; OCHRANA, F.; NEKOLA, M. When evidence is not taken for
granted: the use and perception of “evidence” in the Czech Republic minis-
tries. NISPAcee Journal of Public Administration and Policy, v. 11, n. 2,
p. 219-234, 2018.
WESSELINK, A.; COLEBATCH, H.; PEARCE, W. Evidence and policy: dis-
courses, meanings and practices. Policy Sciences, v. 47, p. 339-344, 2014.
WILLIAMSON, B. Knowing public services: cross-sector intermediaries and
algorithmic governance in public sector reform. Public Policy and Administra-
tion, v. 29, n. 4, p. 292-312, 2014.
CAPÍTULO 17
O CADASTRO ÚNICO PARA PROGRAMAS SOCIAIS E A

CONFIGURAÇÃO DA POBREZA: ANALISANDO A CONSTRUÇÃO
DE EVIDÊNCIAS A PARTIR DA TEORIA DO ATOR-REDE
Rafael Viana2
Bruno Gontyjo do Couto3
Isabella de Araujo Goellner4
Ivan da Costa Marques5
1 INTRODUÇÃO
Estudos recentes têm apontado um uso expressivo dos registros administrativos
como fontes de informação para a atuação dos burocratas federais brasileiros (Enap,
2018; Koga et al., 2020; Oliveira e Menke, 2020). Tais registros são construídos pelas
burocracias estatais, em dinâmicas internas próprias, como uma forma de traduzir
o contexto social para dentro do aparato estatal. Desta forma, eles conformam a
maneira pela qual burocratas e organizações públicas enxergam a sociedade e os
problemas sociais e, portanto, produzem as políticas públicas.
Este capítulo aborda o caso de um desses registros administrativos em suas
dinâmicas interacionais no interior da administração federal. Trata-se do Cadastro
Único para Programas Sociais do Governo Federal (Cadastro Único), criado em
dezembro de 2001, que hoje reúne um amplo espectro de informações socioeco-
nômicas de cerca de 29 milhões de famílias brasileiras com rendimento per capita
menor ou igual a meio salário mínimo.6
Conforme o Decreto no 6.135, de 26 de junho de 2007, o Cadastro Único
traz em sua previsão normativa vigente o caráter de instrumento de políticas públi-
cas para duas finalidades principais: i) criar um público-alvo pela “identificação e
1. Especialista em políticas públicas e gestão governamental na Diretoria de Estudos e Políticas do Estado, das Instituições
e da Democracia (Diest) do Ipea. E-mail: <natalia.koga@ipea.gov.br>.
2. Integrante do grupo de pesquisa Repensando a Relação Sociedade e Estado (Resocie), do Instituto de Ciência Política
da Universidade de Brasília (Ipol/UnB).
3. Pesquisador do Subprograma de Pesquisa para o Desenvolvimento Nacional (PNPD) na Diest/Ipea. E-mail: <bruno.
gontyjo@ipea.gov.br>.
4. Pesquisadora do PNPD na Diest/Ipea. E-mail: <isabella.goellner@ipea.gov.br>.
5. Professor do programa de Pós-graduação em História das Ciências e das Técnicas e Epistemologia da Universidade
Federal do Rio de Janeiro (HCTE/UFRJ).
6. Dado extraído do VisData, aplicativo disponibilizado pelo Ministério da Cidadania, disponível em: <https://bit.ly/3B3NYuS>.
caracterização socioeconômica das famílias brasileiras de baixa renda, a ser obriga-

toriamente utilizado para seleção de beneficiários”; e ii) articular políticas públicas
pela “integração de programas sociais do governo federal voltados ao atendimento
desse público” (Brasil, 2007).
O processo constitutivo do Cadastro Único acontece imbricado à imple-
mentação do Programa Bolsa Família (PBF), criado em 2003. Entendido por
muito tempo como “o cadastro do Bolsa”, o Cadastro Único absorveu o legado
de conceitos, regras e procedimentos do seu historicamente principal programa
usuário. Contudo, hoje, após mais de vinte anos de sua criação, o Cadastro Único
é operacionalizado e utilizado por uma multiplicidade de atores da administração
federal que afetam e são igualmente afetados por esse artefato informacional.
A escolha do Cadastro Único é justificada por sua abrangência, longevidade
e intensidade de seu uso pela burocracia federal, o que permite explorar vários
aspectos da dinâmica interacional-informacional da administração federal. A ex-
pansão do uso do Cadastro Único trouxe também efeitos ainda pouco discutidos
na prática dos gestores públicos, como a estabilização dos significados de pobreza,
família e renda (Feitosa, 2010; Bachtold, 2017), a visibilização de questões sociais,
a criação de identidades e, até mesmo, a estigmatização da pobreza e a dissemi-
nação da desconfiança entre o Estado e os indivíduos cadastrados (Koga, Viana e
Marques, 2020).
Como argumentado em estudo prévio (Koga, Viana e Marques, 2020) e dia-
logando com o modelo moderado de evidência de Pinheiro (2020), sustentamos
que o Cadastro Único não é mera fonte de evidências técnico-instrumentais, mas
sim um instrumento técnico-político-social.
Os estudos anteriormente mencionados demonstram como significados
cruciais para a produção das políticas sociais são formados em rotinas e processos
específicos de cruzamento de bases de dados, atualização e averiguação cadastral,
processos esses negociados e estabelecidos nas instâncias da burocracia estatal
federal distantes das pessoas que esses próprios processos têm em vista (Feitosa,
2010; Bachtold, 2017). Mostram, assim, que não há relação direta e simples entre
o dado e a pessoa (Feitosa, 2010; Cukierman, 2011). Não existe um atributo de
pobreza permanente e inerente às pessoas. A definição de pobreza é construída
em processos e rotinas contínuos e estabelecidos nos espaços burocráticos da ad-
ministração federal.
Nesta pesquisa buscamos continuar explorando a dinâmica interacional-in-
formacional da burocracia federal ao redor do Cadastro Único. Nosso intento,
que esperamos deixar mais claro adiante, é identificar apreensões e compreensões
da pobreza que sejam coletivamente pensáveis e politicamente discutíveis com a
materialidade das redes que configuram o Cadastro Único.
O Cadastro Único para Programas Sociais e a Configuração da Pobreza: | 553
analisando a construção de evidências a partir da teoria do ator-rede
O capítulo se divide em sete seções, incluindo esta introdução. A seção 2

traz uma síntese do debate sobre a conceituação da pobreza quando da formulação
inicial do Cadastro Único e do PBF. A seção 3 apresenta a estratégia metodológica
adotada no estudo. A seção 4 traz a problematização debatida na literatura da
conceituação da pobreza por meio da renda e levanta questões sobre o processo de
significação da pobreza por meio do uso do Cadastro Único. A seção 5 apresenta a
discussão e as chaves analíticas da abordagem da teoria ator-rede (TAR), as quais
serão mobilizadas na seção 6 para a análise do material empírico. Por fim, a seção
7 apresentará as principais considerações extraídas do estudo, especialmente para
o debate sobre evidências nas políticas públicas.
2 CONCEITUAÇÕES DA POBREZA
Como descreve Tomazini (2017), três principais comunidades epistêmicas dispu-
tavam no Brasil, nos anos 1990 e início dos anos 2000, a orientação do debate
sobre a formulação do PBF, quais sejam, a da renda incondicional, a do capital
humano e a da segurança alimentar. De forma resumida, podemos dizer que as três
comunidades partiam de compreensões distintas acerca da origem da pobreza e,
portanto, sustentavam formas distintas para atacá-la.
A primeira visão, ligada ao projeto de renda mínima encabeçado pelo então
senador Eduardo Suplicy, partia da compreensão da pobreza como um resultado da
violação do direito dos cidadãos em dividir a riqueza nacional. Portanto, defendia
a distribuição universal de uma renda básica a todos os indivíduos e se opunha a
condicionalidades incluídas nos programas de combate à pobreza e à focalização
a segmentos específicos da população. A segunda visão entendia que a explicação
fundante para a pobreza estaria na insegurança alimentar. A fome limitaria a ca-
pacidade de aprendizagem e de produtividade do indivíduo, assim como afetaria
sua saúde. Além de entender o direito ao acesso à alimentação como um elemento
central para o programa de transferência de renda em questão, enxergava-se que
este deveria ser implementado com as medidas para promoção de transformações
sociais mais amplas, como a reforma agrária, e a mudança da matriz produtiva de
alimentos no Brasil, por meio do apoio à agricultura familiar. Por fim, a terceira
visão pró-capital humano associava às causas da pobreza a incapacidade de geração
de renda. Portanto, o foco deste entendimento estaria em complementar – e não
substituir – os esforços individuais a fim de quebrar o ciclo intergeracional de
transmissão da pobreza, originário da privação do conhecimento educacional e do
acesso à saúde, que tornaria estes indivíduos menos produtivos (Tomazini, 2017).
Como bem detalhado por Moura (2013), elementos dessas três visões são
percebidos nos embates das primeiras reuniões, ocorridas em 2003, da Câmara de
Políticas Sociais (CPS), espaço de articulação e integração entre os órgãos responsáveis
pelas políticas sociais federais no início do primeiro governo Lula. E os elementos

que predominaram no embate conceitual que fundamentou a criação do PBF e,
portanto, delimitou a atuação inicial do Cadastro Único foram os mais próximos à
terceira visão, isto é, concebendo o PBF como um programa de transferência de renda
voltado à população de baixa renda a ser concedido por meio do cumprimento de
condicionalidades educacionais e da saúde. Associada a essa visão, também pôde-se
perceber nos embates sobre a formulação do programa um forte apelo à racionaliza-
ção, à redução de desperdícios de recursos e à eficiência na gestão.
Reconhecendo esse debate inicial, é possível compreender, então, a formulação
dos normativos do Cadastro Único que o previam, e ainda o preveem, tanto como
instrumento de identificação, por meio da renda dos beneficiários de programas
sociais, quanto como ferramenta de integração de programas sociais, dividindo
com o PBF a missão de lidar com o problema da fragmentação e sobreposição de
políticas públicas. Estas previsões normativas sintetizam os entendimentos e as
preocupações existentes na criação do Cadastro Único e do PBF.
Vale mencionar que o Decreto no 3.877, de 24 de julho de 2001, que criou
o Cadastramento Único e antecedeu os debates do PBF, embora não mencionasse
os termos pobre ou pobreza, também não mencionava o critério renda. Restringia-
-se apenas a prever a obrigatoriedade do uso do formulário por todos os órgãos
públicos federais para a concessão de programas focalizados de caráter permanente
do governo federal. À época, o formulário era um documento com quatro páginas
e apenas algumas dezenas de questões referentes à identificação do domicílio e da
família, à qualificação escolar e profissional e à renda. Contudo, os objetivos de
identificação de beneficiários e de integração de ações para a coleta de dados e in-
formações para uso dos diversos programas sociais já eram previstos por tal norma.
O Decreto no 6.135, vigente desde 27 de junho de 2007, e, portanto,
formulado após a criação do PBF, também não traz os termos pobre ou pobreza,
mas especifica os critérios para a inscrição no Cadastro Único por meio da renda.
Traz, assim, os conceitos de família de baixa renda (aquela com renda familiar
mensal per capita de até meio salário mínimo; ou a que possua renda familiar
mensal de até três salários mínimos); de domicílio (o local que serve de moradia à
família); e de renda familiar mensal (a soma dos rendimentos brutos auferidos por
todos os membros da família, não sendo inclusos no cálculo aqueles percebidos
por programas sociais específicos). Ademais, retoma o critério de inclusão pela
renda quando trata das duas finalidades. Atualmente, o formulário principal do
Cadastro Único possui 34 páginas e dois formulários suplementares. Além da
ampliação do detalhamento dos blocos de domicílio, da composição familiar,
da escolaridade, do trabalho e da remuneração, a versão atual do formulário do
Cadastro Único permite ainda a identificação de dezesseis grupos populacionais
tradicionais e específicos (GPTEs), assim como coleta informações adicionais

sobre outras condições, como a de moradia de pessoas em situação de rua e a
vinculação dos inscritos em programas e serviços federais.
3 ABORDANDO O CADASTRO ÚNICO: ESTRATÉGIA METODOLÓGICA

Aproximando-se das redes que configuram o Cadastro Único, esta pesquisa ado-
tou duas fontes de dados. A primeira trata-se de registros documentais oficiais,
produzidos pela administração federal, sobre a trajetória de criação e as mudanças
operacionais do Cadastro Único, a saber: os Relatórios de Gestão do período
2004-2019 e as Auditorias Operacionais do Tribunal de Contas, realizadas em
2003, 2006, 2009 e 2016. A segunda fonte refere-se a entrevistas semiestruturadas
realizadas com servidores públicos federais que operacionalizaram e utilizaram o
Cadastro Único a partir de diferentes áreas de atuação nas políticas sociais. A sele-
ção dos entrevistados buscou abranger a maior diversidade possível de perspectivas
identificadas no interior na administração pública federal à medida que a técnica
de bola de neve apontava novos perfis de burocratas federais que participavam do
funcionamento e da modelagem reflexiva do Cadastro Único. Foram analisadas
tanto entrevistas previamente realizadas em diferentes momentos da construção e
funcionamento do cadastro, como novas entrevistas que se mostraram relevantes
para reconstituição de um período ou aclaramento de uma relação entre o Cadastro
Único e o significado da pobreza para as políticas sociais.
Foram analisadas as entrevistas realizadas nos períodos e com os perfis de
burocratas a seguir destacadas.
1) Doze entrevistas com servidores federais que atuavam em quatro principais
políticas usuárias do Cadastro Único, essas realizadas em três períodos
diferentes: entre março e junho de 2016, entre janeiro e junho de 2018
e em fevereiro de 2019. Vale esclarecer que não analisamos todas as in-
terações entre o Cadastro Único e as mais de duas dezenas de programas
usuários retratados em outros trabalhos (Direito e Koga, 2020; Koga,
Viana e Marques, 2020). Nesta análise, focamos em analisar as interações
com os programas usuários de maior magnitude em termos de inscritos
e de recursos despendidos, e que também foram mencionados nas entre-
vistas de 2021 como as que tiveram agenciamentos mais expressivos para
a estabilização ou desestabilização de práticas e conceitos do cadastro.
Além do próprio PBF, como mencionado anteriormente, também foram
examinadas as relações com o programa Tarifa Social de Energia Elétrica
(TSEE), que foi o primeiro programa depois do PBF que buscou utilizar
o Cadastro Único de forma estrutural e que permanece sendo um dos
programas com um maior número de inscritos no cadastro; o programa
Minha Casa Minha Vida (MCMV), lançado em 2009 na gestão Lula e

fortalecido na gestão Dilma Rousseff como a marca das políticas sociais
daquela gestão; e, por fim, o programa de Benefício de Prestação Con-
tinuada (BPC), um dos principais benefícios de assistência social criado
em 1993 que passou a ter uso obrigatório do Cadastro Único apenas
em 2016.
2) Seis entrevistas realizadas com oito entrevistados,7entre março e abril de
2021, com os seguintes perfis de servidores federais: dois entrevistados,
que participaram da gestão do Cadastro Único por mais de dez anos; um
servidor, que participou e participa da gestão atual do Cadastro Único
desde 2008; um servidor, que atuou na gestão da Secretaria de Avaliação
e Gestão da Informação (Sagi) do Ministério da Cidadania e participou
de interlocuções relacionadas a gestão e uso dos dados do Cadastro
Único; três auditores do Tribunal de Contas da União (TCU), os quais
participaram e participam de avaliações externas do Cadastro Único;
e um auditor da Controladoria-Geral da União (CGU), que participou e
participa da avaliação interna do Cadastro Único.
Vale destacar que os burocratas de médio escalão, isto é, os servidores ocupantes
de cargos de direção e assessoramento (DAS) e cargos correlatos formam grande
parte do perfil dos entrevistados, uma vez que, como a literatura já aponta, estariam
entre aqueles que exercem com maior frequência o papel de intermediação dos
fluxos informacionais dentro do Estado ao atuarem como “agentes de integração,
articulação, coordenação e produção de coerência, exercida por meio da gestão
de suas interações laterais e verticais com variados atores governamentais” (Pires,
2018, p. 201). Outro destaque merece ser feito quanto ao perfil dos servidores
dos órgãos de controle que foram entrevistados por terem sido mencionados tanto
na literatura (Vieira, 2011; Bachtold, 2017) como na análise documental e nas
entrevistas realizadas como tendo tido participação no processo de fazimento e
refazimento do Cadastro Único.
4 POBREZA E RENDA
Como apontado por Soares (2009), o Brasil não conta com uma definição oficial de
pobreza, isto é, com uma linha ou metodologia oficial a ser adotada por todas as
políticas públicas ou mesmo pelas pesquisas oficiais. Isto quer dizer que alguns dos
que são considerados pobres para algumas políticas públicas ou pesquisas podem
não o ser para outras (Soares, 2009). A criação e a atuação de instrumentos infor-
macionais como o Cadastro Único são imprescindíveis para a boa administração
da diversidade da pobreza.
7. Uma das entrevistas foi realizada com três entrevistados simultaneamente.

Em que pese a existência de outros instrumentos informacionais que sustentam,

até há mais tempo, a construção do conhecimento sobre pobreza no Brasil – tais
como os dados e as análises geradas a partir das estatísticas produzidas pelo Censo
Demográfico e pela Pesquisa Nacional por Amostra de Domicílios (PNAD), ambos
do Instituto Brasileiro de Geografia e Estatística (IBGE) –, há que se reconhecer
que a ampliação do uso do registro administrativo do Cadastro Único tornou-o,
ao longo das últimas duas décadas, um dos principais meios pelos quais a pobreza
ganha forma e torna-se coletivamente pensável, constituindo uma base material
para a negociação de políticas sociais federais brasileiras.
Podemos dizer que o Cadastro Único se afirmou nessa posição, de dar for-
ma à pobreza, em função de dois fatores. O primeiro diz respeito à cobertura do
cadastro que, por buscar abarcar tanto uma totalidade dos pobres do país como
uma diversidade cada vez maior de quesitos que o caracterizariam, passou a ser
reconhecido, ao menos entre a burocracia produtora das políticas sociais, como o
censo da pobreza. O segundo fator trata, em termos que logo ficarão mais claros,
da frequência de suas idas à pobreza; ou seja, a atualização a cada dois anos de seus
dados contribuiu para tornar o Cadastro Único o instrumento informacional mais
utilizado entre os programas sociais que dizem respeito à pobreza.
Dada a relevância do Cadastro Único como artefato informacional da pobreza
nas políticas sociais, sustentamos que a busca por momentos de estabilização ou
desestabilização de significados e práticas ao longo de sua trajetória pode contri-
buir para compreender o processo de significação da pobreza na perspectiva da
administração federal brasileira.
A literatura especializada reconhece distintos entendimentos e meios de
operacionalização da pobreza. Como explica Soares (2009), uma distinção inicial
trata da concepção da pobreza como suficientemente retratada pela insuficiência
de renda ou como um fenômeno multidimensional que demanda a observação
de outros fatores. Para esta última visão, o caminho para a operacionalização do
conceito é a construção de índices que incluam dimensões não monetárias, como
já experimentado em programas de transferência de renda em outros países como
o México.
Quanto à primeira visão, outras concepções derivam do entendimento inicial
de que a renda seria suficiente para identificação da pobreza. Uma primeira distin-
ção seria quanto à compreensão de que a condição de pobre seria absoluta ou seria
variável em relação à renda da sociedade. No caso do entendimento da pobreza
como conceito absoluto, há ainda diferenças quanto ao que seria a referência para
a delimitação dessa insuficiência. Poderia ser, por exemplo, a necessidade da ali-
mentação, como adotado pela Bélgica ou por Bangladesh. Ou poderia ser definida
por uma linha oficial de pobreza, como o salário mínimo no Brasil ou o valor de
US$ 1,90 por dia adotado pelos Objetivos de Desenvolvimento Sustentável da

Organização das Nações Unidas (ODS/ONU). Ou, ainda, há a posição de que
essa condição absoluta só pode ser definida por quem a vivencia (Soares, 2009).
Diversas pesquisas retratam com grande detalhamento o histórico da concep-
ção da pobreza como um novo elemento no sistema de proteção social brasileiro
(Vieira, 2011; Moura, 2013; Jaccoud, 2009; Tomazini, 2017). No entanto, neste
estudo buscamos identificar as configurações da pobreza que transitaram ao longo
da operacionalização do Cadastro Único.
Como já mencionado na seção 2, a partir das disputas conceituais à época da
criação do PBF e dada a vinculação instrumental do cadastro ao PBF, prevaleceu
nas instruções normativas do Cadastro Único o conceito de pobreza vinculado
à renda. As entrevistas puderam informar que, entre as distintas formulações de
linha de pobreza, adotou-se, desde o início da existência do cadastro, a concepção
da pobreza absoluta estabelecida oficialmente, mas com paridade inicial relacionada
à necessidade alimentar.
Ademais, a análise das entrevistas e dos documentos oficiais nos permitiu
observar que o conceito formal de pobreza anteriormente descrito, vinculado à
escassez de renda, não foi alterado e, aparentemente, nem mesmo chegou a ser
em algum momento contestado diretamente/conscientemente pelos servidores
federais que utilizam e interagem com o Cadastro Único. Os embates conceituais
candentes durante a formulação do PBF parecem hoje discussões distantes e são
pouco rememorados ou conhecidos por quem utiliza o Cadastro Único.
Para a continuidade a esta análise, levantamos as seguintes questões: por
que não houve embates conceituais sobre a pobreza após o momento inicial de
formulação do PBF e do Cadastro Único? Seria porque este debate perdeu rele-
vância (ao menos entre a burocracia federal)? Ou porque não existem hoje outras
perspectivas de pobreza concorrentes? Ou, ainda, porque entes informacionais,
como o Cadastro Único, atuam como mediadores/tradutores/controladores em
um processo de estabilização desse significado dentro do aparato estatal, inibindo
questionamentos sobre seus conceitos formais? Ou, ainda, porque talvez existam
divergências dentro da burocracia federal, mas estas não se manifestam de forma
direta ou consciente, mas por meio justamente dos agenciamentos múltiplos que
constituem esses entes intermediários?
Enfim, qual seria a configuração da pobreza presente no Cadastro Único?
A TAR ajuda-nos a compreender que o processo de estabilização de uma configura-
ção não é linear ou definitivo e, também, não é produzido apenas por quantificações
e processos decisórios embasados no conhecimento formal acumulado, mas que
a pobreza se configura em processos interacionais de uso do Cadastro Único por
diferentes entes em contextos e tempos distintos. Na seção 5, buscaremos explorar
estas perguntas a partir do exercício de nos aproximar da dinâmica do ator-rede

Cadastro Único.
5 CONCEITOS E DUAS, TRÊS OU MAIS PALAVRAS SOBRE A TEORIA ATOR-REDE

A TAR não é propriamente uma teoria, é uma ferramenta cognitiva. Ela nos ha-
bilita a transpor uma divisão fundante da criação de conhecimento moderno: não
se mistura a pesquisa sobre o mundo das coisas em si – os átomos, as moléculas,
os astros... a natureza – com a pesquisa sobre o mundo dos humanos entre si – os
direitos, a pena de morte, a política... a sociedade (Latour, 1994; 1997; Latour
e Woolgar, 1997). Por força desse divisor, conhecimentos sobre átomos e sobre
democracia estão em mundos à parte. Capacitando os pesquisadores a perscrutar
as relações que vinculam, em exemplo robusto, o comportamento de partículas
subatômicas de alta energia (mundo das coisas em si, física) a esquemas de finan-
ciamento de pesquisa nos Estados Unidos e no Japão (mundo dos humanos entre
si, política) na segunda metade do século XX, transpondo esse grande divisor, a
TAR é também uma ferramenta ontológica e epistemológica (Traweek, 1988).
A entidade pobreza se configura na natureza ou na sociedade? Na abordagem
ator-rede, as entidades que compõem o mundo são configuradas sempre provi-
sionalmente como uma justaposição de elementos heterogêneos que atravessam o
divisor natureza versus sociedade. Essas configurações são materializadas a partir
de “inscrições” sobre as quais se trabalha em “centros de cálculo” (Latour, 1997).
De modo geral, uma inscrição é um traço, uma pegada, uma marca decorrente do
encontro de algo que não se vê com algo que permanece e pode ser visto: a pegada
de um homem que passou pela areia; as impressões digitais no trinco de uma porta;
as marcas que a população deixa no encontro com o formulário-entrevistador do
IBGE; a condensação da trajetória de uma partícula em uma câmera de bolha
em um laboratório de física etc. As inscrições podem, combinando-se, passar de
ordem N para ordem N + 1. Por exemplo, um mapa mostrando como se distri-
buem cartograficamente as casas dos doentes é uma inscrição de ordem N + 1 do
encontro de uma pandemia com uma cidade, feita a partir de duas inscrições de
ordem N, o mapa da cidade e a uma lista dos endereços dos doentes, que neste
exemplo seriam inscrições de ordem N.
Bachtold (2017) descreve magistralmente “idas a campo” em que as equipes
municipais/locais do Cadastro Único fazem chegar a Brasília (um centro de cálculo)
os elementos móveis, estáveis e combináveis denominados “inscrições” (Latour,
1997). A cada ida a campo, a equipe traz inscrições, ou seja, marcas, por exemplo,
respostas ao formulário e possivelmente outras anotações/impressões feitas pela
entidade pobreza nos inscritores, que no caso são a equipe e seus instrumentos
(formulários e blocos de anotações). No centro de cálculo, as inscrições (respostas
no formulário) podem ser transcritas, classificadas, selecionadas, combinadas e

tabeladas, gerando, por assim dizer, inscrições de segunda ordem, as quais, por
sua vez, podem ser incorporadas em novos instrumentos (novos formulários) para
subsequentes idas a campo. É nesse processo de construção que o ator-rede Cadastro
Único atua, sempre em conjunto com outros atores-rede, fazendo a entidade pobreza
emergir no nosso universo como algo sobre o qual podemos pensar, discutir e agir
racional e coletivamente. O que não produz inscrições não tem como chegar ao
Cadastro Único e não fará parte da pobreza. Como as inscrições são produzidas no
encontro de algo que não pode ser visto (a entidade pobreza) com os inscritores,
vem para o primeiro plano a importância das decisões sobre o que incluir ou excluir
nos inscritores. Para Brasília, como centro de cálculo, a entidade pobreza não tem
outra materialidade a não ser a materialidade do Cadastro Único.
Fazendo uma simplificação, os conceitos transitam entre os centros de cálculo
e atuam a partir deles, onde costumam ser elaborados. No caso do Cadastro Único,
os conceitos que teorizam a pobreza são incorporados nos inscritores (formulários,
sistemas informacionais, recomendações e notas técnicas), que são os instrumentos
que equipam cada movimento com a missão de encontrar a pobreza. Digamos que,
para cada busca de novas inscrições, os conceitos oriundos de inscrições prévias
estão incorporados nos instrumentos do movimento. Ao completar-se no centro de
cálculo, cada movimento traz novas inscrições, que são elementos que proporcionam
oportunidades de refinamento, confirmação, modificação ou mesmo rejeição dos
conceitos anteriores a ele. Essa base material, justaposta a outros elementos, que
podem inclusive ser externos a esse ciclo de repetidos movimentos de busca de
novas inscrições e construção de novos equipamentos, atua, se não determina, as
mudanças nos conceitos colocados em cena para explicar a “pobreza”.8
5.1 Vamos aonde a pobreza está? Mas onde está a pobreza?

Chegar aonde a pobreza está é abrir um caminho que,
ao ser percorrido, constrói seu destino.
Reconhecer o processo de aquisição de um conhecimento como um processo de
subsequentes viagens a campo e análises do que é obtido no campo nos ajuda a
reconhecer que a pobreza que vamos encontrar não é algo que está lá como um
objeto ou uma situação isolável, mas sim algo, objeto ou situação, que vai adqui-
rindo uma forma em sua própria interação conosco nessas sucessivas viagens a
campo e análises em nosso centro de cálculo. Não existe, portanto, uma realidade
8. Ao falar de movimentos, estamos nos referindo à busca de novas inscrições por diversos meios adotados pelos agentes
e instrumentos do Estado. Embora tenham acontecido visitas de campo das quais participaram servidores federais,
especialmente no período da estratégia de busca ativa, estes movimentos deram-se e dão-se primordialmente por meio
dos formulários e do sistema informatizado do Cadastro Único, ou seja, não em encontros presenciais entre o centro
de cálculo e os pobres. A respeito da busca ativa, ver nota de rodapé n. 12 deste capítulo.
da pobreza como algo que está lá, a priori, independentemente de quem queira
conhecê-la e agir sobre/com ela e sobre a qual poderíamos falar e tomar decisões
coletiva e racionalmente.
Metáforas como chegar aonde a pobreza está são muito úteis para mobilizar
as pessoas e podem ir muito longe politicamente. Mas podem ser enganosas se
tomadas como indicadoras da existência a priori de determinados lugares ou situa-
ções que podem ser descobertos e mapeados onde a “pobreza” pode ser encontrada
como “em si mesma”, como em sua forma pura (Shapin, 2013). Podemos dizer
que sem instrumentos informacionais, como o Cadastro Único, não teremos
mais do que nossas vivências e opiniões pessoais sobre a pobreza e essas são muito
difíceis de transitarem para um coletivo que queira agir de forma racional, como
os servidores da burocracia governamental, justamente por não resultarem de
um processo de múltiplas viagens (até “lá”) e análises (do que vem de “lá”) para
sustentar racionalmente (com o auxílio da lógica) proposições que circulem entre
os que querem agir (implementadores de políticas públicas e também organizações
de beneficiários).
5.2 Todo conhecimento é situado e nenhum enquadramento abarca o mundo

Um resultado epistemológico dos estudos de ciências, tecnologias e sociedades
(CTS, em português; STS, em inglês) das últimas décadas é que todo conhecimento
é situado, isto é, todo conhecimento se configura em um enquadramento. E todo
enquadramento tem transbordamentos, ou seja, partes do mundo que não entra-
ram no enquadramento usado para configurar um conhecimento (Callon, 1998;
Haraway, 1988; 2000). Não se enxerga um vírus sem um poderoso microscópio.
Da mesma forma a pobreza é algo que não pode ser visto sem que, para isso, se
construa um instrumento. Se bem construído, o conhecimento que esse instrumento
nos proporcionará será válido e verdadeiro, no sentido de ser robusto e confiável,
mas sempre estritamente dentro dos enquadramentos adotados em sua construção.
Cabe ressaltar o caráter dinâmico dos enquadramentos e transbordamentos, pois,
no universo aberto de possiblidades do mundo da vida, muitas opções de cons-
trução e acúmulo de conhecimento serão deixadas fora do mundo fechado de um
enquadramento, por não serem relevantes ou preocupantes. Mas o que é e o que
deixa de ser relevante ou preocupante varia no espaço e no tempo.
Daí a importância de focalizar especialmente os enquadramentos adotados na
construção do Cadastro Único: das opções e das delimitações dos enquadramentos
(renda, domicílio, família, transporte, acesso), do que entra ou deixa de entrar nos
enquadramentos adotados no Cadastro Único, resulta mais do que a representação,
resulta a própria constituição do que vem a ser a pobreza na população brasileira,
como algo coletivo e racionalmente discutível.
5.3 Sobre políticas públicas baseadas em evidências

Notemos que a evidência, como algo que se dá a conhecer a alguém, somente
continuará evidente nos enquadramentos (muitas vezes invisíveis ou inconscientes)
em que se evidenciou. Para se coletivizar e tornar-se parte do conhecimento de um
coletivo de pessoas e coisas, é preciso que esse coletivo compartilhe os enquadra-
mentos da evidência. No mundo radicalmente especializado em que vivemos, o
que é evidente para uma pessoa ou para os especialistas de um determinado campo
pode estar longe de continuar sendo evidente quando apresentado a leigos ou a
outros especialistas e é muitas vezes contestado. Isto resulta, muito prosaicamen-
te, do fato de que especialidades diferentes geralmente adotam enquadramentos
diferentes para seus fatos, teorias, objetos e sujeitos.
O exame rigoroso dos enquadramentos passa então ao primeiro plano quando
se trata de políticas baseadas em evidências. A explicitação dos enquadramentos
tem sempre limites, chegando aos limites da própria linguagem. Esse é um terreno
movediço em que o político e o técnico se imbricam inextricavelmente. Os acordos
só serão possíveis se preponderar entre as partes o entendimento de que as condi-
ções e as consequências dos enquadramentos foram suficientemente examinadas
e ponderadas e de que, se algo não previsto se apresentar, será preciso novamente
reunir as partes. Do contrário, cada desconfiança e cada controvérsia não terminará.9
A raiz latina de evidência (e-videre) nos lembra de trazer à tona o que está
para ser visto. Mas nem tudo o que pode ser feito para trazer o que pode ser visto
é feito. Políticas baseadas em evidências podem insistir em descrever, compilar
e analisar experiências anteriores – o que aconteceu, com quais recursos, para
quem, com qual resultado –, mas quando e se o fazem, o fazem necessariamente
selecionando e estreitando a base do que pode vir a ser uma evidência. Princi-
palmente é o que pode ser medido e gerenciado. Ao lançar sua rede baseada em
evidências o mais amplamente possível, esse tipo de política insiste que tudo pode
ser comparado, ao mesmo tempo em que seleciona cuidadosamente as unidades
de comparação. Esse processo é uma prática que reduz e aplaina as contingências
e as peculiaridades locais, constrói enquadramentos padronizados e os resultados
são considerados mais “objetivos” (Nowotny, 2007). E o lado gestor ou gerencial
dos policy makers enfatizam que somente o que pode ser medido pode ser gerenciado,
invocando pragmatismo.
Há suficiente produção no campo dos estudos de CTS indicando que não
se pode tratar as evidências como naturalmente evidentes e, sim, analisar em que
9. Vale o exemplo banal de um simples contrato de aluguel. Assim como o espaço e o tempo de uma negociação são
sempre finitos, um contrato de aluguel de um apartamento também é. Ele pode ter uma, dez ou mil páginas, mas
não mais. Então ele não poderá prever a infinitude de possibilidades do mundo da vida que ele não especificou. Se
uma delas acontece, as partes poderão se reunir para refazer o contrato. Aqui são os advogados que têm mais antiga
familiaridade com a aproximação do tema, os contratos contingentes.
enquadramentos elas aparecem como evidentes e se há acordo sobre as consequên-

cias desses enquadramentos (Nowotny, 2007; Moore e Stilgoe, 2009; Brandmayr,
2016; Al Dahdah, 2019; Lindén, 2020).
6 O ATOR-REDE CADASTRO ÚNICO: A DINÂMICA ENTRE OS MÚLTIPLOS

INSCRITORES E INSCRIÇÕES NO ÂMBITO DA ADMINISTRAÇÃO FEDERAL
Conforme destacado por Michael (2004), a TAR está orientada para a dinâmica
relacional na qual emergem entidades híbridas – materialidades heterogêneas nas
quais se justapõem e se associam coisas, pessoas, sistemas e ideias – cada vez mais
presentes em nosso cotidiano. Esses híbridos – ou, conforme propõe a TAR, esses
atores-redes – resultam de traduções/translações e revelam possibilidades de traçar
conexões em sua extensão. Para Latour (2012, p. 65), os mediadores assumem
um papel central, uma vez que “transformam, traduzem, distorcem e modificam
o significado ou os elementos que supostamente veiculam”. Podemos entender o
Cadastro Único, nesse sentido, como um mediador, e não como intermediário
neutro e idealizado, dado que é um veículo que não só transporta, mas também
modifica os significados e as consequências das ações públicas no âmbito das
políticas sociais.
Para Callon (2008) a noção de tradução/translação relaciona-se à ideia de
circulação, operando por agenciamentos múltiplos e dinâmicos de diferentes ma-
terialidades. O autor ainda observa que a questão central é a de
saber quais são os agenciamentos que existem e que são capazes de fazer, de pensar
e de dizer, a partir do momento em que se introduz nestes agenciamentos, não só o
corpo humano, mas os procedimentos, os textos, as materialidades, as técnicas, os
conhecimentos abstratos e os formais etc. (Callon, 2008, p. 308).
Dessa forma, o Cadastro Único pode ser entendido como uma inovação sempre
aberta e situada, representando o “social acontecendo’’, devendo ser analisado pelas
materialidades na prática (Latour, 1999).
Ademais, Latour (2012) destaca que, no processo de tradução/translação,
percebe-se algo novo no lado dos efeitos que não foram previstos e, nesses desca-
minhos, ocorrem as transformações. Assim, um artefato informacional – como o
Cadastro Único – não pode ser compreendido apenas pelo desenho e pelas escolhas
feitas a priori, mas também pelos efeitos gerados.
Como discutido anteriormente, as inscrições são a tradução de heterogenei-
dades e eventos em diagramas, textos e artefatos diretamente utilizáveis, os quais,
supõem-se, guardam relação direta com o que é traduzido. A produção de inscrições
ocorre a partir de tecnologias de inscrição, chamados de “inscritores” (Latour e
Woolgar, 1997), que possibilitam que eventos possam ser móveis, comparáveis,
duráveis e tratáveis, convertendo essas heterogeneidades em homogeneidades (Law,
1992). As possibilidades decorrentes dessa interação têm importantes implicações

para o funcionamento prático das relações de poder, na produção da política pública
e para sua estabilização a partir da rede heterogênea que constitui o Estado e seus
aparatos de governo, conforme será discutido a seguir.
Nas entrevistas conduzidas e analisadas, buscamos traçar, em alguma medida,
as dimensões desse ator-rede Cadastro Único. Este exercício, há que se assumir,
será sempre imperfeito, dado o caráter dinâmico dos agenciamentos múltiplos e
da arbitrariedade na definição de fronteiras entre os entes que atuam nessa rede.
Contudo, entendemos que se trata de um exercício útil para aclarar o argumento
de que o Cadastro Único não é um instrumento neutro e hermético, assim como
para permitir explorar as dinâmicas interacionais entre distintas sociomaterialidades,
percebendo que estas também produzem inscrições que, ao interagirem com as do
cadastro, resultam em efeitos e transbordamentos muitas vezes não perceptíveis
ou considerados.
A figura 1 explicita as distintas sociomaterialidades que atuam como parte do
ator-rede Cadastro Único no âmbito da administração pública federal. Importante
esclarecer que outros entes foram mencionados nas entrevistas como tendo relevância
nessa dinâmica de ação do Cadastro Único. Entre eles estariam, principalmente,
a gestão local do Cadastro Único, composta por uma rede de centros de cadastra-
mento e atendimento em todos os municípios brasileiros e as gestões estaduais do
cadastro; assim como o Banco Mundial, em especial, no início da implementação
do PBF. Trabalhos prévios também detalharam a complexidade da rede sociotéc-
nica dos programas usuários que envolvem não apenas os gestores dos programas
federais, mas todos os seus sistemas informacionais, procedimentos, técnicas e
conhecimentos (Direito et al., 2018; Direito e Koga, 2020). E vale mencionar
também a constatação retirada das entrevistas e da análise documental da pouca
ou praticamente nenhuma participação dos próprios inscritos na conformação das
práticas e significados do ator-rede do Cadastro Único.
Contudo, dado o nosso foco na dinâmica do Cadastro Único para dentro
da administração pública federal, essas outras relações não foram representadas
na figura 1.
FIGURA 1
O ator-rede Cadastro Único no nível da administração pública federal
Gestão
federal do
cadastro
Instituições de TCU
pesquisa (avaliação
(Ipea, IBGE) externa)
Cadastro
Único
CGU
Sagi (avaliação
interna)
Programas
usuários
federais
Tendo em conta as explicações anteriores, a figura 1 busca auxiliar na com-

preensão da diversidade de relações que são estabelecidas no interior do ator-rede
Cadastro Único por entes da administração federal. O Cadastro Único não é
conformado apenas pela gestão federal do cadastro, mas também pela atuação de
outros entes federais. Os círculos representam os diferentes entes e as linhas, as
relações entre eles. A intensificação ou o afrouxamento dessas interações muda ao
longo tempo. Contudo, as entrevistas puderam apontar que, ainda que de maneira
intermitente, essas interações foram relevantes para os processos de significação
dos conceitos do Cadastro Único.
As relações com instituições de pesquisa federais, universidades e com pesqui-
sadores dessas instituições, em especial do IBGE e do Ipea,10 foram apontadas pelas
entrevistas como de significativa importância ao longo da trajetória de existência
do cadastro. Como ilustram os trechos das entrevistas a seguir, tal relevância deu-se
em relação à definição de diferentes elementos que orientam a ação do Cadastro
Único, tais como na definição dos parâmetros para linha de pobreza, nas referên-
cias para os quesitos do formulário do Cadastro Único e na justificação da forma
inscrição no Cadastro Único por meio da autodeclaração.
10. Vale esclarecer que, embora tenha se questionado aos entrevistados acerca da existência de eventual interação com
qualquer universidade ou instituição de pesquisa ou pesquisador, as respostas enfatizaram a presença especialmente
do IBGE, do Ipea e de pesquisadores dessas instituições.
O Ipea e IBGE foram essenciais porque foram grandes parceiros de reformulação do

Cadastro Único. O Ipea foi essencial para todo desenvolvimento do cadastro e do
Bolsa Família. A própria percepção e identificação de que a renda dos mais pobres é
muito volátil e que a linha [de pobreza] do Bolsa Família precisa ser mais ampla do
que a gente enxerga na PNAD. Isso aí, Sergei Soares auxiliou profundamente. Paes
de Barros à época auxiliou muito também, compôs o indicador (Entrevistado 6).
Nas falas dos entrevistados, ficam claras as interações reflexivas com o campo
científico que, ao contribuírem para definir a forma de inscrição e os procedimen-
tos de funcionamento do Cadastro Único, terminavam por ter o efeito de validar
formas de inscrição originadas das pesquisas e de outros centros de cálculos estatais.
Um dos entrevistados da gestão do cadastro, ao ser perguntado sobre os fatores
que teriam subsidiado o principal processo de reformulação do Cadastro Único,
conhecido como a implantação da versão 7 do cadastro (v7), ocorrido por volta
de 2008 a 2010, exemplifica este tipo de dinâmica.
E outra principal foi aproximar com as pesquisas do IBGE. Como o Cadastro Único
não tinha perguntas muito próximas era muito difícil compatibilizar principalmente
para a parte da estimativa. Então o trabalho foi todo feito com o IBGE para deixar
os conceitos os mais próximos possíveis para depois a gente poder ter formas de
comparação das bases (Entrevistado 2).
Interessante notar que os próprios entrevistados percebem que, embora o
conceito prescrito no normativo do Cadastro Único nunca tivesse sido alterado, o
sentido de pobreza desse instrumento informacional vai se modificando mediante
as interações com esses entes da pesquisa.
Discussões [sobre as modificações no formulário do Cadastro] foram sempre com
Ipea e IBGE, inclusive uma discussão sobre deficiência, como captar (...), ali no
formulário vocês já perceberam que entram indígenas e quilombolas e aí de algum
jeito você está transformando indígenas e quilombolas em pobres (Entrevistado 6).
Podemos argumentar, assim, que os processos de formulação e modulação
de aspectos cruciais do funcionamento do Cadastro Único, e também do sentido
de pobreza por ele produzido, ocorreram em interação com o campo acadêmico.
Isto é, pode-se dizer que há o uso das chamadas evidências científicas na dinâmica
de funcionamento do cadastro. Contudo, como já apontado pela literatura, esse
uso não é necessariamente dado de forma instrumental e direta para a solução
imediata de um problema público (Weiss, 1979; Amara, Ouimet e Landry, 2004).
Em verdade, até onde observado, esse uso se deu mais em um modelo interacio-
nal entre diferentes entes informacionais do que em um modelo conduzido pelo
conhecimento científico, o que vai ao encontro da argumentação de Weiss (1979)
de que é importante reconhecer que as pesquisas científicas são apenas uma das
fontes utilizadas na produção das políticas.
De todo modo, vale destacar também o efeito reflexivo dessa interação. Isto
é, à medida que o cadastro faz uso das pesquisas e dos recursos providos por entes
como IBGE e Ipea, ele também passa a absorver, em seu modo de atuação, esse
tipo de conhecimento e a funcionar como um instrumento de mediação e validação
destes para toda a rede de indivíduos, os sistemas informacionais e os programas
sociais que o utilizam. Ter conhecimento desta dinâmica e deste papel dos regis-
tros administrativos é relevante para refletir sobre os desafios para aproximação
da academia e da gestão, assim como para explorar formas de ampliar o acesso da
produção científica nas políticas públicas.
Também nessa dimensão da interlocução do Cadastro Único com o campo
científico, foi mencionada a atuação da Sagi, tanto no apoio da qualificação dos
dados do cadastro, por meio de análises e contratação de pesquisas de avaliação e
no desenvolvimento da ferramenta Cecad,11 que viabilizou a utilização dos dados
do cadastro por gestores públicos nas três esferas de governo, quanto na promoção
do uso dos dados do Cadastro Único pela comunidade científica, como as falas
abaixo de gestores do cadastro retratam.
[A Sagi...] teve a importância de conduzir pesquisa, avaliação de impacto do bolsa
(...), no início ajudou bastante a abrir a base de dados quando a gente conseguiu pela
primeira vez uma cópia da base com a Caixa. Eles nos auxiliaram nesse processo (...).
Posteriormente, em outros aspectos sim, houve atividades muito relevantes na Sagi,
não só nas avaliações, como a avaliação de impacto (...). Depois houve um processo
importante: o desenvolvimento do Cecad, o desenvolvimento das pesquisas. Nesse
processo, ela é muito importante (Entrevistado 6).
[A Sagi...] fez todo aquele trabalho com a Capes, com o CNPq de chamar os
pesquisadores falando “vem estudar o cadastro”, a gente quer que vocês estudem
e desenvolvam trabalhos sobre o Bolsa Família, sobre o cadastro (Entrevistado 2).
Da perspectiva dos que atuavam na Sagi, interessante destacar como um
dos entrevistados que atuaram previamente como pesquisador dos dados do Ca-
dastro Único relata a mudança de sua percepção sobre o cadastro após começar a
utilizá-lo e a interagir com ele a partir da Sagi. Ele deixa de entendê-lo como um
instrumento restrito a fornecimento de dados administrativos e passa a perceber
suas complexidades, interfaces e alcances para o agenciamento da ação estatal que
permitiria caracterizá-lo, em seu entendimento, como um programa público per se:
Entendia [o cadastro] muito mais como uma fonte de dados, que certamente é, mas
não via o que estava por de trás de toda a sistemática de levantamento de informação e
11. Cecad é uma ferramenta desenvolvida pela Sagi “para o planejamento e a implementação de programas sociais
nas três esferas de governo. Por meio dele, é possível visualizar dados de pessoas e famílias registradas no Cadastro
Único e tabular as informações a partir de uma variável ou pelo cruzamento de duas variáveis presentes nos formulários
do Cadastro Único. As informações do Cecad são extraídas mensalmente da base do Cadastro Único e da folha de
pagamentos do Programa Bolsa Família” (Brasil, s.d., p. 4).
atualização e também do uso instrumental que isso tinha por parte do MDS nas suas
quatro grandes áreas, além de outras políticas. Eu fui me dar conta de que o Cadastro
Único era de fato um programa público, com uma complexidade operacional de
gestão e com impacto significativo do ponto de vista do seu significado para outras
políticas só estando dentro da Sagi (Entrevistado 3).
Observa, ainda, o entrevistado que, entre as diversas funções do Cadastro
Único, está a de funcionar como um meio de reconhecimento identitário de
grupos e demandas sociais perante o Estado. E podemos ressaltar que isso se dá,
também, diante de modos de inscrição adotados pelo cadastro como a busca ativa12
e a captação das informações no formulário por meio da autodeclaração no cadas-
tramento no Centro de Referência da Assistência Social (Cras) nos municípios.
Isto é, o reconhecimento identitário acontece tanto pela inscrição por meio da
ida do agente público, do Estado, até o inscrito, como pela ida do inscrito até o
Estado, via o Cras.
A informação que está depositada ali [no Cadastro Único] é uma informação que
tem um valor simbólico muito importante. Porque ali tem o reconhecimento do
Estado da condição de vulnerabilidade daquele indivíduo, de que falta água, de que
falta luz, falta alimento (...). Veja que o Cadastro Único é mais avançado no reconhe-
cimento identitário do que o próprio Censo. Porque ele reconhece lá todos aqueles
dezesseis ou vinte grupos de povos e comunidades tradicionais específicos. Ali você
tem o movimento social reconhecido como tal. Não é só um banco de dados (...),
o Cadastro Único, na medida em que há uma busca ativa, um agente público indo
atrás, há um reconhecimento de que naquele município existem essas demandas e
essas demandas estão visíveis ao Estado (Entrevistado 3).
Um outro ente que merece grande destaque nas relações interacionais do
Cadastro Único são os órgãos de controle, em especial o TCU e a CGU que, como
estudos anteriores já apresentaram (Vieira, 2011; Bachtold, 2017), atuaram desde
o início da existência do Cadastro Único e que, de acordo com as entrevistas,
continuam a ter grande presença na configuração e na dinâmica do ator-rede.
A literatura sobre a atuação do controle tem apontado uma tendência geral
na administração pública brasileira de crescente influência ou mesmo interferência
desses entes na atuação da gestão e na produção das políticas públicas (Nogueira
e Gaetani, 2018; Grin, 2020). Esta influência tem se demonstrado de diversas
formas, inclusive por meio do uso expressivo de recomendações desses entes pelos
burocratas no policy making, como discutido em outro capítulo desta publicação.13
12. A busca ativa foi uma estratégia adotada pelo Plano Brasil Sem Miséria que, segundo o Ministério do Desenvolvimento
Social (MDS), visava “levar o Estado ao cidadão, sem esperar que as pessoas mais pobres cheguem até o poder público.
Um dos grandes desafios do Brasil Sem Miséria é alcançar a população considerada invisível, aquela que não acessa
serviços públicos e vive fora de qualquer rede de proteção social (...). A busca ativa refere-se à localização, inclusão
no Cadastro Único e atualização cadastral de todas as famílias extremamente pobres, assim como o encaminhamento
destas famílias aos serviços da rede de proteção social”. Acesso em: <https://bit.ly/3bCLTMx>.
13. Ver capítulo 9 deste livro.
Este fenômeno é claramente percebido nas falas levantadas por esta pesquisa, as
quais demonstram que a atuação dos entes do controle, assim como as inscrições
que esses entes produzem, são elementos que interagem com as inscrições de ou-
tros entes, especialmente da gestão do Cadastro Único e dos programas usuários,
modificando-as e afetando-as mutuamente.
As entrevistas trazem, ainda, relatos importantes das percepções da gestão
acerca do escopo e da relevância da atuação dos entes e suas inscrições – notada-
mente, as recomendações produzidas a partir dos processos de auditoria –, assim
como dos usos que a própria gestão do cadastro fazia e faz dessas inscrições.
Os entrevistados, em geral, entendiam que os entes do controle não traziam
novidades quanto a recomendações de melhorias técnicas para a gestão do cadastro,
como a seguir explicitado.
TCU e CGU não vejo importância não (...). Aconteceu um fenômeno ao longo
dos anos, os órgãos de controle que se esqueceram da esfera de atuação dele que é o
controle e tentaram passar para a gestão (...). Então eles começaram a fazer muitas
prescrições sobre gestão, basicamente o que eles prescreveram ou prescrevem, a gen-
te já sabe, já estava fazendo. Não acho. Não tem valia em termos de adensamento
técnico. A discussão que os órgãos de controle têm feito ao longo dos últimos, não
tem valia tecnicamente (Entrevistado 6).
Os entrevistados avaliavam que a própria gestão muitas vezes já tinha co-
nhecimento do que deveria ser feito, mas não tinha condição de fazê-lo e, nessas
situações, dois tipos de interação se davam. O primeiro tipo de interação corres-
pondia a buscar o apoio técnico desses entes para operacionalizar o que não era
possível ser feito pela própria gestão até mesmo pela falta de acesso a outras bases
de dados, como descrito a seguir.
A grande maioria das coisas que eles pontuam, a equipe já tinha identificado ou já
tinha pensado. Ou talvez até a gente não tinha conseguido fazer da forma como um
cruzamento de dados. A gente sabe que isso precisa ser feito porque é indício de
subdeclaração de renda. Mas a gente tem um desafio, por exemplo, das bases de dados
dos municípios de mercado de trabalho de funcionário público do município, que
não existe no governo federal, uma base unificada desses dados. E o TCU consegue
acesso à informação. Então ele tem um trabalho, eles nos ajudam muito porque ele
tem acesso a dados pormenorizados que nós não temos. Ele consegue fazer processos
de cruzamento de dados com informações que nós não temos acesso e nos ajudar
nesse processo de qualificação (Entrevistado 6).
O segundo tipo de interação ocorria quando do uso das recomendações do
controle para servir de recurso legitimador de posições que a própria gestão sustenta-
va, mas que não tinha a força para emplacar junto às instâncias decisórias. Isto é, as
inscrições do controle, por vezes, serviam de mediador entre a gestão e os decisores
políticos, demonstrando que as diferentes inscrições – como a estatística-analítica
produzida pelo Cadastro Único e a oriunda da avaliação do controle – têm pesos

e forças distintas nessa dinâmica interacional.
E, então, às vezes, a gente tem alguma coisa que tem que ser implementada de forma
urgente e não sai se não tiver uma pressão. O tribunal ajuda muito a pressionar para
as coisas saírem, coisas que a gente concorda que saiam logo, mas a gente não tem
governabilidade para fazer sair (Entrevistado 2).
Essa assimetria de capacidades entre gestão e controle e o tipo de uso das
recomendações do TCU foi confirmada pelos próprios auditores do TCU.
Tem muita gente, muito gestor que quer fazer a coisa certa, quer fazer do jeito que
ele sabe que é melhor. Só que não tem verba. Não tem fundo ou não tem um suporte
da alta de administração da empresa dele. E, em algum momento, eles depois de
passarem um pouco essa apreensão, viram que o TCU estava aqui porque os caras
estavam tentando fazer o negócio melhorar. Eles querem que a gente tenha um ope-
racional melhor e estão apontando as falhas. Se a gente consegue mostrar para eles
onde é que estão as falhas que a gente também está percebendo, convence eles, eles
colocam no relatório do TCU e isso sai no acórdão, isso é pressão do TCU para a
alta gestão tomar atitudes que diz também que eles tomem, de dar verba para gente
mudar esse código, dar verba para gente contratar um cara para reformar como é que
esse banco de dados está esquematizado e coisa do gênero (Entrevistado 5).
Esses relatos fortalecem o argumento de que os entes de controle fazem parte do
ator-rede Cadastro Único. Ademais, pode-se pensar, para o caso das recomendações
dos entes de controle, a mesma dinâmica mencionada sobre a ação mediadora do
cadastro em relação às fontes de conhecimento científicos. Isto é, há forte interação
entre as diferentes inscrições na produção das ações do ator-rede Cadastro Único.
As entrevistas, realizadas com auditores da CGU e do TCU, apontaram três
processos de inflexão importantes nesses dois entes nos últimos anos. A primeira
delas diz respeito ao incentivo institucional à especialização dos auditores nas áreas
temáticas que estes avaliam; a segunda trata de uma orientação comum para uma
atuação mais próxima dos auditores na gestão dos programas auditados; e, por fim,
a terceira dá predominância ao uso de técnicas de ciência de dados nas auditorias
das políticas sociais. Podemos dizer que, ao menos no caso estudado, esses três
processos parecem ter fortalecido as capacidades analíticas dos entes de controle
e permitido a ampliação do escopo de sua atuação e influência na dinâmica da
rede do cadastro. Esse fenômeno pode ser bem percebido no relato, a seguir, do
entrevistado da CGU sobre o embate acerca da autodeclaração,14 forma de coleta

dos dados dos inscritos no cadastro, questionada em diferentes momentos, mas
defendida historicamente pela gestão do Cadastro Único como a forma mais
confiável para a inscrição das famílias de baixa renda.
Nós já vínhamos fazendo sempre essa sinalização da importância de além da autode-
claração, considerar tudo que se tem em nível de governo para agregar qualidade no
cadastro. Isso vinha já com uma receptividade muito forte, mas acho que o Auxílio
Emergencial veio meio que um sacode porque é muita gente, muito dinheiro e o
cadastro, que é muito bom, mas ele também tem problemas. Então, compreende-
mos, e acho que isso é importante, considerar a autodeclaração, mas eu não posso
como gestor, na posse de outras informações, fechar os olhos para elas. Então, o
que a gente tem tido do ministério é esse acolhimento para fazer a consideração das
informações de outras bases de dados. Essas informações têm sido incorporadas, no
caso de dúvidas, eles sempre disseram que prevaleceria o Cadastro Único, e a gente
hoje tem uma visão de questionamento já (...) se eu devo trazer necessariamente
como a informação preponderante a do Cadastro Único ou outras que eu tenho em
sistema (Entrevistado 4).
Como Bachtold (2017) bem demonstrou, os cruzamentos entre bases de dados
seria o tipo de interação cada vez mais presente entre diferentes inscrições estatais.
Em que pese os reconhecidos ganhos com esses processos, tais como a economi-
cidade e a consistência de dados, há que se atentar para os riscos das subsequentes
justaposições de inscrições de registros administrativos como fonte primordial de
conhecimento do Estado. Para o nosso caso, podemos dizer que é possível que ela
enrijeça o significado da pobreza e impossibilite a absorção de outras formas de
inscrições que possam trazer perspectivas ainda não conhecidas, como já aconteceu
com iniciativas, como a busca ativa ou com a inclusão no formulário do campo
para a autodeclaração dos GPTEs.15 A fala a seguir de um dos gestores do cadastro
retrata bem esta preocupação.
14. Embora a autodeclaração seja uma forma de coleta de dados utilizada por outros registros administrativos, como o
Imposto de Renda ou mesmo o recente cadastro para o Auxílio Emergencial (criado durante a pandemia da covid-19), tal
procedimento tem sido questionado em diversos momentos da histórica do Cadastro Único sob diferentes argumentos,
como a desconfiança da subdeclaração ou da omissão de renda pelos cadastrados, ou mesmo em relação à mediação
da inclusão dos dados seja no formulário, seja no sistema, pelos entrevistadores nos Cras. Contudo, diferentes estudos
já demonstraram a boa cobertura do cadastro, os riscos e a baixa efetividade de técnicas que poderiam substituir a
autodeclaração como os proxy means test (PMT) como preditores de renda (Mostafa e Santos, 2016). Ademais, como
também apontam esses estudos, a autodeclaração é combinada a estratégias de averiguação cadastral, por meio de
cruzamento de dados com outras bases do governo federal, como as geridas pelo Instituto Nacional do Seguro Social
(INSS), que permitem identificar erros e avaliar a acurácia do cadastramento. Novamente, chama a atenção o fato de
não ser questionada a qualidade dos dados dessas outras bases. Em outras palavras, está subjacente neste debate
a desconfiança em relação ao próprio inscrito e aos agentes inscritores que tem contato presencial com os inscritos.
15. A identificação dos GPTEs é resultado de um movimento de maior permeabilidade do Estado às demandas e vozes
de diferentes atores nos anos 2000. Em diálogo com os movimentos sociais e as instâncias participativas, expande-se
uma estratégia de cadastramento diferenciado para “famílias com caraterísticas específicas em relação ao seu modo
de vida, cultura, crenças e costumes, e ainda, em relação a contextos de condições críticas de vulnerabilidade social”,
tais como indígenas, quilombolas, extrativistas, assentadas da Reforma Agrária, atingidas por empreendimentos de
infraestrutura, entre outros. Para mais detalhes, ver Brasil (2014).
Hoje eu acho que esse olhar de consistência dos dados ganhou importância por conta
do volume de dados. E aí essa questão dos conceitos dos campos. Eu acho que ficou
secundária (...). Parece que os conceitos já estão consolidados do jeito que estão e o
processo agora é a consistência, uma melhor fonte para que dado (Entrevistado 1).
Quanto às interações com os programas usuários, ao analisarmos as entrevistas
realizadas com burocratas que operam os quatro programas examinados – PBF,
Tarifa Social, BPC e MCMV –, é possível observar que esses programas também
possuem suas inscrições acerca da pobreza, especialmente a partir da manutenção
de sistemas informacionais concorrentes em razão do cadastro não conseguir dar
conta de fornecer informações específicas dos programas, conforme se depreende
das entrevistas a seguir.
Olha, a gente utiliza outros cadastros habitacionais, alimentados pelos municípios,
porque o Cadastro Único não fornece alguns elementos importantes de caracterização
do público-alvo. O cadastro é utilizado apenas na etapa final, para confirmação de
elegibilidade do cidadão (Entrevistado 7).
No caso do BPC, até 2016, ele era utilizado como um instrumento acessório, para
tentar trazer o público do programa para dentro da assistência social, o aproximando
de outros programas e serviços. A partir de 2016, com a obrigatoriedade, outro olhar
passa a ser lançado sobre o cadastro, como um instrumento de controle do benefício.
Atualmente, o uso do cadastro é somente administrativo, voltado à concessão e revisão
do benefício (Entrevistado 8).
Das narrativas, é importante destacar que, para além de usos instrumentais,
a operação do Cadastro Único também envolve a construção de públicos-alvo das
políticas, a qual está em permanente disputa entre os atores imbricados na rede.
Os dados inscritos no cadastro permitem ler a situação das famílias – elegibilidade –,
possibilitando a criação de categorias que serão decisivas na definição de quem
entra e quem não entra, quem é público-alvo e quem não é de um determinado
programa. Nesse sentido, essa tese problematiza a noção corrente de que existe um
público e a política pública surge para atendê-lo. Mas, na verdade, as entrevistas
sugerem que essa lógica pode ser invertida, refletindo-se sobre como políticas pú-
blicas e instrumentos podem criar públicos (Schneider e Ingram, 2004) ou como
a construção das políticas e a criação dos públicos acontecem ao mesmo tempo,
de maneira interativa e relacional (Dewey, 1927).
Ainda no que diz respeito aos públicos-alvo, várias entrevistas chamam a
atenção para a temática da autodeclaração de renda como um campo de contro-
vérsia acerca do uso do Cadastro Único pelos programas-usuários, conforme se
observa das narrativas a seguir: “Há um problema de confiabilidade nos dados
por ele ser autodeclaratório, né. A gente faz o cruzamento com outras bases para
fins de cadastramento habitacional” (Entrevistado 7). “A gente não pode se basear
apenas na autodeclaração para conceder o benefício. A gente percebe que pode
haver declaração de renda abaixo do real, o que fragiliza o programa institucio-

nalmente” (Entrevistado 8).
Para ter o desconto na conta de energia, o cidadão tem que procurar a distribuidora.
A gente não faz a busca ativa. Então, embora a gente utilize muito os dados do
cadastro, a gente cruza com outras bases, como as que são entregues pelas distribui-
doras ou a base resultado do BPC. Para nós, a inclusão de um campo com a renda
familiar total no Cadastro Único seria primordial para decidirmos quem deve receber
a política (Entrevistado 9).
Dessas narrativas, é possível compreender que a tentativa de colocar no-
vas inscrições no Cadastro Único no que diz respeito à renda relaciona-se, em
última instância, com a categoria de público que esse agente entende que deva
ser merecedor da política pública. Essa tensão aparente entre qual o tipo de
informação deve fundamentar a concessão de algum benefício – autodeclara-
ção ou cruzamento de diferentes bases de dados – demonstra uma discussão
subjacente acerca de quais conceitos de pobreza os agentes mobilizam a fim
de delimitar o público destinatário. E essas delimitações estão em permanente
disputa entre as arenas estatais, o que nos permite argumentar, à luz da obra de
Latour, que não só o Estado é um ator-rede como o Cadastro Único também
possui essa natureza, dada a heterogeneidade de entes presentes na sua operação.
Além disso, um aspecto que merece destaque em razão da sua potencialidade
analítica, embora não seja foco dessa pesquisa, é o da capacidade de agência do
usuário na interação com os diversos elementos que compõem a atuação estatal –
documento, formulário, cadastro e sistema – com vistas ao recebimento de alguma
política pública. Quando um entrevistado diz que “ é difícil levar em conta apenas
a declaração do beneficiário para concessão da política pública” (Entrevistado 10),
no limite, podemos observar também a tentativa de usuários de mobilizarem os
campos já pré-estabelecidos ofertados pelos instrumentos estatais a fim de que se
encaixem, visando o acesso a algum direito. Em suma, o usuário, ainda que “pa-
ciente do Estado” (Auyero, 2016), na interação com os agentes humanos e não
humanos que compõem essa rede sociotécnica (Latour, 1999), pode, de maneira
criativa, ter alguma agência na relação com os entes estatais.
Neste capítulo, buscamos apontar algumas possibilidades analíticas de aproximação
entre o campo dos estudos de CTS e a abordagem de políticas públicas baseadas em
evidências (PBBEs), a partir da análise do caso de um dos registros administrativos
mais importantes da administração pública federal, o Cadastro Único.
Partimos da exploração do Cadastro Único como um instrumento informa-
cional de uma trajetória de intensificação de uso pelas políticas sociais federais.
Sabemos que, neste momento, há um importante debate sobre a sua continuidade
nesta condição em função do contexto político-institucional e dos desafios a ele

impostos na implementação do Auxílio Emergencial, criado durante a pandemia
da covid-19, o que torna ainda mais relevante discutir sua importância como fonte
de conhecimento para a atuação da burocracia federal.
Com base nos aprendizados dos estudos de CTS, sustentamos neste capítulo
que o Cadastro Único pode ser examinado como um ator-rede que, na dinâmica
interacional entre as diferentes sociomaterialidades que o conforma, tem o condão
de produzir significados e homogeneizar entendimentos, entre eles o da pobreza,
para atuação do Estado e na produção das políticas sociais.
Embora a permanência do conceito normativo de pobreza como restrição de
renda desde a criação do cadastro possa denotar um aparente consenso no interior
do Estado, a pesquisa levantou diversos pontos de fricção entre as inscrições pro-
duzidas pelos entes que atuam na rede do Cadastro Único. Gestão do cadastro,
gestão dos programas usuários, órgãos do controle, Sagi, instituições de pesquisa,
todos esses entes atuam nos processos de estabilização e desestabilização dos con-
ceitos e práticas do cadastro, cada qual com suas próprias formas de inscrição e
perspectivas de atuação.
O exame da interação entre esses vários entes e o Cadastro Único nos permi-
tiu demonstrar que há compreensões distintas dentro da burocracia federal acerca
do entendimento da pobreza. Estas não se manifestam de forma direta ou até
mesmo consciente, mas sim por meio dos agenciamentos múltiplos e justapostos
dos diferentes entes, como é possível observar nas mudanças do questionário de
cadastramento ou nas disputas sobre a autodeclaração dos dados.
Ademais, uma contribuição importante para o debate da PPBE trata da
mútua-afetação entre as inscrições produzidas pelo próprio Estado. Se, por um
lado, o cadastro foi se conformando e se moldando em sua interação com outras
bases de dados e sistemas de informação dos programas usuários, a partir das re-
comendações dos entes do controle e de pesquisas científicas, por outro lado, os
efeitos dessa relação também são observados sobre essas fontes de inscrição. Por
exemplo, a permeabilidade que estudos e pesquisas sobre a pobreza adquiriam nas
políticas sociais por meio das categorias e dos processos estabelecidos pelo Cadastro
Único. O mesmo pode ser dito quanto aos sistemas dos programas usuários que
validam ou são validados pelo Cadastro Único. E quanto às recomendações dos
entes de controle, notou-se um interessante uso simbólico desse tipo de inscrição
para legitimar mudanças no cadastro.
O que queremos dizer é que esta dinâmica interacional do Cadastro Único
o constitui como um ator-rede que atua como mediador, tradutor e, por vezes,
controlador de processos de estabilização de práticas e conceitos dentro do aparato
estatal. Desta forma, não há como negar o papel do cadastro na ampliação do que
conhecemos sobre a pobreza no Brasil, criando novos públicos e reconhecendo

novas identidades, como fica claro ao analisarmos os campos no formulário do
cadastro dos GPTEs, da população em situação de rua e do nome social.
Por fim, contudo, também não podemos deixar de registrar a importância de
sempre se relembrar, como os estudos de CTS chamam a atenção, os limites que
qualquer artefato informacional que se pretende produtor de evidências carrega.
Ele sempre será fruto de uma prática que reduz e aplaina as contingências e as
peculiaridades locais, uma vez que constrói significados a partir de determinados
enquadramentos – estes produzidos por uma burocracia que, podemos afirmar,
muito pouco ou nada vivencia a pobreza em seu dia a dia. Neste sentido, a busca
crescente pela coerência e pela conformidade dos dados em detrimento da di-
versificação das formas de expedição à pobreza, assim como a total ausência de
consulta ou contato com os inscritos, parece um caminho para apequenar o nosso
conhecimento e até mesmo perder o que se conhecia.
REFERÊNCIAS
AL DAHDAH, M. From evidence-based to market-based health: itinerary of a
mobile (for) development project. Science, Technology, & Human Values, v. 44,
n. 6, p. 1048-1067, 2019. Disponível em: <https://bit.ly/35mrdZc>.
Science Communication, v. 26, n. 1, p. 75-106, 2004. Disponível em: <https://
bit.ly/3r1aa7r>.
AUYERO, J. Pacientes del Estado. Ciudad Autónoma de Buenos Aires: Eudeba, 2016.
BACHTOLD, I. V. Precisamos encontrá-los! Etnografia dos números do Cadastro
Único e dos cruzamentos de base de dados do governo federal brasileiro. 2017.
Dissertação (Mestrado) – Universidade de Brasília, Brasília, 2017.
BRANDMAYR, F. How social scientists make causal claims in court: evidence
from the l’aquila trial. Science, Technology, & Human Values, v. 42, n. 3,
p. 346-380, 2016.
BRASIL. Decreto no 6.135, de 26 de junho de 2007. Dispõe sobre o Cadastro
Único para programas sociais do governo federal e dá outras providências. Diário
Oficial da União, Brasília, 27 jun. 2007.
______. Diversidade no Cadastro Único: respeitar e incluir. Brasília: MDS, 2014.
Disponível em: <https://bit.ly/2Zjgo74>.
______. Ministério da Cidadania. Secretaria de Avaliação e Gestão da Informação

(Sagi). Catálogo de ferramentas informacionais desenvolvidas pela Sagi. Bra-
sília: Ministério da Cidadania, [s.d.]. Disponível em: <https://bit.ly/3Br34uR>.
CALLON, M. The laws of the markets. Oxford; Malden: Blackwell Publishers;
Sociological Review, 1998. 278 p.
CUKIERMAN, H. L. Abrindo mão da polarização entre o técnico e o social/
cultural. Pesquisas e Práticas Psicossociais, v. 6, n. 2, p. 211-219, 2011.
DEWEY, J. The public and its problems. Chicago: Swallow, 1927.
DIREITO, D.; KOGA, N. M. Instrumentos e integração de políticas públi-
cas: a rede do Cadastro Único. Revista de Administração Pública, v. 54, n. 5,
p. 1286-1306, 2020.
DIREITO, D. et al. As possibilidades e os limites do Cadastro Único como meca-
nismo de coordenação federativa e de intersetorialidade de políticas públicas. In:
XIMENES, D. (Org.). Implementação de políticas públicas: questões sistêmicas,
federativas e intersetoriais. Brasília: Enap, 2018.
dades estatais para produção de políticas públicas: resultados do survey sobre
serviço civil no Brasil. Brasília: Enap, 2018.
FEITOSA, P. H. F. O cidadão codificado: a digitalização da cidadania bancos de
dados de interesse público. Rio de Janeiro: Coppe, 2010.
GRIN, E. J. Controle externo e policy making? A atuação do TCU junto à
administração pública federal. Rio de Janeiro: Ipea, 2020. (Texto para Discussão,
n. 2595).
HARAWAY, D. J. Situated knowledges: the science question in feminism as a
site of discourse on the priviledge of partial perspective. Feminist Studies, v. 14,
n. 3, p. 575-599, 1988.
______. Manifesto ciborgue: ciência, tecnologia e feminismo-socialista no final
do século XX. In: SILVA, T. T. D. (Ed.). Antropologia do ciborgue: as vertigens
do pós-humano. Belo Horizonte: Autêntica Editora, 2000.
JACCOUD, L. Pobres, pobreza e cidadania: os desafios recentes da proteção
social. Brasília: Ipea, 2009. (Texto para Discussão, n. 1372).
KOGA, N. M.; VIANA, R.; MARQUES, I. C. Usos e significados do Cadastro
Único para os programas sociais federais: fonte de evidências técnico-instrumentais
ou retratos técnico-político-sociais? Boletim de Análise Político-Institucional,
n. 24, p. 69-77, 2020. Disponível em: <https://bit.ly/3FXvzm3>.
KOGA, N. M. et al. O que informa as políticas públicas federais: o uso e o não

uso de evidências pela burocracia federal brasileira. Rio de Janeiro: Ipea, 2020.
(Texto para Discussão n. 2619).
LATOUR, B. Jamais fomos modernos: ensaio de antropologia simétrica. 1. ed.
Rio de Janeiro: Editora 34, 1994.
______. Ciência em ação: como seguir cientistas e engenheiros sociedade afora.
São Paulo: Unesp, 1997.
______. On recalling ANT. In: LAW, J.; HASSARD, J. (Ed.). Actor-network
theory and after. Oxford: Blackwell Publisher, 1999.
______. Reagregando o social: uma introdução à teoria do ator-rede. Salvador:
EDUFBA, 2012.
LATOUR, B.; WOOLGAR, S. A vida de laboratório: a produção dos fatos
científicos. Rio de Janeiro: Relume Dumará, 1997.
LAW, J. Notes on the theory of the actor-network: ordering, strategy and hetero-
geneity. Systems Practices, v. 5, n. 4, p. 379-393, 1992.
LINDÉN, L. Moving evidence: patients’ groups, biomedical research, and affects.
Science, Technology, & Human Values, v. 46, n. 4, p. 815-838, 2020.
MICHAEL, M. On making data social: heterogeneity in sociological practice.
Qualitative Research, v. 4, n. 1, p. 5-23, 2004.
MOORE, A.; STILGOE, J. Experts and anecdotes: the role of “anecdotal evidence”
in public scientific controversies. Science, Technology, & Human Values, v. 34,
n. 5, p. 654-677, 2009.
MOSTAFA, J.; SANTOS, T. Limitações de um teste de meios via predição de
renda: evidências de uma aplicação no Programa Bolsa Família. Rio de Janeiro:
Ipea, 2016. (Texto para Discussão, n. 2238).
MOURA, C. D. O Programa Bolsa Família no campo das políticas públicas.
2013. Dissertação (Mestrado) – Universidade de Brasília, Brasília, 2013.
NOGUEIRA, R. A.; GAETANI, F. A questão do controle no debate da governan-
ça pública. Boletim de Análise Político-Institucional, n. 19, p. 91-100, 2018.
NOWOTNY, H. How many policy rooms are there? Evidence-based and other
kinds of science policies. Science, Technology, & Human Values, v. 32, n. 4,
p. 479-490, 2007.
da União: como atuam e que informações utilizam. Boletim de Análise Políti-
co-Institucional, n. 24, p. 103-125, 2020.
PINHEIRO, M. Políticas públicas baseadas em evidências: uma avaliação crítica.

Boletim de Análise Político-Institucional, n. 24, p. 17-28, 2020.
PIRES, R. R. C. O trabalho na burocracia de médio escalão e sua influência nas
políticas públicas. In: PIRES, R.; LOTTA, G.; OLIVEIRA, V. E. (Ed.). Burocracia
de políticas pública no Brasil: intersecções analíticas. Brasília: Ipea: Enap, 2018.
SHAPIN, S. Nunca pura: estudos históricos de ciência como se fora produzida
por pessoas com corpos, situadas no tempo, no espaço, na cultura e na sociedade e
quem se empenham por credibilidade e autoridade. Minas Gerais: Fino Traço, 2013.
SCHNEIDER, A. L.; INGRAM, H. M. Deserving and entitled: social construc-
tions and public policy. New York: University of New York Press, 2004. (Suny
Series in Public Policy).
SOARES, S. S. D. Metodologias para estabelecer a linha de pobreza: objetivas,
subjetivas, relativas, multidimensionais. Rio de Janeiro: Ipea, 2009. (Texto para
TOMAZINI, C. Beyond consensus: ideas and advocacy coalitions around cash
transfer programs in Brazil and Mexico. Critical Policy Studies, p. 23-42, 2017.
Disponível em: <https://bit.ly/3H2r1MG>.
TRAWEEK, S. Beamtimes and lifetimes: the world of high-energy physicists.
Cambridge: Harvard University Press, 1988.
VIEIRA, A. M. M. A multiestratégia de implementação do Programa Bolsa
Família e do Cadastro Único no período 2005-2007. 2011. Dissertação (Mes-
trado), Escola Nacional de Saúde Pública Sérgio Arouca, Rio de Janeiro, 2011.
Review, v. 39, n. 5, p. 426-431, 1979.
CAPÍTULO 18
INICIATIVAS PARA A INSTITUCIONALIZAÇÃO DO USO DE

EVIDÊNCIAS NO PROCESSO REGULATÓRIO NA ANEEL –
UM ESTUDO DE CASO DE AGÊNCIA REGULADORA1
André Ramon Silva Martins2
Carmen Silvia Sanches3
Thelma Maria Melo Pinheiro4
1 INTRODUÇÃO
O objetivo deste capítulo é apresentar as iniciativas da Aneel para a instituciona-
lização do uso de evidências no processo de regulação.
A Aneel é uma autarquia sob regime especial, vinculada ao Ministério de Minas
e Energia (MME) e foi instituída por meio da Lei no 9.427, de 26 de dezembro de
1996. Posteriormente, o Decreto no 2.335, de 6 de outubro de 1997, dispôs sobre
a constituição da agência e aprovou sua estrutura regimental (Brasil,1996; 1997).
As principais atribuições da Aneel são:
• regular a geração, transmissão, distribuição e comercialização de energia elétrica;
• fiscalizar as concessões, as permissões e os serviços de energia elétrica;
• implementar as políticas e diretrizes do governo federal relativas à explo-
ração da energia elétrica e ao aproveitamento dos potenciais hidráulicos;
• estabelecer tarifas de energia elétrica;
• dirimir as divergências, na esfera administrativa, entre os agentes e entre
esses agentes e os consumidores; e
• promover as atividades de outorgas de concessão, permissão e autori-
zação de empreendimentos e serviços de energia elétrica, por delegação
do governo federal.
1. Este material expressa exclusivamente a posição dos autores, não representando a instituição para a qual trabalham.
2. Analista de infraestrutura da Agência Nacional de Energia Elétrica (Aneel). E-mail: <ramon_br@yahoo.com>.
3. Especialista em regulação da Aneel e superintendente adjunta da Superintendência de Pesquisa e Desenvolvimento
e Eficiência Energética (SPE) da Aneel. E-mail: <cssanches@aneel.gov.br>.
4. Especialista em regulação da Aneel, coordenadora de monitoramento e procedimentos de rede da Superintendência
de Regulação dos Serviços de Transmissão (SRT) e secretária executiva da Comissão Técnica de Apoio às Boas Práticas
Regulatórias (CT-REG) da Aneel. E-mail: <tpinheiro@aneel.gov.br>.
A Aneel possui uma estrutura organizacional em dois níveis, configuração

que busca proporcionar mais agilidade e eficiência nas decisões. As unidades or-
ganizacionais são divididas de acordo com os macroprocessos da agência.
Seis superintendências estão associadas ao macroprocesso de regulação:
• Superintendência de Regulação dos Serviços de Distribuição (SRD);
• Superintendência de Regulação dos Serviços de Geração (SRG);
• Superintendência de Regulação dos Serviços de Transmissão (SRT);
• Superintendência de Pesquisa e Desenvolvimento e Eficiência Energética (SPE);
• Superintendência de Regulação Econômica e Estudos de Mercado (SRM); e
• Superintendência de Gestão Tarifária (SGT).
Diferentemente de outras agências reguladoras federais, devido à sua estrutura
mais horizontal, a Aneel não conta com uma unidade organizacional responsável
pelo acompanhamento da qualidade regulatória e pela disseminação das boas
práticas de regulação. Essa condição fez com que a agência buscasse outras formas
de atuar na governança regulatória, estabelecendo a cooperação mútua entre as
unidades organizacionais formalmente instituídas.
Nesse sentido, a melhoria da governança regulatória tem apontado para a
necessidade de processos regulatórios mais analíticos e menos intuitivos, basea-
dos na utilização de dados e informações que tragam evidências mais claras dos
problemas regulatórios e do desempenho das intervenções regulatórias existentes,
permitindo a adoção de soluções mais eficientes, com transparência e participação
dos agentes e da sociedade.
Muitas das ações da Aneel para o estabelecimento do uso de evidências no
processo de regulação estão relacionadas à análise de impacto regulatório (AIR),
ao monitoramento da regulação, à gestão de dados e informações e à avaliação de
resultado regulatório (ARR).
Embora existam outras ferramentas e iniciativas que contribuam de forma
direta ou indireta para a regulação com base em evidências, essas quatro iniciati-
vas serão exploradas devido à sua expressiva importância no aprimoramento da
regulamentação dos normativos expedidos pela Aneel.
2 METODOLOGIA
Neste capítulo, que apresenta o estudo de caso de evidências no processo de regu-
lação da Aneel, foi adotado o que Yin (2001) denomina de “estudo de caso único”,
o qual enfoca um único caso, justificando as causas do estudo, de natureza crítica
e única, dada a peculiaridade do sujeito e do objeto de estudo.
Iniciativas para a Institucionalização do Uso de Evidências no Processo | 581
Regulatório na Aneel – um estudo de caso de agência reguladora
A técnica de estudo de caso permite a representação de uma situação da re-

alidade como base para reflexão e aprendizagem. Nesse contexto, a realização de
estudo de caso único, segundo Yin (2001), é justificável em várias circunstâncias,
entre elas, quando é: i) representativo, isto é, trata-se de um projeto típico entre
muitos outros projetos e o que é aprendido desse caso fornece informações sobre
experiências para outros; e ii) um caso longitudinal, sendo possível estudar o mesmo
caso único em dois ou mais momentos distintos. Assim sendo, busca-se, de fato,
particularizar o uso de evidências na tomada de decisão das agências reguladoras
a partir da trajetória que a Aneel vem seguindo em seus processos regulatórios,
com base especialmente em pesquisa documental e na observação participante.
3 O CICLO REGULATÓRIO E O USO DE EVIDÊNCIAS

Desde o início de suas atividades, a Aneel orientou suas decisões para que fossem
tomadas com base em fatos e evidências. A Norma de Organização (NO) no 1,
aprovada pela Resolução Aneel no 233, de 14 de julho de 1998, que dispõe sobre
os procedimentos para o funcionamento, a ordem dos trabalhos e os processos
decisórios da diretoria da Aneel, já possuía em sua primeira versão disposição para
que seus processos administrativos observassem a “indicação dos pressupostos de
fato e de direito que determinarem a decisão” (Aneel, 1998).
Para cumprir tal determinação, no processo regulatório, as decisões são
orientadas por notas técnicas elaboradas pelas unidades organizacionais, as quais
devem contar os fatos e a análise do caso concreto, explicitando a motivação para
a conclusão e a recomendação apresentadas para o assunto em análise.
No mesmo sentido, toda decisão da diretoria colegiada orienta-se pelo voto
do diretor relator e de eventuais votos de outros diretores, que também contêm
os fundamentos considerados para tomada de decisão. Cabe destacar que as de-
cisões da diretoria que envolvam os interesses dos agentes do setor elétrico e dos
consumidores são tomadas em reuniões públicas abertas à sociedade, sendo que
qualquer pessoa tem direito a se manifestar sobre os assuntos em deliberação.
Assim, caso haja dúvida ou discordância sobre a fundamentação adotada, podem
ser apresentadas novas evidências para análise da diretoria colegiada.
Um avanço relevante para o uso de evidências no processo regulatório
foi a decisão da diretoria colegiada, em 10 de agosto de 2010, de que a Aneel
realizasse, com o apoio da Casa Civil, por meio do Programa de Fortalecimen-
to da Capacidade Institucional para Gestão em Regulação (PRO-REG),5 sua
5. O PRO-REG foi instituído em março de 2007 pela Casa Civil, em conjunto com o então Ministério da Fazenda e o
Ministério do Planejamento, Orçamento e Gestão. Suas principais finalidades incluem a contribuição para a melhoria
do sistema regulatório nacional, da coordenação entre as instituições que participam do processo regulatório exercido
no âmbito do governo federal, dos mecanismos de prestação de contas e de participação e monitoramento por parte da
sociedade civil e da qualidade da regulação de mercados (Decreto no 6.062/2007, alterado pelo Decreto no 8.760/2016).
primeira análise de impacto regulatório, cujo projeto-piloto foi a implanta-

ção de medidores inteligentes nas unidades consumidoras do grupo B (baixa
tensão). A AIR desse projeto-piloto foi inclusa como anexo na Nota Técnica
no 73/2011-SRD-CGA-ASS-SPG-SGE-SPE-SMA/Aneel, de 15 de dezembro
de 2011, que apresentou recomendações para implementação da metodologia
na Aneel (Aneel, 2011).
A análise de impacto regulatório pode ser definida, conforme consta da NO
n 40 da Aneel, na versão original aprovada pela Resolução Normativa (REN)
o
no 798, de 12 de dezembro de 2017, como o

processo sistemático de análise baseado em evidências que busca avaliar, a partir da
definição de um problema regulatório, os possíveis impactos das alternativas de ação
disponíveis para o alcance dos objetivos pretendidos, tendo como finalidade orientar
e subsidiar a tomada de decisão (Aneel, 2017b).
No ciclo regulatório adotado pela agência, a AIR é realizada posteriormente
à inclusão do tema na agenda regulatória e, como regra, previamente à elaboração
de eventual minuta de ato normativo.
Até esse momento, o processo regulatório era linear, consistindo na iden-
tificação de uma situação-problema, de sua inclusão na agenda regulatória e da
definição e publicação da intervenção regulatória, sempre com a participação da
sociedade. Assim, o processo encerrava-se com a publicação da resolução normativa.
Entretanto, desde a publicação da NO no 40, em sua versão original, aprovada
pela REN no 540, de 12 de março de 2013, foi introduzido um novo elemento no
ciclo regulatório: a ARR. Conforme definição atual empregada na Aneel, a ARR
é um instrumento de avaliação do desempenho do ato normativo adotado ou
alterado, considerando o atingimento dos objetivos e resultados pretendidos, bem
como demais impactos observados sobre o mercado e a sociedade em decorrência
de sua implementação (Aneel, 2013).
Para a realização de uma efetiva avaliação de resultado regulatório, dois
elementos são essenciais: i) a definição dos objetivos que se pretendem alcançar
quando da definição da intervenção regulatória; e ii) o monitoramento de seus
efeitos ao longo do tempo.
Com isso, o processo regulatório se tornou um ciclo, em que os efeitos da
intervenção regulatória são acompanhados ao longo do tempo e são um dos in-
sumos para a realização da ARR. Eventuais problemas regulatórios identificados
nesse momento são então inclusos na agenda regulatória, fechando o ciclo. Uma
representação desse relacionamento é apresentada na figura 1.
FIGURA 1
Ciclo regulatório
Agenda
ARR
regulatória
Participação
social
Monitoramento AIR
Intervenção
regulatória
Para 2021, há a previsão da realização pela Aneel de 26 AIRs. Também estão

previstas três ARRs, a saber:
• ARR dos requisitos mínimos de manutenção e o monitoramento da
manutenção de instalações de transmissão de rede básica estabelecidos
na REN no 669, de 14 de julho de 2015;
• ARR das bandeiras tarifárias, submódulo 6.8 dos procedimentos de
regulação tarifária (Proret), sobre todos os aspectos da norma (regra de
acionamento, comunicação e conhecimento dos stakeholders, estabilidade
tarifária e equilíbrio econômico e financeiro das concessões e repasses da
conta bandeiras); e
• revisão da NO no 40, de 12 de março de 2013, que dispõe sobre a reali-
zação de AIR no âmbito da agência, aprovada por meio da REN no 798,
de 12 de dezembro de 2017.
Exemplo da atuação da agência no uso de evidências como subsídio do
processo decisório é a utilização dos dados de reclamações oriundos da ouvidoria
para motivar e reforçar a necessidade de revisão de matérias reguladas. São exem-
plos de tais procedimentos os processos referentes a alterações na regulamentação
sobre os procedimentos de leitura de sistemas de medição para faturamento em
unidades consumidoras (Audiência Pública Aneel no 28/2018) e aprimoramento
da regulamentação sobre as informações constantes na fatura de energia elétrica
(Audiência Pública Aneel no 14/2016).
Cabe destacar ainda a relevância que o processo de participação pública pos-

sui para a atividade regulatória na Aneel. Confirmando essa importância, a Aneel
instalou em 2018 a Comissão de Apoio ao Processo Regulatório sob a Perspectiva
do Consumidor, fórum opinativo que visa incrementar a participação social no
processo decisório e garantir que a visão do consumidor seja avaliada nos debates
realizados, por meio da análise da regulamentação. A comissão é formada por
instituições de diversos segmentos, com a expectativa de obter as opiniões dos
representantes das cinco principais classes de consumo (industrial, comercial, rural,
residencial e poder público) antes da tomada de decisão.
A visão dos consumidores também é apresentada pelos conselhos de con-
sumidores, presentes nas diversas áreas de concessão, os quais são formados por
representantes das principais classes das unidades consumidoras (residencial, rural,
poder público, comercial e industrial), com a incumbência de opinar sobre assuntos
relacionados à prestação do serviço público de energia elétrica.
A seguir, são discutidos em detalhes os três elementos que intensificam o uso
de evidências no processo regulatório da Aneel: AIR, monitoramento da regula-
ção e ARR, como também a gestão de dados e informações adotada para suprir a
necessidade de evidências.
4 ANÁLISE DE IMPACTO REGULATÓRIO

O processo normativo vem se tornando cada vez mais minucioso, baseado em da-
dos e informações, permitindo que a participação pública seja mais efetiva. Nesse
sentido, a AIR tem se mostrado uma ferramenta muito importante para efetivar
o uso de evidências na elaboração dos regulamentos.
A seguir, apresenta-se uma visão geral de sua implantação na Aneel, com
foco em como o uso de evidências foi sendo aprimorado no processo normativo.
Após a conclusão do projeto-piloto de implantação de medidores inteligentes,
mencionado anteriormente, os passos seguintes da Aneel para a institucionalização
da AIR foram a constituição da Comissão Técnica de Apoio à Análise de Impacto
Regulatório (CT-AIR) em 2012, hoje Comissão Técnica de Apoio às Boas Práticas
Regulatórias (CT-REG), e a publicação da NO no 40.
A CT-AIR foi originalmente constituída de acordo com os objetivos a seguir.
1) Elaborar resolução normativa que formalizasse a instituição da AIR na
Aneel e disciplinasse os procedimentos a serem observados na agência
para a consecução dessa finalidade.
2) Acompanhar e dar apoio técnico às áreas regulatórias da Aneel na aplica-
ção de AIR, inclusive mediante a orientação a respeito de como utilizar
ferramentas de AIR nas notas técnicas.
3) Coordenar a troca de experiências com outras agências reguladoras no

Brasil e exterior no que se refere à AIR.
4) Avaliar alternativas de capacitação de servidores que possam atuar como
multiplicadores e, assim, disseminar as metodologias de AIR em suas
respectivas áreas.
Atualmente, a CT-REG mantém os objetivos dois e três, além de possuir
duas outras atribuições:
• acompanhar e dar apoio técnico às áreas regulatórias da Aneel nas ativi-
dades de monitoramento e avaliação da regulação, inclusive com relação
à ARR; e
• prestar apoio à diretoria na análise dos pedidos de dispensa de AIR quando
da elaboração da agenda regulatória.
O primeiro objetivo da então CT-AIR foi cumprido com a publicação da
NO no 40. Na ocasião, a AIR era definida como o procedimento por meio do
qual são providas informações sobre a necessidade e as consequências da regulação
que está sendo proposta. Tal procedimento também verificava se os benefícios
potenciais da medida excedem os custos estimados, bem como se, entre todas as
alternativas avaliadas para alcançar o objetivo da regulação proposta, a ação seria
a mais benéfica para a sociedade.
A NO no 40 previa então, como regra, que: a AIR fosse apresentada em for-
mato de formulário (cujo modelo acompanhava a norma); a AIR fosse submetida
a processo de participação pública em conjunto com a minuta de ato normativo;
e a própria norma fosse avaliada depois de decorridos três anos de sua publicação.
Não havia previsão para casos de dispensa de AIR.
Um dos desafios enfrentados a partir de então foi realizar uma mudança
de cultura interna na forma de conduzir os processos normativos. Foi necessário
evoluir a visão que alguns servidores possuíam de que a AIR era apenas mais uma
etapa burocrática para a compreensão de que é elemento essencial para se produzir
uma melhor regulação, antecipando a participação da sociedade para a discussão
sobre as alternativas para enfrentar um determinado problema regulatório e mesmo
se esse problema regulatório de fato necessita de intervenção. Elemento essencial
para essa mudança de cultura, que se deu de forma gradual, foi o forte apoio da
diretoria colegiada para o desenvolvimento da AIR e os benefícios que foram sendo
verificados ao longo do tempo.
Conforme previsto, a NO no 40 foi revisada em um processo que resultou na
publicação da REN no 798, de 12 de dezembro de 2017. Até então, a Aneel já havia
realizado 135 AIRs em processos que resultaram em publicação de resolução normativa.
O processo de revisão da NO no 40 ocorreu de forma paralela à discussão

conduzida então pela Casa Civil com as agências reguladoras e outros órgãos sobre
a elaboração de um documento que tinha a finalidade de orientar a elaboração e a
aplicação da AIR no governo federal. O produto resultante desse processo coletivo
de construção, apresentado em 2018, foi dividido em duas partes.
A primeira parte foram as Diretrizes gerais e roteiro analítico sugerido para
análise de impacto regulatório – diretrizes gerais AIR, que trazem orientações para
a implementação prática da AIR por qualquer órgão da administração pública,
apresentando um conjunto de padrões mínimos comuns para a aplicação dessa
ferramenta. A segunda foi o Guia orientativo para elaboração de análise de impacto
regulatório – guia AIR, com o objetivo de orientar e auxiliar tecnicamente qualquer
pessoa na elaboração da AIR (Brasil, 2018).
Pelo fato de a Aneel ter participado ativamente das discussões desse documento,
a NO no 40 revista já estava totalmente alinhada com as diretrizes gerais e com o
guia AIR, mesmo com a publicação desses documentos se dando posteriormente
à revisão da norma.
Entre as inovações presentes na revisão da NO no 40, ressalta-se que o conceito
de AIR foi alterado. Passou-se a apresentar o AIR como o processo sistemático de
análise baseado em evidências que busca avaliar, a partir da definição de um pro-
blema regulatório, os possíveis impactos das alternativas de ação disponíveis para
o alcance dos objetivos pretendidos, tendo como finalidade orientar e subsidiar
a tomada de decisão. Verifica-se o destaque dado para a necessidade do uso de
evidências no processo normativo.
Passou-se também a orientar que a apresentação da AIR seja no formato
de relatório, em substituição ao formulário anterior. A utilização do formulário,
apesar de ter se mostrado adequada no início do processo de implantação da AIR,
limitava o detalhamento e o conteúdo da análise realizada e podia conduzir a AIR
meramente formais, o que era potencializado pelo fato de ser discutida conjunta-
mente com o ato normativo.
Outras inovações relevantes foram a submissão, como regra, do relatório de
AIR à primeira fase de processo específico de participação pública anteriormente
à elaboração de eventual minuta de ato normativo e o estabelecimento de casos
de dispensa e de não aplicação da AIR. Foi previsto ainda que a NO no 40 fosse
objeto de ARR decorridos três anos de vigência.
A partir daí, a agência se organizou internamente, adotando procedimentos
inovadores e se antecipando às mudanças externas. O significativo esforço na
capacitação do quadro de servidores da agência foi um elemento relevante para o
avanço na qualidade das AIRs realizadas pela agência.
Umas das atividades mais importantes nesse sentido foi a realização do curso
de especialização em análise de impacto regulatório, realizado pela Universidade
de Brasília (UnB) para a Aneel, com carga horária de 405 horas, entre 2015 e
2017. As disciplinas do curso foram divididas em dois grupos. O primeiro grupo
envolvia a capacitação em ferramentas a serem utilizadas no desenvolvimento das
AIRs, como estatística, matemática, modelos de regressão, microeconomia e análise
de dados em R. O segundo, a aplicação prática dessas ferramentas, em disciplinas
como modelo de custo padrão, análise custo-benefício, análise multicritério e
AIR na prática. Ao final do curso, os alunos desenvolveram análises de impacto
regulatório completas sobre temas relevantes para a agência.
A realização desse curso de especialização permitiu a Aneel dar um salto de
qualidade nas suas AIRs e envolveu um expressivo número de servidores, difun-
dindo entre as áreas de regulação as boas práticas para a realização da análise de
impacto regulatório.
Outra atividade que trouxe significativos avanços na qualidade das análises
de impacto regulatório desenvolvidas na agência foi a aplicação de princípios e
ferramentas originárias da abordagem de design thinking no desenvolvimento das
AIRs. O design thinking é uma abordagem que combina um conjunto de princípios,
ferramentas e processos extraídos da prática do desenho industrial para permitir
que pessoas consigam desenvolver soluções inovadoras e efetivas para problemas
complexos. As etapas típicas propostas pela abordagem do design thinking (enten-
dimento e definição do problema, ideação e implementação) podem ser facilmente
transpostas para um estudo de AIR.
Um marco nesse sentido foi a apresentação realizada na Aneel pela Agência
Nacional de Vigilância Sanitária (Anvisa), intitulada O Design Thinking Aplicado à
AIR na Anvisa, na qual foi abordado o conjunto de ferramentas de design thinking
para AIR.6 A aplicação dessas metodologias em AIR na Aneel em temáticas como
segurança cibernética, adequações regulatórias para implantação de usinas híbridas
e aprimoramento da regulação relacionada à contratação de acesso de múltiplas
centrais geradoras trouxe significativos ganhos no processo de elaboração das análises,
seja em termos de prazo de realização, seja na construção coletiva do documento.
Um elemento fundamental para o desenvolvimento das AIRs e essencial para
a obtenção e discussão das evidências sobre determinado problema regulatório é a
realização de atividades de participação pública ao longo do desenvolvimento das
análises. O diálogo com a sociedade é fundamental para identificar evidências e
validar as hipóteses levantadas na definição do problema e da proposta de inter-
venção regulatória.
6. Ver mais em: <https://bit.ly/3mcAM2T>. Acesso em: 25 out. 2021.

Para a discussão sobre as evidências de um problema, é ideal que o processo

de participação pública se dê no início das discussões, podendo ocorrer de diversas
formas, como workshops, reuniões com grupos focais e tomadas de subsídios. Mas
o envolvimento da sociedade também pode ser realizado ao longo do processo
para se validar os avanços realizados até o momento, por exemplo, após a definição
do problema regulatório, dos objetivos da intervenção e da relação das soluções e
alternativas para enfrentamento desse problema e alcance desses objetivos.
É essencial que a participação pública seja realizada também ao final da ela-
boração da AIR para se discutir e buscar validar a alternativa selecionada como a
mais adequada para enfrentar o problema regulatório. Na Aneel, esse momento de
discussão ao final da AIR é obrigatório e se dá, na maioria das vezes, em processos
conduzidos pela diretoria colegiada da agência.
A relevância dada para a identificação das evidências sobre o problema que
se quer enfrentar pode ser ilustrada pela criação, feita pela Escola Nacional de
Administração Pública (Enap), do serviço Evidência Express (Evex).7 Esse serviço
tem como objetivo oferecer uma organização rápida da evidência existente sobre
algum problema específico para subsidiar tomada de decisões com base em evidên-
cias. As entregas realizadas pelo Evex podem envolver: a magnitude e a evolução
do problema no Brasil, em comparação com o mundo, regiões ou blocos; o perfil
da população afetada pelo problema e pela incidência do problema em diferentes
grupos; as consequências do problema; as causas do problema; as soluções de
enfrentamento ao problema existentes no Brasil e no mundo; e a evidência de
impacto de soluções existentes.
A análise de impacto regulatório, aplicada como boa prática pelas agências
reguladoras ao longo dos últimos anos, tornou-se uma obrigação para toda a ad-
ministração pública federal a partir da publicação do Decreto no 10.411, de 30 de
junho de 2020 (Brasil, 2020). Esse decreto regulamentou as disposições sobre AIR
previstas na Lei das Agências Reguladoras8 (Brasil, 2019a) e na Lei de Liberdade
Econômica9 (Brasil, 2019b).
Esse decreto trouxe inovações em relação ao texto das diretrizes gerais para
elaboração da AIR. Uma das mais significativas foi a necessidade de se identificar
os custos regulatórios das alternativas de intervenção regulatória. Esse custos são
definidos como a estimativa dos custos, diretos e indiretos que possam vir a ser
incorridos pelos agentes econômicos, pelos usuários dos serviços prestados e, se for
o caso, por outros órgãos ou entidades públicas, para estar em conformidade com
as novas exigências e obrigações a serem estabelecidas pelo órgão ou pela entidade
7. Para mais informações sobre a Evidência Express, ver: <https://bit.ly/3ChKGpi>. Acesso em: 25 out. 2021.
8. Lei no 13.848, de 25 de junho de 2019.
9. Lei no 13.874, de 20 de setembro de 2019.
competente, além dos custos que devam ser incorridos pelo órgão ou pela entidade
competente para monitorar e fiscalizar o cumprimento dessas novas exigências e
obrigações por parte dos agentes econômicos e dos usuários dos serviços prestados.
Para apoiar o desenvolvimento das AIRs e já alinhado às disposições do
decreto, foi publicado o Guia para Elaboração de Análise de Impacto Regulatório
(Brasil, 2021b) pela Secretaria de Advocacia da Concorrência e Competitividade
(Seae) do Ministério de Economia.
Sobre o uso de evidências, esse guia destaca, por exemplo, o documento
Recomendação sobre Melhoria da Qualidade Regulatória (Recommendation of the
council on improving the quality of government regulation) da Organização para a
Cooperação e Desenvolvimento Econômico (OCDE), de 2021, que propõe um
roteiro segundo o qual a boa regulação deve, entre outros, ser fundamentada em
evidências e proporcional ao problema identificado (OECD, 2021).
Considerando as disposições do Decreto no 10.411, de 30 de junho de 2020,
e possíveis impactos sobre as atividades exercidas pela Aneel, a NO no 40 passou
por uma adequação ao texto do decreto, implementada por meio da REN no 941,
de 6 de julho de 2021, e está prevista sua revisão de mérito (Aneel, 2021a).
Para tanto, inicialmente será realizada uma ARR sobre a NO no 40, buscando
verificar se a norma cumpriu seus objetivos e se ainda há problemas regulatórios
a serem enfrentados. Em seguida, será realizada uma AIR buscando identificar as
alternativas mais adequadas para o enfrentamento dos problemas então especifica-
dos. Após a conclusão dos dois estudos, que serão submetidos à ampla participação
social, será definido então o texto normativo de revisão da NO no 40.
Cabe destacar que uma das grandes vantagens da análise de impacto regu-
latório é a ampla discussão sobre as evidências do problema regulatório, o que
pode inclusive levar à conclusão de que o problema em análise não existe ou não
é relevante a ponto de necessitar da intervenção da agência reguladora.
Por exemplo, no caso da AIR Estudo sobre Sobrecontratação de Montante de
Uso do Sistema de Distribuição na Conexão entre Distribuidoras, a análise concluiu,
entre outros pontos, que
a hipótese inicialmente formulada de que a ausência de regras específicas sobre o tema
poderia estar incentivando a sobrecontratação de MUSD por parte das distribuidoras
acessantes não se confirmou na prática, tendo sido observado que a sobrecontratação
não é um problema generalizado entre as distribuidoras.10
10. O trecho citado faz parte do voto que motivou o Despacho SRD/SRE/Aneel no 2.794, de 25 de agosto de 2015
(disponível em: <https://bit.ly/3D2VY11>).
Dessa forma, as evidências obtidas durante a realização do estudo apontaram

que o problema regulatório considerado não justificava a realização de intervenção
regulatória. Assim, a diretoria colegiada da Aneel decidiu, conforme Despacho
no 2.794, de 25 de agosto de 2015, “não criar regra geral referente à cobrança por
sobrecontratação de Montante de Uso dos Sistemas de Distribuição – MUSD na
conexão entre distribuidoras, tendo em vista não ter sido diagnosticado problema
generalizado entre as distribuidoras” (Aneel, 2015).
Atualmente, ainda que necessite de aprimoramentos, a prática de realização
de AIR já se encontra plenamente difundida na agência, tendo sido realizados
aproximadamente duzentos relatórios de AIR que subsidiaram a tomada de decisão
na emissão de regulamentos.
Com isso, em 2019, 86% das normas propostas pela Aneel, excluídos os casos
de dispensa, que foram levadas à consulta pública continham o relatório de AIR.
Em 2020, o percentual subiu para 94% das normas propostas com AIR.
Como exemplos de AIR desenvolvidas pela Aneel, serão citados dois casos.
O primeiro é o Relatório de Análise de Impacto Regulatório no 4/2018-SRD/SCG/
SMA/Aneel – Revisão das regras aplicáveis à micro e minigeração distribuída –
REN no 482/2012, anexo da Nota Técnica no 108/2018-SRD/SCG/SMA/Aneel.11
Utilizando a metodologia de análise custo-benefício, esse documento discutiu o
sistema de compensação de energia elétrica, mecanismo que permite que a ener-
gia excedente gerada por uma unidade consumidora com micro ou minigeração
seja injetada na rede da distribuidora e posteriormente utilizada para abater o seu
consumo mensal. A participação da sociedade na discussão desse tema está entre
os mais expressivos processos de participação pública da agência.
Outro exemplo é o Relatório de Análise de Impacto Regulatório no 2/2021-SRT-
-SGI-SRD-SRG/Aneel – Análise de Impacto Regulatório (AIR) sobre segurança
cibernética no setor elétrico brasileiro, anexo da Nota Técnica no 20/2021-SRT-
SGI-SRD-SRG/Aneel.12 Esse relatório buscou discutir alternativas para minimizar
os impactos dos incidentes de segurança cibernética no setor elétrico e teve como
inovação a utilização, para comparação entre as alternativas, da metodologia de
análise de risco. Apesar de a metodologia constar entre aquelas previstas no Decreto
no 10.411, foi a primeira vez que foi utilizada em uma AIR da Aneel.
5 MONITORAMENTO DA REGULAÇÃO
O monitoramento da regulação busca gerar evidências sobre as atividades e os im-
pactos de uma intervenção ao longo do tempo de maneira contínua e sistemática.
Segundo a Comissão Europeia, os objetivos do monitoramento da regulação são,
11. Disponível em: <https://bit.ly/3mgN7D6>. Acesso em: 26 out. 2021.

12. Disponível em: <https://bit.ly/3mjmn4I>. Acesso em: 26 out. 2021.
principalmente: i) identificar se a intervenção está sendo implementada conforme o

esperado; ii) abordar quaisquer problemas de implementação de uma intervenção;
e iii) identificar se são necessárias ações adicionais para garantir que possam atingir
os objetivos pretendidos (EC, 2017).
A atividade de monitoramento sempre foi realizada pela Aneel, historicamente
no acompanhamento de indicadores setoriais, como, por exemplo, os indicadores
de Duração Equivalente de Interrupção por Unidade Consumidora (DEC) e o de
Frequência Equivalente de Interrupção por Unidade Consumidora (FEC), e mais
recentemente no acompanhamento da conformidade dos agentes no âmbito da
fiscalização responsiva, na qual se busca graduar as ações de fiscalização conforme
a resposta dos agentes aos comandos regulatórios.
A implantação da fiscalização responsiva na Aneel compreendeu a adoção
de técnicas de regulação responsiva e de ferramentas de inteligência analítica na
fiscalização dos serviços de energia elétrica. Essa estratégia de fiscalização é intensiva
na utilização de evidências e objetiva um melhor emprego dos recursos públicos,
buscando a conformidade regulatória dos agentes setoriais e a melhoria da qualidade
dos serviços por eles prestados (Vieira et al., 2019).
Em relação ao monitoramento realizado pela fiscalização, alguns exemplos
dessa iniciativa podem ser encontrados na página da Aneel, que concede acesso
público às informações: os painéis de desempenho dos serviços de distribuição13 e
transmissão14 disponibilizados pela Superintendência de Fiscalização dos Serviços
de Eletricidade (SFE) e os dados de geração15 publicados pela Superintendência
de Fiscalização do Serviços de Geração (SFG).
Sobre o monitoramento da regulação, na Aneel também existiam ações pon-
tuais, mas que não eram realizadas de forma uniformizada. Com a inclusão da AIR
e da ARR no ciclo regulatório, verificou-se a necessidade de adotar metodologias
formais para monitorar o desempenho da regulação, assim como para retroalimentar
o processo regulatório a partir da avaliação desse desempenho.
Assim, por meio da Portaria no 4.823, de 28 de novembro de 2017, a
diretoria colegiada da Aneel aprovou o planejamento estratégico para o Ciclo
2018-2021, incluindo o Objetivo Estratégico no 3 – aperfeiçoar, simplificar e
consolidar a regulação – e a Iniciativa Estratégica no 3.1.1 – institucionalizar
processo de monitoramento da regulação –, a qual ficou sob responsabilidade da
CT-REG. O produto esperado a partir dessa iniciativa é a apresentação de medidas
institucionais e de guia de boas práticas para o monitoramento e a avaliação de
resultado regulatório (Aneel, 2017a).
13. Disponível em: <https://bit.ly/3mdXzLv>. Acesso em: 25 out. 2021.

14. Disponível em: <https://bit.ly/2XMLEeo>. Acesso em: 25 out. 2021.
15. Disponível em: <https://bit.ly/3nwD24x>. Acesso em: 25 out. 2021.
Para prover suporte à CT-REG nas atividades relacionadas com a institucio-

nalização do monitoramento da regulação, foi constituído um grupo de trabalho
(GT-Monitoramento). Dessa forma, sob a coordenação do GT-Monitoramento,
e no sentido de implementar a primeira etapa da Iniciativa Estratégica no 3.1.1,
foram selecionados seis temas para aplicação de técnicas de monitoramento a título
de projetos-piloto.
Para cada um dos projetos-piloto, foram também designadas equipes mul-
tidisciplinares, envolvendo uma grande quantidade de servidores e unidades
organizacionais. A etapa dos projetos-piloto foi concluída em 2020 com a apre-
sentação de relatórios que irão auxiliar na elaboração dos produtos da Iniciativa
Estratégica no 3.1.1.
Com o objetivo de subsidiar a proposição das medidas e elaboração do guia,
foram desenvolvidas outras iniciativas pelo GT-Monitoramento, tais como: reali-
zação do Seminário Internacional de Monitoramento e Avaliação da Regulação,
ação de capacitação em monitoramento e avaliação pela Enap, reuniões e troca de
experiência com outras agências reguladoras, pesquisa ampla com servidores da
Aneel e entrevistas com lideranças e em oficinas com servidores.
O Seminário Internacional de Monitoramento e Avaliação da Regulação
foi um evento realizado em 2019 para o público interno da Aneel no qual foram
discutidas experiências internacionais com casos práticos de monitoramento e
avaliação do desempenho de políticas públicas e regulação.
Durante o seminário, foram realizadas apresentações e mesas de debates
com representantes dos seguintes organismos internacionais: OCDE, Comisión
Reguladora de Energía (México), Departamento de Evaluación de la Ley de
la Cámara de Diputados (Chile), The Office of Information and Regulatory
Affairs (Estados Unidos), Productivity Commission (Austrália) e Prosperity
Fund (Reino Unido).
O Programa de Capacitação em Monitoramento e Avaliação da Regulação,
ministrado pela Enap, também foi realizado em 2019 e foi direcionado para os
integrantes das equipes dos projetos-piloto contando com a participação de outros
servidores interessados da Aneel. O programa de capacitação foi dividido em oito
módulos, ressaltando-se os seguintes temas relacionados diretamente com o uso
de evidências: monitoramento e fontes de dados, estatística básica aplicada com
R e coletas de dados.
Já em 2020, foi realizado o levantamento das experiências de outras agências
reguladoras por meio da aplicação de questionário eletrônico e de reuniões para
apresentação, discussão e troca de experiências.
Para coletar a percepção e as experiências internas, em 2020, foi realizada uma

pesquisa ampla entre os servidores da Aneel por meio da aplicação de questionário
eletrônico. No final de 2020 e início de 2021, foram realizadas entrevistas para
registrar a visão das lideranças da agência.
Todas essas ações estão descritas em detalhe no Relatório de Proposição de
Medidas Institucionais para Avaliação de Resultado Regulatório e Monitoramento da
Regulação elaborado pelo GT-Monitoramento (Aneel, 2021c).
Esse documento também traz a identificação de quatro insumos para a es-
truturação da avaliação e do monitoramento na Aneel: i) estruturação centralizada
da coordenação; ii) governança e disponibilização de dados; iii) integração entre
as áreas finalísticas; e iv) planejamento e priorização da avaliação dos resultados.
A partir da análise desses insumos, o relatório (Aneel, 2021c) propôs a adoção
de três medidas institucionais, conforme a seguir descritas.
1) Estabelecimento de coordenação centralizada para as atividades gerenciais
relacionadas a AIR, ARR e monitoramento da regulação.
2) Destinação de foco particular na gestão da informação para a finalidade
específica de monitoramento e ARR.
3) Definição de critérios de priorização para o planejamento e a realização
de ARR.
A próxima etapa das atividades da iniciativa estratégica consiste na elaboração
do guia de boas práticas para o monitoramento e a avaliação de resultado regula-
tório que tem sua entrega prevista para 2022. Esse guia ajudará na disseminação
da prática do monitoramento e da avaliação ex post da regulação na Aneel.
Enfim, a Aneel vem desenvolvendo ações importantes para a institucionaliza-
ção do monitoramento da regulação que estão alinhadas com o uso de evidências
e que almejam a melhoria do processo regulatório na agência.
6 GESTÃO DE DADOS E INFORMAÇÕES

Um dos grandes desafios para uma boa regulação é a obtenção de evidências de quali-
dade e confiáveis. Entretanto, de acordo com a OCDE, a coleta de dados pode ser um
exercício demorado e caro. Logo, é muito importante adotar uma estratégia de gestão de
dados que possa reduzir os custos associados à sua obtenção, facilitando e incentivando
a disseminação de processos regulatórios baseados em evidências (OECD, 1997).
Segundo o Ministério da Economia, os problemas comuns de governança de
dados são: a falta de compartilhamento de informações; a ausência de instituciona-
lização e gestão estratégica dos dados; ausência de definição de responsabilidades e
de regras de acesso, de segurança e integridade; e a multiplicidade de cópias, que

geram custos em capacidade de armazenamento e dificuldades de atualização e
rastreamento de versões (Brasil, 2021a).
O Decreto no 10.411/2020 estabeleceu, em seu art. 17, um comando para
a implementação de estratégias específicas de coleta e de tratamento de dados,
de forma a possibilitar a elaboração de análise quantitativa e, quando for o caso,
de análise de custo-benefício. Esse comando torna concreta a necessidade de se
antecipar à necessidade de dados confiáveis para o processo regulatório.
No entanto, muito antes da obrigação do decreto, o aprimoramento da go-
vernança de dados já se configurava entre os assuntos para a atuação da agência.
Ressalta-se que a situação da Aneel é de crescente necessidade de dados e infor-
mações, em especial nos processos de regulação e fiscalização.
Essa situação vivenciada pela Aneel fez com que as superintendências criassem
seus silos de dados, utilizando suas próprias metodologias e regras.
Contudo, essa forma descentralizada de organização em silos não favorecia a
navegação e o descobrimento dos dados, pois, muitas vezes, o conhecimento dos
dados ficava restrito à área que os concentrava. Consequentemente, a Aneel tinha
problemas frequentes com a indisponibilidade de informações e com a utilização
de dados redundantes ou conflitantes.
Apesar desses problemas, foram desenvolvidas várias bases de dados relevantes
para o desempenho das atividades da agência, como o Sistema de Informações
Georreferenciadas do Setor Elétrico (Sigel)16 e o Sistema de Informação Geográfica
Regulatório (SIG-R).17
A Aneel também coleta informações sobre qualidade do serviço, metas
operacionais, segurança de barragens e desempenho da geração, entre outros. No
que se refere ao desempenho econômico-financeiro, as empresas disponibilizam
à agência balanços mensais, relatórios trimestrais e anuais e um balanço anual de
responsabilidade social e ambiental, conforme manual de contabilidade para o
setor, elaborado em conjunto com as partes interessadas, consultores e associações
de contadores para melhorar a qualidade dos dados.
Em 2017, no âmbito da realização do planejamento estratégico 2018/2019,
foi realizada uma avaliação da empresa de pesquisa e consultoria Gartner de
maturidade da Aneel em governança de dados. Nessa avaliação, a Aneel al-
cançou pontuação (score) geral de 2,27/5,00, refletindo assim que a agência
16. Disponível em: <https://bit.ly/3vK0j6s>.

17. Disponível em: <https://bit.ly/3pF3RWE>.
se comportava de modo reativo18 no que diz respeito à adoção de diretrizes e

políticas e à adoção de técnicas e modelos de gestão de dados e de informação
(Aneel, 2019a).
Assim sendo, em dezembro de 2017, foi instituído um grupo de trabalho
com o objetivo de desenvolver as ações necessárias ao cumprimento da Iniciativa
Estratégica no 11.2.1 – elaborar política e plano institucional de gestão da infor-
mação –, relacionada ao Objetivo Estratégico no 11 – reestruturar e implementar
a gestão da informação do planejamento estratégico 2018-2021.
Em 2018 e 2019, foram realizados estudos, reuniões e benchmarkings com
instituições nacionais e internacionais, orientados pela equipe de aconselhamento
do Gartner. Foram consideradas as experiências das seguintes intuições: Depart-
ment of Health do governo da Austrália, Banco Central do Brasil, Petrobras S/A,
Ministério da Justiça, entre outras.
Como resultado desse trabalho, no final de 2019, foi emitida a Portaria
n 6.197, que aprovou a NO no 52, estabelecendo a política de governança de
o
dados e da informação da Aneel (Aneel, 2019a).

De acordo com as ações desenvolvidas pelo grupo de trabalho, na norma foi
adotado um modelo híbrido de governança de dados e de informação, sendo parte
centralizado (escritório central) e parte descentralizado (curadores de dados), como
pode ser verificado na figura 2.
FIGURA 2
Modelo híbrido de governança de dados e informação
Comissão de gestão da informação
Curador corporativo
Escritório de governança de Curador de Curador de

dados e da informação negócio 1 negócio N
Elemento de governança centralizada Elemento de governança descentralizada
Conselho de curadores
Fonte: Nota Técnica no 218/2019–SGI/Aneel (Aneel, 2019a).
18. “Business and IT leaders react favourably to the demand for consistent, accurate and faster information across key busi-
ness units. They take corrective measures to address immediate needs” (Gartner Introduces the EIM Maturity Model, 2008).
Destaca-se a criação do Escritório de Governança de Dados e da Informação

(EGDI) que tem o propósito de coordenar, estimular e facilitar a governança de
dados na Aneel. O EGDI também tem as seguintes responsabilidades: promover,
facilitar e assegurar a capacitação e a transferência do conhecimento e disseminar
entre os curadores as melhores práticas na governança de dados e da informação.
No modelo híbrido adotado, destaca-se ainda a gestão descentralizada das
bases de dados institucionais por meio de curadores corporativos e de negócios.
Os curadores de dados são servidores que já atuavam dentro das unidades organi-
zacionais gerenciando as bases de dados. No entanto, a partir da implementação
da política, os curadores serão formalmente reconhecidos e passarão a ser os
responsáveis pelos ativos de dados ou banco de dados em benefício institucional.
Em linha com a medida institucional de destinação de foco particular na
gestão da informação, para a finalidade específica de monitoramento e ARR
apontada pelo GT-Monitoramento em seu relatório, existe uma oportunidade de
realização de ações específicas visando ao aprimoramento da utilização dos dados
para o monitoramento e para a avaliação (Aneel, 2021b).
Assim, com a aprovação da NO no 52/2019, conclui-se que a Aneel vem
avançando em relação à gestão de dados e informações, e que a definição de um
modelo de governança foi um passo muito importante na utilização de evidências
no processo regulatório.
7 ANÁLISE DE RESULTADO REGULATÓRIO

A previsão de realização da ARR passou a ser uma exigência para os atos normativos
da Aneel desde a edição da REN Aneel no 798/2017. A sua importância para o ciclo
regulatório já tinha sido destaque de publicação da OCDE em 2015 (OECD, 2015).
Posteriormente foi incorporado como recomendação de boas práticas regu-
latórias para todos os órgãos da administração pública federal, em particular as
agências reguladoras, nas Diretrizes Gerais e Guia Orientativo para Elaboração de
Análise de Impacto, da Casa Civil, de 2018. Ademais, o Decreto no 10.411/2020
fortaleceu o caráter de completividade da ARR para o ciclo regulatório, trazendo
dispositivos específicos sobre sua realização.
A ARR é um instrumento que se presta à verificação dos efeitos decorrentes
da edição de ato normativo, considerados o alcance dos objetivos originalmente
pretendidos e os demais impactos observados sobre o mercado e a sociedade, em
decorrência de sua implementação, conforme concebe o Decreto no 10.411/2020.
Assim, entende-se a ARR como sendo uma avaliação ex post, além de ser a
etapa final do ciclo regulatório. No entanto, o objetivo da ARR vai além de uma
análise do que aconteceu após a implementação de uma intervenção regulatória.
Ela considera porque algo ocorreu e, se possível, o quanto mudou como conse-
quência dessa intervenção. Ela considera também a oportunidade de aprendizado
a partir da trajetória de um regulamento e garantia de que estes permaneçam
adequados aos propósitos desejados.
A ARR, enfim, encerra o ciclo regulatório e deve permitir a reformulação do
ato normativo original, se aplicável. Para tal, requer uma análise crítica baseada
em evidências, utilizando dados robustos e confiáveis, extraídos de uma variedade
de fontes e analisados de maneira apropriada.
A experiência com a ARR em agências reguladoras é ainda incipiente, mesmo
em países onde a prática de avaliação da regulação está estabelecida. Como destaca
relatório da OCDE, “a avaliação dos regulamentos é realizada principalmente ex
ante através da AIR, enquanto a avaliação ex post continua a ser a menos desen-
volvida das ferramentas regulatórias” (OECD, 2015, p. 119). Essa posição foi
ratificada posteriormente, quando se constatou, por exemplo, que alguma forma
de avaliação ex post foi registrada como obrigatória por apenas 60% dos países
membros da OCDE, em comparação com cerca de 90% que exigem a avalição
ex ante (OECD, 2018).
Na Aneel, até o presente foram realizados quatro relatórios de ARR e, con-
forme citado anteriormente, o GT-Monitoramento está desenvolvendo o guia de
boas práticas para o monitoramento e avaliação de resultado regulatório. Esse guia
será fundamental para a promover ações internas para subsidiar a realização das
avaliações regulatórias subsequentes.
O primeiro relatório de ARR foi uma consolidação temática e tratou da ava-
liação do desempenho da regulação por incentivos no segmento de distribuição de
energia elétrica. Essa ARR estava prevista no item no 31 da Agenda Regulatória da
Aneel para o biênio 2018/2019, e foi levado à consulta pública por mais de 120
dias, a partir de 25 de fevereiro de 2019 (CP no 3/2019), em anexo à Nota Técnica
no 27/SRM/SGT/SPE/SRD-2019/Aneel, de 22 de fevereiro de 2019.
A ARR da regulação, por incentivos do segmento de distribuição de energia
elétrica, foi assinada por quatro superintendências de regulação da agência (SRM,
SGT, SPE e SRD) e teve como objetivo analisar o ambiente regulatório quanto
à utilização de tecnologias na melhoria do serviço, na eficiência energética e no
desenvolvimento do negócio de distribuição.
Diferentemente das análises de normas específicas, essa ARR partiu de seis
normativos em que se baseiam os mecanismos de regulação por incentivos da Aneel
para o segmento de distribuição, analisando seu nível de entrega mediante a análise
de incentivos regulatórios no contexto de transformação tecnológica e discutindo
a transição tecnológica no setor elétrico no contexto dos objetivos regulatórios
no segmento de distribuição, quais sejam: i) universalização do acesso à energia;

ii) qualidade técnica da energia (continuidade do serviço e conformidade da tensão);
iii) qualidade do atendimento comercial; iv) redução de perdas; v) eficiência de
custos; vi) eficiência energética; e vii) sustentabilidade econômico-financeira. Diante
disso, a ARR destacou quatro temas principais de discussão, a saber: i) qualidade
da prestação do serviço; ii) modelo regulatório; iii) capital e sua remuneração; e
iv) eficiência energética.
Dessa forma, a ARR da regulação por incentivos da distribuição se constituiu
em uma primeira avaliação abrangente sistematizada do ambiente regulatório,
investigando os impactos diretos e indiretos, intencionais e ocasionais, dos meca-
nismos de incentivo regulatório, bem como a coerência interna e externa de cada
mecanismo e sua previsibilidade na tomada de decisão empresarial dos agentes
regulados. A ARR permitiu, também, a melhor compreensão dos impactos regu-
latórios e abriu ampla discussão com consumidores, distribuidoras, investidores
e demais stakeholders, concedendo oportunidade para a Aneel no aprimoramento
dos mecanismos regulatórios abordados na ARR.
Mencione-se que, em paralelo à elaboração da ARR e ao processo de parti-
cipação social, já existiam ou abriram-se novas discussões (ou havia previsão de) a
serem iniciadas com a sociedade para aprimoramento de normativos referentes a
diversos temas correlatos aos mecanismos regulatórios da distribuição abordados
na avaliação, como valoração, amortização e remuneração do capital investido,
tal como destaca a Nota Técnica no 26/2020 – SRM/SRD/SGT/SPE/Aneel, de
6 de março de 2020, que avaliou as contribuições referentes à Consulta Pública
no 3/2019 sobre a citada ARR. Ou seja, de fato, a ARR permitiu que a Aneel ava-
liasse possíveis ajustes em sua regulação por incentivos, abrindo novas instâncias
para um alcance de um maior nível de atendimento dos objetivos regulatórios,
entre outros propósitos almejados com a avaliação e que são temas próprios de
atuação da agência.
A segunda ARR da Aneel foi levada à participação social mediante tomada
de subsídios19, também em 2019, e tratou dos efeitos das regras relativas aos ex-
purgos nos indicadores de continuidade motivados por interrupção em situação
de emergência (ISE) no âmbito dos sistemas de distribuição de energia elétrica.
Tratou-se do Relatório de ARR no 1/2019-SRD/Aneel, de 24 de dezembro de
2019, que revisitou a norma regulatória REN no 664, de 2015, a qual buscou
estabelecer critérios mais claros para o enquadramento de ocorrências como ISE,
19. Tomada de subsídio é o momento inicial de estudo e prospecção por parte das superintendências da Aneel ou de apro-
fundamento de estudo já realizado, no qual se dará a coleta de dados e informações sobre tema de interesse da agência.
Além do envio de documentos por parte dos interessados (intercâmbio de documentos), pode contar com a realização de
reuniões técnicas (presenciais ou via internet). A tomada de subsídios na Aneel segue diretrizes quanto ao processo decisório
e controle social das agências reguladoras dadas pela Lei no 13.848/2019, também conhecida como Lei das Agências.
equalizar o tratamento desses eventos entre as distribuidoras, bem como evitar

que interrupções de pequena relevância, que não atendessem de forma conjunta
os requisitos de abrangência e severidade, pudessem ser expurgadas por serem
classificadas como ISE. A REN no 664/2015 também estabeleceu, em seu art. 3o,
a necessidade de revisão do tema até 2018.
Na avaliação realizada, foi investigado o comportamento do indicador de
DEC apurado pelas distribuidoras antes e depois da vigência do novo regulamen-
to. Também foi avaliada a adequabilidade do ajuste do parâmetro CHI (Consu-
midor-Hora Interrompido) para a classificação das interrupções em situação de
emergência, assim como o nível de observância da norma pelas distribuidoras no
enquadramento dos eventos.
A conclusão da ARR foi de que o normativo alcançou de forma satisfatória
os objetivos almejados quando da sua publicação e que se considerou que naquele
momento não seriam necessários aprimoramentos na regulamentação relacionada.
Vale ressaltar que as contribuições recebidas no âmbito da Tomada de Subsídios
no 5/2019 não alteraram o entendimento firmado pela área técnica no tratamento
do tema, ou seja, de que não haveria necessidade de alteração regulatória no curto
prazo no que tange às regras para realização de expurgos decorrentes de ISE.
A ARR destacou ainda ter havido um curto espaço de tempo entre a alteração
regulatória e o prazo de realização da avaliação, daí a importância de continuar o
acompanhamento dos indicadores. Mencione-se que a norma original estabelecia
revisão do regramento até o fim de 2018. A previsão de constar nos normativos a
indicação de prazo para realização de ARR ou a avaliação similar quanto aos efeitos
da edição da norma já tinha sido instituída na NO no 40/, de 2013, e mantida em
sua revisão em 2017, mediante a REN no 798/2017.
Em 2020 foram publicados mais dois relatórios de ARR, todos de normas
específicas do segmento de transmissão de energia elétrica, envolvendo a avaliação do
resultado da eficiência da contratação do uso do sistema de transmissão (Relatório
de ARR no 1/2020/SRT/Aneel) e a avaliação do resultado da qualidade dos servi-
ços de transmissão de energia elétrica (Relatório de ARR no 2/2020/SRT/Aneel).
No caso da eficiência da contratação do uso do sistema de transmissão, o
foco foi a REN no 666/2015, que teve como objetivo a contratação eficiente e
racional do sistema de transmissão para que os valores contratados dos montantes
de uso do sistema de transmissão (Must) fossem utilizados como base, pelo plane-
jamento do sistema, para a otimização da capacidade deste. Os resultados foram
avaliados, por meio de indicadores, através das respostas dos agentes (empresas
reguladas) às perguntas planejadas no documento Planejamento da Avaliação da
Eficiência da Contratação do Uso do Sistema de Transmissão.
Com os resultados obtidos, pode-se concluir que a intervenção foi positiva

para a maior parte dos incentivos e indicadores analisados, no entanto ainda se
identificou pontos que podem ser aprimorados.
Destaque-se que, no âmbito da superintendência coordenadora da análise,
a SRT, essa ARR foi uma atividade pioneira e mereceu menção no relatório com
intenção de se tornar um trabalho instigante e estimulante, a fim de que a Aneel
busque permanentemente a eficiência e a melhoria da qualidade do processo de
regulamentação e se torne referência de boas práticas regulatórias para os demais
órgãos reguladores.
Essa ARR também trouxe uma inovação para a unidade organizacional e
para a agência ao se constituir subsídio para uma atividade regulatória da agenda
regulatória ciclo 2021/2022, que traz o aprimoramento da norma específica.
Sendo assim, a ARR de fato fecha o ciclo regulatório da intervenção que trata do
aperfeiçoamento da regulamentação associada à contratação de uso do sistema
de transmissão.
Em seguida, a superintendência apresentou o seu segundo relatório de ARR,
abordando a qualidade dos serviços de transmissão de energia elétrica, com foco
na REN no 729/2019 e na avaliação dos atrasos na entrada em operação de novas
funções transmissão (FT) e as indisponibilidades na rede básica entre 2008 e 2019.
Assim como no documento anterior, a avaliação foi realizada por meio de
respostas às perguntas previstas no documento de planejamento da avaliação, que
também descreveu os indicadores que seriam apurados de forma a embasar as respostas.
Destaque-se aqui a observação de que o período posterior à intervenção foi
pequeno, de forma que não se pode tirar conclusão definitiva do comportamento
do sistema devido exclusivamente ao efeito do regulamento.
De fato, o prazo de realização de ARR é um tópico a ser pacificado. O Decreto
n 10.411/2020 não é peremptório quanto a períodos de execução, com exceção
o
dos casos em que houver dispensa de AIR em razão de urgência. Nessas situações,
estabelece o decreto, os atos normativos serão objeto de ARR no prazo de três
anos, contado da data de sua entrada em vigor. Ainda que o estoque regulatório da
Aneel esteja sendo revisado e normas sem efeito já tenham sido revogadas, a agência
publica cerca de 46 resoluções normativas anualmente. Estabelecer avaliações ex
post de cada uma delas pode inviabilizar as atividades das áreas técnicas mediante
a capacidade institucional de recursos humanos, além de se constituir em um
fardo regulatório desnecessário para a sociedade. Por sua vez, a norma infralegal
determina a instituição de uma agenda de ARR, que deverá incluir, no mínimo,
um ato normativo de interesse geral de agentes econômicos ou de usuários dos
serviços prestados de seu estoque regulatório.
Algumas das necessidades de aprimoramento quanto à ARR na Aneel já foram

identificadas pelo GT-Monitoramento, que propõe princípios a nortearem insti-
tucionalmente a implementação de monitoramento e avaliação, alguns dos quais
poderão ser objeto de norma ou guia orientativo à elaboração de ARR, mas outros
somente poderão ser atendidos por meio de medidas institucionais. Mencionam,
por exemplo, normatização dos processos de elaboração e publicação da agenda de
ARR, além da elaboração de planos de capacitação dos servidores e normatização
da formação de equipes responsáveis pela ARR (Aneel, 2021b).
Das experiências levantadas pelo GT-Monitoramento, bem como da própria
percepção dos técnicos da agência, vale mencionar também a proposição, no que
couber, de um maior envolvimento das áreas de fiscalização da Aneel quando da
elaboração da AIR e do planejamento da ARR futura, devido ao conhecimento
que detém do comportamento efetivo dos agentes e da efetividade de aplicação
das normas – em vigor ou a serem propostas (Aneel, 2021b).
Finalmente merece destaque a participação social na ARR. Atualmente, não
há obrigação normativa quanto à participação social nas fases pré e pós-ARR.
Porém, a Aneel já tem por boa prática permitir a participação social, e de fato os
casos com ARR na agência têm recorrido a esse mecanismo, como mencionado
anteriormente. A aplicação dessa boa prática comprova o quanto o envolvimento
da sociedade é importante para capturar pontos a serem avaliados e insumos so-
bre o desempenho do ato normativo, bem como manifestam concretamente que
as avaliações estão sendo divulgadas à sociedade, que pode contribuir com suas
próprias percepções para a obtenção dos resultados almejados.
8 RESULTADOS ESPERADOS
A qualidade da regulação depende em grande parte de como as regulações são
concebidas e implementadas. As iniciativas da Aneel para a institucionalização
do uso de evidências no processo de regulação sintetizadas neste documento vêm
contribuindo para a melhoria da qualidade da regulação dos serviços de energia
elétrica no Brasil.
O processo regulatório da Aneel evoluiu muito nos últimos anos, mas tem
ainda um longo caminho pela frente, especialmente diante das diversas mudanças
tecnológicas do setor elétrico.
O benefício esperado da institucionalização do monitoramento da regulação
é a implantação de processo padronizado e incorporado à rotina da agência regula-
dora, que possa confirmar o atingimento dos objetivos ou antecipar a necessidade
de revisão de atos normativos, aprimorando o processo regulatório e aumentando
a qualidade das intervenções regulatórias propostas pela agência.
A partir da implementação da política de governança de dados e da informação,

espera-se um maior suporte para a disseminação do uso de evidências, aprimorando
a coleta, o armazenamento, o acesso e a proteção dos dados e propiciando um salto
de qualidade nos processos de regulação e fiscalização da Aneel.
Diante das experiências com ARR na Aneel, e considerando-se também o
aprendizado nos projetos-piloto de monitoramento, os destaques em relação à
avaliação de resultado regulatório enfatizam a importância do planejamento prévio
e adequado desse instrumento. Encerrando o ciclo regulatório, as ARRs envolvem
uma simetria com as AIRs ao requererem clareza sobre os objetivos pretendidos
e/ou resultados buscados. E não se pode aguardar o momento da realização da
ARR para a estruturação do monitoramento. As ARRs demandam também que os
requisitos em matéria de dados sejam claros e factíveis, de forma que os resultados
possam ser de fato medidos depois. Assim, o monitoramento de indicadores pode,
e deve, ser aplicado continuamente.
Com registro da experiência da Aneel na institucionalização do uso de evi-
dências no processo de regulação, espera-se contribuir para a melhoria da qualidade
regulatória em outros setores regulados.
REFERÊNCIAS
ANEEL – AGÊNCIA NACIONAL DE ENERGIA ELÉTRICA. Resolução
Normativa no 233, de 14 de julho de 1998. Dispõe sobre os procedimentos para
o funcionamento, a ordem dos trabalhos e os processos decisórios da Agência Na-
cional de Energia Elétrica (Aneel) nas matérias relativas à regulação e à fiscalização
dos serviços e instalações de energia elétrica. Diário Oficial da União, Brasília,
p. 60, 20 jul. 1998. Seção 1.
______. Nota Técnica no 73/2011-SRD-CGA-ASS-SPG-SPE-SMA/Aneel.
Brasília: Aneel, 2011. (Nota Técnica).
______. Resolução Normativa no 540, de 12 de março de 2013. Aprova a Norma
de Organização Aneel no 40, que dispõe sobre a realização de análise de impacto
regulatório (AIR) no âmbito da agência. Diário Oficial da União, Brasília, v. 150,
n. 66, p. 75, 8 abr. 2013. Seção 1.
______. Despacho no 2.794, de 25 de agosto de 2015. Diário Oficial da União,
Brasília, v. 152, n. 197, p. 393, 1o set. 2015. Seção 1.
______. Portaria no 4.823, de 28 de novembro de 2017. Diário Oficial da União,
v. 154, n. 230, p. 131, 1o dez. 2017a. Seção 1.
______. Resolução Normativa no 798, de 12 de dezembro de 2017. Aprova a re-

visão da Norma de Organização Aneel no 40, de 12 de março de 2013, que dispõe
sobre a realização de análise de impacto regulatório (AIR) no âmbito da agência.
Diário Oficial da União, Brasília, v. 154, n. 240, p. 193, 15 dez. 2017b. Seção 1.
______. Nota Técnica no 108/2018-SRD/SCG/SMA/Aneel. Brasília: Aneel,
2018. (Nota Técnica).
______. Nota Técnica no 218/2019–SGI/Aneel. Brasília: Aneel, 2019a. (Nota
Técnica).
______. Portaria no 6.197, de 17 de dezembro de 2019. Boletim Administrativo,
Brasília, v. 22, n. 52, p. 4, 27 dez. 2019b.
______. Resolução Normativa no 941, de 6 de julho de 2021. Aprova a revisão da
Norma de Organização Aneel no 40, de 12 de março de 2013, que dispõe sobre a
realização de análise de impacto regulatório (AIR) no âmbito da agência. Diário
Oficial da União, Brasília, v. 159, n. 137, p. 47, 22 jul. 2021a. Seção 1.
______. Nota Técnica no 20/2021-SRT-SGI-SRD-SRG/Aneel. Brasília: Aneel,
2021b. (Nota Técnica).
______. Relatório de proposição de medidas institucionais para avaliação de
resultado regulatório e monitoramento da regulação. Brasília: Aneel, 2021c.
BRASIL. Lei no 9.427, de 26 de dezembro de 1996. Institui a Agência Nacional
de Energia Elétrica (Aneel), disciplina o regime das concessões de serviços públicos
de energia elétrica e dá outras providências. Diário Oficial da União, Brasília,
p. 28.653, 27 dez. 1996. Seção 1.
______. Decreto no 2.335, de 6 de outubro de 1997. Constitui a Agência Nacional
de Energia Elétrica (Aneel), autarquia sob regime especial, aprova sua estrutura
regimental e o quadro demonstrativo dos cargos em comissão e funções de con-
fiança e dá outras providências. Diário Oficial da União, Brasília, p. 22.377, 7
out. 1997. Seção 1.
______. Diretrizes gerais e guia orientativo para elaboração de análise de
impacto regulatório (AIR). Brasília: Presidência da República, 2018. Disponível
em: <https://bit.ly/3B7EmPU>. Acesso em: 21 out. 2021.
______. Lei no 13.848, de 25 de junho de 2019. Dispõe sobre a gestão, a orga-
nização, o processo decisório e o controle social das agências reguladoras. Diário
Oficial da União, Brasília, p. 1, de 26 jun. 2019a. Seção 1.
______. Lei no 13.874, de 20 de setembro de 2019. Institui a Declaração de
Direitos de Liberdade Econômica, e dá outras providências. Diário Oficial da
União, Brasília, Edição Extra – B, p. 1, 20 set. 2019b. Seção 1.
______. Decreto no 10.411, de 30 de junho de 2020. Regulamenta a análise de

impacto regulatório, de que tratam o art. 5o da Lei no 13.874, de 20 de setembro
de 2019, e o art. 6o da Lei no 13.848, de 25 de junho de 2019. Diário Oficial da
União, Brasília, p. 35, 1 jul. 2020. Seção 1.
______. Coleta e tratamento de dados no âmbito do decreto da análise de impac-
to regulatório (AIR). Brasília, 2021a. Disponível em: <https://bit.ly/306A0MJ>.
______. Guia para elaboração de análise de impacto regulatório (AIR). Brasí-
lia: Ministério da Economia, 2021b. Disponível em: <https://bit.ly/3G9MYJC>.
EC – EUROPEAN COMMISSION. Better regulation guidelines. Brussels:
European Commission, 7 July 2017. Disponível em: <https://bit.ly/3vFNXwf>.
OECD – ORGANISATION FOR ECONOMIC CO-OPERATION AND DE-
VELOPMENT. Regulatory impact analysis: best practices in OECD countries.
Paris: OECD Publishing, 1997. Disponível em: <https://bit.ly/3E7xnsj>. Acesso
em: 21 out. 2021.
______. OECD regulatory policy outlook 2015. Paris: OECD Publishing, 2015.
Disponível em: <https://bit.ly/2XzLNll>. Acesso em: 21 out. 2021.
______. OECD regulatory policy outlook 2018. Paris: OECD Publishing, 2018.
Disponível em: <https://bit.ly/2XCIdXE>. Acesso em: 21 out. 2021.
______. Recommendation of the council on improving the quality of gover-
nment regulation. OECD, 2021. (OECD Legal Instruments). Disponível em:
<https://bit.ly/3C4SRFw>. Acesso em: 21 out. 2021.
VIEIRA, I. S. et al. Inovações no processo regulatório para melhoria da qualidade
da regulação. In: CONGRESSO BRASILEIRO DE REGULAÇÃO E EXPO
ABAR, 11., 5., 2019, Maceió, Alagoas. Anais... Brasília: Abar, 2019. Disponível
em: <https://bit.ly/3vxdBDg>. Acesso em: 21 out. 2021.
YIN, R.K. Estudo de caso: estudo de caso planejamento e métodos. 2. ed., Porto
Alegre: Bookman, 2001.
ANEEL – AGÊNCIA NACIONAL DE ENERGIA ELÉTRICA. Portaria
no 6.243, de 28 de janeiro de 2020. Diário Oficial da União, v. 61, n. 26, p. 40,
6 fev. 2020. Seção 2.
BID – BANCO INTERAMERICANO DE DESENVOLVIMENTO. Avaliação

de impacto na prática. 2. ed. Washington: BID; Banco Mundial, 2018. Disponível
em: <https://bit.ly/3Gf9j8v>. Acesso em: 22 out. 2021.
BRASIL. Decreto no 6.062, de 16 de março de 2007. Institui o Programa de
Fortalecimento da Capacidade Institucional para Gestão em Regulação (PRO-
-REG), e dá outras providências. Diário Oficial da União, Brasília, p. 9, 19 mar.
2007. Seção 1.
COGLIANESE, C. Measuring regulatory performance: evaluating the impact
of regulation and regulatory policy. Paris: OECD Publishing, Aug. 2012. (Expert
Paper. n. 1). Disponível em: <https://bit.ly/3b3vWyl>. Acesso em: 22 out. 2021.
HM TREASURY. The magenta book: HM Treasury guidance on what to consi-
der when designing an evaluation. London: HM Treasury, 2011. Disponível em:
<https://bit.ly/3G9P5Nv>.
______. The green book: central government guidance on appraisal and evaluation.
London: OGL Press, 2018. Disponível em: <https://bit.ly/304dLGD>.
OECD – ORGANISATION FOR ECONOMIC CO-OPERATION AND
DEVELOPMENT. Determinants of quality in regulatory impact analysis.
Paris: OECD Publishing, 2009. Disponível em: <https://bit.ly/3G8pu7E>. Acesso
em: 22 out. 2021.
______. Introductory handbook for undertaking regulatory impact analysis
(RIA). Paris: OECD Publishing, Oct. 2008. Version 1.0. Disponível em: <https://
bit.ly/3nlHzq3>. Acesso em: 22 out. 2021.
______. Regulatory impact assessment: OECD best practice principles for
regulatory policy. Paris: OECD Publishing, 2020. Disponível em: <https://bit.
ly/3E6e3vr>. Acesso em: 22 out. 2021.
WORLD BANK. Global indicators of regulatory governance worldwide prac-
tices of regulatory impact assessments. Washington: World Bank Group, 2017.
Disponível em: <https://bit.ly/3c2a7Q9>.
Seção V
Uso de Evidências nas Políticas Públicas

CAPÍTULO 19
AVALIAÇÃO E DECISÃO SOBRE TECNOLOGIAS EM SAÚDE

NO SUS: UMA ANÁLISE DE FATORES DE INFLUÊNCIA
SOBRE O PROCESSO DECISÓRIO
Fabiola Sulpino Vieira1
Sérgio Francisco Piola2
Luciana Mendes Santos Servo3
1 INTRODUÇÃO
Com o avanço da pesquisa em saúde e a consequente multiplicação de alternativas
para diagnóstico, prevenção e tratamento de doenças, um grande desafio se impôs
aos tomadores de decisão nos sistemas de saúde: a seleção daquelas mais adequa-
das em termos clínicos, sociais e econômicos. É nesse contexto que se desenvolve
a avaliação de tecnologias em saúde (ATS), um processo de sistematização das
informações disponíveis a respeito dos benefícios, riscos, custos e impactos das
tecnologias em saúde4 para a sociedade, dos pontos de vista da ética e da equidade
(Silva, Silva e Elias, 2010).
No Brasil, atualmente, a ATS possui papel central para as políticas de saúde,
especialmente para a Política Nacional de Assistência Farmacêutica (Brasil, 2004),
na medida em que ela é utilizada para a definição ou atualização dos principais
instrumentos dessas políticas em relação ao acesso da população às tecnologias
com finalidades diagnósticas, preventivas e terapêuticas. Entre esses instrumentos,
destacam-se a Relação Nacional de Medicamentos Essenciais – Rename (Brasil,
2019a), a Relação Nacional de Ações e Serviços de Saúde – Renases (Brasil, 2012)
e protocolos clínicos e diretrizes terapêuticas (PCDTs) diversos.
A ATS foi instituída no Sistema Único de Saúde (SUS) há mais de uma dé-
cada, tendo sido regulamentada posteriormente pela Lei no 12.401, de 2011, que
dispõe sobre a assistência terapêutica e a incorporação de tecnologias em saúde no
sistema (Brasil, 2011a), e pelo Decreto no 7.646, de 2011, que trata da Comissão
1. Especialista em políticas públicas e gestão governamental na Diretoria de Estudos e Políticas Sociais (Disoc) do Ipea.
E-mail: <fabiola.vieira@ipea.gov.br>.
2. Especialista em saúde pública e pesquisador do projeto Acompanhamento e Análise da Política de Saúde na Disoc/
Ipea. E-mail: <sergiofpiola@gmail.com>.
3. Técnica de planejamento e pesquisa na Disoc/Ipea. E-mail: <luciana.servo@ipea.gov.br>.
4. Tecnologias em saúde são medicamentos, equipamentos, procedimentos técnicos, sistemas organizacionais, infor-
macionais, educacionais e de suporte, programas e protocolos assistenciais (Brasil, 2010).
Nacional de Incorporação de Tecnologias no SUS (Conitec) e regula o processo

administrativo sobre a incorporação, a exclusão e a alteração de tecnologias em
saúde (Brasil, 2011b).
O uso de evidências científicas sobre a segurança, a eficácia, a efetividade e
a acurácia dessas tecnologias no processo de ATS constitui requisito para sua re-
comendação por parte da Conitec e, consequentemente, para informar a tomada
de decisão pelo Ministério da Saúde (MS) sobre sua incorporação ao SUS. Em
uma análise preliminar desse processo, observaram-se avanços significativos no
desenvolvimento do trabalho da comissão; contudo, ainda se observam descon-
formidades quanto às práticas recomendadas para um processo de ATS robusto e
absolutamente confiável (Vieira, Servo e Piola, 2020).
Recomendações da comissão foram favoráveis à incorporação de intervenções
terapêuticas sem um embasamento científico rigoroso e, portanto, sem a estrita
observância dos critérios estabelecidos na Lei no 12.401 e no Decreto no 7.646,
o que pode indicar a necessidade de analisar o papel que a atuação de grupos de
interesse pode assumir no processo de ATS de algumas tecnologias pela Conitec
(Vieira, Servo e Piola, 2020).
Pressões políticas e comerciais podem se constituir em fatores de influência
na ATS por agências governamentais (Garrido et al., 2008), não apenas no Brasil.
Entretanto, é possível que em alguns países esse processo seja mais suscetível a
essas pressões, em razão de diversos aspectos que caracterizam cada contexto. Entre
eles, destacam-se o reconhecimento da autoridade exclusiva das agências de ATS
para recomendar a incorporação de tecnologias ao sistema de saúde e o respeito às
recomendações emitidas por elas.
Em nosso país, sob as dificuldades impostas pela gravidade da pandemia da
covid-19, assistiu-se a uma situação de pressão política envolvendo a indicação de
tecnologias no SUS, que pode ser considerada a mais severa a esse respeito. Trata-se
da promoção, pelo presidente da República, do uso dos medicamentos cloroquina
e hidroxicloroquina no tratamento da covid-19, os quais estão aprovados no país
para outras indicações e não para esta doença. Essa promoção resultou na publicação
pelo MS de uma orientação para a utilização desses medicamentos no tratamento
precoce dos casos, sem uma avaliação prévia pela Conitec (Brasil, 2020a). No
momento da publicação da orientação, ainda não havia evidências de sua eficácia.
Contudo, passados alguns meses, os resultados de vários ensaios clínicos foram
publicados contestando sua eficácia no tratamento da covid-19. Apesar disso, a
orientação do MS não foi alterada (Ipea, 2020).
Constata-se, portanto, que houve uma completa subjugação das institucio-
nalidades relativas à ATS, construídas ao longo das décadas de implementação do
SUS. Os PCDTs deveriam ser avaliados e aprovados pela comissão, tendo por base
Avaliação e Decisão sobre Tecnologias em Saúde no SUS: uma análise de fatores | 611
de influência sobre o processo decisório
evidências científicas da segurança, eficácia, efetividade e custo-efetividade dos

tratamentos recomendados, conforme estabelecido em legislação vigente (Brasil,
2011a; 2011b).
Esse caso extremo, que não recebeu chancela formal da Conitec, e outros
casos observados em análise das suas recomendações (Vieira, Servo e Piola, 2020),
sinalizam para a necessidade de se compreender melhor as situações em que os
critérios técnicos e legais, estabelecidos para o processo de ATS, são observados
com menor rigor pela comissão, refletindo-se nas decisões finais tomadas pelo
MS. Dessa forma, os objetivos deste capítulo são identificar e discutir fatores que
influenciam a avaliação de tecnologias com finalidades terapêuticas pela Conitec.
O capítulo se divide em seis seções, contando com esta introdução. Na
segunda seção, apresenta-se o referencial teórico que fundamenta o estudo, par-
tindo da criação da medicina baseada em evidências até o debate mais atual sobre
as políticas de saúde informadas por evidências. Na seção 3, apresentam-se os
principais pontos da regulamentação atual do processo decisório sobre tecnologias
em saúde no SUS e, na seção 4, aspectos metodológicos do estudo realizado. Os
fatores que influenciam o processo de ATS pela Conitec, identificados no estudo,
são discutidos na quinta seção e, por último, na sexta seção, algumas considerações
finais são feitas sobre os achados deste trabalho.
2 DA MEDICINA BASEADA EM EVIDÊNCIAS ÀS POLÍTICAS DE SAÚDE

INFORMADAS POR EVIDÊNCIAS
O desenvolvimento acelerado de recursos tecnológicos para o diagnóstico e o
tratamento de doenças, sem grandes avanços em termos de resultados, mas com
grande ampliação dos custos, fez surgir no campo da saúde a preocupação com a
tomada de decisão médica. Práticas clínicas que não valorizavam o conhecimento
científico vigente sobre as melhores abordagens diagnósticas e terapêuticas passaram
a ser criticadas, surgindo, nos anos 1990, um movimento de valorização da tomada
de decisão pelos médicos, pautada por informações de natureza científica, a fim
de maximizar os benefícios e minimizar os riscos e os custos do uso de tecnologias
em saúde para os pacientes e a sociedade. Esses são os fundamentos da medicina
baseada em evidências – MBE (Gomes, 2001; Sheridan e Julian, 2016).
A respeito da MBE, o Centro Cochrane do Brasil (2009) afirma que se trata
de uma abordagem que tem por finalidade oferecer a melhor informação disponível
para a tomada de decisão no campo da saúde, utilizando para tanto as ferramentas
da epidemiologia clínica, da estatística, da metodologia científica e da informática
para trabalhar a pesquisa, o conhecimento e a atuação em saúde. A lógica por trás
da MBE é a da integração da experiência clínica às melhores evidências disponíveis,
considerando a segurança e a ética no uso das intervenções em saúde.
Nesse contexto, desenvolveu-se o conceito de evidências, que está relacionado

a fatos utilizados para apoiar conclusões – os quais são conhecidos pela experiência
ou observação. Entre os tipos de evidências, as que são qualificadas como científicas
são aquelas obtidas pela aplicação de métodos sistemáticos e replicáveis para sua
produção, sendo a sua confiabilidade definida com base no método empregado
para obtê-las (Lomas et al., 2005). Logo, os métodos utilizados na realização das
pesquisas e para a sistematização dos seus achados assumem papel central na MBE,
cujo processo de trabalho envolve quatro etapas sucessivas: i) formulação clara de
um problema clínico determinado; ii) pesquisa de trabalhos relevantes na litera-
tura correspondente; iii) avaliação crítica das evidências em relação a sua validade
e utilização; e iv) implementação na prática clínica das evidências encontradas
(Drummond et al., 1998).
No seu surgimento, o foco da MBE era a prática clínica e, portanto, a sua
aplicação assumia uma perspectiva individual, uma vez que era centrada no médico.
Com o passar do tempo, seus pressupostos ganharam importância e começaram
a ser discutidos e assimilados por sistemas de saúde, com impactos sobre políticas
públicas nesse campo. Na área de assistência farmacêutica, não era novidade para
vários países a ideia de seleção de medicamentos com base nos critérios de eficácia,
efetividade, segurança e custo-efetividade. A Organização Mundial da Saúde (OMS)
disseminou, a partir dos anos 1970, o conceito de medicamentos essenciais,5 que
são selecionados considerando as provas para esses atributos (WHO, 2002a). A
novidade trazida pela MBE talvez tenha sido o reconhecimento de outras tecno-
logias em saúde como objeto da busca por evidências e da adoção de métodos
mais sistematizados para a síntese dos achados. Com a disseminação da MBE,
seus fundamentos foram adaptados à perspectiva dos sistemas de saúde, de forma
que o público destinatário da prática profissional nesse contexto passa a ser a po-
pulação e não os indivíduos. A partir disso, surgem termos como “saúde baseada
em evidências” e “prática baseada em evidências” (Pereira, Galvão e Silva, 2019).
Com o crescimento das preocupações dos governos quanto à sustentabili-
dade dos sistemas de saúde, dado o crescente desenvolvimento, oferta e custo das
tecnologias em saúde, passou-se a defender a adoção de um mecanismo baseado
em evidências, sistemático e reprodutível para promover o acesso equitativo e
sustentável aos cuidados de saúde para toda a população: a ATS (WHO, 2002b;
Silva, Silva e Elias, 2010; Whitty, 2018). O foco das abordagens até então eram
as tecnologias. Avaliações de medicamentos e procedimentos médicos cresceram
em interesse e em número de estudos realizados. Também aumentou o número
de agências de ATS em todo o mundo (Hailey, 2009).
5. Medicamentos essenciais são aqueles que satisfazem às necessidades prioritárias de cuidados da saúde da população
(WHO, 2002a).
Entretanto, conforme o domínio da aplicação das técnicas relacionadas à

avaliação de tecnologias avançava, novas perguntas surgiam, ampliando-se o leque
de objetos para os quais se buscavam evidências. Passa-se a transitar do campo das
tecnologias em saúde para o das políticas públicas, de uma forma geral, e de saúde,
em particular. O pressuposto é de que as evidências científicas não só podem, mas
devem informar o processo decisório dessas políticas.
O movimento das políticas públicas baseadas em evidências surgiu no começo
dos anos 1970 e se renovou no final dos anos 1990, visando promover uma rigorosa
análise das opções de políticas e programas, a fim de prover informação útil aos
tomadores de decisão no processo de desenvolvimento de políticas e aperfeiçoa-
mento de programas. Com as críticas ao movimento, pelo fato de que o contexto
político de tomada de decisão é complexo e influenciado por diversos fatores, a
ambição inicial de se ter “políticas baseadas em evidências” foi reformulada para
“políticas informadas por evidências (PIE)” (Head, 2016).
As PIE se referem ao uso de evidências de forma sistemática e transparente,
visando-se assegurar que conflitos de interesse não guiem a tomada de decisão.
Para isso, deve haver um processo de tradução do conhecimento para os grupos de
interesse e tomadores de decisão. A tradução do conhecimento envolve a síntese, a
disseminação, o intercâmbio e a aplicação ética do conhecimento, sendo importante,
para tanto, a disponibilização de ferramentas que auxiliem técnicos e gestores de
saúde nesse processo (Barreto e Souza, 2013). Contudo, o uso de evidências não
se limita àquelas classificadas como científicas. Destaca-se, na formulação e no
aperfeiçoamento das políticas, o papel de outras evidências, oriundas de diversas
fontes de informação, a respeito das necessidades da população, valores, custos e
disponibilidade de recursos (Oxman et al., 2009). Assim, deixa-se de dizer que
as políticas são baseadas em evidências, conceito que até então remetia à ideia de
uso exclusivo de evidências científicas, e passa-se a dizer que elas são informadas
por evidências.
No campo da saúde, reconhece-se também que a tomada de decisão so-
bre políticas públicas constitui um processo complexo, com diversos fatores de
influência sobre ele. Porém, há um entendimento bastante consolidado de que
o “sucesso das ações de saúde depende mais da efetividade que as intervenções
podem produzir quando bem utilizadas do que propriamente da vontade per si
do tomador de decisão” (Barreto e Souza, 2013, p. 27). São exemplos de questões
para a busca de evidências científicas nesse campo: i) quais são as melhores soluções
para os problemas de saúde mais importantes? ii) quais são os melhores meios para
adequar essas soluções aos sistemas de saúde, que são complexos e frequentemente
sobrecarregados e subfinanciados? e iii) quais são os melhores meios para realizar
as mudanças desejadas nos sistemas de saúde? (Lavis et al., 2004).
Nessa área, é ponto pacífico que o acesso e o uso da evidência como subsídio
ao processo de formulação e implementação de políticas demandam tradução
do conhecimento científico. Ainda que o desenvolvimento de instrumentos para
facilitar o uso de evidências científicas na formulação de políticas de saúde re-
monte à década de 1980, a exemplo da ferramenta Tools for Evidence-Informed
Health Policymaking (Support), sua disseminação ocorreu de forma mais intensa
a partir dos anos 2000, com atuação importante da OMS nesse processo (Hanney
e González-Block, 2009). Essa disseminação foi beneficiada pela difusão dos
conceitos usados pela MBE, bem como pela aprovação de resolução da OMS,
tendo como objetivo estimular os países a fortalecerem ou estabelecerem meios
para promover o uso do conhecimento científico na área da saúde (Whichmann,
Carlan e Barreto, 2016; Pantoja, Barreto e Panisset, 2018).
Outra iniciativa voltada à tradução do conhecimento foi desenvolvida pela
OMS a partir de 2006. Trata-se da Rede de Políticas Informadas por Evidências
(EVIPNet), uma plataforma destinada a facilitar a incorporação dos resultados
da pesquisa científica na formulação de políticas de saúde (Whichmann, Carlan
e Barreto, 2016; Pantoja, Barreto e Panisset, 2018). No Brasil, a Organização
Pan-Americana da Saúde, que é o escritório para as Américas da OMS, promoveu,
em parceria com o MS, a EVIPNet a partir dos anos 2010, tendo entre as suas
principais ações a realização de cursos de capacitação6 e a produção de sínteses
de evidências para as políticas públicas de saúde (Dias, Barreto e Souza, 2014;
Pantoja, Barreto e Panisset, 2018). No caso dos cursos, o conteúdo deixa clara a
relevância das evidências científicas na identificação das alternativas de políticas
que podem ser utilizadas para a solução dos problemas de saúde.
O debate internacional sobre a relevância da ATS e do uso de evidências na
formulação de políticas de saúde influenciou a agenda brasileira, especialmente
no primeiro caso. Na seção 3, apresenta-se o estado da arte do processo decisório
sobre tecnologias em saúde no SUS.
3 PROCESSO DECISÓRIO ATUAL SOBRE TECNOLOGIAS EM SAÚDE NO SUS

As principais normas que regulam o processo decisório atual sobre tecnologias em
saúde no SUS, como mencionado anteriormente, são a Lei no 12.401, de 2011
(Brasil, 2011a), e o Decreto no 7.646, de 2011 (Brasil, 2011b). A Conitec foi criada
por essa lei para assessorar o MS nas atribuições relativas à incorporação, à exclusão
ou à alteração de tecnologias em saúde pelo SUS, bem como na constituição ou
alteração de protocolo clínico ou de diretriz terapêutica.
6. Ver Curso Introdutório: Políticas Informadas por Evidências (autoinstrutivo). Disponível em: <https://bit.ly/2Ri6ZZG>.
Acesso em: 20 abr. 2021.
Conformam o plenário da comissão, fórum responsável pela emissão das

recomendações, representantes das seguintes instituições: MS (todas as suas se-
cretarias), Conselho Federal de Medicina (CFM), Conselho Nacional de Saúde
(CNS), Conselho Nacional dos Secretários de Saúde (Conass), Conselho Nacional
das Secretarias Municipais de Saúde (Conasems), Agência Nacional de Saúde Su-
plementar (ANS) e Agência Nacional de Vigilância em Saúde (Anvisa).7
As solicitações de avaliação de tecnologias podem ser submetidas à Conitec
por pessoas físicas ou jurídicas e o prazo para conclusão das análises é de 180 dias,
o qual pode ser prorrogado por mais 90 dias (ou seja, no máximo, 270 dias). Após
a recomendação final da Conitec, cabe ao secretário da Secretária de Ciência,
Tecnologia e Insumos Estratégicos (SCTIE), em nome do MS, a decisão sobre a
incorporação, exclusão ou alteração da tecnologia. No caso de decisões favoráveis
à incorporação, o prazo para a disponibilização da tecnologia no SUS é de 180
dias (Brasil, 2011a).
Na SCTIE, o Departamento de Gestão e Incorporação de Tecnologias em
Saúde (DGITS) é responsável pela gestão das atividades da Conitec, atuando como
Secretaria Executiva (SE) da comissão. A figura 1 apresenta o fluxo de avaliação
de tecnologias em saúde da Conitec.
FIGURA 1
Fluxo de avaliação de tecnologias em saúde da Conitec
Secretaria Executiva da Conitec (SE) Plenário SE
Recebe as Analisa o Submete parecer
Analisa os Solicita estudos
solicitações e relatório, faz à consulta
estudos e pesquisas
avalia a recomendações pública e
apresentados complementares,
conformidade e parecer avalia as
pelo demandante se necessário
documental conclusivo contribuições
SUS SCTIE SE SCTIE Plenário

Secretário avalia
Disponibilização em Realiza audiência
relatório, Secretário avalia Ratifica ou
180 dias, em pública se o
decide e se haverá retifica a
caso de decisão de secretário da
publica decisão audiência pública recomendação
incorporação SCTIE solicitar
no DOU
Fonte: Dados de Conitec, consultas públicas encerradas. Disponível em: <https://bit.ly/3nULhaO>. Acesso em: 20 abr. 2021.
Os critérios que devem ser observados pela Conitec em suas análises foram
estabelecidos pela Lei no 12.401 (Brasil, 2011a): i) evidências científicas da eficácia,
acurácia, efetividade e segurança do medicamento, produto ou procedimento re-
gistrado ou com autorização de uso emitida pela Anvisa; e ii) avaliação econômica
comparativa dos benefícios e dos custos em relação às tecnologias já incorporadas.
7. Disponível em: <https://bit.ly/3nULhaO>.

Essa lei estabelece como determinações especiais do processo administrativo

de ATS a realização de consultas e audiências públicas (Brasil, 2011a). Segundo
a Conitec, a consulta pública é um instrumento utilizado pela administração
pública para conferir publicidade e transparência aos processos administrativos.
Seu objetivo é obter informações, opiniões e críticas da sociedade a respeito
de determinado assunto. No geral, a duração da consulta pública é de vinte
dias. Em algumas situações excepcionais, de urgência, essa duração pode ser
de dez dias. São disponibilizados dois formulários para preenchimento pelos
participantes, sendo um para contribuições de natureza técnico-científica e
outro para registro de experiências no uso das tecnologias. Quanto à partici-
pação das pessoas físicas ou jurídicas, a partir de 27 de outubro de 2020 foi
estabelecido que apenas a última contribuição registrada para o mesmo Cadas-
tro de Pessoa Física (CPF) ou Cadastro Nacional de Pessoa Jurídica (CNPJ)
seria considerada.8 Isso significa que, até essa data, uma mesma pessoa física
ou jurídica poderia submeter mais de uma contribuição à Conitec, em cada
consulta pública realizada.
Em relação à audiência pública, que também é um instrumento de participação
social, a Conitec informa que o objetivo de sua realização “é ampliar a discussão
sobre o assunto e embasar as decisões sobre formulação e definição de políticas
públicas” (Conitec, 2021). No processo de ATS, após a deliberação do Plenário
da Conitec sobre o relatório contendo a sua recomendação final, o secretário da
SCTIE pode solicitar a realização de audiência pública para colher a manifestação
da sociedade antes de tomar sua decisão.9
Ainda de acordo com essa lei, a Conitec é a principal instância de ATS e o
MS é o principal decisor do SUS em relação à incorporação, exclusão ou alteração
de tecnologias em saúde, sendo permitida aos estados, ao Distrito Federal e aos
municípios a incorporação de medicamentos de forma suplementar, na ausência
de protocolo ou de diretriz terapêutica de âmbito nacional. A norma determina,
além disso, que os entes da federação não podem pagar, ressarcir ou reembolsar
medicamento, produto e procedimento clínico ou cirúrgico experimental, sem
registro ou de uso não autorizado pela Anvisa.
Essas são as principais regras vigentes do processo decisório sobre tecnologias
em saúde no SUS. A seguir, apresentam-se aspectos metodológicos do estudo sobre
os fatores que influenciam as recomendações da Conitec.
8. Disponível em: <https://bit.ly/3xoJyOG>. Acesso em: 20 abr. 2021.

9. Disponível em: <https://bit.ly/3dYEEQP>. Acesso em: 20 abr. 2021.
4 ASPECTOS METODOLÓGICOS DO ESTUDO SOBRE FATORES QUE

INFLUENCIAM AS RECOMENDAÇÕES DA CONITEC
O estudo realizado é do tipo quali-quantitativo, considerando uma amostra de
relatórios publicados pela Conitec em 2019 e 2020. Por meio desses relatórios, a
comissão recomenda a aprovação de PCDTs, que contêm, por sua vez, recomen-
dações de uso de medicamentos e procedimentos, e recomenda a incorporação, a
ampliação de uso ou a desincorporação de medicamentos e procedimentos, cujas
apreciações são tramitadas em processos específicos de solicitação de avaliação.10
A amostra foi constituída por amostragem aleatória estratificada. Para cada ano,
obteve-se a relação de relatórios publicados no sítio eletrônico da Conitec.11
Excluíram-se dessas listas os relatórios sobre tecnologias cujas finalidades principais
são preventivas ou diagnósticas e definiu-se o tamanho da amostra em 20% do
total de relatórios de cada ano que atenderam ao critério de inclusão.
Dos 77 relatórios publicados em 2019, 9 foram excluídos por não se refe-
rirem a terapias.12 Assim, a amostragem foi feita considerando os 68 relatórios
restantes, sendo que destes, 14 relatórios foram selecionados para a amostra. Dos
83 relatórios publicados em 2020, 10 foram excluídos pela mesma razão, restando
73 documentos para a realização da amostragem,13 que resultou na seleção de 15
relatórios para a amostra. Logo, a amostra de relatórios dos dois anos foi constituída
por 29 documentos, listados no quadro A.1 do apêndice A.
A classificação dos níveis de evidência sobre a eficácia e a efetividade das in-
tervenções recomendadas nos PCDTs ou avaliadas em processo específico foi feita
de acordo com procedimentos previstos na metodologia grading of recommendations
assessment, development and evaluation (Grade), recomendada internacionalmente
por várias instituições e pelo Ministério da Saúde brasileiro. Nessa metodologia,
os níveis estão associados à existência de estudos sobre a eficácia e a efetividade
da intervenção, bem como ao desenho, ao tamanho da amostra e à qualidade do
estudo (Brasil, 2014).
Nível de evidência alto implica forte confiança de que o verdadeiro efeito
esteja próximo do estimado. Nesse caso, as evidências são obtidas de ensaios clíni-
cos bem desenhados, com amostra representativa, sendo admitidas, em algumas
10. Os processos específicos se referem às solicitações de avaliação de uma única tecnologia. Por exemplo, um único
medicamento, ainda que o produto se apresente como combinação de dois ou mais fármacos (princípios-ativos). No
caso dos PCDTs, é comum que sejam recomendados vários medicamentos em um único protocolo.
11. O sítio eletrônico da Conitec é: <https://bit.ly/3GNvLpO>. Os relatórios estão disponíveis em: <https://bit.
ly/3CBLMMZ>.
12. Os relatórios excluídos se referem a procedimento diagnóstico; vacinas, que são medicamentos utilizados com
finalidade profilática; equipamento; e órtese, prótese e materiais especiais (OPME).
13. O PCDT sobre a prevenção da transmissão vertical do HIV, da sífilis e das hepatites virais foi mantido na relação
para a amostragem, visto que a finalidade principal dos medicamentos que são recomendados consiste no tratamento
das pessoas infectadas por vírus, no caso do HIV e das hepatites virais, e por bactéria, no caso da sífilis.
situações, evidências provenientes de estudos observacionais, representativos, bem

desenhados. Por sua vez, nível moderado significa que há confiança moderada no
efeito estimado. Nesses casos, as evidências são provenientes de ensaios clínicos
com limitações leves e de estudos observacionais bem delineados, com achados
consistentes. Por seu turno, nível baixo indica baixa confiança no efeito, pois as
evidências são oriundas de ensaios clínicos com limitações moderadas e de estudos
observacionais comparativos (coorte e caso-controle) (Brasil, 2014).
Por último, o nível muito baixo significa que a confiança na estimativa do
efeito é bastante limitada, uma vez que as evidências foram obtidas de ensaios
clínicos com limitações graves, de estudos observacionais não comparados ou
com limitações metodológicas importantes, ou ainda foram consideradas apenas
a opinião de especialistas.14 Ensaios clínicos não controlados por placebo ou
outra alternativa terapêutica para a doença em estudo e que contenham número
pequeno de participantes rebaixam o nível da evidência. Níveis de evidência de
eficácia e efetividade das tecnologias classificados como baixo e muito baixo são
considerados insuficientes para a recomendação de sua incorporação ao sistema
de saúde (Brasil, 2014).
A classificação do nível das evidências utilizadas pela Conitec nos seus rela-
tórios se baseou na identificação do desenho do estudo que foi citado no relatório,
conforme tipologias descritas por Fletcher e Fletcher (2006), e no número de
voluntários participantes de cada estudo. Os estudos citados pela Conitec contêm
as evidências que foram consideradas na sua decisão. Não foi analisada a existência
de vieses ou de outras limitações metodológicas em cada estudo, de forma que a
categorização apresentada neste capítulo, segundo o sistema Grade, contém um
certo grau de incerteza a respeito do nível dessas evidências.
Além da coleta de dados dos relatórios para a classificação do nível das evi-
dências para cada tecnologia, foram obtidos do sítio eletrônico da Conitec dados
a respeito das tecnologias avaliadas, tais como: demandante ou solicitante da ava-
liação, realização de consulta pública, data da solicitação de avaliação (protocolo)
e da publicação da portaria de decisão do MS sobre a tecnologia avaliada, menção
ao custo da tecnologia na recomendação final da comissão, entre outros.
Os relatórios das consultas públicas realizadas, disponibilizados no formato
PDF, foram convertidos para planilhas Excel, visando facilitar a tabulação de dados
sobre os participantes e sobre seus posicionamentos em relação à recomendação
inicial da Conitec. O objetivo da análise desses relatórios é entender como o
14. Na literatura, faz-se uma diferenciação entre evidências de especialista, que são fatos provenientes de trabalho
feito por um especialista, e opinião de especialista, que é a visão ou julgamento de um especialista sobre algo, não
necessariamente baseado em fatos. As evidências de especialistas são admissíveis na elaboração de PCDTs, durante
a fase prévia à realização dos painéis para a discussão dos achados científicos. Para tanto, elas devem ser coletadas
sistematicamente e disponibilizadas aos participantes desses painéis (Schünemann, Zhang e Oxman, 2019).
posicionamento e a participação do público externo, incluindo os especialistas,

profissionais de saúde, pacientes, famílias e empresa fabricante da tecnologia
avaliada, influencia as decisões sobre a incorporação de tecnologias no SUS.
Há mudanças no posicionamento inicial da Conitec? Mesmo com evidências
classificadas como baixas ou muito baixas, as opiniões expressas nas consultas
podem levar a Conitec a recomendar a incorporação quando sua posição inicial
era não recomendar? Em quais circunstâncias isso acontece?
Para tanto, foram consideradas três categorias de posicionamentos, de acordo
com a resposta dada pelo participante em relação à proposta de PCDT/diretriz
terapêutica e para a recomendação inicial da comissão nos casos de processos es-
pecíficos de avaliação de medicamentos: favorável, desfavorável e neutro. Para os
PCDTs, as respostas muito boa e boa foram consideradas favoráveis, as respostas
muito ruim e ruim desfavoráveis, e a resposta regular neutra. Para os medicamentos,
houve mudança, entre 2019 e 2020, nas respostas objetivas disponibilizadas nos
formulários da consulta pública. Nos casos dos processos de 2019, as respostas
concordo totalmente e concordo parcialmente foram consideradas favoráveis, e as
respostas discordo totalmente e discordo parcialmente como desfavoráveis. Não
havia a possibilidade de ser dada uma resposta neutra. Para os processos de 2020,
a resposta concordo foi tratada como favorável, discordo como desfavorável e não
concordo e não discordo como neutra.
A análise quali-quantitativa dos dados concentrou-se na identificação de
fatores que influenciam o processo de ATS da comissão, os quais são descritos e
discutidos na seção 5.
5 FATORES DE INFLUÊNCIA SOBRE O PROCESSO DE AVALIAÇÃO DE

TECNOLOGIAS EM SAÚDE PELA CONITEC
5.1 Nível das evidências sobre a eficácia e/ou efetividade das tecnologias
A amostra do estudo foi composta por doze PCDTs e dezessete processos espe-
cíficos de avaliação de medicamentos. No caso dos PCDTs, consideraram-se as
tecnologias com indicação de uso pela Conitec em cada documento, as quais pas-
saram a ser tratadas como “recomendadas” pela comissão. Ao todo, os protocolos
e diretrizes totalizam 25 medicamentos,15 20 procedimentos e 1 alimento para fins
especiais (fórmula de aminoácidos). Assim, a classificação preliminar16 dos níveis
15. Para a contabilização dos medicamentos, considerou-se como um único produto o medicamento com um ou dois
fármacos, assim como a classe terapêutica como um todo – por exemplo, estatinas.
16. A classificação dos níveis de evidência foi considerada preliminar porque não foi feita a análise da qualidade de
cada estudo utilizado pela Conitec para fundamentar as suas recomendações. Considerando que, por essa razão,
qualquer classificação dos níveis de evidência traria um certo grau de incerteza, preferiu-se trabalhar com intervalos
de categorias, por exemplo, ao invés de classificar o nível das evidências como “alto” ou “moderado”, decidiu-se
classificá-lo como “moderado a alto”.
de evidência sobre a eficácia e/ou efetividade foi feita para os medicamentos e

procedimentos recomendados em PCDTs e para os medicamentos avaliados em
processos específicos pela Conitec (n = 17). Ela consta, de forma detalhada, nos
apêndices B e C, respectivamente.
Na tabela 1, essa classificação é apresentada de forma sumarizada, identifi-
cando-se, para os medicamentos avaliados em processos específicos de solicitação
de incorporação e de ampliação do uso (n = 16), qual foi a recomendação final da
comissão. Na tabela 1, o destaque foi feito para os medicamentos em razão de sua
importância, em termos de participação, no conjunto de tecnologias recomendadas
nos PCDTs e nas avaliações específicas que compõem a amostra.
TABELA 1
Classificação preliminar dos níveis de evidência para medicamentos recomendados
em PCDTs e em processos específicos de avaliação pela Conitec1
Medicamentos Medicamentos avaliados em processo específico por recomendação final
recomendados em PCDTs Incorporar/ampliar o uso Não incorporar/não ampliar o uso
Níveis de evidência
Total Total incorporado/ Total não incorporado/uso não ampliado
N N N
recomendado (%) uso ampliado (%) (%)
Alto - - - - 1 16,7
Moderado a alto 6 24,0 5 50,0 3 50,0
Moderado 2 8,0 2 20,0 - -
Baixo a moderado 4 16,0 1 10,0 1 16,7
Baixo 5 20,0 1 10,0 1 16,7
Muito baixo a baixo 5 20,0 - - - -
Muito baixo 3 12,0 - - - -
Sem classificação - - 1 10,0
Total 25 100,0 10 100,0 6 100,0
Fonte: Dados de Conitec, recomendações sobre as tecnologias avaliadas. Disponível em: <https://bit.ly/3G39V0l>.
Nota: 1 Análise feita para uma amostra de relatórios de recomendação de PCDTs e de medicamentos.
Observa-se que as recomendações de incorporação e de ampliação de uso de

medicamentos foram fundamentadas por evidências classificadas em níveis mais
elevados, “moderado” e “moderado a alto” (n = 7, 70% dos casos analisados de
recomendação para incorporação/ampliação do uso). Em dois casos, houve reco-
mendação de incorporação ou ampliação de uso de medicamentos com nível de
evidências “baixo a moderado” e “baixo”, sendo que o único medicamento que
ficou “sem classificação” nesse grupo foi o levotiroxina, cuja solicitação foi para a
incorporação de novas concentrações, 12,5 e 37,5 mcg. A falta de uso de evidências
científicas para fundamentar a recomendação parece se justificar no fato de que
este é um medicamento que há muitos anos integra a Rename, dada a sua essen-
cialidade no tratamento do hipotireoidismo (Brasil, 2019a). Contudo, julga-se
importante que a comissão fundamente, com base em evidências científicas, a sua

decisão, considerando que as concentrações de 25, 50 e 100 mcg do medicamento
já estavam disponíveis no SUS.
No caso dos medicamentos que tiveram decisão pela não incorporação/não
ampliação do uso, as recomendações também foram embasadas por evidências de
níveis mais elevados para a maioria dos medicamentos (n = 4, 66,7%). A participação
dos casos de níveis de evidência “baixo a moderado” e “baixo” foi de 33,3% (n = 2).
Para a interpretação desses resultados, é importante destacar que não se está
considerando os achados dos estudos. Por exemplo, se o nível das evidências é
“moderado” e a Conitec recomenda a incorporação do medicamento, isso sig-
nifica que ela se baseou em evidências que conferem moderada confiança sobre
os achados de eficácia/efetividade desse medicamento no tratamento da doença.
Nesse caso, provavelmente os achados sinalizam para a eficácia do medicamento
e/ou para vantagens na comparação a outros medicamentos já incorporados ao
SUS. Se, por outro lado, o nível de evidências é moderado e a recomendação é
pela não incorporação do medicamento, é provável que os achados sobre a eficácia
do medicamento lhe sejam desfavoráveis.
Na análise apresentada neste capítulo, não se investigaram os achados sobre a
eficácia de cada estudo utilizado pela comissão na sua tomada de decisão. Pretende-se
tão somente, de forma preliminar, analisar o nível de confiança que esses estudos
aportam para o tomador de decisão – nesse caso, a comissão. Em um contexto
ideal, a tomada de decisão sobre a recomendação da incorporação da tecnologia
deveria ocorrer com base em estudos que conferem alta confiança na estimativa
da eficácia. Todavia, no mundo real, nem sempre isso é possível. Por exemplo, nos
casos de tecnologia indicada para tratamento de doença rara, sem alternativas tera-
pêuticas já incorporadas ao sistema de saúde, pode-se admitir menor rigor quanto
ao nível das evidências disponíveis. Contudo, para o tratamento das doenças mais
prevalentes, no geral, tem-se várias alternativas terapêuticas disponíveis e maior
rigor no nível das evidências é desejável.
Se o nível das evidências foi classificado de moderado a alto, é porque foram
realizados ensaios clínicos de fase III e/ou revisões sistemáticas de ensaios clínicos,
de boa qualidade metodológica. Os ensaios clínicos de fase III constituem o desenho
de estudo considerado padrão-ouro para a investigação da eficácia de medicamentos
(Fletcher e Fletcher, 2006). Portanto, podem ser problemáticas as recomendações
sobre a incorporação de medicamentos que se apoiam em evidências de nível bai-
xo, porque são provenientes de estudos observacionais (coorte e caso-controle) e
de ensaios clínicos com limitações metodológicas moderadas. Da mesma forma,
também podem ser inadequadas as decisões fundamentadas em evidências de nível
muito baixo, pois são oriundas de ensaios clínicos com limitações graves, de outros
tipos de estudos e de opiniões de especialistas.
Assim, a respeito das recomendações da Conitec, níveis de evidências mode-

rado e alto significam tomada de decisão com maior confiança nos achados sobre a
eficácia dos tratamentos, para recomendá-los ou não. Níveis de evidências baixo e
muito baixo implicam tomada de decisão com menor confiança nos achados sobre
a eficácia das tecnologias. Logo, recomendações de incorporação nessas condições
podem ser consideradas inapropriadas, com raras exceções.
O que se observou na amostra de medicamentos avaliados em processos es-
pecíficos é que a Conitec não recomendou a incorporação ou a ampliação de uso
de medicamento classificado com nível de evidência inferior a “moderado”, o que
é um indicativo de que o nível da evidência é um fator que influencia as recomen-
dações da comissão. Em alguns casos, inclusive, a própria comissão se incumbiu
da realização de estudo para ter mais segurança na sua avaliação, a exemplo das
metanálises em rede desenvolvidas no processo de avaliação dos medicamentos
ixequizumabe e empagliflozina/dapagliflozina. Isso contribuiu para a elevação do
nível das evidências nesses casos.
Contudo, ainda com base nos dados da tabela 1, verifica-se que o nível das
evidências foi mais baixo para os medicamentos recomendados em PCDTs (68%
deles, n = 17, foram classificados com níveis variando do “muito baixo” ao “baixo
a moderado”). Duas situações podem explicar esse achado. Primeiro, o fato de que
alguns medicamentos incluídos nos protocolos já foram avaliados em processos
específicos pela própria Conitec, tendo sido feita uma avaliação aprofundada das
evidências. Com isso, haveria uma certa “despreocupação” em fundamentar, de
forma robusta, a recomendação para o uso do medicamento no protocolo. Se-
gundo, o fato de que alguns medicamentos mais antigos, com uso consagrado na
terapêutica, já estão incorporados ao sistema de saúde há muito tempo, bem como
constam de protocolos e diretrizes terapêuticas de diversas instituições. Nesses
casos, há poucos estudos publicados sobre sua eficácia e sua incorporação ao SUS
não foi objeto de avaliação pela comissão.
Ambas as situações merecem atenção, sendo ideal que todas as recomendações
de uso de qualquer medicamento estejam fundamentadas na melhor evidência
disponível. Parece ser o caso de a comissão reavaliar o uso de alguns medicamen-
tos, cujas evidências de eficácia são de níveis mais baixos, e para os quais existem
alternativas terapêuticas. Prática essa que parece não ser corrente na comissão.
A ausência de processo de reavaliação das tecnologias, com revisão da sua
indicação de uso ou recomendação para sua desincorporação, tem sido apontada
como um problema da Conitec (Pereira, Barreto e Neves, 2019). Um estudo rea-
lizado sobre as avaliações feitas pela comissão entre 2012 e junho de 2016 mostra
que as solicitações de desincorporação de medicamentos à comissão ocorreram em
número bem menor do que as solicitações de incorporação aprovadas, resultando
em aumento da oferta dessas tecnologias no SUS (Caetano et al., 2019). Esse com-
portamento cumulativo das tecnologias em saúde foi há muito reconhecido como
um elemento importante do aumento dos custos no setor (Santos, 2010). Outra
questão que tem sido apontada pela literatura é a variabilidade do rigor adotado
no uso de evidências pela Conitec em suas avaliações, a qual foi considerada um
indício de problema no seu processo decisório (Yuba, Novaes e Soárez, 2018).
Em relação ao nível baixo das evidências de alguns medicamentos reco-
mendados em PCDTs, na amostra analisada, o nusinersena chama a atenção por
se tratar de um produto de preço elevado. Embora haja um relatório prévio de
avaliação da tecnologia pela Conitec, os estudos que embasaram a recomendação
não foram citados no PCDT, como já observado em análise anterior (Vieira, Servo
e Piola, 2020). Isso compromete a qualidade do protocolo. Ainda que em pouco
tempo o MS tenha sido capaz de organizar os processos de trabalho da Conitec e
de produzir PCDTs com maior qualidade e transparência do que as guias de prá-
tica clínica elaboradas por sociedades de especialidades e pela Associação Médica
Brasileira, o órgão ainda não obteve o nível mais elevado de qualidade para esses
PCDTs (Molino et al., 2019).
Em síntese, o nível das evidências é um fator importante de influência sobre
as recomendações da Conitec. Entretanto, o rigor na fundamentação dessas re-
comendações é maior para as avaliações de incorporação ou ampliação de uso de
medicamentos do que para a recomendação de uso desses produtos nos PCDTs.
Além disso, como várias decisões favoráveis à incorporação foram tomadas conside-
rando evidências de nível “moderado” e não apenas de nível “alto”, é provável que
outros fatores também influenciem seu processo de avaliação, como se verá a seguir.
5.2 Manifestação de atores interessados nas tecnologias avaliadas sobre as

recomendações iniciais da comissão
Nesta seção, o propósito não é avaliar o processo de participação social em si,
mas se essa participação afeta as decisões da Conitec. Analisou-se uma parte desse
processo de envolvimento do público, que são as consultas públicas, quanto às
suas manifestações em relação ao relatório de recomendação inicial da comissão.
Foram avaliadas as consultas realizadas para os PCDTs e relatórios de incorporação
de tecnologias (medicamentos).
Como o objetivo deste capítulo é analisar o uso de evidências na tomada de
decisão, a análise concentrou-se em dois aspectos: i) manifestações favoráveis ou
desfavoráveis à recomendação inicial da Conitec, por categoria de participantes –
especialistas, profissionais de saúde, pacientes, familiares, empresa fabricante da
tecnologia avaliada e outros; e ii) em que circunstâncias a manifestação divergia
da recomendação inicial da Conitec.
Nos apêndices D e E, é apresentado, de forma detalhada, o posicionamento

dos participantes de consultas públicas realizadas pela Conitec sobre as propostas
de PCDTs e sobre as recomendações para medicamentos avaliados em processos
específicos, respectivamente. No caso dos medicamentos (apêndice E), as par-
ticipações estão divididas entre as que foram dadas por meio do formulário de
experiência e aquelas que utilizaram o formulário técnico.
A respeito desses resultados, é importante destacar que a Conitec, a partir de
outubro de 2020, passou a aceitar apenas uma contribuição por CPF ou CNPJ.
Logo, as consultas públicas realizadas em datas anteriores contêm, muito prova-
velmente, contribuições repetidas feitas por um mesmo participante – caso da
maioria das consultas feitas para os PCDTs e medicamentos da amostra. Como a
contagem das participações foi feita a partir dos relatórios das consultas publica-
dos no sítio eletrônico da comissão, e esses relatórios não contêm a identificação
dos participantes por CPF e CNPJ, não foi possível eliminar as contribuições
duplicadas. Esse destaque é relevante, porque o incentivo para o envio de mais de
uma contribuição pelo mesmo participante tende a ser maior, como se verificou,
quando a recomendação da Conitec é pela não incorporação ou não ampliação
do uso do medicamento avaliado.
Como mostram os apêndices D e E, há uma grande diferença nas partici-
pações, que variam de 4 a 1.531 participantes entre as consultas para PCDTs, e
de 26 a 11.690 participantes no caso de medicamentos. O que se observa é que a
mobilização para participação nas consultas sobre medicamentos avaliados foi maior
do que sobre PCDTs. Como os PCDTs tratam, em geral, de medicamentos que
já foram incorporados, a maioria das manifestações dos participantes é favorável
à proposta feita pela Conitec.
Essas propostas são submetidas à consulta pública com recomendação para
sua aprovação e os participantes se manifestam em relação a sua qualidade,17 po-
dendo apresentar sugestões de alteração do texto ou de inclusão de informações.
Das doze propostas de PCDTs submetidas à consulta pública, as que contaram
com maiores mobilizações foram as da atrofia espinal muscular (n = 1.531, com
apenas 4,2% de manifestações desfavoráveis), da mucopolissacaridose (n = 618,
com 79,4% de manifestações desfavoráveis) e da esclerose lateral amiotrófica (n =
592, com 2,0% de manifestações desfavoráveis). Essas propostas têm em comum
o fato de definirem diretrizes para o diagnóstico e o tratamento de doenças raras.18
17. No formulário da consulta pública, os participantes são instados a dar sua opinião sobre a proposta de PCDT ou de
diretriz terapêutica. As respostas possíveis, nesse caso, são: muito boa, boa, regular, ruim e muito ruim. Não fica claro
se esse julgamento diz respeito à forma ou ao conteúdo da proposta. Entretanto, é provável que o conteúdo tenha um
peso maior nessa avaliação, especialmente em relação aos critérios de inclusão de pacientes para o uso da tecnologia
e quanto às próprias tecnologias recomendadas no PCDT ou na diretriz.
18. O MS considera a doença como rara aquela que afeta até 65 pessoas em cada 100 mil indivíduos, ou seja, 1,3
pessoas para cada 2 mil indivíduos. Dados disponíveis em: <https://bit.ly/3gJpP6z>. Acesso em: 20 abr. 2021.
No caso do PCDT da mucopolissacaridose, uma parte dos participantes

discordou da Conitec em relação às evidências sobre os benefícios do transplante
de células-tronco em relação à terapia de reposição enzimática (TRE). Eles desta-
caram que esses achados não são consistentes na literatura. Também discordaram
dos critérios de inclusão e exclusão de pacientes para uso da TRE e defenderam
que ela possa ser administrada a todos os diagnosticados, independentemente das
complicações de saúde existentes (Brasil, 2019b).
Nos casos de avaliação de medicamentos em processos específicos, as consultas
públicas foram feitas para quinze dos dezessete medicamentos avaliados (apêndice
E). Os dois que não foram submetidos a esse procedimento foram o simeprevir,
que teve recomendação de desincorporação após a empresa fabricante comunicar
a descontinuidade de sua produção, e o levotiroxina, que teve recomendação de
incorporação de mais duas concentrações do medicamento, em um processo rápi-
do de avaliação. Essas duas situações são plenamente justificadas. Na maioria dos
casos, quando a recomendação inicial da Conitec foi por não incorporar, a posição
dos participantes em consultas públicas relacionadas às experiências foi contrária
(desfavorável) à recomendação inicial. Em 2019, considerando os seis relatórios de
incorporação analisados, a recomendação inicial foi por não incorporar em quatro
deles e as manifestações desfavoráveis a essa recomendação foram superiores a 90%.
Em 2020, observa-se o mesmo padrão com relação à recomendação inicial de não
incorporar ou ampliar o uso. Nesses relatórios, passou a ser adotado pela Conitec o
posicionamento “neutro”,19 mas a maioria dos participantes nas consultas públicas
relacionadas às experiências foram desfavoráveis quando a recomendação inicial
foi pela não incorporação.
As maiores mobilizações ocorreram para os medicamentos lumacaftor/ivacaf-
tor (n = 11.690, com 94,7% de manifestações desfavoráveis à recomendação inicial
da Conitec), empagliflozina/dapagliflozina (n = 3.608, com 0,8% de manifestações
desfavoráveis), riociguate (n = 3.542, com 88,4% de manifestações desfavorá-
veis), insulinas análogas (n = 2.571, com 94,7% de manifestações desfavoráveis)
19. Em 2019, os participantes se manifestavam sobre a recomendação inicial da Conitec respondendo “concordo
totalmente”, “concordo parcialmente”, “discordo totalmente” e “discordo parcialmente”. As duas primeiras respostas
foram consideradas favoráveis à recomendação e as duas últimas desfavoráveis. Em 2020, a Conitec mudou as cate-
gorias de resposta para “concordo”, “discordo” e “não concordo e não discordo”. Esta última foi considerada como
posicionamento “neutro” a respeito da recomendação inicial da comissão.
e sacubitril/valsartana (n = 2.187, com 92,5% de manifestações desfavoráveis).20

O lumacaftor/ivacaftor é indicado no tratamento da fibrose cística e o riociguate
para pacientes com hipertensão pulmonar tromboembólica crônica, que são
doenças raras. Empagliflozina/dapagliflozina (diabetes mellitus tipo 2), insulinas
análogas (diabetes mellitus tipo I) e sacubitril/valsartana (insuficiência cardíaca
crônica sintomática) são indicados no tratamento de doenças mais prevalentes.
No caso das doenças raras, embora elas acometam um número menor de
pacientes, tanto os pacientes como os seus familiares buscam se associar a organiza-
ções, com o objetivo de ganharem mais força para a reivindicação de seus direitos.
Reivindicam políticas públicas que englobem o diagnóstico, o atendimento e o
acesso a medicamentos (Pereira, 2015). A mobilização dessas organizações em
torno das consultas públicas de medicamentos pode explicar o elevado número
de manifestações, tendo sido observada, inclusive, a repetição literal do texto da
contribuição em vários casos, o que indica que houve uma orientação da associação
para seus associados quanto ao conteúdo da manifestação.
Em relação aos posicionamentos dos participantes quanto à recomendação
inicial da Conitec, o gráfico 1 apresenta o percentual de manifestações desfavoráveis
para os quatro medicamentos avaliados com maior número de participações, por
categorias de atores participantes. Três constatações são evidentes a partir dessa
ilustração. Primeiro, que as manifestações desfavoráveis à recomendação inicial
da Conitec foram muito menores para o caso de incorporação (gráfico 1B) do
que para os casos de não incorporação (gráficos 1A, 1C e 1D). Segundo, que as
manifestações das pessoas jurídicas (instituições) tenderam a ser mais uniformes.
Terceiro, que há uma baixa participação das secretarias estaduais e municipais de
saúde nas consultas públicas.
20. O número de participantes das consultas públicas apresentado neste estudo pode ter diferença em relação ao relatado
pela Conitec em seus relatórios de recomendação. Observou-se que, no geral, essa diferença foi muito pequena. A maior
delas ocorreu para a consulta pública sobre o relatório de recomendação do lumacaftor/ivacaftor. A Conitec informou
um total de 12.304 participantes, sendo que 388 utilizaram o formulário técnico e 11.916 o formulário experiência
(ver link para o relatório no apêndice A). Não houve divergência no número de participantes do formulário técnico.
Contudo, houve divergência no que tange ao formulário de experiência, com a contabilização de 11.302 participações
(diferença de 5%). Tais diferenças podem ser explicadas pela perda de informações quando o arquivo dos relatórios
das consultas é transformado do formato PDF para o Excel. Contribuições textuais muito longas, que ultrapassam mais
de uma página do arquivo PDF, têm maior probabilidade de serem perdidas na conversão do formato dos arquivos.
Contribui para isso também a extensão do arquivo. O relatório das participações com o uso do formulário experiência
para o lumacaftor/ivacaftor tem 2.145 páginas no formato PDF.
GRÁFICO 1
Participantes que apresentaram oposição à recomendação inicial da Conitec sobre a
sua incorporação
(Em %)
1A – Lumacaftor/ivacaftor: contrários a “não incorporar” (total de participantes: 11.690)
Sociedades médicas (n=4) 100,0
Secretarias estaduais de saúde (n=2) 100,0
Profissionais de saúde (n=904) 95,7
Pacientes (n=353) 92,9
Interessados no tema (n=2.405) 92,1
Instituição de saúde (n=1) 100,0
Familiares, amigos ou cuidadores (n=7.992) 95,4
Empresas fabricantes da tecnologia (n=1) 100,0
Associações de pacientes (n=22) 100,0
88 90 92 94 96 98 100
1B – Empaglifozina e dapaglifozina: contrários a “incorporar dapagliflozina e não incorporar

empagliflozina” (total de participantes: 3.608)
Profissionais de saúde (n=2.159) 0,7
Interessados no tema (n=335) 0,9
Instituições de saúde (n=4) -
Instituições de ensino (n=1) -
Familiares, amigos ou cuidadores (n=528) 0,4
Empresas (n=5) -
0 5 10 15 20 25 30 35 40 45 50
1C – Riociguate: contrários a “não incorporar” (total de participantes: 3.542)

Interessados no tema (n=2.052) 88,2
Instituição de saúde (n=2) 100,0
Familiares, amigos ou cuidadores (n=670) 89,3
Empresas (n=1) 100,0
75 80 85 90 95 100
1D – Insulinas analógicas: contrários a “não incorporar” (total de participantes: 2.571)

Secretarias municipais de saúde (n=1) 100,0
Interessados no tema (n=106) 94,3
Familiares, amigos ou cuidadores (n=1.187) 95,1
91 92 93 94 95 96 97 98 99 100
Fonte: Dados de Conitec, consultas públicas encerradas. Disponível em: <https://bit.ly/3GAivoa>.

Obs.: Manifestações desfavoráveis em percentual, sendo n igual ao número total de participantes da consulta pública em cada
categoria de ator.
Em relação à primeira constatação (tabela 2), que considera todas as mani-

festações dos participantes das consultas públicas relativas a medicamentos ava-
liados em processos específicos, vê-se que as desfavoráveis à recomendação inicial
de não incorporação/não ampliação do uso pela Conitec suplantaram com larga
folga as desfavoráveis quando a recomendação da comissão foi pela incorporação/
ampliação do uso.
TABELA 2
Posicionamentos dos participantes sobre a recomendação inicial da Conitec
Posicionamentos
Recomendação inicial Total
Favoráveis Desfavoráveis
Incorporar/ampliar o uso 4.030 108 4.138
Não incorporar/não ampliar o uso 1.075 21.235 22.310
Total 5.105 21.343 26.448
Fonte: Dados de Conitec, consultas públicas encerradas. Disponível em: <https://bit.ly/3GAivoa>.

Obs.: Os posicionamentos neutros não foram contabilizados.
Quando a recomendação foi pela não incorporação/não ampliação do uso, a

chance de ter posicionamento desfavorável foi 737 vezes maior do que quando a
recomendação foi pela incorporação/ampliação de uso do medicamento (razão de
chances/odds ratio = 737,1). Esse número pode variar de acordo com o conjunto
de tecnologias avaliadas, pois, como visto anteriormente, é possível que a mobili-
zação de participação seja maior no caso de produtos indicados ao tratamento de
doenças que possuem pacientes organizados em associações, especialmente as de
doenças raras. Para a amostra analisada neste estudo, o número de posicionamentos
desfavoráveis se revela muito alto, o que significa que, para o conjunto de medica-
mentos considerados, a chance de uma manifestação desfavorável à recomendação
da Conitec foi muito maior quando esta indicou a não incorporação/não ampliação
do uso da tecnologia.
Quanto à segunda constatação, não incorporar/não ampliar o uso, é inte-
ressante notar que as pessoas jurídicas (sociedades médicas, secretarias de saúde,
instituições de saúde, associações de pacientes e empresas) tiveram posicionamento
mais alinhado na discordância em relação à recomendação inicial da Conitec do que
as pessoas físicas (profissionais de saúde, pacientes, interessados no tema e familiares,
amigos ou cuidadores de pacientes), à exceção da consulta sobre a empagliflozina
e a dapagliflozina (gráfico 1B). Os percentuais de desaprovação do primeiro grupo
foram de 100%, enquanto para as pessoas físicas houve variação dos percentuais
entre as categorias de atores. Nesse caso, como a decisão foi pela incorporação
da dapagliflozina e não incorporação da empagliflozina, duas das oito sociedades
médicas e uma das duas empresas fabricantes discordaram da decisão. No caso
da empresa, a fabricante da empagliflozina defendeu a superioridade, em termos
clínicos, de seu produto em relação à dapagliflozina. E, no caso das sociedades
médicas, uma queixou-se do uso do critério econômico na opção de recomendação
de um dos medicamentos por parte da Conitec e a outra equivocou-se quanto ao
objeto da consulta pública. Manifestou-se a respeito do medicamento sibutramina.
Em relação à terceira constatação, a participação das secretarias municipais
e estaduais de saúde nas consultas públicas da amostra foi muito baixa. Como as
recomendações da Conitec e as consequentes decisões sobre tecnologias do MS
impactam o SUS como um todo, é preocupante o pouco interesse dessas secretarias
nos processos, ainda que estejam representadas na comissão pelos seus conselhos,
o Conass e o Conasems. É provável que muitos medicamentos avaliados pela
Conitec estejam sendo judicializados e as secretarias estejam sendo compelidas
a adquiri-los. Além disso, em princípio, elas só podem ter processos próprios de
ATS apenas para as tecnologias com indicação de uso não prevista em protocolos
de âmbito nacional, conforme estabelece a Lei no 12.401 (Brasil, 2011a).
Ainda em relação às consultas públicas, do total de quinze medicamentos
avaliados, houve quatro casos (26,7%) de mudança da recomendação da Conitec
após a sua realização, de não incorporar para incorporar: baricitinibe (nível de evi-
dência de moderado a alto), certolizumabe (baixo a moderado), insulinas análogas
(moderado a alto) e sacubitril/valsartana (moderado).
Parece ter havido uma mudança na posição da Conitec em relação aos resul-
tados das consultas públicas nos dois anos analisados. Em 2019, quando a posição
do público em geral foi desfavorável à recomendação inicial, a tendência foi de a
Conitec mudar sua recomendação. Apenas em um caso a recomendação inicial
foi mantida mesmo com a posição desfavorável manifestada pelos participantes.

Em 2020, dos cinco casos onde a recomendação inicial era não incorporar e não
ampliar o uso, em apenas um deles a Conitec mudou sua posição a partir das
observações dos participantes das consultas públicas.
Caetano, Hauegen e Osório-de-Castro (2019), em estudo de caso sobre
a incorporação do medicamento nusinersena, já haviam identificado mudança
de posicionamento da Conitec após a consulta pública. Segundo esses autores,
a consulta pública não aportou novas evidências científicas que justificassem a
alteração da recomendação da Conitec de não incorporar o medicamento para
incorporar. Eles concluíram que a recomendação para a incorporação se deu por
decisão política, uma vez que as evidências sobre a eficácia, efetividade e custo-
efetividade do medicamento não apoiavam tal recomendação.
Neste estudo, não foi analisado o conteúdo das contribuições, o que é
desejável que se faça em estudos futuros. Seria importante saber quais fatos e
argumentos foram apresentados nas consultas públicas que podem ter influen-
ciado a decisão da Conitec nos casos mencionados. A consulta pública é o
principal meio de participação social nos processos de ATS em todo o mundo,
mas ainda existem barreiras importantes para que essa participação aconteça de
forma adequada, tais como a falta de informação dos cidadãos e pacientes sobre
a ATS e a ausência de políticas para apoiar o envolvimento deles nesse processo
(Gagnon et al., 2021). No Brasil, a falta de uma política dessa natureza para
embasar a participação social em espaços formais abertos pela Conitec, Anvisa
e ANS também é apontada como uma fragilidade desse processo. Defende-se a
realização de estudos para saber quem ocupa esses espaços e se as decisões que
consideram as contribuições apresentadas por esses participantes são mais legí-
timas (Lopes, Novaes e Soárez, 2020).
O envolvimento da população em diferentes etapas dos processos de ATS,
antes centrados na perspectiva de especialistas e pesquisadores, nos anos 2000 passou
a fazer parte dos procedimentos adotados por diferentes agências internacionais.
Castro e Elias (2018), citando um inquérito feito por outros pesquisadores junto
às agências que fazem parte da International Network for Health Technology As-
sessment (INAHTA), afirmam que essas iniciativas aumentaram. Em 2006, 57%
das agências da INAHTA promoviam o envolvimento do público em alguma de
suas etapas de avaliação. Em 2010, esse percentual havia aumentado para 62,7%.
Ainda segundo os autores, a Health Technology Assessment International (HTAi)
recomenda a inclusão de pacientes como participantes plenos nesse processo. Cas-
tro e Elias (2018) também destacaram que, no Brasil, estão estabelecidas em lei a
realização de consultas, audiências públicas e representação do Conselho Nacional
de Saúde no plenário da Conitec.
Silva et al. (2019) analisaram o processo de participação social na incorpo-

ração de tecnologias em saúde no SUS no período de 2012 e 2017. No que se
refere às consultas públicas, os autores destacaram que seu objetivo é “ampliar a
discussão sobre as matérias em análise, perpassando aspectos técnicos, científicos,
econômicos e logísticos já identificados. São agregadas também à discussão a visão
e as vivências de pacientes, profissionais de saúde, cidadãos e outros atores sociais”
(Silva et al., 2019, p. 4). Os autores analisaram 42.630 contribuições feitas a 257
consultas públicas nesse período e concluíram que os instrumentos legais para a
participação social existem; contudo, nem todos eles haviam sido aplicados até
o momento da análise, destacando-se a não realização de audiências públicas.
Também foi ressaltada a necessidade de se qualificar a participação social para uso
desses mecanismos no SUS.
Em síntese, considerando os achados sobre a participação social nas consultas
públicas deste estudo, é possível concluir que a manifestação de atores interessados
nas tecnologias avaliadas pela Conitec é fator que pode influenciar as suas reco-
mendações. Isso porque, em alguns casos, ela foi capaz de alterar o posicionamento
inicial da comissão, com base na apresentação de relatos de experiência do uso
dos medicamentos e em casos nos quais o nível de evidências variou entre baixo
e moderado.
5.3 Demandantes das avaliações de tecnologias em saúde

Em relação aos demandantes das avaliações pela Conitec, o próprio MS foi o que
teve maior frequência de solicitações, sendo as propostas de PCDT majoritárias.
Das 29 tecnologias demandadas que compõem a amostra, 65,5% (n = 19) foram
demandadas pelo MS, sendo nove propostas de PCDT, duas diretrizes terapêuticas,
um procedimento e sete solicitações de avaliação de medicamentos. A segunda
maior categoria de demandantes foi a de empresas fabricantes, com nove pedidos
de avaliação de medicamentos (27,6%). Houve ainda uma solicitação de avaliação
de medicamento por uma secretaria estadual de saúde (3,4%) e um pedido de
avaliação de medicamento por uma sociedade médica (3,4%).
Esses achados não surpreendem, considerando que as secretarias do MS têm,
entre as suas responsabilidades, a proposição e a atualização de PCDTs e que, ao
propô-los e atualizá-los, isso acaba gerando a necessidade de avaliação de alguns
medicamentos. Por seu turno, entre as empresas fabricantes de tecnologias, a in-
dústria farmacêutica se destaca pelo volume de vendas ao governo.
Quanto à categoria das tecnologias demandadas, 58,6% (n = 17) são medi-
camentos, 37,9% são PCDTs e diretrizes terapêuticas (n = 11) e 3,4% (n = 1) são
procedimentos. Os medicamentos já haviam sido identificados em outro estudo
como a categoria de tecnologias com maior solicitação de avaliação pela Conitec
(Caetano et al., 2017). Por isso, para a análise a seguir, fez-se um recorte da
recomendação da Conitec, antes e após a realização das consultas públicas, por
demandante. Os resultados são apresentados na tabela 3.
TABELA 3
Recomendação da Conitec, antes e após a realização da consulta pública, para a amostra
de processos específicos de medicamentos, de acordo com o demandante da avaliação
Demandante da avaliação Ampliar o uso Não ampliar o uso Incorporar Não incorporar Total
Antes da consulta pública (recomendação inicial)
Empresa fabricante - - - 8 8
SUS/MS 1 1 3 - 5
SUS/Secretaria Estadual de Saúde - - - 1 1
Sociedade médica - - 1 - 1
Total 1 1 4 9 15
Após a consulta pública (recomendação final)
Empresa fabricante - - 3 5 8
SUS/MS 1 1 3 - 5
SUS/Secretaria Estadual de Saúde - - 1 - 1
Sociedade médica - - 1 - 1
Total 1 1 8 5 15
Na tabela 3, fica explícita a mudança de posicionamento da Conitec em quatro

avaliações, após a realização da consulta pública, como já apontado anteriormente.
Nenhum dos medicamentos relacionados a essas avaliações foi demandado pelo MS.
Foram três alterações de recomendação, de não incorporar para incorporar, para
demandas oriundas das empresas fabricantes, e uma alteração para a solicitação de
avaliação encaminhada por uma secretaria estadual de saúde. Das cinco demandas
do MS que passaram por consulta pública, apenas no caso do dasatinibe, a recomen-
dação final foi contrária ao pedido de ampliação do uso do medicamento (20%).
No caso dos pedidos das empresas fabricantes, a recomendação final foi contrária
para 62,5% deles. Como a Conitec integra a estrutura do MS e as demandas desse
órgão são originadas das secretarias que o compõem, as quais têm representantes
na comissão, é possível que haja maior alinhamento entre os seus membros, prévio
à apresentação da solicitação, e entre a recomendação inicial e final. Isso aumenta
as chances de uma recomendação inicial favorável, que tem menor probabilidade
de receber manifestações desfavoráveis da sociedade nas consultas públicas.
Em relação ao tempo de análise das demandas, observa-se diferença importante
entre aquelas feitas pelo MS e as originadas das empresas fabricantes, como mostra
a tabela 4. A média e a mediana do tempo de análise foram, respectivamente, 2,6
e 3,2 vezes maiores para as solicitações das empresas fabricantes em comparação

com as do MS. Considerando-se que o prazo máximo legal para a avaliação pela
Conitec e a publicação da decisão sobre a solicitação pelo MS é de 270 dias (180
dias com a possibilidade de prorrogação por mais 90 dias), observou-se que esse
limite foi respeitado para três em oito solicitações das empresas fabricantes (37,5%)
e para seis em sete solicitações do MS (85,7%).
TABELA 4
Tempo de análise das demandas de avaliação de medicamentos pela Conitec, segundo
demandante
(Em dias)
Demandante/medicamento Tempo1 Média Mediana
Empresa fabricante 312 333
Baricitinibe 244
Certolizumabe pegol 208
Ixequizumabe 430
Lumacaftor/ivacaftor 351
Riociguate 314
Sacubitril/valsartana 371
Secuquinumabe 209
Tofacitinibe 369
SUS/MS 119 103
Abiraterona 120
Dasatinibe 93
Empagliflozina e dapagliflozina 277
Levotiroxina sódica 103
Naproxeno 156
Simeprevir 4
Tetraciclina 83
SUS/Secretaria Estadual de Saúde - -
Insulinas análogas 419
Sociedade médica - -
Bortezomibe 240
Nota: 1 O tempo foi contado a partir do protocolo da solicitação na Conitec até a publicação da portaria de decisão pela
Secretaria de Ciência, Tecnologia e Insumos Estratégicos (SCTIE).
As diferenças nos tempos de análise podem ser justificadas, em parte, pela

complexidade do trabalho de avaliação a ser feito para cada tecnologia demandada.
Por exemplo, o tempo de quatro dias, relativo ao medicamento simeprevir, foi
muito curto, visto que se trata de uma solicitação de desincorporação, em razão
da descontinuidade de sua produção pelo fabricante. Não há muito o que fazer

em relação a essa solicitação. Algumas solicitações de ampliação do uso também
podem ter avaliação menos complexa.
Por outro lado, outras solicitações podem demandar mais trabalho de proces-
samento e síntese das evidências disponíveis. No caso da solicitação de incorporação
dos medicamentos empagliflozina e dapagliflozina, cujo tempo de análise foi de 277
dias, a Conitec realizou uma metanálise em rede para subsidiar sua recomendação.
Por se tratar de um desenho de estudo complexo, é esperado um tempo maior para
a avaliação da tecnologia. As empresas fabricantes tendem a solicitar a avaliação
de medicamentos novos, recém-lançados no mercado – o que exige maior esforço
de busca e análise dos estudos publicados e/ou disponibilizados pelo fabricante. O
MS, por sua vez, tende a propor a incorporação de alternativas com mais tempo
de comercialização e conhecimento mais consolidado a respeito de sua eficácia – a
exemplo dos medicamentos naproxeno, levotiroxina e tetraciclina, constantes da
tabela 4. Assim, os tempos de análise podem ser significativamente diferentes entre
as duas categorias de demandantes.
Contudo, também não se pode descartar a possibilidade de uma tramitação
mais ágil das demandas quando feitas pelo próprio MS. Veja-se que os medica-
mentos demandados pelo ministério – abiraterona (com recomendação final para
incorporar) e dasatinibe (com recomendação final para não ampliar o uso) – foram
analisados em tempos bem menores, 120 e 93 dias, respectivamente, se comparado
ao medicamento demandado pela empresa fabricante com menor tempo de análise,
certolizumabe, 208 dias, com recomendação final para incorporar.
Dessa forma, em relação à influência dos demandantes sobre o processo de
ATS pela Conitec, pode-se dizer que não está descartada a constatação de o maior
percentual de aprovação das demandas e do processamento mais rápido ocorrerem
para as solicitações do MS, em razão de o órgão acumular os papeis de demandante
da avaliação e de órgão responsável pela avaliação da tecnologia.
5.4 Custo das tecnologias demandadas

Em relação ao custo, a tabela 5 mostra que esta variável foi considerada em mais
da metade das solicitações de avaliação de medicamentos levadas à Conitec, des-
considerando-se o pedido de desincorporação. Do total de dezesseis solicitações, a
comissão fez menção aos custos do medicamento em 62,5% dos casos (n = 10) em
suas recomendações, sendo que destes, o fator custos pesou a favor da solicitação
em sete casos, que tiveram recomendação de incorporação ou de ampliação de
uso, e contra à solicitação em três casos, que se referem a demandas de empresas
fabricantes, cuja recomendação foi pela não incorporação.
TABELA 5
Menção/influência dos custos nas recomendações da Conitec, segundo demandante
da avaliação, recomendação final, medicamento e classificação preliminar do nível
de evidência
Menção ao custo do medicamento
Classificação preliminar do
Demandante/recomendação final/ Sim
nível de evidência sobre a Total
medicamento Não
eficácia/ efetividade Pesou a favor da Pesou contra a
solicitação solicitação
Empresa fabricante 3 2 3 8
Incorporar
Baricitinibe Moderado a alto X
Certolizumabe pegol Baixo a moderado X
Sacubitril/valsartana Moderado X
Não incorporar
Ixequizumabe Moderado a alto X
Lumacaftor/ivacaftor Moderado a alto X
Riociguate Baixo a moderado X
Secuquinumabe Alto X
Tofacitinibe Moderado a alto X
SUS/MS 4 3 - 7
Ampliar o uso
Naproxeno Baixo X
Desincorporar
Simeprevir Sem classificação X
Incorporar
Abiraterona Moderado a alto X
Empagliflozina e dapagliflozina Moderado a alto X
Levotiroxina Sem classificação X
Tetraciclina Moderado X
Não ampliar o uso
Dasatinibe Baixo X
SUS/Secretaria Estadual de Saúde - 1 - 1
Incorporar
Insulinas análogas Moderado a alto X
Outro - 1 - 1
Incorporar
Bortezomibe Moderado a alto X
Total 7 7 3 17
Obs.: Verificou-se a menção aos custos dos medicamentos na seção “recomendação final” dos relatórios.
Os três medicamentos para os quais houve consideração dos custos nas reco-
mendações pesando contra a solicitação foram o ixequizumabe, o lumacaftor/iva-
caftor e o riociguate. Sobre o ixequizumabe, a Conitec se pronunciou nesses termos:
a partir das estimativas de efetividade comparativa disponíveis, por meio de meta-análises
em rede, é possível observar que o secuquinumabe, tratamento disponível no SUS,
se destaca como a melhor opção de tratamento na indicação dessa submissão quando
comparado a outras opções, inclusive o ixequizumabe, que foi considerada a pior opção
para o tratamento da artrite psoríaca na relação geral do desempenho nos desfechos de
efetividade e segurança. Além disso, estima-se que a incorporação do ixequizumabe
possa implicar um impacto incremental de mais de R$ 58 milhões (Brasil, 2020b, p. 8).
Com relação ao lumacaftor/ivacaftor, o posicionamento foi de que:
o plenário da Conitec ponderou a respeito dos resultados modestos de eficácia do
lumacaftor/ivacaftor, assim como da razão de custo-efetividade incremental e do
impacto orçamentário que foram considerados elevados. Sendo assim, os membros
da Conitec presentes na 92ª reunião ordinária, no dia 5 de novembro de 2020,
deliberaram, por unanimidade, recomendar a não incorporação do Lumacaftor/
Ivacaftor para o tratamento da fibrose cística em pacientes com idade ≥ 6 anos que
são homozigotos para a mutação F508del no gene CFTR. Foi assinado o registro de
deliberação no 575/2020 (Brasil, 2020c, p. 9).
Por fim, em relação ao riociguate, a Conitec considerou que “as incertezas
nas evidências apresentadas em relação à eficácia, principalmente a longo prazo, e
fragilidades nos estudos econômicos apresentados” (Brasil, 2020d, p. 9) e que “o
elevado impacto orçamentário da incorporação não se justificaria frente às incertezas
supracitadas” (op. cit., p. 37).
Os estudos sobre esses três medicamentos aportaram níveis mais elevados de
confiança de que o efeito medido se aproxima do verdadeiro em relação à eficácia
de dois deles, classificados como “moderado a alto”, e nível mais baixo para um
deles, classificado como “baixo a moderado”. Como se vê nos excertos anteriores, a
Conitec avaliou que as evidências sobre a eficácia/efetividade desses medicamentos
revelam benefícios modestos e os custos também lhes foram desfavoráveis.
Um caso interessante é o da avaliação dos medicamentos empagliflozina
e dapagliflozina que foi feito no mesmo processo. Nesse caso, os custos foram
determinantes para a decisão da Conitec de recomendar o segundo, ao invés
do primeiro, como se vê a seguir: “no entendimento da plenária, com base nas
evidências apresentadas, a efetividade da dapagliflozina e da empagliflozina é
semelhante, devendo ser incorporado o medicamento com menor preço” (Brasil,
2020e, p. 15-16).
Outro caso curioso é o do baricitinibe, que teve recomendação inicial de não
incorporação e manifestação em relação aos custos nos seguintes termos:
considerou-se que baricitinibe não demonstrou superioridade clínica ou econômica

comparada aos medicamentos disponíveis que justifiquem sua incorporação no SUS.
Assim, a Conitec em 7 de novembro de 2019, recomendou não incorporação no SUS
do baricitinibe (Olumiant®) para o tratamento de pacientes com artrite reumatoide
estabelecida, moderada ou grave, com resposta insuficiente ou intolerância a um ou
mais medicamentos modificadores do curso da doença não biológicos e biológicos
(Brasil, 2020f, p. 11).
Após a consulta pública, a recomendação final foi de incorporação. O es-
tranho é que a decisão sobre a recomendação se deu de forma condicionada. A
dúvida é por que razão se decidiu pela incorporação, antes da reavaliação de todos
os medicamentos usados no tratamento da doença. Veja-se a recomendação final:
os membros da Conitec em 5 de fevereiro de 2020 deliberaram por recomendar a
incorporação no SUS do baricitinibe (Olumiant®) para o tratamento de pacientes
com artrite reumatoide estabelecida, moderada ou grave, com resposta insuficiente
ou intolerância a um ou mais medicamentos modificadores do curso da doença não
biológicos e biológicos, condicionada a reavaliação do conjunto de medicamentos
disponíveis nas mesmas etapas de tratamento com base em avaliação econômica
(Brasil, 2020f, p. 11).
Assim, considerando que os custos foram ponderados nas recomendações
da Conitec, tanto a favor de solicitações de incorporação/ampliação do uso de
medicamentos quanto contra algumas delas, pode-se concluir que eles constituem
variável de influência sobre o processo de avaliação de tecnologias pela comissão.
Entretanto, é preciso destacar que essa ponderação, quando é feita, se dá na aná-
lise de cada solicitação, sem a consideração da disponibilidade de recursos para
financiamento da oferta das tecnologias no SUS. Como estão sendo incorporadas
tecnologias em número muito maior do que aquelas desincorporadas, mesmo após
a aprovação do teto de gastos para as despesas primárias da União, que passou a
viger a partir de 2017, o risco é o de as novas incorporações comprometerem a
disponibilidade das tecnologias já incorporadas ao sistema.
Embora o teto de gastos, instituído por meio da Emenda Constitucional no
95, não tenha estabelecido um limite para as despesas do MS que são consideradas
para o gasto mínimo em saúde da União, a restrição orçamentária para as despesas
com todas as políticas públicas e o crescimento de algumas despesas obrigatórias
acima do índice de inflação que corrige o teto tornam difícil a alocação de recursos
para a saúde além do gasto mínimo. Nessas circunstâncias, se o processo de ATS
desconsidera o orçamento disponível para a saúde, particularmente no caso do MS,
que vem financiando os medicamentos de preços mais elevados, a incorporação de
tecnologias pode gerar descontinuidades na oferta e produzir mais desigualdades
nos níveis de saúde e no acesso a serviços de saúde no Brasil (Vieira, 2019).
Em nível mundial, nas últimas décadas, houve aumento significativo da

produção de evidências obtidas a partir de estudos categorizados como avalia-
ções econômicas em saúde e de impacto orçamentário. Países desenvolvidos têm
considerado com mais frequência na decisão de incorporação de tecnologias os
resultados desses estudos (Angelis, Lange e Kanavos, 2018). Entretanto, o uso
dessas evidências nos processos decisórios de ATS e de políticas de saúde ainda
está aquém do potencial que esse conhecimento aporta para a tomada de decisão
(Vieira, 2017).
Fatores institucionais, culturais e metodológicos influenciam o uso dos
resultados dessas avaliações. São citados, entre os fatores institucionais, a rigidez
dos orçamentos e os objetivos políticos voltados à implementação de programas
nacionais, sem a consideração de questões técnicas. Entre os fatores culturais, a
valorização da evidência de efetividade em detrimento da de custos, a perspectiva
individual versus a perspectiva coletiva e a tempestividade de realização das avaliações
econômicas. Por fim, em relação aos fatores metodológicos, tem-se destacado a
falta de confiança dos gestores quanto aos pressupostos assumidos nos estudos e a
necessidade de avaliações relevantes para o tipo de decisão que está sendo tomada
(Eddama e Coast, 2008).
Neste capítulo, quatro fatores de influência sobre o processo de avaliação de tec-
nologias pela Conitec foram identificados e discutidos, a partir da análise de uma
amostra de relatórios de recomendação produzidos pela comissão, e de dados sobre
esse processo para as tecnologias por ela recomendadas ou avaliadas, especialmente
medicamentos. São eles: i) o nível das evidências sobre a eficácia/efetividade das
tecnologias; ii) a manifestação de atores interessados nas tecnologias avaliadas; iii)
os demandantes das avaliações; e iv) os custos das tecnologias.
Observou-se que o nível das evidências influencia as recomendações da
Conitec, porém, o rigor na fundamentação dessas recomendações é maior para
as avaliações de incorporação ou ampliação de uso de medicamentos do que para
a recomendação de uso desses produtos nos PCDTs. Além disso, o nível das evi-
dências é considerado em conjunto com outros fatores, uma vez que nem sempre
as recomendações se pautaram por níveis mais altos de evidência.
Entre esses outros fatores encontra-se a manifestação de atores interessados
nas tecnologias avaliadas. Isso porque ela foi capaz de alterar o posicionamento
inicial da Conitec com base na apresentação de relatos de experiência do uso
dos medicamentos e em casos nos quais o nível de evidências variou entre mo-
derado e baixo.
Um terceiro fator é o demandante da avaliação da tecnologia, sendo provável

que as demandas do MS sejam aprovadas em percentual mais elevado e em pro-
cesso de avaliação mais célere, porque o órgão acumula os papéis de demandante
da avaliação e de órgão responsável pela avaliação da tecnologia.
Por fim, o quarto fator de influência, os custos das tecnologias, pode se cons-
tituir em elemento que pesa a favor das solicitações de incorporação/ampliação de
uso ou que pesa contra essas solicitações. Contudo, há uma parte expressiva dos
processos avaliados em que a comissão não faz menção a eles em suas recomen-
dações, ainda que este seja um atributo a ser considerado na ATS no Brasil por
determinação legal.
Certamente outros fatores influenciam o processo de ATS pela Conitec. To-
davia, para que seja possível sua identificação, é necessário lançar mão de outros
métodos e instrumentos de pesquisa, algo que se tornou inviável em razão do
tempo exíguo para o desenvolvimento desse estudo e das restrições de realização
de atividades presenciais por causa da pandemia de covid-19. Ainda assim, consi-
dera-se que este texto aporta contribuições inéditas que possibilitam conhecer um
pouco mais o processo de ATS no Brasil.
Por fim, é importante destacar os inegáveis avanços da ATS no SUS na última
década, após a criação da Conitec. Contudo, ainda são enormes os desafios. O caso
mais recente, mencionado na introdução deste capítulo, de publicação pelo MS
de uma orientação para uso dos medicamentos cloroquina e hidroxicloquina no
tratamento precoce da covid-19, bem como as limitações identificadas no processo
de avaliação da Conitec, são evidências de que um longo caminho ainda precisa
ser trilhado para o fortalecimento e a legitimação desta comissão.
REFERÊNCIAS
ANGELIS, A.; LANGE, A.; KANAVOS, P. Using health technology assessment
to assess the value of new medicines: results of a systematic review and expert
consultation across eight european countries. The European Journal of Health
Economics, Berlin, v. 19, p. 123-152, 2018.
BARRETO, J. O. M.; SOUZA, N. M. Avançando no uso de políticas de saúde in-
formadas por evidências: a experiência de Piripiri-Piauí. Ciência & Saúde Coletiva,
Rio de Janeiro, v. 18, n. 1, p. 25-34, 2013.
BRASIL. Conselho Nacional de Saúde. Resolução no 338, de 6 de maio de 2004.
Aprova a Política Nacional de Assistência Farmacêutica. Diário Oficial da União,
Brasília, p. 52, 20 maio 2004. Seção 1. Disponível em: <https://bit.ly/3lzXRJY>.
______. Ministério da Saúde. Política Nacional de Gestão de Tecnologias em

Saúde. Brasília: MS, 2010. Disponível em: <https://bit.ly/3m7QCK2>. Acesso
em: 20 abr. 2021.
______. Lei no 12.401, de 28 de abril de 2011. Altera a Lei no 8.080, de 19 de
setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de
tecnologia em saúde no âmbito do Sistema Único de Saúde – SUS. Diário Oficial
da União, Brasília, p. 4, 29 abr. 2011a. Seção 1.
______. Decreto no 7.646, de 21 de dezembro de 2021. Dispõe sobre a Comissão
Nacional de Incorporação de Tecnologias no Sistema Único de Saúde e sobre o
processo administrativo para incorporação, exclusão e alteração de tecnologias
em saúde pelo Sistema Único de Saúde – SUS, e dá outras providências. Diário
Oficial da União, Brasília, p. 3, 22 dez. 2011b. Seção 1.
______. Ministério da Saúde. Renases: Relação Nacional de Ações e Serviços de
Saúde. Brasília: MS, 2012. Disponível em: <https://bit.ly/3tWmnch>. Acesso em:
20 abr. 2021.
______. Ministério da Saúde. Sistema Grade: manual de graduação da qualidade
da evidência e força de recomendação para tomada de decisão em saúde. Brasília:
MS, 2014.
______. Ministério da Saúde. Relação Nacional de Medicamentos Essenciais
2020. Brasília: MS, 2019a. Disponível em: <https://bit.ly/2PqhoSi>. Acesso em:
20 abr. 2021.
______. Ministério da Saúde. Protocolo clínico e diretrizes terapêuticas da
mucopolissacaridose tipo IV A (Síndrome de Morquio A). Brasília: Conitec,
out. 2019b. (Relatório de Recomendação, n. 494). Disponível em: <https://bit.
ly/3vfeqiS>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Orientações do Ministério da Saúde para manuseio
medicamentoso precoce de pacientes com diagnóstico da covid-19. Brasília:
MS, 2020a. Disponível em: <https://bit.ly/3sPAFKx>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Ixequizumabe para tratamento de pacientes
adultos com artrite psoríaca ativa com resposta insuficiente ou intolerante ao
tratamento com um ou mais medicamentos modificadores do curso da doença.
Brasília: Conitec, 2020b. (Relatório de Recomendação, n. 536). Disponível em:
<https://bit.ly/3dVu2C6>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Lumacaftor/Ivacaftor para o tratamento de
pacientes com fibrose cística homozigótica para a mutação F508del. Brasília:
Conitec, 2020c. (Relatório de Recomendação n. 579). Disponível em: <https://
bit.ly/3vnmnme>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Riociguate para hipertensão pulmonar tromboem-

bólica crônica inoperável ou persistente/recorrente após tratamento cirúrgico.
(Relatório de recomendação n. 519). Brasília: Conitec, 2020d. Disponível em:
<https://bit.ly/3tYmS5V>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Empagliflozina e Dapagliflozina para o tratamento
de diabetes mellitus tipo 2. Brasília: Conitec, 2020e. (Relatório de recomendação
n. 524). Disponível em: <https://bit.ly/3dVyGA7>. Acesso em: 20 abr. 2021.
______. Ministério da Saúde. Conitec. Baricitinibe (Olumiant®) para pacien-
tes com artrite reumatoide ativa, moderada a grave. Brasília: Conitec, 2020f.
(Relatório de recomendação n. 510). Disponível em: <https://bit.ly/3gPBtwu>.
CAETANO, R. et al. Incorporação de novos medicamentos pela Comissão Nacional
de Incorporação de Tecnologias do SUS, 2012 a junho de 2016. Ciência e Saúde
Coletiva, Rio de Janeiro, v. 22, n. 8, p. 2513-2525, ago. 2017.
CAETANO, R. et al. Desincorporação de tecnologias pela comissão nacional de
incorporação de tecnologias, 2012 a junho/2016: um processo ainda incipiente
no âmbito do SUS. In: CONGRESSO BRASILEIRO DE CIÊNCIAS SOCIAIS
E HUMANAS EM SAÚDE, 8., 2019, João Pessoa, Paraíba. Anais... João Pessoa:
Abrasco, 2019. Disponível em: <https://bit.ly/3gF5tIx>. Acesso em: 20 abr. 2021.
CAETANO, R.; HAUEGEN, R. C.; OSORIO-DE-CASTRO, C. G. S. A incor-
poração do nusinersena no Sistema Único de Saúde: uma reflexão crítica sobre a
institucionalização da avaliação de tecnologias em saúde no Brasil. Cadernos de
Saúde Pública, Rio de Janeiro, v. 35, n. 8, 2019.
CASTRO, R.; ELIAS, F. T. S. Involvement of patients of healthcare systems in
health technology assessment (HTA): a narrative review of international strategies.
Interface, Botucatu, v. 22, n. 64, p. 97-108, 2018.
CENTRO COCHRANE DO BRASIL. Medicina baseada em evidências. São
Paulo: 2 jan. 2009. Disponível em: <https://bit.ly/3xESgZ8>. Acesso em: 20 abr.
2021.
DIAS, R. I.; BARRETO, J. O. M.; SOUZA, N. M. Desenvolvimento atual da
Rede de Políticas Informadas por Evidências (EVIPNet Brasil): relato de caso.
Revista Panamericana de Salud Pública, Washington, v. 36, n. 1, p. 50-56, 2014.
CONITEC – COMISSÃO NACIONAL DE INCORPORAÇÃO DE TECNO-
LOGIAS NO SISTEMA ÚNICO DE SAÚDE. Audiências públicas. Brasília:
Conitec, 2021. Disponível em: <https://bit.ly/3xrgtTm>. Acesso em: 24 nov. 2021.
DRUMMOND, J. P.; SILVA, E. Medicina baseada em evidências: novo para-
digma assistencial e pedagógico. São Paulo: Ed. Atheneu, 1998.
EDDAMA, O.; COAST, J. A systematic review of the use of economic evaluation

in local decision-making. Health Policy, v. 86, p. 129-141, May 2008.
FLETCHER, R. H.; FLETCHER, S. W. Epidemiologia clínica: elementos es-
senciais. 4. ed. Porto Alegre: Artmed, 2006.
GAGNON, M.-P. et al. Patient and public involvement in health technology assessment:
update of a systematic review of international experiences. International Journal of
Technology Assessment in Health Care, Cambridge, v. 37, n. 1, p. 1-16, Feb. 2021.
GARRIDO, M. et al. Health technology assessment and health policy-making
in Europe: current status, challenges and potential. Copenhagen: WHO, 2008.
Disponível em: <https://bit.ly/3eIbXqn>. Acesso em: 20 abr. 2021.
GOMES, M. M. Medicina baseada em evidências: princípios e práticas. Rio de
Janeiro: Reichmann & Affonso, 2001.
HAILEY, D. Development of the International Network of Agencies for Health
Technology Assessment. International Journal of Technology Assessment in
Health Care, Cambridge, v. 25, n. S1, p. 24-27, July 2009.
HANNEY, S. R.; GONZÁLEZ-BLOCK, M. A. Evidence-informed health policy:
are we beginning to get there at last? Health Research Policy and Systems, v. 7,
n. 30, Dec. 2009.
HEAD, B. W. Toward more “evidence-informed” policy making? Public
Administration Review, v. 76, n. 3, p. 472-484, 2016.
OCKÉ-REI, C. O. et al. Saúde. Políticas Sociais: acompanhamento e análise,
Brasília, n. 28, p. 109-172, 2020. Disponível em: <https://bit.ly/3vhNq2c>. Acesso
em: 20 abr. 2021.
LAVIS, J. N. et al. Use of research to inform public policymaking. Lancet, v. 364,
n. 9445, p. 1615-1621, Oct. 2004.
LOMAS, J. et al. Conceptualizing and combining evidence for health system
guidance. Ottawa: Canadian Health Services Research Foundation, 2005.
LOPES, A. C. F.; NOVAES, H. M. D.; SOÁREZ, P. C. Participação social na
gestão de tecnologias em saúde em âmbito federal no Brasil. Revista de Saúde
Pública, São Paulo, v. 54, 2020.
MOLINO, C. de G. R. C. et al. Comparison of the methodological quality and
transparency of Brazilian practice guidelines. Ciência e Saúde Coletiva, Rio de
Janeiro, v. 24, n. 10, p. 3947-3956, 2019.
OXMAN, A. D. et al. SUPPORT Tools for evidence-informed health Policymak-
ing (STP) 1: what is evidence-informed policymaking? Health Research Policy
and Systems, v. 7, S1, 2009.
PANTOJA, T.; BARRETO, J.; PANISSET, U. Improving public health and health
systems through evidence informed policy in the Americas. BMJ, London, v. 362,
n. 2469, 2018.
PEREIRA. C. C. Q. Sobre a participação das ações de pacientes na constru-
ção do conhecimento sobre saúde: o caso das doenças raras. 2015. 153 f. Tese
(Doutorado) – Faculdade de Ciências Sociais, Pontifícia Universidade Católica de
São Paulo, São Paulo, 2015.
PEREIRA, V. C.; BARRETO, J. O. M.; NEVES, F. A. R. Health technology
reassessment in the brazilian public health system: analysis of the current status.
PLoS ONE, San Francisco, v. 14, n. 7, 2019.
PEREIRA, M. G.; GALVÃO, T. F.; SILVA, M. T. Saúde baseada em evidências.
Rio de Janeiro: Guanabara Koogan, 2019.
SANTOS, V. C. C. As análises econômicas na incorporação de tecnologias em
saúde: reflexões sobre a experiência brasileira. 2010. 134 f. Dissertação (Mestrado) –
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de
Janeiro, 2010. Disponível em: <https://bit.ly/2XFhlmE>. Acesso em: 20 abr. 2021.
SCHÜNEMANN, H. J.; ZHANG, Y.; OXMAN, A. D. Distinguishing opinion
from evidence in guidelines. BMJ, London, v. 366, n. 4606, 2019.
SHERIDAN, D. J.; JULIAN, D. G. Achievements and limitations of evidence-
based medicine. Journal of the American College of Cardiology, v. 68, n. 2,
p. 204-213, 2016.
SILVA, A. S. et al. Participação social no processo de incorporação de tecnologias
em saúde no Sistema Único de Saúde. Revista de Saúde Pública, São Paulo, v. 53,
n. 109, 2019.
SILVA, E. N.; SILVA, M. T.; ELIAS, F. T. S. Sistemas de saúde e avaliação de
tecnologias em saúde. In: NITA, M. E. et al. (Org.). Avaliação de tecnologias
em saúde: evidência clínica, análise econômica e análise de decisão. São Paulo:
Artmed, 2010. p. 419-432.
VIEIRA, F. S. Evidências econômicas de intervenções em saúde sob a perspectiva
do Sistema Único de Saúde: por que e para que produzi-las e utilizá-las? Jornal
Brasileiro de Economia da Saúde, v. 9, n. 2, p. 229-236, 2017.
______. Desafios do Estado quanto à incorporação de medicamentos no
Sistema Único de Saúde. Brasília: Ipea, 2019. (Texto para Discussão, n. 2500).
VIEIRA, F. S.; SERVO, L. M. S.; PIOLA, S. F. Uso de evidências científicas na
avaliação da incorporação de tecnologias em saúde no SUS: uma análise prelimi-
nar. Boletim de Análise Político-Institucional, Rio de Janeiro, n. 24, p. 49-56,
nov. 2020.
WHICHMANN, R. M.; CARLAN, E.; BARRETO, J. O. M. Consolidação da

Rede para Políticas Informadas por Evidências – EVIPNet Brasil: relato da expe-
riência nacional de construção de uma plataforma de tradução do conhecimento
para o SUS. Boletim Institucional Saúde – BIS, v. 17, n. 1, p. 18-31, 2016.
WHITTY, J. A. Health technology assessment. In: BABAR, Z.-U.-D. (Ed.). Equitable
access to high-cost pharmaceuticals. London: Academic Press, p. 11-22, 2018.
WHO – WORLD HEALTH ORGANIZATION. Report of the 12th expert com-
mittee on the selection and use of essential medicines. Geneva: WHO, 2002a.
(Technical Report Series, n. 914). Disponível em: <https://bit.ly/38Qi7DL>.
______. Promoting rational use of medicines: core components. WHO Policy
Perspectives on Medicines, Geneva, n. 5, p. 1-6, set. 2002b. Disponível em:
<https://bit.ly/3336EMR>. Acesso em: 20 abr. 2021.
YUBA, T. Y.; NOVAES, H. M. D.; SOÁREZ, P. C. Challenges to decision-making
processes in the national HTA agency in Brazil: operational procedures, evidence
use and recommendations. Health Research Policy and Systems, London, v. 16,
n. 1, p. 1-9, May 2018.
APÊNDICE A
QUADRO A.1
Relação de relatórios de recomendação da Conitec que compõem a amostra do estudo
Número do
Ano Título Endereço eletrônico
relatório
2019 248 Simeprevir para o tratamento da hepatite C <https://bit.ly/3vq8yn8>
2019 364 Transplante de fígado para Insuficiência Hepática Hiperaguda relacionada à Febre Amarela <https://bit.ly/3noxloC>
2019 401 Diretrizes Diagnósticas e Terapêuticas de Neoplasia Maligna Epitelial de Ovário <https://bit.ly/32PEQvd>
2019 425 Diretrizes Brasileiras para diagnóstico e tratamento das intoxicações por agrotóxicos – capítulo 3 <https://bit.ly/3gIGyXB>
2019 440 Insulinas análogas de ação prolongada para o tratamento de diabetes mellitus tipo I <https://bit.ly/32vvKDF>
Sacubitril/valsartana para o tratamento de pacientes adultos com insuficiência cardíaca crônica
2019 454 <https://bit.ly/2QEaHMZ>
sintomática (NYHA classe II-IV) com fração de ejeção reduzida
2019 455 PCDT Esclerose Múltipla <https://bit.ly/3tXZoOi>
2019 458 Tetraciclina 500 mg para o tratamento de hidradenite supurativa leve <https://bit.ly/3vh8khQ>
Abiraterona para câncer de próstata metastático resistente à castração em pacientes com uso
2019 464 <https://bit.ly/3dXJnlX>
prévio de quimioterapia
2019 465 PCDT Fenilcetonúria <https://bit.ly/3nqYNCe>
Secuquinumabe como primeira etapa de terapia biológica para o tratamento da espondilite
2019 484 <https://bit.ly/3eDGdTt>
anquilosante ativa em pacientes adultos
2019 486 Certolizumabe Pegol para o tratamento da artrite psoríaca <https://bit.ly/3gJm7JV>
2019 492 PCDT – Atrofia Muscular Espinhal 5q Tipo 1 <https://bit.ly/3dSCXEC>
Protocolo Clínico e Diretrizes Terapêuticas da Mucopolissacaridose Tipo IV A (Síndrome de
2019 494 <https://bit.ly/3vfeqiS>
Morquio A)
2020 498 Protocolo Clínico e Diretrizes Terapêuticas da Doença de Paget <https://bit.ly/32U9wf8>
2020 510 Baricitinibe para pacientes com Artrite Reumatoide ativa, moderada a grave <https://bit.ly/3gPBtwu>
2020 512 Protocolo Clínico e Diretrizes Terapêuticas da Síndrome Nefrótica Primária em Adultos <https://bit.ly/3dSU88S>
Riociguate para Hipertensão Pulmonar Tromboembólica Crônica Inoperável ou Persistente/Recor-
2020 519 <https://bit.ly/3tYmS5V>
rente após Tratamento Cirúrgico
2020 524 Empagliflozina e Dapagliflozina para o tratamento de diabetes mellitus tipo 2 <https://bit.ly/3dVyGA7>
2020 527 Protocolo Clínico e Diretrizes Terapêuticas da Esclerose Lateral Amiotrófica <https://bit.ly/3gEDuvC>
Ixequizumabe para tratamento de pacientes adultos com artrite psoríaca ativa com resposta
2020 536 insuficiente ou intolerante ao tratamento com um ou mais medicamentos modificadores do curso <https://bit.ly/3dVu2C6>
da doença
Citrato de tofacitinibe para o tratamento da retocolite ulcerativa moderada a grave em pacientes
2020 538 adultos com resposta inadequada, perda de resposta ou intolerantes ao tratamento prévio com <https://bit.ly/3aIQ3Ct>
medicamentos sintéticos convencionais ou biológicos
12,5 e 37,5 mcg de levotiroxina sódica para o tratamento de pacientes com hipotireoidismo
2020 544 <https://bit.ly/3gJLviS>
congênito
Bortezomibe para o tratamento do mieloma múltiplo em pacientes adultos, não previamente
2020 558 <https://bit.ly/2PqBk7x>
tratados, elegíveis ao transplante autólogo de células-tronco hematopoiéticas
2020 562 Protocolo Clínico e Diretrizes Terapêuticas da Insuficiência Adrenal <https://bit.ly/3sWCuph>
2020 564 Naproxeno para o tratamento de pacientes com artrite reativa <https://bit.ly/3dRLBDb>
Protocolo Clínico e Diretrizes Terapêuticas para Prevenção da Transmissão Vertical do HIV, Sífilis
2020 568 <https://bit.ly/3gIHDi7>
e Hepatites Virais
Lumacaftor/Ivacaftor para tratamento de fibrose cística (FC) em pacientes com 6 anos de idade
2020 579 ou mais e que são homozigotos para a mutação F508del no gene regulador de condutância <https://bit.ly/3vnmnme>
transmembrana da fibrose cística (CFTR)
Dasatinibe para adultos com leucemia linfoblástica aguda cromossomo Philadelphia positivo
2020 584 <https://bit.ly/3gHB6Ev>
resistentes/Intolerantes ao mesilato de imatinibe
Fonte: Dados de Conitec. Disponível em: <https://bit.ly/3G39V0l>.

APÊNDICE B
646 |
QUADRO B.1
Classificação preliminar dos níveis de evidência,1 segundo o sistema Grade, sobre a eficácia de intervenções recomendadas pela Conitec
em PCDTs
Tipos de estudo sobre tratamento (quantidades) Níveis de Evidência
Recomendação
PCDTs e tecnologias recomendadas Revisões sistemáticas Ensaios clínicos de Estudos observacionais Outros (séries de caso, relato de (Grupo Grade
final
com e sem metanálise fase III (coorte, caso e controle) casos, diretrizes, entre outros) Preliminar)
2019
Relatório no 494 – PCDT Mucopolissacaridose Tipo IV A (Síndrome de Morquio A) Aprovar PCDT
Transplante de células-tronco hematopoiética - - - 3 Muito baixo
Terapia de reposição enzimática - 1 - 3 Moderado
Relatório no 492 – PCDT – Atrofia Muscular Espinhal (AME) 5q tipo 1 Aprovar PCDT
Nusinersena - 1 1 Baixo
Terapia não farmacológica (cuidados nutricional, ortopédicos e respiratórios) - - - 6 Muito baixo
Relatório no 465 – PCDT Fenilcetonúria Aprovar PCDT
Dieta restritiva em fenilalanina - 2 - 10 Moderado
Fórmula de aminoácido isenta de fenilalanina 1 1 - 3 Moderado
Dicloridrato de sapropterina - - - 2 Muito baixo
Relatório no 455 – PCDT Esclerose Múltipla Aprovar PCDT
Acetato de glatirâmer 1 5 - 1 Moderado a alto
Relatório no 425 – Diretrizes Brasileiras para Diagnóstico e Tratamento das Intoxicações por
Aprovar diretrizes
Agrotóxicos – capítulo 3
Descontaminação da pele e mucosas - - - 3 Muito baixo
Hemoperfusão Direta ou Hemodiafiltração Venovenosa Contínua - - - 3 Muito baixo
Hemodiálise - - - 2 Muito baixo
Terapia adjuvante (administração parenteral de emulsão lipídica) - 1 - 2 Baixo
Relatório no 401 – Diretrizes Diagnósticas e Terapêuticas de Neoplasia Maligna Epitelial de
Aprovar diretrizes
Ovário
Cirurgia 3 3 3 1 Alto
Quimioterapia neoadjuvante 6 2 3 - Alto
Quimioterapio adjuvante 2 - - - Moderado a alto
Quimioterapia intraperirtoneal 1 - 2 1 Moderado
Tratamento da recidiva tumoral 4 1 2 Alto
Tratamento da doença refratária a compostos de platina 1 3 1 - Moderado a alto

Terapia endócrina 1 1 2 - Moderado a alto
(Continua)
(Continuação)
Tipos de estudo sobre tratamento (quantidades) Níveis de Evidência
Recomendação
PCDTs e tecnologias recomendadas Revisões sistemáticas Ensaios clínicos de Estudos observacionais Outros (séries de caso, relato de (Grupo Grade
final
com e sem metanálise fase III (coorte, caso e controle) casos, diretrizes, entre outros) Preliminar)
Tratamento de manutenção 2 - - - Moderado a alto

2020
Relatório no 568 – PCDT Prevenção da Transmissão Vertical do HIV, Sífilis e Hepatites Virais Aprovar PCDT
Dolutegravir 2 - 5 1 Moderado a alto
Relatório no 562 – PCDT Insuficiência Adrenal Aprovar PCDT
Prednisona 1 - - 1 Moderado a alto
Prednisolona 1 - - 1 Moderado a alto
Fludrocortisona - - - 1 Baixo
Hidrocortisona - - 1 - Baixo
Relatório no 527 – PCDT Esclerose Lateral Amiotrófica Aprovar PCDT
Riluzol 1 1 - - Moderado
Suporte ventilatório 1 - - - Moderado
Suporte nutricional 1 - - - Moderado
Relatório no 512 – PCDT Síndrome Nefrótica Primária em Adultos Aprovar PCDT
Furosemida - - - 6 Muito baixo a baixo

Hidroclorotiazida - - - 6 Muito baixo a baixo
Espirinolactona - - - 6 Muito baixo a baixo
Albumina humana - - 1 2 Muito baixo a baixo
Ultrafiltração isolada e hemofiltração - - - 3 Muito baixo a baixo
Inibidores da enzima de conversão da angiotensina (iECA) e dos bloqueadores do receptor
1 4 - 4 Moderado a alto
1 da angiotensina II (BRAs)
Inibidores da HMG-CoA redutase (estatinas) 1 1 - 1 Moderado a alto
Varfarina - - 1 1 Baixo a moderado
Heparina - - 1 1 Baixo a moderado
Prednisona - 4 - 3 Moderado
Ciclofosfamida - - - 4 Muito baixo a baixo
Ciclosporina - 4 - 2 Baixo a moderado
Metilprednisolona/ciclofosfamida - 1 - 2 Baixo a moderado
Relatório no 498 – PCDT Doença de Paget Aprovar PCDT
Avaliação e Decisão sobre Tecnologias em Saúde no SUS: uma análise de fatores
Bifostatos orais ou intravenosos (alendronato de sódio, risedronato sódico, ácido zole-

1 - 3 1 Baixo
drônico)
Calcitonina 1 - - 2 Muito baixo
Carbonato de cálcio + colecalciferol 1 - - 2 Muito baixo
| 647

Nota: 1 A classificação Grade foi realizada apenas considerando quantidade de estudos por tipo. Não foi feita uma avaliação completa sobre a qualidade de cada estudo.
APÊNDICE C
648 |
QUADRO C.1
Classificação preliminar dos níveis de evidência,1 segundo o sistema Grade, sobre a eficácia de medicamentos e procedimentos técnicos
avaliados pela Conitec
Tipos de estudo sobre tratamento (quantidades) Níveis de evidência
Recomendação
Tecnologias, relatórios e intervenções Revisões sistemáticas com Ensaios clínicos de Estudos observacionais Outros (séries de caso, relato de (grupo Grade
final
e sem metanálise fase III (coorte, caso e controle) casos, diretrizes, entre outros) preliminar)
2019
Relatório no 486 – Certolizumabe Pegol (CZP) para o tratamento
Incorporar 1 7 1 - Baixo a moderado
da artrite psoríaca (PzA)
Relatório no 484 – Secuquinumabe como primeira etapa de
terapia biológica para o tratamento da espondilite anquilosante Não incorporar 5 - - - Alto
ativa em pacientes adultos
Relatório no 454 – Sacubitril/valsartana para o tratamento de
pacientes adultos com insuficiência cardíaca crônica sintomática Incorporar 2 1 2 - Moderado
(NYHA classe II-IV) com fração de ejeção reduzida
Relatório no 464 – Abiraterona para câncer de próstata
metastático resistente à castração em pacientes com uso prévio Incorporar 1 2 - - Moderado a alto
de quimioterapia
Relatório no 458 – Tetraciclina 500 mg para o tratamento de
Incorporar - 1 1 4 Moderado
hidradenite supurativa leve
Relatório no 440 – Insulinas análogas de ação prolongada para o
Incorporar 7 - 5 2 Moderado a alto
tratamento de diabetes mellitus tipo I
Relatório no 364 – Transplante de fígado para Insuficiência Hepáti-
Incorporar - - - - Sem classificação2
ca Hiperaguda relacionada à Febre Amarela
Relatório no 248 – Simeprevir para o tratamento da hepatite C Desincorporar - - - - Sem classificação2
2020
Relatório no 584 – Dasatinibe para adultos com leucemia
Não ampliar
linfoblástica aguda cromossomo Philadelphia positivo resistentes/ - 1 - 2 Baixo
o uso
Intolerantes ao mesilato de imatinibe
Relatório no 579 – Lumacaftor/Ivacaftor para tratamento de
fibrose cística (FC) em pacientes com 6 anos de idade ou mais e
Não incorporar - 6 - 1 Moderado a alto
que são homozigotos para a mutação F508del no gene regulador

de condutância transmembrana da fibrose cística (CFTR)
(Continua)
(Continuação)
Tipos de estudo sobre tratamento (quantidades) Níveis de evidência
Recomendação
Tecnologias, relatórios e intervenções Revisões sistemáticas com Ensaios clínicos de Estudos observacionais Outros (séries de caso, relato de (grupo Grade
final
e sem metanálise fase III (coorte, caso e controle) casos, diretrizes, entre outros) preliminar)
Relatório no 558 – Bortezomibe para o tratamento do mieloma
múltiplo em pacientes adultos, não previamente tratados, elegíveis Incorporar 4 - - - Moderado a alto
ao transplante autólogo de células-tronco hematopoiéticas
Relatório no 564 – Naproxeno para o tratamento de pacientes
Ampliar o uso 1 - - - Baixo
com artrite reativa
Relatório no 544 – 12,5 e 37,5 mcg de levotiroxina sódica para o
Incorporar - - - - Sem classificação2
tratamento de pacientes com hipotireoidismo congênito
Relatório no 538 Citrato de tofacitinibe para o tratamento da
retocolite ulcerativa moderada a grave em pacientes adultos
com resposta inadequada, perda de resposta ou intolerantes ao Não incorporar 2 - 1 3 Moderado a alto
tratamento prévio com medicamentos sintéticos convencionais
ou biológicos
Relatório no 536 – Ixequizumabe para tratamento de pacientes

adultos com artrite psoríaca ativa com resposta insuficiente ou
Não incorporar 3 1 - 1 Moderado a alto
intolerante ao tratamento com um ou mais medicamentos modifi-
cadores do curso da doença
Incorporar em-
Relatório no 524 – Empagliflozina e dapagliflozina para o trata- pagliflozina e
3 - - 2 Moderado a alto
mento de diabetes mellitus tipo 2 não incorporar
dapagliflozina
Relatório no 519 – Riociguate para Hipertensão Pulmonar Trom-
boembólica Crônica Inoperável ou Persistente/Recorrente após Não incorporar - 2 - 3 Baixo a moderado
Tratamento Cirúrgico
Relatório no 510 – Baricitinibe para pacientes com Artrite Reuma-
Incorporar 1 2 - - Moderado a alto
toide ativa, moderada a grave
Notas: 1 A classificação Grade foi realizada apenas considerando quantidade de estudos por tipo. Não foi feita uma avaliação GRADE completa sobre a qualidade de casa estudo.
2
Nenhum estudo foi citado no relatório.
| 649
APÊNDICE D
TABELA D.1
Posicionamento dos participantes de consultas públicas realizadas pela Conitec sobre
propostas de protocolos clínicos e diretrizes terapêuticas1
Participantes Participantes
Protocolos submetidos à consulta pública (N) (%)
Total Favoráveis Desfavoráveis Neutros Favoráveis Desfavoráveis Neutros
2019
401 – DDT Neoplasia maligna de ovário 60 59 - 1 98,3 - 1,7
425 – Diretrizes intoxicação por
4 4 - - 100,0 - -
agrotóxicos
455 – PCDT Esclerose múltipla 442 361 26 55 81,7 5,9 12,4
465 – PCDT Fenilcetonúria 287 131 87 69 45,6 30,3 24,0
492 – PCDT Atrofia espinal muscular 1.531 1.039 65 427 67,9 4,2 27,9
494 – PCDT Mucopolissacaridose 618 85 491 42 13,8 79,4 6,8
2020
498 – PCDT Doença de Paget 27 21 3 3 77,8 11,1 11,1
512 – PCDT Síndrome Nefrótica 9 9 - - 100,0 - -
527 – PCDT Esclerose lateral amiotrófica 592 549 12 31 92,7 2,0 5,2
544 – PCDT Hipotireoidismo 5 5 - - 100,0 - -
562 – PCDT Insuficiência Adrenal 268 123 9 136 45,9 3,4 50,7
568 – PCDT Prevenção da Transmissão
73 68 5 - 93,2 6,8 -
Vertical do HIV, Sífilis e Hepatites Virais
Fonte: Dados de Conitec. Disponível em: <https://bit.ly/3GAivoa>.

Nota: 1 Os PCDTs que fazem parte da amostra analisada foram publicados em 2019 e 2020. Como a consulta pública é prévia
à publicação do protocolo, ela pode ter sido realizada no ano anterior ao de publicação do PCDT.
Obs.: Na categorização do posicionamento sobre os PCDTs, foram considerados: a) favoráveis: os participantes que classificaram
a proposta como “muito boa” e “boa”; b) desfavoráveis: aqueles que a classificaram como “muito ruim” e “ruim”; e c)
neutros: os que a consideraram “regular”.
APÊNDICE E
TABELA E.1
Posicionamento dos participantes de consultas públicas sobre a recomendação inicial da Conitec para medicamentos avaliados1
Recomendação Formulário da Participantes (N) Participantes (%) Decisão final do
Relatório de recomendação Recomendação final
inicial consulta pública Total Favoráveis Desfavoráveis Neutros Favoráveis Desfavoráveis Neutros Ministério da Saúde
2019
Experiência 2.415 126 2.289 - 5,2 94,8 -

440 – Insulinas análogas de ação prolongada para o
Não incorporar Técnico 156 9 147 - 5,8 94,2 - Incorporar Incorporar
tratamento de diabetes mellitus tipo I
Total 2.571 135 2.436 - 5,3 94,7 -
Experiência 1.956 159 1.797 - 8,1 91,9 -
454 – Sacubitril/ valsartana para tratamento de pacientes
adultos com insuficiência cardíaca crônica sintomática
Total 2.187 164 2.023 - 7,5 92,5 -
Experiência 5 - 5 - - 100,0 -
458 – Tetraciclina para tratamento de hidradenite
Incorporar Técnico 21 13 8 - 61,9 38,1 - Incorporar Incorporar
supurativa leve
Total 26 13 13 - 50,0 50,0 -
Experiência 25 25 - - 100,0 - -
464 – Abiraterona para câncer de próstata metastático
resistente à castração de pacientes com uso prévio de Incorporar Técnico 20 20 - - 100,0 - - Incorporar Incorporar
quimioterapia
Total 45 45 - - 100,0 - -
Experiência 1.363 73 1.290 - 5,4 94,6 -
484 – Secuquinumabe para o tratamento da espondilite
Não incorporar Técnico 145 10 135 - 6,9 93,1 - Não incorporar Não incorporar
anquilosante ativa em pacientes adultos
Total 1.508 83 1.425 - 5,5 94,5 -
Experiência 43 4 39 - 9,3 90,7 -
486 – Certolizumabe para o tratamento de pacientes
adultos com artrite psoríaca ativa, moderada a grave
Total 81 10 71 - 12,3 87,7 -
2020
Experiência 745 132 416 197 17,7 55,8 26,4
510 – Baricitinibe para o tratamento de pacientes com

Não incorporar Técnico 112 7 103 2 6,3 92,0 1,8 Incorporar Incorporar
artrite reumatoide ativa, moderada a grave
Total 857 139 519 199 16,2 60,6 23,2
Experiência 3.359 208 2.964 187 6,2 88,2 5,6
519 – Riociguate para o tratamento da hipertensão pul-
| 651
monar tromboembólica crônica inoperável ou persistente/ Não incorporar Técnico 183 10 168 5 5,5 91,8 2,7 Não incorporar Não incorporar
recorrente
Total 3.542 218 3.132 192 6,2 88,4 5,4
(Continua)
(Continuação)
652 |
Recomendação Formulário da Participantes (N) Participantes (%) Decisão final do

Relatório de recomendação Recomendação final
inicial consulta pública Total Favoráveis Desfavoráveis Neutros Favoráveis Desfavoráveis Neutros Ministério da Saúde
Experiência 2.372 2.320 18 34 97,8 0,8 1,4 Incorporar Incorporar

Incorporar o
524 – Empagliflozina/ dapagliflozina para o tratamento de empagliflozina e empagliflozina e
medicamento de Técnico 1.236 1.217 12 7 98,5 1,0 0,6
diabetes mellitus tipo 2 não incorporar não incorporar
menor preço
Total 3.608 3.537 30 41 98,0 0,8 1,1 dapagliflozina dapagliflozina
Experiência 220 25 173 22 11,4 78,6 10,0
536 – Ixequizumabe para pacientes adultos com artrite
Não incorporar Técnico 134 15 114 5 11,2 85,1 3,7 Não incorporar Não incorporar
psoríaca ativa
Total 354 40 287 27 11,3 81,1 7,6
Experiência 239 14 211 14 5,9 88,3 5,9
538 – Tofacitinibe para o tratamento da retocolite ulcerati-
Não incorporar Técnico 31 - 30 1 - 96,8 3,2 Não incorporar Não incorporar
va moderada a grave em pacientes adultos
Total 270 14 241 15 5,2 89,3 5,6
Experiência 327 321 3 3 98,2 0,9 0,9
558 – Bortezomibe para o tratamento do mieloma múltiplo
em pacientes adultos, não previamente tratados, elegíveis Incorporar Técnico 91 91 - - 100,0 - - Incorporar Incorporar
ao transplante
Total 418 412 3 3 98,6 0,7 0,7
Experiência 84 21 59 4 25,0 70,2 4,8
564 – Naproxeno – ampliação de uso para o tratamento
Ampliar o uso Técnico 5 2 3 - 40,0 60,0 - Ampliar o uso Ampliar o uso
da artrite reativa
Total 89 23 62 4 25,8 69,7 4,5
Experiência 11.302 260 10.701 341 2,3 94,7 3,0
579 – Lumacaftor/ivacaftor para o tratamento de fibrose
Não incorporar Técnico 388 7 368 13 1,8 94,8 3,4 Não incorporar Não incorporar
cística em pacientes com 6 anos de idade ou mais
Total 11.690 267 11.069 354 2,3 94,7 3,0
Experiência 30 3 27 - 10,0 90,0 -
584 – Dasatinibe para adultos com leucemia linfoblástica Não ampliar
Técnico 8 2 5 1 25,0 62,5 12,5 Não ampliar o uso Não ampliar o uso
aguda, resistentes ou intolerantes ao mesilato de imatinibe o uso
Total 38 5 32 1 13,2 84,2 2,6
Fonte: Dados de Conitec. Disponível em: <https://bit.ly/3GAivoa>.

Nota: 1 Os relatórios de recomendação sobre medicamentos que fazem parte da amostra analisada foram publicados em 2019 e 2020. Como a consulta pública é prévia à publicação do relatório, ela pode
ter sido realizada no ano anterior ao de sua publicação.
Obs.: N
a categorização do posicionamento sobre os relatórios de recomendação, foram considerados: i) 2019: a) favoráveis: os participantes que responderam “concordo totalmente” e “concordo parcial-
mente” em relação à recomendação inicial da Conitec; b) desfavoráveis: aqueles que responderam “discordo totalmente” e “discordo parcialmente”; e ii) 2020: a) favoráveis: os participantes que
responderam “concordo”; b) desfavoráveis: os que responderam “discordo”; e c) neutros: os que responderam “não concordo e não discordo”. Em 2019, não foi disponibilizada uma alternativa no
formulário de consulta pública que possibilitasse aos participantes manifestar neutralidade em relação à recomendação inicial da Conitec.
CAPÍTULO 20
USO DE EVIDÊNCIAS CIENTÍFICAS PARA A TOMADA DE DECISÃO

DIANTE DA PANDEMIA DE COVID-19: UMA APROXIMAÇÃO À
ATUAÇÃO DO MINISTÉRIO DA SAÚDE1
Michelle Fernandez2
1 INTRODUÇÃO
No final de janeiro de 2020, o mundo presenciou o surgimento de uma nova epi-
demia na China que, em pouco tempo, transformou-se em pandemia, chegando
a todos os lugares. Somado a isso, surge um cenário repleto de medos, dúvidas e
incertezas. Esses sentimentos também estiveram refletidos no processo de tomada
de decisão em saúde pelo mundo, afinal não se sabia como lidar com um vírus
recém-descoberto e com uma doença até então desconhecida. De fevereiro de 2020
a abril de 2021, entre as questões mais importantes estão as perguntas sobre a forma
verdadeiramente eficaz de atuar para diminuir a probabilidade de disseminação
do vírus na população, diminuindo assim o risco de adoecimento das pessoas, e
sobre a forma de cuidar das pessoas já adoecidas pela covid-19.
Na discussão sobre eficácia e efetividade das políticas públicas de saúde, as
evidências científicas ocupam um lugar relevante. Ainda que o processo das polí-
ticas públicas seja inseparável dos valores políticos, da persuasão e da negociação,
acredita-se que, quando se trata de políticas de saúde, as evidências científicas
possuem maior relevância que posicionamentos políticos (Ramos e Silva, 2018).
Nesse sentido, o objetivo deste capítulo é analisar a atuação do Ministério da Saúde
durante a pandemia da covid-19, colocando luz sobre as decisões que ignoram
evidências científicas robustas. Para isso, serão analisadas duas ações concretas
do governo federal que demonstram a não consideração de evidências científicas
robustas para atuar diante da covid-19: a opção por recomendações de enfrenta-
mento à pandemia desconsiderando a de adoção das medidas não farmacológicas;
e a adoção do tratamento precoce para covid-19.
1. Agradeço os valiosos comentários de Luciana Mendes e Fabíola Vieira ao capítulo.

2. Professora e pesquisadora do Instituto de Ciência Política da Universidade de Brasília (Ipol/UnB); e pesquisadora-
-colaboradora do Instituto Aggeu Magalhães da Fundação Oswaldo Cruz (IAM/Fiocruz). E-mail: <michelle.vfernandez@
gmail.com>.
Para a realização da referida pesquisa, serão mapeadas evidências científicas

encontradas em documentos internacionais (guidelines) com orientações para o
enfrentamento da covid-19 e, também, em revistas científicas. Além disso, serão
analisadas as notas técnicas e os planos de contingência expedidos pelo Ministé-
rio da Saúde entre 1o de fevereiro de 2020 e 1o de abril de 2021. Por meio desse
levantamento, discutiremos as principais decisões tomadas pelo Ministério da
Saúde que não estiveram alinhadas com as evidências científicas mapeadas nos
guidelines e nos artigos científicos.
2 TOMADA DE DECISÃO E POLÍTICA INFORMADA POR EVIDÊNCIA

A tomada de decisão passa pela escolha de uma alternativa entre as opções existentes,
visando à solução, mitigação ou prevenção de problemas. Tal processo é desenca-
deado quando há um problema a ser resolvido, seja pela necessidade de mudar a
realidade atual, seja pelo surgimento de novos paradigmas (Moraes e Soares, 2016).
Tomar decisões para a execução da gestão de serviços de saúde não é uma
tarefa simples. O processo de tomada de decisão em temas de saúde é caracteriza-
do por uma grande complexidade. Há momentos em que faltam conhecimentos
para a tomada de decisões; outros em que existem conhecimentos suficientes,
mas as decisões não são tomadas no tempo devido; e existem aqueles em que as
decisões são necessárias mesmo diante de escassas evidências (Paim e Teixeira,
2006; Cavalcanti e Fernandez, 2021). Portanto, o processo de tomada de decisão
em saúde pode ser complexo e, muitas vezes, pouco transparente e sistemático.
Esse processo inclui diversos elementos: entre fatores contextuais concretos, como
a disponibilidade de recursos materiais e financeiros; decisões judiciais; legados
institucionais; ideias; valores; e interesses. A partir da articulação desses elementos,
delibera-se sobre problemas e soluções, desde a fase de formulação de políticas até
a sua implementação (Pantoja, Barreto e Panisset, 2018).
Um aspecto criticado na forma de gerir essas políticas se refere ao processo
de tomada de decisão pelos gestores, que muitas vezes se sustenta em elementos
desconhecidos ou frágeis, enfraquecendo a própria política pública ou mesmo
inviabilizando-a ao longo da sua implementação (Santos et al., 2015). Dessa forma,
a tomada de decisão no campo da saúde pode ocorrer de forma não estruturada,
baseando-se em opiniões. Este modus operandi pode levar à ineficiência e à ineficácia
do sistema público de saúde.
Na década de 1970, o uso do conhecimento científico passou a informar
a tomada de decisão no processo de formulação e implementação de políticas
públicas. Nesse sentido, surge a política baseada em evidência (Barreto e Souza,
2013; Head, 2016). Desde então, na área da saúde, existe um crescente interesse
Uso de Evidências Científicas para a Tomada de Decisão Diante da Pandemia de | 655
Covid-19: uma aproximação à atuação do Ministério da Saúde
em garantir a elaboração de políticas públicas informadas pelo conhecimento

científico (Langlois et al., 2016). Isso se deve ao fato de que políticas públicas
de saúde baseadas em evidência permitem a melhoria do desempenho do siste-
ma público de saúde, além de evitar iniquidades provenientes de políticas mal
formuladas (Ramos e Silva, 2018). Assim, as políticas de saúde devem integrar
as evidências científicas à prática clínica, auxiliando no processo de tomada de
decisão em saúde (Brasil, 2014).
Quando fazemos referência à evidência científica, estamos tratando de evidências
geradas a partir de pesquisas científicas (Ferreira, 2020). No entanto, é necessário deixar
claro que as pesquisas científicas diferem nos padrões de qualidade apresentados.
Nesse sentido, não são todas as pesquisas que apresentam qualidade suficiente para
embasar o processo de tomada de decisão em políticas públicas (Davies, 2004).
Portanto, a questão da qualidade da evidência considerada é central. A qualidade da
evidência baseia-se na hierarquização dessas evidências a partir do rigor metodológico –
envolvendo o desenho do projeto, a coleta de dados e a análise de dados – utilizado
para alcançá-las (Head, 2010).
Como forma de avaliação da qualidade da evidência, foram desenvolvidos
sistemas com o objetivo de informar a confiança nas evidências consideradas e,
nesse sentido, pode-se adotar ou rejeitar uma determinada conduta (Brasil, 2014).
O Grade (Grading of Recommendations Assessment, Development and Evaluation)
é um desses sistemas. Desenvolvido por um grupo colaborativo de pesquisadores,
ele visa à criação de um sistema universal, transparente e sensível para graduar a
qualidade das evidências e a força das recomendações. Além disso, esse sistema
qualifica a evidência em quatro níveis, conforme resumido adiante.
1) Alta – quando há forte confiança de que o efeito verdadeiro se aproxima
do efeito estimado.
2) Moderada – quando há moderada confiança na estimativa do efeito. O
verdadeiro efeito está próximo daquele estimado, mas existe possibilidade
de ser substancialmente diferente.
3) Baixa – quando a confiança na estimativa do efeito é limitada, visto que
o verdadeiro efeito pode ser substancialmente diferente daquele estimado.
4) Muito baixa – quando há pouca confiança na estimativa de efeito.
O verdadeiro efeito provavelmente é substancialmente diferente do estimado
(Guyatt et al., 2008). Nesse sentido, a evidência dos ensaios clínicos randomizados e
controlados geralmente apresenta alta qualidade, enquanto a evidência proveniente
de estudos observacionais possui baixa qualidade, e a opinião de especialistas é
caracterizada como nível de evidência muito baixo (Brasil, 2014).
Portanto, com base na discussão sobre evidência científica de qualidade, não é

considerado apropriado tomar uma decisão em saúde sem informações confiáveis.
A experiência dos atores que participam do processo decisório é importante e pode
ser útil para o desenvolvimento de políticas, porém deve-se evitar que essa experiência
seja a única evidência utilizada (Schünemann, Zhang e Oxman, 2019). A partir do
reconhecimento dos elementos do processo de tomada de decisão e da necessidade
de inclusão do conhecimento científico para informar políticas, fica claro que é
importante considerar as evidências científicas para nortear as políticas de saúde.
No contexto brasileiro, é fundamental citar a Comissão Nacional de Incorpo-
ração de Tecnologias (Conitec) no Sistema Único de Saúde (SUS) como importante
ator no uso de evidência para ações e serviços públicos de saúde. Com o propósito
de regular a incorporação de tecnologias ao SUS, a Conitec foi criada em 2011, por
meio da Lei no 12.401. A comissão analisa evidências e, depois, emite recomendações
ao Ministério da Saúde em relação aos seus usos nas políticas públicas de saúde
(Lima, Brito e Andrade, 2019). Nesse sentido, é importante considerar a atuação
da Conitec para o processo de utilização de evidências de qualidade pelo SUS.
Ainda que entendamos o papel fundamental da integração da produção e
aplicação das evidências na elaboração de políticas de saúde, são muitos os proble-
mas e desafios existentes nesse processo. Existem alguns fatores que dificultam o
uso sistemático de evidências para informar a tomada de decisão na produção e na
implementação das políticas: i) a evidência científica não é habitualmente utilizada
de forma sistemática na elaboração de recomendações em saúde; ii) a produção
de evidências compete com diversos outros fatores no processo de formulação de
políticas; iii) a pesquisa não é valorizada como um insumo de informação e não
contempla aspectos essências como aceitabilidade, equidade, factibilidade, entre
outros; iv) a disseminação dos resultados das pesquisas científicas é de pouco alcance;
e, entre outros, v) as evidências científicas não estão à disposição dos tomadores de
decisão quando estes necessitam. Assim, para inserir definitivamente a evidência
científica no processo de tomada de decisão em saúde, são necessárias estratégias para
superar as barreiras mencionadas anteriormente e, dessa forma, colocar as evidências
científicas entre os fatores que servem de embasamento para as políticas de saúde
(Jacobs et al., 2010; Oliver et al., 2014; Becker, Loch e Reis, 2017).
Além disso, para que os processos das políticas embasadas em evidências pos-
sam ser utilizados nas políticas públicas, é preciso reduzir a distância entre a gestão
das políticas de saúde e os resultados das pesquisas científicas. Essa aproximação
ocorre por meio de um processo conhecido como tradução do conhecimento. A tra-
dução do conhecimento está refletida na interação entre os elaboradores e usuários
do conhecimento para facilitar que diferentes mecanismos possam ser utilizados.
Esse processo é definido como uma atividade dinâmica e interativa, que inclui a
síntese, disseminação, troca de experiências e aplicação ética do conhecimento
para melhorar a saúde, fornecer serviços e produtos de saúde mais eficazes, bem
como fortalecer o sistema de saúde. Nesse sentido, as políticas informadas por
evidências são o resultado de processos de tradução do conhecimento aplicados à
formulação, implementação e avaliação de políticas de saúde. Assim, a elaboração
de sínteses de evidências científicas é uma das propostas promissoras para a tradução
do conhecimento (Straus, Tetroe e Graham, 2009).
Superados os desafios apresentados, logramos incorporar as evidências cien-
tíficas no processo de tomada de decisão em políticas públicas de saúde e, assim,
podemos produzir políticas que têm a capacidade de entregar resultados mais
eficazes e eficientes para a sociedade por meio de evidências de qualidade.
As políticas informadas por evidências devem apoiar-se na ideia de que o
conhecimento científico é produzido por meio da pesquisa de alta qualidade e
também desenvolver-se sob o reconhecimento dos problemas prioritários em saú-
de, podendo melhorar o desempenho dos sistemas públicos de saúde e impactar
a vida dos usuários desse sistema. Assim, as políticas informadas por evidências
são resultados de processos sistemáticos, transparentes e equilibrados, para acessar,
avaliar, adaptar e aplicar evidências científicas na tomada de decisões em diferentes
contextos. De forma geral, essas políticas objetivam que uma decisão considere as
melhores evidências disponíveis como subsídios da tomada de decisão e da deli-
beração pública sobre um problema de política prioritário (Brasil, 2015). Nesse
contexto, a contribuição e a promoção da utilização do conhecimento científico
são fundamentais não só na tomada de decisão, mas também no desenvolvimento
de métodos e estratégias inovadoras em saúde, na oportunidade de articulação
eficaz entre atores e na cooperação técnica entre instituições, sejam elas federais,
estaduais ou municipais.
3 O ENFRENTAMENTO À PANDEMIA DA COVID-19 NO BRASIL

No final de fevereiro de 2020, registrou-se o primeiro caso de coronavírus no
Brasil. Desde então, o país vive um cenário de epidemia descontrolada. Entre
junho e agosto de 2020, foi registrado o primeiro pico de novos casos e óbitos. A
primeira onda, que vai de março a novembro de 2020, nunca conseguiu ter um
número baixo o suficiente de novos casos e mortes para registrar seu fim. O que
chama a atenção é que as duas ondas da pandemia, registradas no Brasil até abril
de 2021, colocaram o país no cenário mundial como um dos países mais afetados
pela covid-19.3
3. Disponível em: <https://bit.ly/32Mh8nj>. Acesso em: 10 nov. 2021.

No início de 2021, o cenário no Brasil é complexo e preocupante. Em abril

do mesmo ano, das 27 unidades federadas (26 estados e Distrito Federal), apenas
três não estão no nível crítico de ocupação dos leitos de UTI.4 Esse fato denota o
aumento real das infecções em todo o país e dá uma ideia clara do cenário de colapso
do sistema de saúde no Brasil (Bastos et al., 2020; Noronha et al., 2020). Além
disso, o país não está progredindo como esperado na vacinação contra a covid-19
(Domingues, 2021; Maciel et al., 2021). Três meses após o início da vacinação,
iniciado em 19 de janeiro de 2021, cerca de 4,5% da população havia recebido
as duas doses da vacina contra a covid-19 (Brasil..., 2021). O cenário aponta para
resultados muito pessimistas. Com o rápido crescimento do contágio, o número
de mortes e os fracos resultados da vacinação, o país se tornou um dos epicentros
globais da pandemia (Castro et al., 2021).
O enfrentamento à pandemia no Brasil vem sendo marcado desde o início
pela minimização da pandemia da covid-19 pelo governo federal, até mesmo em
uma tentativa de neutralizar a atuação técnica do Ministério da Saúde. Paralelo a
isso, os governos subnacionais têm agido proativamente na tentativa de conter o
avanço do vírus, ainda que de forma distinta entre eles (Fernandez e Pinto, 2020;
Fernandez e Dantas, 2020; Rodrigues e Azevedo, 2020; Lima, Pereira e Machado,
2020; Lui et al., 2020). Ainda que se destaque a atuação de estados e municípios, é
fundamental reconhecer a importância da coordenação do governo federal no que
diz respeito às políticas de saúde. Temos no país um contexto de assimetrias prévias
nas capacidades estatais dos entes subnacionais para implementar respostas efetivas à
crise imposta pela epidemia (Abrucio et al., 2020; Lima, Pereira e Machado, 2020) –
entendendo por capacidades estatais recursos humanos e materiais acumulados
(Grin et al., 2018). Além disso, uma estratégia única de enfrentamento à pandemia,
com as adaptações necessárias na implementação local, é fundamental para trazer
respostas satisfatórias à crise. Portanto, salienta-se a importância de contar com a
coordenação do governo federal aliada à forte atuação dos governos subnacionais.
Com relação às políticas de saúde, contamos com a ausência de uma coor-
denação nacional das ações pelo Ministério da Saúde, além de uma construção
discursiva contra as medidas de contenção da pandemia pelo presidente. A nega-
ção da ciência e, consequentemente, da gravidade da pandemia para a saúde e o
bem-estar dos brasileiros pelo governo federal tem levado à falta de coordenação,
promoção e financiamento de medidas de saúde pública internacionalmente san-
cionadas. Assim, influenciado por interesses políticos, o governo federal optou
por desconsiderar as mais robustas evidências científicas já disponíveis no mundo
(Ferigato et al., 2020).
4. Disponível em: <https://bit.ly/3jKwhuP>. Acesso em: 8 jul. 2021.

4 AS DECISÕES EM POLÍTICAS DE SAÚDE NO CONTEXTO BRASILEIRO QUE

DESCONSIDERAM AS EVIDÊNCIAS
O processo das políticas públicas é inseparável dos valores políticos, da persuasão
e da negociação. Porém, quando se trata de políticas de saúde, entende-se que,
em alguns processos, as evidências científicas possuem maior relevância que posi-
cionamentos políticos – por exemplo, situações em que se discute a efetividade de
medicamentos para uma doença de grande valor social; a fixação e a alocação
de profissionais qualificados em áreas remotas e vulneráveis; a economia social,
entre outros achados científicos que devem ser especialmente considerados (Ramos
e Silva, 2018, p. 297).
Entretanto, analisando a atuação do Ministério da Saúde, enquanto ator
central no processo de tomada de decisão das políticas de saúde durante a pande-
mia no Brasil, nota-se que em diferentes ocasiões as evidências científicas deram
lugar ao posicionamento político na escolha pela política que seria adotada.
A postura negacionista do presidente da República pautou o posicionamento do
Brasil com relação ao enfrentamento à pandemia (Fernandez e Dantas, 2020).
Nesse sentido, o discurso e as convicções do mandatário federal foram sendo
impressas nas decisões tomadas pelo Ministério da Saúde ao longo da pandemia
(The Lancet, 2020; Ferigato et al., 2020). Nas linhas que seguem, apresentamos
duas ações concretas em políticas de saúde que demonstram a não consideração
de evidências científicas no enfrentamento à pandemia do coronavírus: a opção
por não adoção das medidas não farmacológicas e o incentivo ao uso do trata-
mento precoce para covid-19.
4.1 Medidas não farmacológicas

As intervenções ou medidas não farmacológicas são todas as ações que, excluindo
o uso de vacinas ou medicamentos, podem ser implementadas para retardar a
disseminação do vírus na população (Opas, 2020). No contexto da pandemia
da covid-19, as medidas não farmacológicas baseadas em evidências científicas,
inclusive anteriores à atual pandemia, e amplamente respaldadas pela comu-
nidade internacional no atual contexto são: manutenção das mãos limpas por
meio de lavagem de mãos ou uso de álcool; distanciamento social entre os indi-
víduos; e uso adequado de máscaras (Godoy et al., 2012; bin-Reza et al., 2012;
Agolory et al., 2013; Ahmed, Zviedrite e Uzicanin, 2018; Cowling et al.,
2020).5 Diversos estudos sobre medidas não farmacológicas contra a covid-19
foram publicados durante o primeiro ano da pandemia, abordando modelos
epidemiológicos, discutindo a eficácia das medidas e descrevendo sua adoção
em diferentes contextos (Perra, 2021). Ao longo desse tempo, notou-se que
5. Disponível em: <https://bit.ly/2Zr64dt>. Acesso em: 2 jul. 2021.

o acúmulo científico consolidou as evidências e, a partir do segundo semestre

de 2020, já havia um consenso na comunidade científica internacional sobre
as medidas não farmacológicas eficazes no contexto da pandemia da covid-19
(Chowdhury et al., 2020).
No Brasil, as medidas não farmacológicas não fizeram parte da agenda do
governo federal para o enfrentamento à pandemia. As limitações impostas pelo
nível federal estiveram vinculadas apenas à restrição de entrada de estrangeiros
no país nos primeiros meses da crise sanitária (Brasil, 2020a). Nesse sentido, as
medidas vinculadas sobretudo ao uso obrigatório de máscara e ao distanciamento
social foram instituídas, em diferentes graus, pelos governos subnacionais, estados
e municípios (Aquino et al., 2020; Moraes, 2020; Barreto et al., 2021). No en-
tanto, o Ministério da Saúde publicou algumas diretrizes e recomendações sobre
as chamadas medidas não farmacológicas. Em fevereiro de 2020, o Ministério da
Saúde publicou um plano de ação recomendando que as secretarias de saúde dos
municípios, dos estados e do Distrito Federal avaliassem a adoção de medidas não
farmacológicas para o controle da covid-19, de acordo com as fases de transmissão
da doença em cada local (Brasil, 2020a).
Em abril de 2021, as recomendações em prol das medidas não farmacoló-
gicas continuam disponíveis no material produzido pelo Ministério da Saúde.6
O material afirma que, diante da inexistência de medicamentos específicos que
curem e impeçam a transmissão do coronavírus, a Organização Mundial da
Saúde (OMS) preconiza medidas de distanciamento social, etiqueta respira-
tória e de higienização das mãos como as únicas e mais eficientes medidas no
combate à pandemia. Assim, no quadro 1 estão descritas as medidas vincula-
das à etiqueta respiratória e higienização das mãos, bem como as medidas de
distanciamento social.
Ainda que aparentemente simples de serem implementadas, as medidas
não farmacológicas necessitam contar com a adesão da população para que fun-
cionem corretamente. Nesse sentido, é fundamental observar qualquer questão
que incida na adesão da população às referidas medidas. Estudos mostram que os
sinais enviados pelas elites políticas influenciam as atitudes e o comportamento
da população (Green et al., 2020). Assim, a polarização na retórica da elite pode
dificultar respostas eficazes às crises de saúde pública, quando informações precisas
e mudanças comportamentais rápidas podem salvar vidas.
6. Disponível em: <https://bit.ly/3GszCbz>. Acesso em: 7 jul. 2021.

QUADRO 1
Medidas não farmacológicas mencionadas pelas diretrizes do Ministério da Saúde
Medidas Ações
Ao espirrar, cobrir nariz e boca com lenço ou braço.
Evitar tocar olhos, nariz e boca com as mãos não lavadas.
Manter as mãos limpas.
Manter pelo menos dois metros de distância com pessoas que
estão tossindo ou espirrando.
Etiqueta respiratória e higienização de mãos Evitar contato próximo (abraço, beijo, aperto de mão).
Higienizar com frequência superfícies (celular, brinquedos das
crianças).
Não compartilhar objetos de uso pessoal.
Evitar aglomerações e manter ambientes ventilados.
Caso esteja doente, evitar contato com outras pessoas.
Distanciamento social ampliado.
Medidas de distanciamento social Distanciamento social seletivo.
Bloqueio total.
Fonte: Ministério da Saúde. Disponível em: <https://bit.ly/3GszCbz>. Acesso em: 7 jul. 2021.
No enfrentamento à pandemia da covid-19 no Brasil, percebemos que a

polarização na retórica se faz presente. Na arena pública, o debate sobre a covid-19
no Brasil tem deixado de lado os aspectos técnico-científicos associados à pande-
mia e às políticas públicas, focando a discussão nas disputas político-ideológicas.
A comunicação pública da crise sanitária gerou uma significativa guerra de nar-
rativas no país. De um lado, temos os principais meios de comunicação e gover-
nantes subnacionais apresentando a gravidade da situação no Brasil e no mundo.
De outro lado, estão o presidente da República e seus aliados políticos negando a
gravidade da pandemia.
É importante compreender que o enfrentamento à covid-19 começa pelo
reconhecimento da gravidade da situação que enfrentamos. Um problema só pode
ser resolvido quando é reconhecido como tal. Nesse sentido, conhecer as narrativas
e posições públicas e oficiais durante a crise de saúde pública permite compreender
as escolhas políticas (Fernandez e Dantas, 2020).
É importante destacar o lugar das posições oficiais do presidente Bolsonaro,
que negou aspectos relacionados à doença, chamando-a pejorativamente de “gri-
pe” ou “resfriado” e afirmando que poucos morreriam. Além disso, o presidente
manteve-se em confronto constante com governos estaduais e municipais que, em
diferentes momentos, vêm tentando adotar medidas para desacelerar o avanço do
vírus. Com uma narrativa negacionista, Bolsonaro minimizou a gravidade da pan-
demia e chamou a atenção, sempre que possível, à pouca importância da adesão às
medidas não farmacológicas, principalmente com relação ao distanciamento social

e ao uso de máscara. Colocou o distanciamento social e a saúde econômica do
país em polos opostos, com as atividades econômicas funcionando em condições
normais. Com foco na manutenção da economia, incentiva a volta ao trabalho e
o fim das medidas restritivas de distanciamento social e confinamento.
É evidente a existência de polarização na discussão da elite com relação à
pandemia da covid-19. Enquanto governos subnacionais tentam implementar
medidas não farmacológicas, o presidente da República mantém um discurso com
o intuito de deslegitimar essas medidas (Gramacho et al., 2021). Portanto, ainda
que a etiqueta respiratória, a higienização de mãos e as medidas de distanciamento
social apareçam entre as diretrizes do Ministério da Saúde para o enfrentamento
à pandemia, na prática, o ministério não implementou essas ações. Além disso, o
mandatário nacional tratou de deslegitimar as ações implementadas por governa-
dores e prefeitos nesse sentido.
No processo das políticas informadas por evidências, considerando as melhores
evidências, é necessário que se adotem procedimentos sistemáticos e transparentes.
A transparência é útil para que outros possam examinar quais evidências foram
usadas para informar as decisões, bem como os julgamentos feitos sobre sua apli-
cabilidade, implicações e potenciais efeitos. No entanto, existem vários fatores que
determinam o uso de evidências pelos tomadores de decisão política, entre eles,
os mais relevantes estão relacionados às características da qualidade da evidência
e às formas de interação entre tomadores de decisão, pesquisadores e contexto.
Portanto, em se tratando de medidas não farmacológicas para o enfrentamento à
covid-19, observamos um processo de construção de evidências que começou em
2020 e ainda está intensamente permeado por valores políticos.
Ainda que as diretrizes formuladas pelo Ministério da Saúde levem em
consideração a importância das medidas não farmacológicas, essas medidas não
são implementadas pelo governo federal e são desencorajadas pelo presidente da
República. Sabemos que as escolhas políticas determinam as condições de saúde das
pessoas (Viens e Eyawo, 2020). Portanto, no enfrentamento à covid-19, a decisão
do governo federal por não implementar as medidas não farmacológicas – ainda
que haja um consenso na comunidade científica sobre a eficácia dessas medidas
na contenção do avanço da pandemia – impacta diretamente a vida das pessoas.
4.2 O tratamento precoce: manejo clínico de pacientes com covid-19

No processo de tomada de decisão em políticas de saúde vinculadas à eficácia de
medicamentos para uma doença de grande valor social como a covid-19, espera-se
que – apesar dos valores políticos, da persuasão e da negociação, questões insepa-
ráveis do processo das políticas públicas – evidências científicas possuam maior
relevância que posicionamentos políticos (Ramos e Silva, 2018). A partir dessa

perspectiva, analisamos a Nota Informativa no 17, de 30 de julho de 2020, do Mi-
nistério da Saúde, que trata sobre as orientações desse ministério para o manuseio
medicamentoso precoce de pacientes com diagnóstico de covid-19 (Brasil, 2020c).
Segundo Nacul e Azevedo (2020), com base nos preceitos da medicina ba-
seada em evidência (MBE),7 uma das dificuldades enfrentadas pelos médicos em
decisões clínicas é a de lidar com a disponibilidade e/ou ausência de evidências
científicas. A crise sanitária gerada pela covid-19 está marcada por um cenário de
poucas evidências disponíveis. Nesse sentido, é natural que os profissionais de
saúde tenham que atuar com base em informações sistematicamente mais frágeis,
provisórias e passíveis de viés. Diante de uma doença nova que acomete as pessoas,
muitas vezes essas evidências frágeis são a totalidade das evidências disponíveis.
Portanto, sob esse cenário, ainda em 2020 surgiram diversos possíveis tratamentos
para a covid-19, entre eles o uso da cloroquina e da hidroxicloroquina em pacientes
com quadro inicial da doença.
O potencial da cloroquina e da hidroxicloroquina para o tratamento da
covid-19 passou a ser explorado a partir de um relato preliminar de pacientes
chineses (Gao, Tian e Yang, 2020). Essa hipótese foi baseada em estudos in vitro
que evidenciaram atividade dessas medicações contra o Sars-COV-2 (Zhong et al.,
2020). Posteriormente, essa terapia experimental ganhou força com um pequeno
estudo francês não controlado que indicava negativação mais rápida do RT-PCR8
em pacientes tratados com combinação de hidroxicloroquina e azitromicina
(Gautret et al., 2020; Amorim et al., 2021). Com o passar do tempo e com os
avanços científicos sobre a covid-19, estudos de melhor qualidade metodológica
mostraram que o tratamento com esses medicamentos não é útil como terapia
específica para diferentes momentos e contextos da covid-19. No caso específico
da hidroxicloroquina e da cloroquina, já há evidências da ausência de benefício e
de potencial risco para os pacientes (Rosenberg et al., 2020).
De maneira geral, os estudos concluem se determinado tratamento é eficaz,
efetivo ou eficiente (custo/efetivo), isto é, beneficiam o paciente, ou se o tratamento
é prejudicial. Outros estudos são inconclusivos (frequentemente não publicados).
Os tratamentos que possuem evidências fortes de benefício devem ser oferecidos aos
pacientes, assim como os que apresentam evidências fortes de prejuízo devem ser
negados ou não recomendados (Nacul e Azevedo, 2020). Assim, depois da esperança
inicial gerada pelos primeiros estudos, foi possível constatar, por meio de estudos
7. Os três princípios que regem a MBE são: a busca da verdade é mais bem cumprida ao examinarmos a totalidade
das evidências; nem toda evidência é igual, um conjunto de princípios pode identificar evidências mais confiáveis; e
apenas evidências não são suficientes, sendo assim, os tomadores de decisões devem avaliar riscos e benefícios de
estratégias alternativas de manejo no contexto dos valores e preferências dos pacientes (Pedrosa e Fernandez, 2022).
8. O RT-PCR é um dos testes atualmente utilizados para diagnosticar pacientes com covid-19.
metodologicamente mais robustos, que a cloroquina e a hidroxicloroquina não

eram eficazes para tratar a covid-19 em nenhum dos seus estágios. Porém, mesmo
com os achados que mostravam a ineficácia dos medicamentos, eles já haviam sido
incorporados ao discurso político de alguns governantes. Ainda no primeiro semestre
de 2020, o então presidente dos Estados Unidos, Donald Trump, decidiu comprar
a ideia de um tratamento para a covid-19. Dessa forma, as convicções de Trump
ecoaram aqui no Brasil. O presidente Jair Bolsonaro também fez ampla defesa do
uso da cloroquina e da hidroxicloroquina contra a covid-19. Ao longo dos meses, o
presidente realizou diversas manifestações verbais de apoio à incorporação massiva
desses medicamentos para tratamento da covid-19 no Brasil. Não faltaram demons-
trações de apoio à cloroquina e à hidroxicloroquina pelo presidente da República.
Passamos a vislumbrar uma espécie de populismo sanitário estabelecido às custas
desses medicamentos (Casarões e Magalhães, 2021).
Em Nota Informativa no 6/2020, de abril de 2020, em meio a números
crescentes de casos e mortes por covid-19, o Ministério da Saúde defende o uso de
cloroquina e hidroxicloroquina no chamado “tratamento precoce” para covid-19,
mesmo com a ausência de comprovação científica que respalde a eficácia desse
medicamento (Brasil, 2020b). De acordo com diversos estudos desenvolvidos ao
redor do mundo, esses medicamentos, incluídos no “Kit Covid” oferecido nas
fases iniciais da doença no Brasil, mostraram-se ineficazes e até mesmo prejudiciais
quando administrados a pacientes com covid-19 (Tang et al., 2020; Cavalcanti et
al., 2020; Shamshirian et al., 2020; Skipper et al., 2020; Siemieniuk et al., 2020;
WHO, 2020). A Nota Informativa no 17/2020 – SE/GAB/SE/MS, além de indicar
o uso desses medicamentos, recomenda a prescrição de cloroquina e hidroxiclo-
roquina no período inicial da doença, já a partir do primeiro dia de sintoma, para
quadros leves e graves de covid-19 (Brasil, 2020c). Além disso, até abril de 2021,
o Ministério da Saúde não havia solicitado parecer técnico da Conitec para os me-
dicamentos recomendados, apesar da importância dessa comissão para a inclusão
de medicamentos e tecnologia nos protocolos e recomendações do ministério.
Portanto, esses protocolos recomendados pelo executivo federal desconsideraram
as evidências científicas já consolidadas e, inclusive, as arenas competentes para a
incorporação de novas evidências nas políticas públicas de saúde.
De acordo com os preceitos da MBE e com o contexto que nos impõe uma
crise sanitária dessa proporção gerada pela pandemia da covid-19, era compreensível
o uso da cloroquina e da hidroxicloroquina nos momentos iniciais da pandemia,
entre os meses de março e maio de 2020. No entanto, a partir de junho de 2020,
estudos passam a mostrar que esses medicamentos realmente não funcionam em
qualquer estágio da doença, seja no início dos sintomas, seja no leito de uma UTI
(Skipper et al., 2020; Geleris et al., 2020). Assim, com as evidências científicas
apontando para a ineficácia do tratamento, não se justifica a manutenção da
recomendação de uso desses medicamentos como ação realizada pelo Ministério

da Saúde. Dessa forma, percebemos que o ministério desconsidera evidência para
formular diretrizes sobre o cuidado de pacientes com covid-19 e implementa ações
nesse sentido contra evidências existentes.
5 CONCLUSÃO
As práticas baseadas em evidência, apesar de não estarem isentas de críticas, contri-
buem para a fundamentação de decisões clínicas ou de saúde pública (Brasil, 2014).
Sabe-se que, em um contexto de pandemia, com as incertezas impostas pelo cenário
de emergência sanitária, muitas vezes não estão à disposição dos atores políticos
as melhores evidências a serem seguidas. Ainda assim, é fundamental vincular ao
processo de tomada de decisão as melhores evidências disponíveis, visto que é de
suma importância, nesse contexto, melhorar o desempenho do sistema de saúde
e evitar iniquidades provenientes de políticas mal formuladas.
A partir dos dois casos de atuação do Ministério da Saúde analisados neste
capítulo, percebemos que a ação desse ministério durante a pandemia está marcada
pelo esvaziamento das evidências científicas no processo de tomada de decisão para
a formulação e/ou implementação de políticas e ações em saúde. Nos processos
analisados, foi possível reconhecer que as decisões informadas por evidências deram
lugar às decisões estritamente vinculadas aos valores políticos do governo federal.
Apesar de reconhecermos que o processo das políticas públicas é inseparável dos
valores políticos, da persuasão e da negociação, sabemos da importância das evi-
dências científicas para embasar o processo de tomada de decisão em saúde.
REFERÊNCIAS
ABRUCIO, F. L. et al. Combate à covid-19 sob o federalismo bolsonarista: um
caso de descoordenação intergovernamental. Revista de Administração Pública,
v. 54, n. 4, p. 663- 677, 2020.
AGOLORY, S. G. et al. Implementation of non-pharmaceutical interventions by
New York City public schools to prevent 2009 influenza A. PloS One, v. 8, n. 1,
15 Jan. 2013.
AHMED, F.; ZVIEDRITE, N.; UZICANIN, A. Effectiveness of workplace social
distancing measures in reducing influenza transmission: a systematic review. BMC
Public Health, v. 18, n. 518, 18 Apr. 2018.
AMORIM, M. B. C. de. et al. Aspectos farmacológicos, terapias propostas e cui-
dados farmacêuticos no contexto da covid-19. Journal of Biology and Pharmacy
and Agricultural Management, v. 17, n. 2, p. 343-357, 2020.
AQUINO, E. M. L. et al. Medidas de distanciamento social no controle da

pandemia de covid-19: potenciais impactos e desafios no Brasil. Ciência e Saúde
Coletiva, v. 25, suplemento 1, p. 2423-2446, 2020.
BARRETO, I. C. H. C. et al. Colapso na saúde em Manaus: o fardo de não aderir
às medidas não farmacológicas de redução da transmissão da covid-19. Scielo
Preprints, 18 fev. 2021. Disponível em: <https://bit.ly/3EpIDAu>. Acesso em:
2 jul. 2021.
BARRETO, J. O. M; SOUZA, N. M. Making progress in the use of health policies
and practices informed by evidence: the Piripiri-Piauí experience. Ciência e Saúde
Coletiva, v. 18, n. 1, p. 25-34, Jan. 2013.
BASTOS, L. S. et al. Covid-19 e hospitalizações por SRAG no Brasil: uma com-
paração até a 12a semana epidemiológica de 2020. Cadernos de Saúde Pública,
v. 36, n. 4, 2020.
BECKER, L. A.; LOCH, M. R.; REIS, R. S. Barreiras percebidas por diretores
de saúde para tomada de decisão baseada em evidências. Revista Panamericana
de Salud Pública, v. 41, dic. 2017.
BIN-REZA, F. et al. The use of masks and respirators to prevent transmission
of influenza: a systematic review of the scientific evidence. Influenza and other
respiratory viruses, v. 6, n. 4, p. 257-267, July 2012.
BRASIL. Ministério da Saúde. Diretrizes metodológicas: sistema GRADE –
manual de graduação da qualidade da evidência e força de recomendação para
tomada de decisão em saúde. Brasília: MS, 2014. 72 p.
______. Ministério da Saúde. Síntese de evidências para políticas de saúde: esti-
mulando o uso de evidências científicas na tomada de decisão. Brasília: MS, 2015.
______. Ministério da Saúde. Plano de contingência nacional para infecção
humana pelo novo coronavírus covid-19 – Centro de Operações de Emergências
em Saúde Pública (COE-COVID-19). 1. ed. Brasília: MS, fev. 2020a. Disponível
em: <https://bit.ly/3Em8RDU>. Acesso em: 7 jul. 2021.
______. Ministério da Saúde. Nota Informativa no 6/2020-DAF/SCTIE/MS.
Brasília: MS, 1o abr. 2020b. Disponível em: <https://bit.ly/3wgLAjO>.
______. Ministério da Saúde. Nota Informativa no 17 - SE/GAB/SE/MS: orien-
tações do ministério da saúde para manuseio medicamentoso precoce de pacientes
com diagnóstico da covid-19. Brasília: MS, 30 jul. 2020c. Disponível em: <https://
bit.ly/3q7w5JT >.
BRASIL aplicou ao menos uma dose de vacina em mais de 26 milhões de pesso-
as, aponta consórcio de veículos de imprensa. G1, 17 abr. 2021. Disponível em:
<https://glo.bo/3GwQpdl>. Acesso em: 2 jul. 2021.
CASARÕES, G.; MAGALHÃES, D. A aliança da hidroxicloroquina: como líderes

de extrema direita e pregadores da ciência alternativa se reuniram para promover
uma droga milagrosa. Revista de Administração Pública, v. 55, n. 1, p. 197-214,
19 fev. 2021.
CASTRO, M. C. et al. Spatiotemporal pattern of covid-19 spread in Brazil. Science,
v. 372, n. 6544, p. 821-826, 21 May 2021.
CAVALCANTI, A. B. et al. Hydroxychloroquine with or without azithromycin
in mild-to-moderate covid-19. New England Journal of Medicine, v. 383, n. 21,
p. 2041-2052, 23 July 2020.
CAVALCANTI, P.; FERNANDEZ, M. A tomada de decisão em políticas públi-
cas de saúde: uma revisão sistemática a partir de estudos realizados no Brasil. In:
GURGEL JUNIOR, G. D. et al. (Org.). Inovações da gestão pública no SUS:
uma abordagem das iniciativas no processo de reforma institucional. Recife: Ed.
UFPE, 2021. p. 41-72.
CHOWDHURY, R. et al. Long-term strategies to control covid-19 in low and
middle-income countries: an options overview of community-based, non-phar-
macological interventions. European Journal of Epidemiology, v. 35, n. 8,
p. 743-748, 13 July 2020.
COWLING, B. J. et al. Impact assessment of non-pharmaceutical interventions
against coronavirus disease 2019 and influenza in Hong Kong: an observational
study. The Lancet Public Health, v. 5, n. 5, p. 279-288, 17 Apr. 2020.
DAVIES, P. Is evidence-based government possible? London: UK Cabinet
Office, 2004.
DOMINGUES, C. M. A. S. Desafios para a realização da campanha de vacinação
contra a covid-19 no Brasil. Caderno de Saúde Pública, v. 37, n. 1, 11 jan. 2021.
FERIGATO, S. et al. The Brazilian government’s mistakes in responding to the
covid-19 pandemic. The Lancet, v. 396, n. 10263, p. 1636, 21 Nov. 2020.
FERNANDEZ, M.; DANTAS, H. Brasil a la deriva: un país entre la pandemia
de covid-19 y la convulsión política. In: MARTÍ I PUIG, S.; SÁEZ, M. A. (Ed.).
Política y crisis en América Latina: reacción e impacto frente a la covid-19.
Madrid: Marcial Pons, 2020. p. 61-76.
FERNANDEZ, M.; PINTO, H. Estratégia intergovernamental de atuação dos
estados brasileiros: o Consórcio Nordeste e as políticas de saúde no enfrentamento
à covid-19. Saúde em Redes, v. 6, suplemento 2, p. 7-21, 2020.
FERREIRA, H. Análise de qualidade de evidências científicas utilizadas em política
pública: aplicação a documentos relativos à tramitação do PL no 3722/2012, que
flexibiliza o controle de armas de fogo. Boletim de Análise Político-Institucional,
Rio de Janeiro, n. 24, p. 125-134, nov. 2020.
GAO, J.; TIAN, Z.; YANG, X. Breakthrough: chloroquine phosphate has shown
apparent efficacy in treatment of covid-19 associated pneumonia in clinical studies.
Biosci Trends, v. 14, n. 1, p. 72-73, 16 Mar. 2020.
GAUTRET, P. et al. Hydroxychloroquine and azithromycin as a treatment of
covid-19: results of an open-label non-randomized clinical trial. International
Jounal of Antimicrobial Agents, v. 56, n. 1, July 2020.
GELERIS, J. et al. Observational study of hydroxychloroquine in hospitalized
patients with covid-19. New England Journal of Medicine, v. 382, p. 2411-
2418, 7 May 2020.
GODOY, P. et al. Effectiveness of hand hygiene and provision of information in
preventing influenza cases requiring hospitalization. Preventive Medicine, v. 54,
n. 6, p. 434-439, June 2012.
GRAMACHO, W. et al. Political preferences, knowledge and misinformation
about covid-19: the case of Brazil. Frontiers in Political Science, v. 3, n. 646430,
14 May 2021.
GREEN, J. et al. Elusive consensus: polarization in elite communication on the
covid-19 pandemic. Science Advances, v. 6, n. 28, 10 July 2020.
GRIN, E. J. et al. Sobre desconexões e hiatos: uma análise de capacidades estatais
e finanças públicas em municípios brasileiros. Cadernos de Gestão Pública e
Cidadania, v. 23, n. 76, p. 312-336, set.-dez. 2018.
GUYATT, G. H. et al. GRADE: an emerging consensus on rating quality of evi-
dence and strength of recommendations. BMJ, v. 336, n. 7650, p. 924-926, 2008.
HEAD, B. W. Reconsidering evidence-based policy: key issues and challenges.
Policy and Society, v. 29, n. 2, p. 77-94, May 2010.
______. Toward more evidence-informed policy making? Public Administration
Review, v. 76, n. 3, p. 472-484, 2016.
JACOBS, J. A. et al. Barriers to evidence-based decision making in public health:
a national survey of chronic disease practitioners. Public Health Reports, v. 125,
n. 5, p. 736-742, Sep.-Oct. 2010.
LANGLOIS, E. V. et al. Enhancing evidence informed policymaking in complex
health systems: lessons from multi-site collaborative approaches. Health Research
Policy and System, v. 14, n. 20, 2016.
LIMA, S. G. G.; BRITO, C. de; ANDRADE, C. J. C. de. O processo de incorpo-
ração de tecnologias em saúde no Brasil em uma perspectiva internacional. Ciência
e Saúde Coletiva, v. 24, n. 5, p. 1709-1722, maio 2019.
LIMA, L. D. de; PEREIRA, A. M.; MACHADO, C. V. Crise, condicionantes e

desafios de coordenação do Estado federativo brasileiro no contexto da covid-19.
Cadernos de Saúde Pública, v. 36, n. 7, jul. 2020.
LUI, L. et al. Disparidades e heterogeneidades das medidas adotadas pelos muni-
cípios brasileiros no enfrentamento à pandemia de covid-19. Trabalho, Educação
e Saúde, v. 19, 2021.
MACIEL, E. et al. A vacinação contra covid-19 no Brasil. Rede Brasileira de
Mulheres Cientistas, 2021. (Nota Técnica, n. 4). Disponível em: <https://bit.
ly/3GqbyGl>. Acesso em: 3 jul. 2021.
MORAES, R. M. de; SOARES, R. A. S. Modelos de decisão aplicados à saúde:
teoria e prática. Tempus – actas de saúde coletiva, v. 10, n. 2, p. 7-10, 2016.
MORAES, R. F. de. Medidas legais de distanciamento social: análise comparada
das primeira e segunda ondas da pandemia da covid-19 no Brasil. Brasília: Ipea,
abr. 2020. (Nota Técnica Dinte, n. 33). Disponível em: <https://bit.ly/3BosFoa>.
Acesso em: 2 jul. 2021.
NACUL, M. P.; AZEVEDO, M. A. The difficult crossroads of decisions at covid-19:
how can the deontology implicit in evidence-based medicine help us to understand
the different attitudes of doctors at this time? Revista do Colégio Brasileiro de
Cirurgiões, v. 47, n. 1, 2020.
NORONHA, K. V. M. de S. et al. Pandemia por covid-19 no Brasil: análise da
demanda e da oferta de leitos hospitalares e equipamentos de ventilação assistida
segundo diferentes cenários. Cadernos de Saúde Pública, v. 36, n. 6, 2020.
evidence by policymakers. BMC Health Services Research, v. 14, n. 2, 3 Jan. 2014.
OPAS – ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE. Medidas não far-
macológicas de saúde pública para mitigação do risco e impacto de epidemias
e pandemias de influenza. Brasília: OPAS, 2020. Disponível em: <https://bit.
ly/3bmK4TM>. Acesso em: 3 jul. 2021.
PAIM, J. S.; TEIXEIRA, C. F. Política, planejamento e gestão em saúde: balanço do
estado da arte. Revista de Saúde Pública, v. 40, p. 73-78, 2006. Edição especial.
PANTOJA, T.; BARRETO, J.; PANISSET, U. Improving public health and
health systems through evidence informed policy in the Americas. BMJ, v. 362,
16 July 2018.
PEDROSA, M.; FERNANDEZ, M. Medicina baseada em evidência e nega-
cionismo científico. In: RATTON, J. L.; SZWAKO, J. (Org.). Dicionário dos
negacionismos. 2022. No prelo.
PERRA, N. Non-pharmaceutical interventions during the covid-19 pandemic: a

review. Physics Reports, v. 913, p. 1-52, 2021.
RAMOS, M. C.; SILVA, E. N. da. Como usar a política informada por evidência
na saúde pública. Saúde em Debate, v. 42, n. 116, p. 296-306, jan.-mar. 2018.
RODRIGUES, J. N.; AZEVEDO, D. A. de. Pandemia do coronavírus e (des)
coordenação federativa: evidências de um conflito político-territorial. Espaço e
Economia, n. 18, 2020.
ROSENBERG, E. S. et al. Association of treatment with hydroxychloroquine or
azithromycin with in-hospital mortality in patients with covid-19 in New York
state. JAMA, v. 323, n. 24, p. 2493-2502, 2020.
SANTOS, F. de A. et al. A definição de prioridade de investimento em saúde: uma
análise a partir da participação dos atores na tomada de decisão. Physis: Revista
de Saúde Coletiva, v. 25, n. 4, p. 1079-1094, out.-dez. 2015.
SCHÜNEMANN, H. J.; ZHANG, Y.; OXMAN, A. D. Distinguishing opinion
from evidence in guidelines. BMJ, v. 366, 19 July 2019.
SHAMSHIRIAN, A. et al. The role of hydroxychloroquine in covid-19: a systematic
review and meta-analysis. Annals of the Academy of Medicine, Singapore, v. 49,
n. 10, p. 789-800, Oct. 2020.
SIEMIENIUK, R. A. C. et al. Drug treatments for covid-19: living systematic
review and network meta-analysis. BMJ, v. 370, 2020.
SKIPPER, C. P. et al. Hydroxychloroquine in nonhospitalized adults with early
covid-19: a randomized trial. Annals of Internal Medicine, v. 173, n. 8, p. 623-
631, 2020.
STRAUS, S. E.; TETROE, J.; GRAHAM, I. Defining knowledge translation.
CMAJ, v. 181, n. 3-4, p. 165-168, 4 Aug. 2009.
TANG, W. et al. Hydroxychloroquine in patients with mainly mild to moderate
coronavirus disease 2019: open label, randomised controlled trial. BMJ, v. 369,
14 May 2020.
THE LANCET. Covid-19 in Brazil: “so what?”. The Lancet, v. 395, n. 10235,
p. 1461, 9 May 2020.
VIENS, A. M.; EYAWO, O. Covid-19: the rude awakening for the political elite
in low- and middle-income countries. BMJ Global Health, v. 5, 21 May 2020.
WHO – WORLD HEALTH ORGANIZATION. Repurposed antiviral drugs
for covid-19: interim WHO Solidarity Trial results. The New England Journal
of Medicine, v. 384, n. 6, p. 497-511, 2 Dec. 2020.
ZHONG, H. et al. Efficacy and safety of current therapeutic options for covid-19 –
lessons to be learnt from SARS and MERS epidemic: a systematic review and
meta-analysis. Pharmacological Research, v. 157, 30 Apr. 2020.
CAPÍTULO 21
IGNORÂNCIA E POLÍTICAS PÚBLICAS: REFLEXÕES SOBRE A

REGULAÇÃO DE CANNABIS PARA USO MEDICINAL NO BRASIL
Milena Karla Soares1
1 INTRODUÇÃO
A planta Cannabis spp. e seus derivados foram proibidos no Brasil em 1932, em
decorrência de compromissos internacionais.2 Porém, ao contrário do senso co-
mum, a proibição não é – e nunca foi – absoluta. O emprego para fins medicinais,
científicos e industriais permaneceu amparado pelo direito nacional e internacional.
Trata-se do mesmo regime aplicável a outras substâncias entorpecentes, a exemplo
da papoula, planta da qual se produz medicamentos – como morfina e codeína –
com aplicação médico-terapêutica, mas proscritos para uso recreativo.
Entretanto, diferentemente da reconhecida utilidade terapêutica da papoula,
a cannabis foi mantida à margem dos usos medicinais. Em grande parte, isto se
deve à temporalidade das descobertas científicas: no momento das primeiras nego-
ciações internacionais sobre controle de drogas, o uso de medicamentos derivados
da papoula já estava consolidado, mas pouco se sabia sobre o potencial da cannabis
(Berridge, 2013). Em 1952, o comitê sobre drogas viciantes da Organização Mun-
dial de Saúde (OMS) se posicionou dessa forma: “A questão da justificação do uso
de preparações de cannabis para propósitos medicinais foi discutida pelo comitê.
Ele foi da opinião de que preparações de cannabis são praticamente obsoletas. Até
onde se pode ver, não há justificativa para uso médico de preparações de cannabis”
(UN, 1952, tradução nossa).3,4
1. Técnica de desenvolvimento e administração na Diretoria de Estudos e Políticas do Estado, das Instituições e da

Democracia (Diest) do Ipea. E-mail: <milena.soares@ipea.gov.br>.
2. O Brasil aderiu à Convenção Internacional do Ópio de 1912. Em 1932, foi editado o Decreto no 20.930/1932, res-
tringindo o emprego de cannabis e outras diversas substâncias para fins medicinais, científicos e industriais. Atualmente
a Lei no 11.343/2006 proíbe e criminaliza condutas relacionadas à oferta e demanda de drogas sem autorização legal
ou regulamentar. A definição de quais drogas podem ser comercializadas, e sob quais condições, está sujeita à regula-
mentação pelo Poder Executivo federal. Quanto ao direito internacional, há três convenções vigentes: Convenção Única
sobre Entorpecentes, de 1961; Convenção sobre Substâncias Psicotrópicas, de 1971; e Convenção contra o Tráfico Ilícito
de Entorpecentes e Substâncias Psicotrópicas, de 1988.
3. Em uma perspectiva complementar a esta, Mills (2012) argumenta que são questionáveis as evidências científicas
que embasaram a inclusão da cannabis sob o regime de controle internacional, historicamente.
4. No original: “the question of justification of the use of cannabis preparations for medical purposes was discussed
by the Committee. It was of the opinion that cannabis preparations are practically obsolete. So far as it can see, there
is no justification for the medical use of cannabis preparations”.
Na prática, a proibição do uso recreativo tem o efeito perverso de inibir a

pesquisa e o desenvolvimento de novos medicamentos, e, por esse motivo, há
escasso conhecimento sobre o potencial terapêutico de determinadas substân-
cias, entre elas a cannabis. O regime de proibição destas substâncias representa
um obstáculo à pesquisa científica, por diversos fatores, entre eles: aumento dos
custos e do tempo de licenciamento de produtos delas derivados, pela autoridade
responsável; exigência de controles policiais rigorosos e custosos; ausência ou
baixa disponibilidade da substância, que acaba sendo ofertada a preços proibi-
tivos; falta de recursos para a pesquisa, pelo reduzido interesse de agências de
financiamento no tema; e dificuldades para obter aprovação nos comitês de ética,
devido ao estigma associado à substância (Nutt, King e Nichols, 2013). Tal pro-
blemática não se restringe à cannabis, abarcando outras substâncias psicoativas
proibidas, tais como midomafetamina (MDMA, popularmente conhecida como
ecstasy), psilocibina e dietilamida do ácido lisérgico (LSD), em relação às quais
há inúmeras questões científicas não respondidas (Kempner, 2015; Nutt, King
e Nichols, 2013).
Recentemente houve uma inflexão nesse cenário, devido ao ativismo de famílias
de crianças com epilepsia de difícil controle, as quais acreditam ter encontrado na
cannabis um medicamento eficaz para o controle de convulsões (Oliveira, 2016).
O potencial terapêutico dessa substância ganhou notoriedade internacional em
2011, quando veio a público o caso de Charlotte Figi, nos Estados Unidos. Sua mãe
encontrou registros do uso de cannabis para tratamento de epilepsia remontando
ao século XVIII, e passou a realizar seus próprios experimentos, até encontrar a
variedade que trouxesse o melhor resultado para o caso da menina (McCall, 2015).
No Brasil, os pais de Anny Fischer foram os primeiros a conseguir na justiça o
direito de importar medicamento à base de cannabis em abril de 2014, para os
mesmos fins, e outros se seguiram.
Diante da grande demanda proveniente de determinações judiciais, bem
como da pressão social relacionada ao ativismo de pacientes, a Agência Nacio-
nal de Vigilância Sanitária (Anvisa) passou a deliberar sobre o assunto, imersa,
entretanto, em um oceano de ignorâncias5 – ou ausência de conhecimento –,
impedindo uma avaliação, com rigor científico, sobre a eficácia, segurança
e qualidade6 dos produtos demandados. Nesse contexto, a compreensão do
5. A palavra ignorância é aqui entendida como um fenômeno social, ou seja, uma situação em que se percebe ou se
alega ausência de conhecimento; e não um atributo ou qualidade individual. O referencial teórico sobre ignorância
será apresentado na seção 2.
6. Eficácia, segurança e qualidade são as máximas do rigor científico para aprovação de medicamentos pela Anvisa.
Isso significa que uma substância pode ser comercializada como medicamento apenas se provar-se eficaz, segura e de
qualidade. Compete à Anvisa verificar se esses requisitos são cumpridos antes da concessão do registro do medicamento.
Para uma discussão sobre o significado e as implicações desses parâmetros no processo de regulação de cannabis para
uso medicinal, ver Rodrigues, Mourão e Lopes (2020).
Ignorância e Políticas Públicas: reflexões sobre a regulação de cannabis para uso | 675
medicinal no Brasil
histórico recente da regulação de cannabis no Brasil passa, necessariamente,

pela investigação de como essas ignorâncias foram percebidas e mobilizadas nos
argumentos dos tomadores de decisão.
A relevância do papel da Anvisa nesse processo justifica-se por sua compe-
tência para definir quais drogas são proibidas e quais são controladas. No Brasil,
a criminalização de condutas relacionadas à demanda e à oferta de determinadas
substâncias, genericamente referidas como drogas, é uma norma penal em branco, e,
portanto, necessita de complementação por outros normativos.7 Compete à Anvisa
definir o que se entende por drogas por meio da edição das Listas de Substâncias
Entorpecentes, Psicotrópicas, Precursoras e Outras sob Controle Especial.8 O nível
de controle depende da lista em que a substância esteja classificada. As proibições
estão relacionadas na Lista de Plantas Proscritas que Podem Originar Substâncias
Entorpecentes – na qual inclui-se a Cannabis sativa L. – e na Lista de Substâncias de
Uso Proscrito no Brasil – na qual inclui-se o tetrahidrocanabinol (THC), derivado
da cannabis. Morfina, codeína e outras substâncias entorpecentes e psicotrópicas
constam das demais listas, para as quais se permite a comercialização sob determi-
nadas condições e controles: existência de prescrição médica, retenção da receita
médica pela farmácia, notificação de receita à autoridade sanitária, entre outros.
Desde 2014 foram vários os desdobramentos relacionados à regulação de
cannabis para uso medicinal. A história é complexa e envolve diferentes atores:
Judiciário, agência reguladora, sociedade civil, deputados e senadores, indústria
farmacêutica, pesquisadores, entre outros. Neste estudo, o foco recai sobre a atuação
da Anvisa entre 2014 e 2019. Adicionalmente, dado o protagonismo do Judiciário
como motivador das mudanças, conforme argumentos dos próprios diretores da
Anvisa, foram analisadas algumas decisões judiciais emblemáticas.
O objetivo deste estudo é compreender, a partir de uma abordagem interpre-
tativa, como e quais ignorâncias foram reconhecidas pelos tomadores de decisão
e qual o posicionamento decorrente desse reconhecimento. Para tanto, foram
analisadas deliberações sobre cinco temas: i) importação de produtos derivados de
cannabis para fins medicinais; ii) reclassificação do canabidiol (CBD)9 da lista de
substâncias proibidas para a lista de substâncias sujeitas a controle; iii) reclassifica-
ção do THC da lista de substâncias proibidas para a lista de substâncias sujeitas a
controle; iv) regulação do cultivo de cannabis para fins medicinais ou científicos;
e v) flexibilização das regras para registro de produtos à base de cannabis.
7. A Lei no 11.343/2006 dispõe que “consideram-se como drogas as substâncias ou os produtos capazes de causar
dependência, assim especificados em lei ou relacionados em listas atualizadas periodicamente pelo Poder Executivo
da União” (Brasil, 2006, art. 1o, Parágrafo Único).
8. Regulamento Técnico sobre substâncias e medicamentos sujeitos a controle especial estabelecido pela Portaria no
344/1998 da Secretaria de Vigilância em Saúde do Ministério da Saúde (SVS/MS).
9. Canabidiol e tetrahidrocanabinol são substâncias presentes na planta cannabis. Ao contrário do THC, o CBD não
possui propriedades psicoativas.
O texto está organizado em cinco seções, além desta introdução e das conside-
rações finais. A seção 2 apresenta uma revisão da literatura relativa a estudos sobre
ignorância. A seção 3 traça a cronologia dos acontecimentos que serão discutidos
ao longo do texto. A seção 4 analisa as decisões regulatórias e judiciais sobre a
importação de produtos à base de cannabis e a reclassificação do CDB. A seção 5
analisa os argumentos judiciais para determinação da reclassificação do THC. A
seção 6 trata da regulação do cultivo e da flexibilização do registro de produtos à
base de cannabis.
2 REFERENCIAL TEÓRICO: IGNORÂNCIA E POLÍTICAS PÚBLICAS

Neste texto, busca-se lançar luz sobre o reverso do uso de evidências nas políti-
cas públicas. Se evidência10 designa um determinado tipo de conhecimento e o
conhecimento humano é limitado, é de se esperar que existam situações em que
o conhecimento (ou evidência) necessário para tomada de decisão simplesmente
não está disponível: situações de ignorância. Essas situações, em que o conheci-
mento é incompleto ou inconclusivo, são particularmente sensíveis ao tratar-se da
atuação das agências reguladoras, cuja legitimidade, transparência e accountability
fundamentam-se no conhecimento científico e expertise técnica (Desmarais e Hird,
2014; Wagner, 2003).
De acordo com Smithson (2015), o campo de estudos sobre ignorância é
multidisciplinar, sendo que recentemente tem havido um esforço de construção
de um referencial que contemple as contribuições teóricas e empíricas das diversas
áreas – a exemplo de antropologia, sociologia, ciência política, filosofia, psicologia,
economia comportamental, comunicação, literatura, e saúde e medicina.
Uma boa forma de começar a entender ignorância é refletir sobre sua tipolo-
gia. Há diversas categorizações propostas na literatura,11 cuja utilidade dependerá
da finalidade analítica a que se destina. No quadro 1, apresenta-se uma tipologia
adaptada de Roberts (2015) e Kerwin (1993).
10. Para uma discussão sobre o conceito de evidências na abordagem das políticas públicas baseadas em evidências,
ver Pinheiro (2020).
11. Para uma revisão sobre as diversas tipologias de ignorância, ver Smithson (2015).
medicinal no Brasil
QUADRO 1
Tipologia da ignorância
Origem da ignorância Tipo de ignorância Descrição
Não há consciência sobre a existência da lacuna de conhecimento.

Ignorância despercebida Somente podemos mapear esse tipo de ignorância em retrospecto, a
(unknown unknown) partir do momento em que a ignorância é percebida e muda de categoria
Inexistência de (Roberts, 2015).
conhecimento
A lacuna de conhecimento é reconhecida e o conhecimento é inexistente
Ignorância percebida
no mundo. Por exemplo, a existência de riscos, incertezas ou questões
(known unknown)
científicas não respondidas (Kerwin, 1993; Roberts, 2015).
Situações em que a lacuna de conhecimento é reconhecida e o conheci-

mento existe no mundo. É possível superar essa ignorância, caso o agente
Ignorância percebida e
queira, mas nem sempre o esforço de obter o conhecimento vale a pena.
evitável
Por exemplo, qualquer pessoa pode obter conhecimentos jurídicos, mas
em geral prefere-se contratar uma assessoria jurídica (Roberts, 2015).
O conhecimento não é articulado explicitamente, não há consciência

Ignorância em relação a
Conhecimento tácito sobre a sua existência. Por exemplo, rotinas e práticas não sistematizadas
conhecimento existente
(Kerwin, 1993; Roberts, 2015).
Equívocos. Coisas que pensamos saber, mas não sabemos corretamente.

Por exemplo, conhecimento científico que acreditamos estar correto, mas
Erro que em determinado momento prova-se falso, como a crença de que
malária era causada pelo ar ruim (Kerwin, 1993) ou, ainda, um erro de
dosagem na prescrição médica (Roberts, 2015).
Coisas que não devemos saber, mas que poderiam ser úteis se soubésse-
Tabu
mos. Conhecimento proibido ou perigoso (Kerwin 1993).
Coisas que são difíceis de aceitar, portanto escolhemos ignorar. Por exem-
Negação plo, ignorar evidências que coloquem dúvidas sobre a validade de crenças
partilhadas unanimemente por um grupo de pessoas (Roberts 2015).
Ignorância pela supres-
são de conhecimento
Conhecimento mantido oculto por motivos estratégicos, a exemplo dos
Segredo
segredos industriais (Roberts, 2015).
Conhecimento mantido oculto para proteger o direito à privacidade dos

Privacidade indivíduos, a exemplo do sigilo das comunicações e contratações privadas
(Roberts, 2015).
Fontes: Roberts (2015) e Kerwin (1993).

Ignorância e conhecimento são estágios entrelaçados no processo de compre-

ensão do mundo. Se, por um lado, a consciência da ignorância funciona como um
propulsor de novos conhecimentos, por outro, áreas de ignorância podem existir
por fatores estruturais (históricos, culturais, sociais e políticos) ou, ainda, atores
podem fazer uso estratégico da ignorância para promover interesses, bem como
manter ou subverter o ordenamento sociopolítico (McGoey, 2012). É importante
ressaltar, entretanto, que os usos da ignorância não são sempre perversos, existindo
usos virtuosos relacionados, por exemplo, à proteção da privacidade e a princípios
éticos (Smithson, 2015).
Nesse sentido, Schiebinger (2005) argumenta que “o que sabemos ou não

sabemos, em determinado tempo ou local, é moldado pelas histórias particulares,
prioridades globais ou locais, padrões de financiamento, hierarquias institucionais
e disciplinares, miopia pessoal e profissional, e muito mais” (p. 320, tradução
nossa).12 Ademais, em uma abordagem interpretativa, a delimitação das fronteiras
entre ignorância e conhecimento depende, primeiramente, de concordância quanto
aos critérios de aceitação de determinado conhecimento como válido (Smithson,
2015). Essa concordância é socialmente construída, e, portanto, critérios válidos
em determinadas sociedades (ou grupos sociais) podem não ser considerados
válidos em outras.
Na literatura de estudos sobre ignorância, convencionou-se chamar
“agnotologia”13 a área de estudo sobre a construção social da ignorância, seja passi-
vamente por fatores estruturais ou ativamente pela mobilização estratégica (Pinto,
2015). Nessa linha, Schiebinger (2005) investigou a produção cultural de ignorância
no século XVIII, contexto da descoberta e colonização do novo mundo, demons-
trando que as propriedades abortíferas da planta Poinciana pulcherrima L., utilizada
pelos povos africanos escravizados das ilhas do Caribe, foram solenemente ignoradas
nos catálogos de botânica europeia, apesar do ávido interesse dos exploradores em
catalogar plantas e animais exóticos. A autora argumenta que o “esquecimento”
desse conhecimento tradicional se deve a fatores político-econômicos, em um mo-
mento no qual se associava população abundante – em especial, população escrava
abundante – à riqueza das nações. Nas colônias, “uma economia onde produtores
buscavam criar ‘negros’ como cavalos e gado, a recusa em procriar tornou-se um
ato político” (Schiebinger 2005, p. 329, tradução nossa).14 Ao mesmo tempo, nos
países europeus, a crescente medicalização dos cuidados relacionados à reprodução
por médicos obstetras (homens) em detrimento das parteiras (mulheres), também
contribuiu para que conhecimentos sobre métodos abortíferos seguros fossem es-
quecidos (Schiebinger, 2005).
De modo semelhante, Kempner (2015) conceitua conhecimento proibido, qual
seja, conhecimento sensível, perigoso ou tabu, não produzido ou pouco pesquisado,
embora relacionado à ignorância percebida. A não produção do conhecimento
está relacionada a questões metodológicas e éticas, bem como às consequências
do conhecimento como ameaça à ordem sagrada natural ou à ordem social. Adi-
cionalmente, Hess (2015) discute o conceito de ciência inacabada para referir-se
a uma situação em que a inexistência do conhecimento resulta do exercício de
12. No original: “what we know or do not know at any one time or place is shaped by particular histories, local and
global priorities, funding patterns, institutional and disciplinary hierarchies, personal and professional myopia, and
much else as well”.
13. Essa terminologia foi proposta pelo historiador Robert Proctor (Pinto, 2015).
14. No original: “in an economy where planters sought to breed ‘Negroes’ like horses and cattle, refusal to breed
became a political act”.
medicinal no Brasil
poder por elites políticas e industriais, em detrimento de grupos menos favorecidos

da sociedade a quem faltam os recursos (financeiros e políticos) necessários para
conduzir pesquisas que respondam a questões de seus interesses.
Exemplos de aplicação do referencial teórico de ignorância na análise de
problemas de políticas públicas podem ser encontrados em Ravetz (1987), que
discute a formulação de políticas públicas no contexto de ciência incompleta;
em Gaudet (2015), que apresenta um modelo conceitual do processo de mobi-
lização de ignorância e evidências nas políticas públicas; e no estudo de Rayner
(2015) sobre o uso retórico de ignorância nos debates sobre geoengenharia para
controle do aquecimento global. Adicionalmente, Dedieu, Jouzel e Prete (2015)
investigam os mecanismos de produção institucional de ignorância a respeito
do envenenamento de trabalhadores rurais por pesticidas, no contexto da re-
gulação ambiental; e, de modo semelhante, McGoey (2007) analisa o caso da
regulação dos antidepressivos Prozac e Seroxat, argumentando haver um certo
desejo por ignorância nas burocracias regulatórias a fim de manter uma imagem
de coerência e credibilidade.
Tal qual a diversidade de disciplinas engajadas nos estudos sobre ignorância,
também são múltiplas as abordagens investigativas. Para esse capítulo, optou-se
por uma estratégia de abordagem interpretativa delineada por Smithson (2015),
em que se busca compreender as perspectivas dos agentes sobre o que é ignorância,
a quem é atribuída, como respondem e que uso fazem dela, além de mapear se
há consenso ou divergência sobre os critérios de aceitação de um conhecimento
como verdadeiro.
3 CRONOLOGIA DAS DECISÕES REGULATÓRIAS E JUDICIAIS SOBRE

CANNABIS MEDICINAL
Entre 2014 e 2019, os debates sobre a regulação de cannabis medicinal passaram por
diversos estágios. Iniciaram-se pela discussão sobre a possibilidade de importação de
produtos proibidos no país, até então; prosseguiram por meio do debate sobre as
características intrínsecas dos canabinóides CBD e THC, e seus respectivos lugares
no ordenamento jurídico; passaram pelo registro do primeiro medicamento à base
de Cannabis sativa no país e pelo reconhecimento desta planta como medicinal nas
Denominações Comuns Brasileiras. Tais debates chegaram, por fim, à questão da
equidade de acesso, o que ensejou propostas de regulação do cultivo da planta e
de flexibilização dos critérios para registro de produtos à base de cannabis.
O quadro 2 apresenta uma síntese dos principais acontecimentos relativos
a esse tema no Brasil. As deliberações que serão objeto de análise ao longo deste
texto foram destacadas em itálico.
QUADRO 2
Cronologia das decisões regulatórias e judiciais sobre cannabis medicinal
Data Acontecimento
3/4/2014 Decisão judicial favorável à importação de canabidiol (caso Anny Fischer).
1a Reunião Ordinária Pública (ROP) da Anvisa sobre o tema (9a ROP, de 29 de maio de 2014, em pauta, a reclassi-
29/5/2014
ficação do CBD).
14/1/2015 Anvisa aprova reclassificação do CBD (1a ROP, de 14 de janeiro de 2015).
22/4/2015 Anvisa define regras para importação (8a ROP, de 22 de abril de 2015).
9/11/2015 Decisão judicial determina reclassificação do THC (Ação Civil Pública).
18/3/2016 Anvisa excepciona THC da lista de substâncias proibidas (Circuito deliberativo no 208, de 17 de março de 2016).
Aprovado registro do Mevatyl® (composto por THC e CBD), primeiro medicamento à base de cannabis registrado
16/1/2017
no Brasil.
Nov.-dez. Primeiras decisões judiciais favoráveis ao cultivo de cannabis para uso medicinal próprio, em habeas corpus
2016 preventivos (Cancian, 2017).
Anvisa aprova a inclusão de Cannabis sativa L. na Lista de Denominações Comuns Brasileiras (9o ROP, de 18 de
18/4/2017
abril de 2017).
Decisão judicial favorável ao cultivo de cannabis para fins medicinais pela Associação Brasileira de Apoio Cannabis
27/4/2017
Esperança (Abrace).
Anvisa debate simultaneamente proposta de regulação cultivo e proposta de flexibilização do registro de produtos
15/10/2019
à base de cannabis (23a ROP, de 15 de outubro de 2019).
Anvisa arquiva proposta de regulação do cultivo e aprova flexibilização do registro de produtos à base de cannabis
3/12/2019
(29a ROP, de 3 de dezembro de 2019).
A importação de produtos derivados de cannabis para fins medicinais foi ob-

jeto de decisão judicial favorável no caso Anny Fischer.15 Posteriormente, a Anvisa
aprovou regulamento sobre o tema, em 22 de abril de 2015.16 A reclassificação do
CBD, da lista de substâncias proibidas para a lista de substâncias sujeitas a controle,
foi o primeiro tema a ser discutido publicamente, e depois aprovado pela Anvisa,
em 14 de janeiro de 2015.17
Já a reclassificação do THC não chegou a ser objeto de deliberação pública
na agência reguladora, dado que a decisão de reclassificação foi tomada em sede
judicial, em Ação Civil Pública movida pelo Ministério Público Federal (MPF)18
e cumprida pela Anvisa a partir de 17 de março de 2016.19
15. Processo no 24632-22.2014.4.01.3400, da 3a Vara Federal da Seção Judiciária do Distrito Federal.

16. Publicada por meio da Resolução de Diretoria Colegiada (RDC) no 17, de 6 de maio de 2015.
17. Publicada na RDC no 3, de 26 de janeiro de 2015 (Anvisa, 2015b).
18. Ação Civil Pública no 0090670-16.2014.4.01.3400, da 16a Vara Federal da Seção Judiciária do Distrito Federal.
19. Publicada na RDC no 66, de 18 de março de 2016.
medicinal no Brasil
A regulação do cultivo de cannabis para fins medicinais ou científicos foi ob-

jeto de decisões judiciais favoráveis, entre as quais se destaca o caso da Abrace.20 Na
sequência, uma proposta de regulação foi discutida pela Anvisa, mas arquivada por
decisão da diretoria colegiada em 3 de dezembro de 2019, mesma ocasião em que
foi aprovada a flexibilização das regras para registro de produtos à base de cannabis.21
Desde então, não houve mais deliberações relevantes no âmbito da Anvisa,
coadunando-se ao posicionamento do governo Bolsonaro, que se apresenta refratário
a mudanças do status ilícito da cannabis. A exemplo desse posicionamento, em
dezembro de 2020, por ocasião da 63a Sessão da Comissão de Drogas e Narcóticos
da Organização das Nações Unidas (ONU), o Brasil posicionou-se contrariamente
à recomendação da OMS de retirar a cannabis da lista de substâncias controladas
pelas convenções internacionais sobre drogas (Em votação..., 2020).
Por seu turno, o tema segue sendo objeto de deliberações pelo Judiciário,
com efeitos práticos no que se refere ao plantio, que não foi regulamentado até o
momento. Há notícia de mais de cem autorizações para plantio de maconha por
indivíduos e associações (Santos, 2021). Em julho de 2020, mais uma associação
de pacientes – a Apoio à Pesquisa e Pacientes de Cannabis Medicinal (Apepi), com
mais de quinhentos associados – conseguiu liminar de autorização para o cultivo,
entretanto, essa decisão foi revertida poucos meses depois, em julgamento de recurso
interposto pela Anvisa, e acolhido com fundamento de que “não pode o Judiciário
imiscuir-se na seara administrativa/legislativa”.22 Além disso, a autorização judicial
do plantio de cannabis pela Abrace não teve resolução definitiva nos tribunais,
estando, portanto, passível de ser revogada ou alterada.23
4 IMPORTAÇÃO DE PRODUTOS DERIVADOS DE CANNABIS E RECLASSIFICAÇÃO

DO CBD
Passamos agora a analisar as deliberações sobre importação de produtos contendo
canabinóides e sobre a reclassificação do CBD da lista de substâncias proibidas
para a lista de substâncias sujeitas a controle.24 A escolha por apresentar esses dois
tópicos em conjunto justifica-se, pois, como se verá, os debates ocorreram de forma
simultânea e interrelacionada.
20. Processo no 0800333-82.2017.4.05.8200, da 2a Vara Federal da Seção Judiciária de João Pessoa.

21. Publicada na RDC no 327, de 9 de dezembro de 2019.
22. Processo no 5010894-54.2020.4.02.0000, do Tribunal Regional Federal da 2a Região (TRF2).
23. Processo no 0800333-82.2017.4.05.8200, do TRF 5a Região (TRF5). Em fevereiro de 2021, o tribunal suspendeu
temporariamente a autorização do cultivo pela Abrace, diante da alegação da Anvisa de que a entidade estaria des-
cumprindo condições judiciais. Com o julgamento em definitivo da apelação, a autorização de cultivo foi restabelecida.
Entretanto, o caso segue sem resolução definitiva, visto que a Anvisa interpôs embargos de declaração.
24. Como visto na introdução, a Anvisa é o órgão competente para atualização das Listas de Substâncias Entorpecentes,
Psicotrópicas, Precursoras e Outras sob Controle Especial, em que se classificam substâncias sujeitas a controle (prescrição
médica, notificação e retenção de receita, entre outros controles) e substâncias de uso proibido (relacionadas na Lista de
Plantas Proscritas que Podem Originar Substâncias Entorpecentes e na Lista de Substâncias de Uso Proscrito no Brasil).
4.1 Decisão judicial sobre importação de produtos à base de cannabis:

caso Anny Fischer
A questão da importação de produtos derivados de cannabis entrou na agenda da
Anvisa por força de decisões judiciais, sendo emblemático o caso Anny Fischer, por ser
o primeiro. As análises seguintes são baseadas na decisão liminar de 3 de abril de 2014.25
Na referida decisão, consta que a família de Anny vinha importando a substân-
cia CBD de forma clandestina (sem conhecimento das autoridades sanitárias), para
uso sob acompanhamento médico, e que os pais observaram drástica diminuição
na frequência das crises convulsivas de sua filha. Em uma dessas importações, a
remessa ficou retida pela Anvisa para análise técnica, o que motivou a ação judicial.
No que se refere às propriedades da substância importada, o juiz enfatiza, com
base nos pareceres médicos juntados aos autos, que o produto em questão contém
apenas CBD, um dos oitenta canabinóides da Cannabis sativa (maconha), o qual
não se confunde com o THC, este sim capaz de causar os efeitos psicotrópicos pelos
quais é conhecida a planta. Afirma ainda que o CBD é “substância comercializada
nos Estados Unidos, com eficácia comprovada no tratamento da EIEE2,26 porém
ainda sem registro no Brasil” e que
as informações técnicas iniciais sobre o produto dão-nos a segurança necessária de
que se trata de medicamento extremamente eficaz no tratamento EEIEE2, capaz
de anular por completo as reiteradas crises convulsivas que assolam os portadores
dessa grave doença, e também seguro, diante da constatação científica de ausência de
toxicidade com as doses habituais do composto e de sua excelente tolerabilidade.27
Portanto, no processo judicial, prevaleceu a versão de que o produto impor-
tado consistia em CBD isolado e de que havia conhecimento suficiente sobre os
benefícios do uso terapêutico dessa substância, no que se refere ao caso específico
da paciente em questão.
Por sua vez, qual o lugar da ignorância nessa decisão judicial? O juiz reco-
nhece a falta de conhecimento sobre os benefícios para a população em geral,
de eventual registro e comercialização em larga escala. Em decorrência desse
reconhecimento, atribui à Anvisa a competência para prosseguir com inves-
tigações destinadas a suprir essa lacuna: “decerto que a Anvisa iniciará longo
processo para estudo da substância para fins de certificação de sua segurança e
da eficácia, para que, só então, eventualmente autorize sua inserção no mercado
para amplo consumo”.28
25. Processo no 24632-22.2014.4.01.3400, da 3a Vara Federal da Seção Judiciária do Distrito Federal. A decisão liminar
foi posteriormente confirmada, pelos mesmos fundamentos, por sentença, em 12 de dezembro de 2016.
26. Encefalopatia epilética infantil precoce tipo 2, ou Síndrome de Rett.
medicinal no Brasil
Portanto, o reconhecimento da ignorância embasa argumento em prol da

geração de novos conhecimentos, com certa dose de otimismo de confirmação das
expectativas sobre a eficácia e segurança:
em favor da autora estão as evidências quanto à eficácia e a segurança do medica-
mento no combate à encefalopatia epiléptica infantil precoce tipo 2 (EIEE2), tanto
pelo sucesso por ela mesma obtido com o uso do CBD, quanto pelas experiências e
estudos feitos no Brasil e no exterior, a acenar com a grande probabilidade de que a
substância em debate venha também a ser aprovada pela vigilância sanitária do nosso
país como alternativa de tratamento dessa grave doença, na esteira do que já ocorre
nos Estados Unidos, por exemplo.29
Por força de decisões judiciais como esta, a Anvisa passou a deliberar caso a
caso para concessão de autorizações excepcionais de importação. À medida que o
número de solicitações excepcionais crescia, o tema tomava cada vez mais espaço
na agenda da agência reguladora, fato que passamos a analisar na subseção 4.2.
4.2 Decisões regulatórias sobre reclassificação do CBD e importação de

produtos à base de cannabis
Nesta subseção, analisam-se as falas dos diretores da Anvisa em três reuniões or-
dinárias públicas,30 bem como o conteúdo das respectivas resoluções de diretoria
colegiada (RDCs).31 O primeiro tópico debatido publicamente, no mês seguinte à
decisão do caso Anny Fischer, foi a reclassificação do CBD, da lista de substâncias
proscritas para a lista de substâncias sujeitas a controle. Na reunião de maio de 2014,
relatou-se que já havia seis pedidos de autorizações excepcionais de importação,
dois atendidos e quatro em análise. Entretanto, nenhum dos produtos demandados
pelas famílias de pacientes continham CBD isoladamente – todos os produtos
conhecidos continham parcela de THC, sendo que apenas um deles foi registrado
como medicamento pela autoridade regulatória do país de origem. Nesse sentido,
eventual reclassificação do CBD seria inócua em relação às importações excepcionais
e, por esse motivo, os diretores optaram por postergar a decisão (Anvisa, 2014).
O tema foi retomado e a reclassificação do CBD aprovada por unanimidade
em janeiro de 2015. Prevaleceu o entendimento de que eventual reclassificação
deveria ser pautada por características intrínsecas da substância e não pelos efeitos
práticos quanto às importações excepcionais. Argumentou-se que, em vez de per-
guntar por que retirar da lista de substâncias proscritas, a Anvisa deveria se perguntar
por que manter nessa lista. Dado que estudos técnicos apontaram inexistência de
potencial do CDB para causar dependência química, não haveria base científica
para mantê-lo classificado como substância proscrita (Anvisa, 2015a).

30. 9a ROP, de 29 de maio de 2014; 1a ROP, de 14 de janeiro de 2015; e 8a ROP, de 22 de abril de 2015.
31. RDC no 3, de 26 de janeiro de 2015, e RDC no 17, de 6 de maio de 2015.
Por sua vez, considerou-se que, embora as evidências da eficácia do CBD não
fossem conclusivas, a literatura demonstrava crescente consistência dos benefícios
de sua utilização. Nas palavras dos diretores, os principais efeitos da reclassificação
seriam simbólicos (retirada do estigma da ilegalidade), sinalizando positivamente
aos médicos, às famílias dos pacientes e à academia, como incentivo à pesquisa,
no sentido de que pudessem responder às questões colocadas pela própria Anvisa
e de que, no futuro, fosse possível oferecer medicamentos eficazes, seguros e de
custo mais acessível (Anvisa, 2015a).
No que tange à demanda por importações, era necessária outra solução.
Nesse sentido, foi apresentada proposta de regulação com vistas a simplificar e
conferir celeridade ao procedimento administrativo de autorizações excepcionais,
estabelecendo “critérios e procedimentos para importação de produto à base de
canabidiol por pessoa física, para uso próprio”, frisando tratar-se de “produtos” e
não “medicamentos”, posto que carentes de comprovação de eficácia e segurança.
Tal proposta foi aprovada, também por unanimidade, em reunião de abril de 2015
(Anvisa, 2015c).
Prevaleceu o entendimento de que “uma vez prescrito, não está proibi-
do” (Anvisa, 2015c). O procedimento tornou-se mais célere para os produtos
comumente demandados e já analisados pela Anvisa. A resolução parte do
pressuposto de que é prerrogativa dos médicos e pacientes fazerem uso desses
produtos com vistas à preservação da saúde, a despeito da inexistência de
registro na Anvisa e da falta de evidências conclusivas sobre sua eficácia e
segurança. Nesse sentido, a responsabilidade é deslocada: médicos e pacientes
devem apresentar termo de responsabilidade compartilhada, ao passo que o
Estado brasileiro e a Anvisa se eximem dos riscos não dimensionados do uso
desta substância (Anvisa, 2015d).
Em síntese, o posicionamento da Anvisa coaduna-se ao da decisão judicial:
reconhece a existência da ignorância científica sobre as propriedades da substância,
é otimista quanto à probabilidade de que as expectativas sobre eficácia e seguran-
ça se confirmem, e mobilizam a existência da ignorância em favor da produção
de mais conhecimento, recorrendo ao efeito simbólico de sua decisão. Ademais,
admite o direito ao uso excepcional da substância para preservação da saúde em
casos específicos, imputando aos médicos e pacientes a responsabilidade pelos
riscos não dimensionados.
5 RECLASSIFICAÇÃO DO THC
Ainda no ano de 2015, o Ministério Público Federal (MPF) ingressou com Ação
Civil Pública contra a União Federal e a Anvisa, solicitando a exclusão do THC
da lista de substâncias proscritas, e sua inclusão na lista de substâncias sujeitas à
medicinal no Brasil
notificação de receita, entre outros pedidos.32 Analisam-se a seguir os fundamentos

utilizados pelo juiz na decisão liminar de 9 de novembro de 2015, parcialmente
reformada por embargos de declaração em 3 de março de 2016.33
Na fundamentação da decisão que defere liminarmente o pedido de reclassi-
ficação, o juiz admite que o THC é capaz de produzir efeitos nocivos, mas que isso
não impede que seja também utilizado como medicamento, tal qual ocorre com
todos os demais medicamentos à venda no Brasil, sujeitos a prescrição controlada.
Nesse sentido, afirma o juiz:
logo, malgrado não se negar alguns efeitos nocivos aos usuários, (...) tais substâncias
também revelam possuir potencial paliativo e até mesmo curativo no tratamento de di-
versos tipos de doenças graves que afetam negativamente a vida de muitas pessoas (...).
Com isso, não se está a olvidar que tal cenário é possível quando baseado em uma
produção extremamente controlada, com uma distribuição igualmente regulamentada,
observado o custo-benefício (confronto entre as reações adversas e as vantagens terapêu-
ticas) do uso de tais substâncias casuisticamente, por profissional capacitado/habilitado,
o que nada difere, aliás, do que é feito atualmente com relação a todos os medicamentos ou
fitoterápicos à venda no Brasil (ex vi dos sedativos, a exemplo da morfina e da codeína, e
das anfetaminas), à vista ainda de garantir que os objetivos nobres da permissividade
de tais substâncias não sejam desvirtuados para fins ilícitos34 (grifo nosso).
Portanto, o juiz não enxerga incompatibilidade entre os efeitos psicotrópicos
do THC e seu potencial terapêutico, recorrendo ao que já se sabe de outras subs-
tâncias amplamente comercializadas como medicamentos.
Na decisão, o juiz entendeu que a tutela judicial é necessária devido à omis-
são do Estado brasileiro em regular a matéria adequadamente, o que se credita ao
regime proibicionista:
32. Além da reclassificação do THC, o MPF pediu: i) permissão do uso, posse, plantio, cultura, colheita, exploração,
manipulação, fabricação, distribuição, comercialização, importação, exportação e prescrição, exclusivamente para fins
médicos e científicos, da Cannabis sativa L. e de quaisquer outras espécies ou variedades de cannabis, bem como dos
produtos obtidos a partir destas plantas; ii) permissão provisória da importação de quaisquer produtos ou medicamentos
à base de cannabis por qualquer brasileiro, com isenção de impostos e possibilidade de entrega no endereço escolhido
pelo comprador; iii) permissão provisória da importação de sementes para plantio com vistas a uso medicinal próprio,
com isenção de impostos e possibilidade de entrega no endereço escolhido pelo comprador; iv) início de estudos técnicos
para avaliação de segurança e eficácia dos medicamentos e suplementos já existentes no mercado internacional, à
base de canabinoides, especialmente o canabidiol e o THC, a exemplo do Sativex, do Marinol e do Cesamet; v) início de
estudos técnicos para avaliação de segurança, eficácia e qualidade do uso medicinal da cannabis in natura (mediante
inalação, infusão, etc), para as doenças indicadas na demanda, com vistas a enquadrá-la no Formulário Nacional de
Fitoterápicos (planta medicinal); e vi) confecção de modelos de formulário e de termos de esclarecimento e responsa-
bilidade, que deverão ser apresentados pelos pacientes para importação de sementes, produtos ou medicamentos à
base de cannabis. Apenas o pedido de reclassificação do THC foi deferido.
A decisão liminar, que antecipa os efeitos da tutela judicial, foi parcialmente reformada por embargos de declaração.
Embargos de declaração têm como objetivo esclarecer contradições ou omissão na decisão original. A decisão liminar
foi confirmada por sentença de 15 de junho de 2018.
nada obstante, certo é que, justamente em razão da omissão dos outros poderes, aparen-
temente resultante da postura proibicionista do Estado brasileiro, é que o Poder Judiciário
tem precisado intervir a fim de garantir, sobretudo, a dignidade da pessoa humana
(art. 1o, inciso III, da CF/88) e o direito à saúde (art. 196, da CF/88)35 (grifo nosso).
Por fim, tal qual a decisão judicial no caso Anny Fischer, a ignorância científica
sobre as propriedades terapêuticas da substância aparece como algo temporário
e localizado, passível de ser corrigido com estudos técnicos da Anvisa e eventual
registro de medicamentos. Ademais, a proibição da substância é apontada como
obstáculo aos avanços científicos. Enquanto não concluídos estes estudos, cabe
tutela judicial para resguardar o direito à saúde e dignidade dos pacientes que
precisam dessas substâncias.
Concluo, assim, que o risco da permissividade, da utilização da cannabis para fins
medicinais, atingir fins ilícitos, bem como a existência de vedação legal de incor-
poração de tecnologia sem registro da Anvisa, através do esgotamento dos seus estudos
técnicos, não podem ser impedimento à oferta de tratamento às pessoas que, por essa via,
poderiam obter sensível melhora da qualidade de vida – sobretudo quando inegável
a possibilidade de existir efetiva e adequada fiscalização, consoante já ocorre em
relação a outros medicamentos à venda no Brasil –, sob pena de malferimento aos
primados constitucionais do direito social à saúde e do princípio da dignidade da
pessoa humana, além de obstaculizar avanços científicos sobre o tema, o que autoriza
a intervenção do Poder Judiciário, haja vista que, enquanto pendente a conclusão das
análises sobre a segurança e a eficácia das substâncias em comento e, assim, enquanto
perdurar o pronunciamento definitivo pelas Rés sobre o tema, milhares de brasileiros
continuarão a sofrer intensamente, ou mesmo virem a óbito, em razão de doenças
graves, degenerativas, progressivas, incuráveis e/ou fatais, alheias aos tratamentos
atualmente disponíveis no mercado brasileiro36 (grifo nosso).
Ao final, o juiz determina a exclusão do THC da lista de substâncias psicotró-
picas de uso proscrito para incluí-lo na lista de substâncias sujeitas à notificação de
receita. Note-se que, a pedido da Anvisa e da União, essa decisão foi ligeiramente
modificada em embargos de declaração: em lugar da exclusão da lista de proscrição,
a inserção de um adendo para permitir exclusivamente o uso medicinal.37
Essa determinação judicial foi cumprida pela Anvisa, após aprovação dos
diretores em março de 2016, por meio eletrônico (circuito deliberativo), prescin-
dindo de debates e argumentações na instância regulatória. Estava assim preparado
o terreno para a aprovação e registro do primeiro medicamento à base de cannabis
no Brasil, o Mevatyl® (composto por THC e CBD), em janeiro de 2017.
medicinal no Brasil
6 REGULAÇÃO DO CULTIVO E FLEXIBILIZAÇÃO DO REGISTRO DE PRODUTOS

À BASE DE CANNABIS
Vencida a questão das importações de produtos à base de cannabis e da reclas-
sificação do CBD e THC, a Anvisa se deparou com um segundo problema: a
equidade de acesso. O preço dos produtos importados, e até mesmo do único
medicamento registrado no país à época, era considerado proibitivo para uma
grande parcela da população. Os debates sobre a regulação do cultivo e sobre a
flexibilização do registro de “produtos” (não medicamentos) à base de cannabis
inserem-se nessa problemática.
6.1 Decisão judicial sobre o cultivo de cannabis: o caso Abrace

A decisão que concede à Abrace o direito de cultivar cannabis para fins medicinais,
em abril de 2017, foi a primeira a conceder esse direito a uma coletividade – à
época, 151 associados. Tal decisão deve ser vista como parte de um movimento
que teve início no final de 2016, com a concessão de habeas corpus preventivos a
pacientes e seus familiares (Cancian, 2017).
Analisou-se o conteúdo da decisão liminar de 27 de abril de 2017.38 Na
decisão, consta que a ação foi motivada pela inexistência de regulação específica
para o cultivo autorizado, o que implicaria risco de descontinuidade de tratamento
de diversos associados, devido ao alto custo dos produtos importados e negativa
da União em custear esses produtos (não registrados como medicamentos) pelo
Sistema Único de Saúde (SUS).
Consta da decisão judicial que as partes concordaram sobre a existência
de previsão legal que confere à União a prerrogativa de autorizar o cultivo e a
manipulação de plantas com a cannabis para fins medicinais e científicos. Consta
ainda que a Anvisa admitiu a inexistência de regulamentação sobre a forma de
obtenção da licença prévia para cultivo, o que impediria que eventuais solicita-
ções fossem apreciadas.
A controvérsia, nas palavras da juíza, “está em saber se esse direito já pode ser
exercido”.39 A inexistência de regulamentação estaria relacionada à “constatação de
que o uso medicinal da cannabis ainda é um tema cercado de ideias pré-concebidas,
medos e receios decorrentes do fato de que substâncias presentes nessa planta
foram proscritas ao longo do século XX, em razão de seus efeitos psicotrópicos,
indubitavelmente nocivos”.40
38. Processo no 0800333-82.2017.4.05.8200, da 2a Vara Federal da Seção Judiciária de João Pessoa. A decisão liminar
foi confirmada por sentença de 19 de novembro de 2017.
Diante da omissão em regular a matéria, entendeu a juíza que “a competência

da Anvisa e da União há de ser exercida, seja mediante a expedição da regulamentação
pertinente, seja pela análise de pedidos concretos, formulados pelos interessados,
mesmo na ausência do regulamento específico”.41
Na ausência de regra específica, a juíza determinou a aplicação do proce-
dimento da RDC no 16/2014, que trata de autorizações especiais para plantio,
cultivo e colheita de plantas das quais possam ser extraídas substâncias sujeitas a
controle especial.
Ainda, reconhecendo as incertezas sobre as reais propriedades terapêuticas
da cannabis, a juíza argumenta que as restrições aos produtos nacionais devem ser
as mesmas impostas aos produtos importados:
ao menos no estágio atual de desenvolvimento das pesquisas sobre a cannabis, não
se deve impor maior restrição ao produto que vier a ser produzido a partir dela por
pretender-se qualificá-lo como “medicamento”, qualificação que nem mesmo têm hoje
muitos dos produtos importados pelos pacientes nos moldes já permitidos pela Anvisa.42
Ademais, argumenta que, em parte, a ignorância científica se deve à dificul-
dade de acesso à planta para fins de pesquisa.
É provável que o baixo número de pesquisas e estudos científicos tratando do tema –
que poderiam inclusive comprovar a impressão de segurança e eficácia transmitida
pelos dados empíricos apontados – se deva, em parte, às dificuldades enfrentadas pelos
profissionais para obter a autorização respectiva, o que se pode concluir da leitura
do processo administrativo (documento sigiloso) trazido aos autos pela Anvisa.43
Por fim, a juíza aponta que o maior risco do cultivo de cannabis pela Abrace
está no desvio da finalidade médica ou científica, com eventual destinação da planta
a outros usos – essa uma das principais preocupações levantadas pela União e pela
Anvisa no processo. Nesse sentido, atribui à Abrace a função de mitigar esse risco,
por meio da adoção de “todas as medidas ao seu alcance a fim de evitar a propagação
indevida da própria planta e do extrato fabricado a partir dela”.44
6.2 Deliberações da Anvisa sobre regulação do cultivo de cannabis

Entre as propostas de regulação de cannabis medicinal discutidas pela Anvisa, a
que dispõe sobre regulação do cultivo foi a única em torno da qual não houve
decisão unânime e que restou arquivada. O tema foi colocado em votação em duas
ocasiões: em outubro de 2019 e em dezembro de 2019.45

45. 23a ROP, de 15 de outubro de 2019, e 29a ROP, de 3 de dezembro de 2019.
medicinal no Brasil
O relator da proposta, que defendeu posicionamento divergente, argumen-

tou que a regulamentação do cultivo seria medida necessária para disponibilidade
da cannabis em solo nacional, e, assim, incentivar tanto a pesquisa para suprir as
lacunas de conhecimento quanto o desenvolvimento de produtos nacionais, a um
custo mais acessível.
Entendendo que: sem a planta – não há insumo. Sem insumo não há medicamento.
De mesma sorte que: sem insumo não há pesquisa. Sem pesquisa não há avanço para
determinar o potencial terapêutico exato e tão pouco para usufruir do que dele já se
conhece. Sem a determinação exata, se corrobora para que o desconhecimento seja
o território para o manejo de condições de saúde – permissão que não prospera na
missão e na razão de ser dessa agência. (Anvisa, 2019a).
Em contraponto, prevaleceu o posicionamento de que a superação da igno-
rância científica sobre a cannabis não passa necessariamente pela regulamentação
do plantio em solo nacional, já que os insumos poderiam ser importados: “a
cannabis e seus derivados a serem utilizados na fabricação de medicamentos ou
outros produtos não precisa ser necessariamente obtida de plantações em terras
brasileiras” (Anvisa, 2019b). Além disso, subvertendo as expectativas otimistas de
confirmação da eficácia e segurança dos canabinóides, houve expressa preocupa-
ção quanto à insuficiência de evidências científicas sobre os efeitos terapêuticos
da cannabis e a desconfiança da possibilidade de manipulação das evidências por
interesses econômicos e políticos (Anvisa, 2019b).
Para além das propriedades intrínsecas da cannabis, a justificativa para o ar-
quivamento da proposta de regulação do cultivo esteve baseada em três ignorâncias
principais. Em primeiro lugar, questionou-se a competência da Anvisa para regular
a matéria, sendo vencido o posicionamento do relator que indicava haver parece-
res jurídicos e decisões judiciais afirmando essa competência. Em segundo lugar,
colocou-se em dúvida se a regulação do plantio efetivamente reduziria o custo de
medicamentos à base de cannabis, um dos pressupostos para a apresentação da
proposta. Em terceiro lugar, argumentou-se que os impactos em outros setores não
foram levados em consideração, o que implicaria incertezas na capacidade técnica
e institucional dos órgãos responsáveis pelas atividades de fiscalização (em especial
das áreas de segurança pública e da agricultura), em oposição ao argumento do
relator de que esses órgãos foram envolvidos na elaboração da proposta de regulação
(Anvisa 2019a; 2019b).
Declarada a decisão de arquivamento pela maioria, o relator da proposta
expressou uma última vez seu posicionamento divergente e, maiormente, sua
preocupação de que a Anvisa ignore as centenas de autorizações judiciais que
autorizam o plantio da cannabis até a regulamentação pela agência reguladora
(Anvisa, 2019b).
Nesse debate, podemos identificar como aquilo que é ignorado ou conhecido é

algo socialmente construído, e depende, portanto, de critérios comuns de aceitação
de um conhecimento como verdadeiro.46 A competência da Anvisa para regular
o cultivo, o impacto da regulação em termos de redução de custos, equidade de
acesso e incentivo à pesquisa e ao desenvolvimento nacional de produtos à base
de cannabis, bem como a capacidade técnica das instituições de controle para a
fiscalização deste cultivo, foram tomadas como certas pelo relator da proposta, mas
consideradas insuficientes pelos demais diretores.
Chamam a atenção, nesse sentido, as escolhas implícitas dos tomadores de
decisão sobre o que é possível saber, ou o que interessa saber. A decisão de arqui-
vamento parece supor que seria impossível dirimir a questão sobre competência da
Anvisa; estimar o impacto de eventual regulação do cultivo doméstico sobre o custo;
ou ainda conhecer os impactos multisetoriais da regulação do plantio nacional,
particularmente no que se refere à capacidade técnica e institucional dos órgãos
de controle para mitigar/evitar os eventuais impactos negativos de uma eventual
autorização do plantio. A decisão de arquivamento indica o compartilhamento,
entre a maioria dos membros da diretoria da Anvisa, de um juízo (não declarado)
sobre a impossibilidade, ou a falta de interesse, em se responder a essas questões,
revelando a escolha dos tomadores de decisão sobre o que deve permanecer ignorado.
Por fim, independentemente do vácuo regulatório e da ausência de critérios
técnicos para se avaliar os impactos do cultivo de cannabis em solo nacional, na
prática já existem plantações de cannabis para uso próprio no país – fato que não
mereceu consideração para a decisão final de arquivamento. No cenário atual, os
indivíduos e as associações, autorizados pela justiça a plantar cannabis para fins
terapêuticos, encontram-se em um limbo jurídico em que o direito é decidido
casuisticamente; autorizações podem ser revogadas em grau recursal; e os requisitos
técnicos permanecem indefinidos.
6.3 Deliberações da Anvisa sobre a flexibilização do registro de produtos à

base de cannabis
Essa proposta foi discutida e votada simultaneamente àquela sobre regulação do
cultivo nacional. Na visão do relator (de ambas as propostas), as duas regulações
deveriam caminhar juntas, pois atenderiam ao mesmo propósito: propiciar maior
equidade de acesso, pela criação de um mercado nacional, e a redução dos custos
destes produtos (Anvisa, 2019a). Como visto na subseção 6.2, a regulação do cultivo
foi arquivada, ao passo que a proposta de flexibilização dos critérios para registro
de produtos à base de cannabis foi aprovada em dezembro de 2019.
46. Conforme discutido na seção 2, referencial teórico, a respeito do tema ignorância e políticas públicas, em particular,
a abordagem interpretativa proposta por Smithson (2015).
medicinal no Brasil
A flexibilização consiste em autorizar a comercialização de produtos à base

de cannabis de forma provisória, antes da conclusão dos estudos sobre eficácia
e segurança, pelo prazo improrrogável de cinco anos – desde que atendidos a
requisitos de controle de qualidade na produção. Nesse prazo, a empresa deverá
apresentar os estudos que comprovem segurança e eficácia para registro definitivo
como medicamento. Tal qual os regulamentos anteriores editados pela agência,
persiste a necessidade de que médicos e pacientes se responsabilizem pelo uso dos
produtos, eximindo a Anvisa e o Estado brasileiro dos riscos não dimensionados
relacionados à ausência de comprovação de eficácia e segurança (Anvisa, 2019c).
Os diretores, considerando a existência de uma “circunstância fática absolu-
tamente sedimentada e irreversível” (Anvisa, 2019b), afirmam que a flexibilização
dos critérios para registro de produtos à base de cannabis seria a medida mais
acertada, dado que
mais de 13 mil unidades, já importadas, representam, hoje, o arrepio ao farto e amplo
conjunto normativo que essa agência tem produzido no sentido de delimitar – por meio
do conhecimento que o mundo tem produzido ao longo dos séculos – quais as melho-
res condições técnicas de produção, quais os melhores parâmetros de segurança para
uma formulação e, por fim, quais as indicações e os efeitos esperados (Anvisa, 2019a).
A aprovação do registro de produtos à base de cannabis deu-se por unani-
midade, prevalecendo o entendimento de que, na impossibilidade imediata de
atestar-se a sua eficácia e segurança (por limitação do conhecimento científico),
cabe uma via alternativa ao registro de medicamentos que garanta, ao menos, a
qualidade em um primeiro momento. A flexibilização das regras para registro de
tais medicamentos indica, por um lado, a aceitação, pela Anvisa, de que há riscos
inerentes à sua comercialização, riscos estes que devem ser assumidos por médicos
e pacientes ao assinarem os termos de responsabilidade e, por outro, o intuito
de dirimir a ignorância sobre sua qualidade no curto prazo, ao possibilitar que
a agência ateste a existência de requisitos de controle de qualidade na produção.
Ao longo deste capítulo, buscou-se aplicar o referencial teórico de estudos sobre
ignorância para compreender o desenrolar recente da regulação de cannabis para
uso medicinal no Brasil, a partir de uma abordagem interpretativa dos funda-
mentos de decisões regulatórias e judiciais. Tal abordagem permitiu identificar
quais ignorâncias são reconhecidas e como estas são mobilizadas nos argumentos
dos tomadores de decisão. Nesse sentido, destacamos três linhas argumentativas.
Na primeira, destaca-se o reconhecimento de que o regime proibicionista con-
tribui para a perpetuação da ignorância científica, ao impor obstáculos à pesquisa e
ao desenvolvimento de medicamentos, tanto do ponto de vista simbólico (estigma
da ilegalidade) quanto do prático (acesso à planta). Nesse sentido, a flexibilização

do regime de proibição torna-se medida necessária para, de um lado, propiciar a
geração de conhecimento científico e, de outro, não impedir o direito à saúde e
à dignidade de pacientes que necessitam de produtos derivados da cannabis. Esta
parece ter sido a tônica das deliberações judiciais e regulatórias sobre importação
de produtos à base de cannabis e reclassificação dos canabinóides CBD e THC.
Na segunda, observa-se a aceitação da ignorância sobre eficácia e segurança
dos produtos à base de cannabis como pressuposto intrínseco do objeto regulado;
e, em decorrência deste entendimento, a adoção de estratégias para alocação de
responsabilidades sobre a gestão dos riscos relativos a esta ignorância a outros ato-
res. A autorização para a importação de produtos à base de cannabis pauta-se pelo
entendimento de que, em face da ignorância sobre o grau de segurança e eficácia
desses produtos, a responsabilidade por sua utilização deve recair sobre médicos
e pacientes. Ademais, ao flexibilizar os critérios para registro destes produtos, a
agência reguladora reafirma a aceitação da sua própria ignorância sobre eficácia e
segurança, no intuito de minimizar os riscos relativos à ausência de certificação da
qualidade dos produtos importados, sem registro no país.
Já na terceira linha argumentativa, presente na decisão de arquivamento da
regulação do cultivo de cannabis, verifica-se a mobilização da ignorância como
justificativa para não decidir. Isto sugere a interveniência, na decisão, de um juízo
de valor prévio sobre o que se deve ou o que interessa conhecer.
Espera-se que essas reflexões instiguem outras pesquisas na linha de estudos
sobre ignorância – tema ainda pouco explorado no Brasil –, sensibilizando o leitor
para a necessidade de ampliação dos critérios pelos quais avaliam-se as decisões de
políticas públicas: para além da atenção à utilização de conhecimento técnico-científico
e mobilização de evidências, também a razoabilidade das alegações de ignorância e
seus usos como fundamento decisório.
REFERÊNCIAS
ANVISA – AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA. 9a Reu-
nião Ordinária Pública (ROP). Youtube, 29 maio 2014. 1 vídeo (3h34min.).
Disponível em: <https://bit.ly/3oidf0e>. Acesso em: 23 abr. 2021.
______. 1a Reunião Ordinária Pública (ROP). Youtube, 14 jan. 2015a. 1 vídeo
(2h09min.). Disponível em: <https://bit.ly/3on2CJB>. Acesso em: 23 abr. 2021.
______. Resolução de Diretoria Colegiada no 3, de 26 de janeiro de 2015. Dispõe
sobre a atualização do Anexo I, Listas de Substâncias Entorpecentes, Psicotrópicas,
Precursoras e Outras sob Controle Especial, da Portaria SVS/MS no 344, de 12
medicinal no Brasil
de maio de 1998 e dá outras providências. Diário Oficial da União, Brasília, 27

jan. 2015b.
______. 8a Reunião Ordinária Pública (ROP). Youtube, 22 abr. 2015c. 1 vídeo
(2h32min.). Disponível em: <https://bit.ly/3n5zrLK>. Acesso em: 23 abr. 2021.
______. Resolução de Diretoria Colegiada (RDC) no 17, de 6 de maio de 2015,
define os critérios e os procedimentos para a importação, em caráter de excepcio-
nalidade, de produto à base de Canabidiol em associação com outros canabinóides,
por pessoa física, para uso próprio, mediante prescrição de profissional legalmente
habilitado, para tratamento de saúde. Diário Oficial da União, Brasília, 7 maio
2015d.
______. 23a Reunião Ordinária Pública (ROP). Youtube, 15 out. 2019a. 1 vídeo
(4h22min.). Disponível em: <https://bit.ly/3FaJgOF>. Acesso em: 23 abr. 2021.
______. 29a Reunião Ordinária Pública (ROP). Youtube, 3 dez. 2019b. 1 vídeo
(4h50min.). Disponível em: <https://bit.ly/3n4z04c>. Acesso em: 23 abr. 2021.
______. Resolução de Diretoria Colegiada (RDC) no 327, de 9 de dezembro de
2019. Dispõe sobre os procedimentos para a concessão da Autorização Sanitária
para a fabricação e a importação, bem como estabelece requisitos para a comerciali-
zação, a prescrição, a dispensação, o monitoramento e a fiscalização de produtos de
cannabis para fins medicinais, e dá outras providências. Diário Oficial da União,
Brasília, seção 1, p. 194, 11 dez. 2019c.
BERRIDGE, V. Demons: our changing attitudes to alcohol, tobacco & drugs.
Oxford: Oxford University Press, 2013.
BRASIL. Lei no 11.343, de 23 de agosto de 2006. Institui o Sistema Nacional
de Políticas Públicas sobre Drogas (Sisnad); prescreve medidas para prevenção do
uso indevido, atenção e reinserção social de usuários e dependentes de drogas;
estabelece normas para repressão à produção não autorizada e ao tráfico ilícito de
drogas; define crimes e dá outras providências. Diário Oficial da União, Brasília,
24 ago. 2006. Disponível em: <https://bit.ly/3qIIMLG>.
CANCIAN, N. Justiça autoriza pais a plantar maconha em casa para tratar filhos.
Folha de São Paulo, 16 jan. 2017. Disponível em: <https://bit.ly/306Kxa9>.
DEDIEU, F.; JOUZEL, J.; PRETE, G. Governing by ignoring: the production
and the function of the under-reporting of farm-workers pesticide poisoning in
French and Californian regulations. In: GROSS, M.; MCGOEY, L. (Ed.). Rou-
tledge International Handbook of Ignorance Studies. London: Routledge, 2015.
DESMARAIS, B. A.; HIRD, J. A. Public policy´s bibliography: the use of research in
US regulatory impact analyses. Regulation & Governance, v. 8, p. 497-510, 2014.
EM VOTAÇÃO na ONU, governo brasileiro rechaça a flexibilização do uso da

maconha. Ministério da Cidadania, 2 dez. 2020. Disponível em: <https://bit.
ly/3kpm7ji>. Acesso em: 24 abr. 2021.
GAUDET, J. Unfolding the map: making knowledge and ignorance mobiliza-
tion dynamics visible in science evaluation and policymaking. In: GROSS, M.;
MCGOEY, L. (Ed.). Routledge International Handbook of Ignorance Studies.
London: Routledge, 2015.
HESS, D. J. Undone science and social movements – a review and typology. In:
GROSS, M.; MCGOEY, L. (Ed.). Routledge International Handbook of Ig-
norance Studies. London: Routledge, 2015.
KEMPNER, J. The production of forbidden knowledge. In: GROSS, M.; MCGO-
EY, L. (Ed.). Routledge International Handbook of Ignorance Studies. London:
Routledge, 2015.
KERWIN, A. None too solid: medical ignorance. Science Communication, v. 15,
n. 2, p. 166-185, 1993.
MCCALL, C. Momentum grows for medical use of cannabis. The Lancet World
Report, v. 386, p. 1615-1616, 2015. Disponível em: <https://bit.ly/3oi6j36>.
MCGOEY, L. On the will to ignorance in bureaucracy. Economy and Society,
v. 36, n. 2, p. 212-235, 2007.
______. Strategic unknowns: towards a sociology of ignorance. Economy and
Society, v. 41, n. 1, p. 1-16, 2012.
MILLS, J. H. Science, diplomacy and cannabis: the evidence base and the inter-
national drugs regulatory system 1924-1961. In: COLLINS, J. (ED). Governing
the Global Drug Wars. Special Reports. London: LSE!deas, 2012. Disponível
em: <https://bit.ly/3HmtxOq>.
NUTT, D. J.; KING, L. A.; NICHOLS, D. E. Effects of Schedule I drug laws on
neuroscience research and treatment innovation. Nature Reviews Neuroscience,
v. 14, p. 577-585, 2013.
OLIVEIRA, F. S. R. Maconheirinhos: cuidado, solidariedade e ativismo de pa-
cientes e seus familiares em torno do óleo de maconha rico em canabidiol (CBD).
2016. Dissertação (Mestrado) – Programa de Pós-graduação em Antropologia
Social, Universidade de Brasília, Brasília, 2016.
crítica. Boletim de Análise Político-Institucional, n. 24, p. 17-28, 2020.
PINTO, M. F. Tensions in agnotology: normativity in the studies of commercially
driven ignorance. Social Studies of Science, v. 45, n. 2, p. 294-315, 2015.
medicinal no Brasil
RAVETZ, J. R. Usable knowledge, usable ignorance: incomplete Science with policy

implications. Knowledge: creation, diffusion, utilization, v. 9, n. 1, p. 87-116, 1987.
RAYNER, S. To know or not to know? A note on ignorance as a rhetorical resour-
ce in geoengineering debates. In: GROSS, M.; MCGOEY, L. (Ed.). Routledge
International Handbook of Ignorance Studies. London: Routledge, 2015.
RODRIGUES, A. P. L. S.; MOURÃO, V. L. A.; LOPES, I. V. S. Eficácia, segu-
rança e qualidade: parâmetros discursivos nas audiências públicas da Anvisa sobre
regulamentação e pesquisas com cannabis para fins medicinais, Teoria e Cultura,
v. 15, n. 2, p. 134-147, 2020.
ROBERTS, J. Organizational ignorance. In: GROSS, M.; MCGOEY, L. (Ed.).
Routledge International Handbook of Ignorance Studies. London: Routledge,
2015.
SANTOS, F. Justiça já deu mais de 100 autorizações para plantio de maconha
no Brasil. Canal Rural, 12 fev. 2021. Disponível em: <https://bit.ly/3n6bOT8>.
SCHIEBINGER, L. Agnotology and exotic abortifacients: the cultural produc-
tion of ignorance in the eighteenth-century Atlantic world. Proceedings of the
American Philosophical Society, v. 149, n. 3, p. 316-343, 2005.
SMITHSON, M. Afterword: ignorance studies – interdisciplinary, multidisci-
plinary, and transdisciplinary. In: GROSS, M.; MCGOEY, L. (Ed.). Routledge
International Handbook of Ignorance Studies. London: Routledge, 2015.
UN – UNITED NATIONS. Third session of the World Health Organization
Expert Committee on Drug Liable to Produce Addiction. Genebra: UN, 1952.
Disponível em: <https://bit.ly/3HnBXoP>. Acesso em: 5 maio 2020.
WAGNER, W. E. The Science fiction: reclaiming the debate over the role of
Science in public health and environmental regulation. Law and Contemporary
Problems, v. 63, p. 63-132, 2003.
CAPÍTULO 22
POLÍTICAS MACROECONÔMICAS BASEADAS EM EVIDÊNCIAS

SÃO POSSÍVEIS? A DIFÍCIL RELAÇÃO DA MACROECONOMIA
COM AS EVIDÊNCIAS EMPÍRICAS
Ronaldo Fiani1
Nas últimas três décadas, os métodos e as conclusões
da macroeconomia deterioraram a ponto de que
muito do trabalho nessa área não mais se qualifica
como pesquisa científica.2
Paul Romer
1 INTRODUÇÃO
O padrão estabelecido para a avaliação empírica de políticas macroeconômicas
envolve examinar relações teoricamente determinadas a partir de modelos econo-
métricos. Esse padrão teve seus fundamentos lançados na década de 1940, com os
trabalhos da Fundação Cowles para a Pesquisa em Economia (Cowles Commission
for Economic Research, 1946) nos Estados Unidos, e foi consagrado após a Segunda
Guerra Mundial, com sua difusão nos Estados Unidos e na Europa Ocidental.
A crítica de Lucas (1976) produziria uma inflexão nesse padrão, levando
à construção de modelos macroeconométricos com parâmetros estruturais (em
inglês, deep parameters); ou seja, parâmetros que refletissem o comportamento de
agentes racionais maximizadores, não apenas diante das possibilidades de escolha,
como também em relação às próprias políticas adotadas, na abordagem que ficou
conhecida como expectativas racionais.
Essa inflexão acabaria por resultar na tendência atual de desenvolvimento de
modelos duramente criticada por Summers (1991) e Romer (2016). Esses dois
autores não possuem a mesma ambição teórica e, portanto, o mesmo alcance em
termos de repercussão acadêmica de Lucas (1976), mas se concentram justamente
em avaliar a prática de produção e análise de evidências empíricas por meio de
modelos econométricos em macroeconomia.
1. Professor associado do Instituto de Economia da Universidade Federal do Rio de Janeiro (UFRJ).

2. “In the last three decades, the methods and conclusions of macroeconomics have deteriorated to the point that much
of the work in this area no longer qualifies as scientific research” (Romer, 2016, p. 1).
Desse modo, este capítulo se organiza nas seguintes seções. Após esta seção de
introdução, a segunda seção aborda a evolução e o papel dos modelos econométricos
nas primeiras décadas do século XX, como instrumento de análise e comparação
de políticas macroeconômicas baseadas em evidências. A terceira seção aborda a
crítica de Lucas (1976), o maior desafio teórico lançado a esse tipo de abordagem
empírica. A quarta seção discute a crítica de Summers (1991), voltada principal-
mente aos modelos estruturais que foram desenvolvidos a partir da crítica de Lucas
(1976). A quinta seção aborda a crítica de Romer aos modelos econométricos
mais recentes, cuja complexidade muitas vezes impede uma avaliação precisa do
valor dos seus resultados, o que é frequentemente agravado pela manipulação dos
parâmetros por parte do analista. A seção de conclusão examina as possibilidades
de uma macroeconomia mais baseada em evidências, à luz do que foi discutido nas
seções anteriores. Será argumentado que é possível estabelecer as linhas gerais de
uma macroeconomia mais baseada em evidências, parafraseando Julian Reiss (2008).
É importante enfatizar que não se pretende fazer uma revisão exaustiva do
tema do uso das evidências na macroeconomia, o que seria impossível nos limites
deste trabalho. Objetiva-se apenas apresentar um rápido panorama do tratamento
das evidências no campo da macroeconomia, como introdução ao debate sobre
políticas macroeconômicas baseadas em evidências no país.
2 A GENERALIZAÇÃO DO USO DE MODELOS ECONOMÉTRICOS NO IMEDIATO

PÓS-GUERRA COMO INSTRUMENTO DE POLÍTICAS MACROECONÔMICAS
BASEADAS EM EVIDÊNCIAS
A origem da econometria como fonte de evidências empíricas para a elaboração e
a avaliação de políticas macroeconômicas pode ser localizada no trabalho da Co-
missão Cowles para a Pesquisa em Economia (Cowles Commission for Economic
Research). Essa comissão foi criada em 1932, quando Alfred Cowles, presidente
da Cowles and Company, empresa de consultoria de investimentos em Colora-
do Springs, no Colorado, iniciou um levantamento sobre o nível de acerto dos
especialistas em mercados de ações no período 1928-1932. Esse levantamento
despertou o interesse de Alfred Cowles em pesquisas econômicas básicas, o que o
levou a oferecer apoio financeiro para a criação da comissão e a bancar sempre a
maior parte dos recursos (Christ, 1952, p. 3).
O matemático Charles F. Roos foi o primeiro diretor de pesquisa da Comissão
Cowles, e seu livro publicado em 1934, intitulado Dynamic Economics: theoretical
and statistical studies of demand, production and prices, o primeiro da série de mo-
nografias da Cowles Commission que teriam papel marcante no desenvolvimento
da econometria pelas próximas décadas, tratava de temas como demanda por
bens de consumo, demanda de gasolina por automóveis, demanda por produtos
agrícolas, demanda por bens de capital, entre outros. O livro de Roos, contudo,
Políticas Macroeconômicas Baseadas em Evidências São Possíveis? A difícil relação | 699
da macroeconomia com as evidências empíricas
negligenciava o problema da identificação, de tal forma que não era possível dizer
se o autor tinha estimado uma curva de demanda ou alguma combinação linear
de funções de demanda e oferta (Dimand, 2019, p. 3). Seria a segunda geração da
Comissão Cowles, com nomes como Jacob Marschak e Tjalling Koopmans, que
enfrentaria o problema da identificação.
Curiosamente, as preocupações da primeira geração da Comissão Cowles,
que incluía nomes como o próprio Alfred Cowles, o matemático Harold Thayer
Davis e Charles F. Roos, eram, em geral, muito diferentes do que se tornaria mais
tarde o padrão de pesquisa em econometria. Nessa primeira fase, destacavam-se a
preocupação com a previsão das variações dos preços das ações – notadamente, o
próprio Alfred Cowles – e o estudo de ciclos econômicos.3
No que diz respeito à análise de ciclos, um papel de destaque coube a Harold
T. Davis, que, de forma irônica – quando se consideram os desenvolvimentos
posteriores –, descartou a teoria geral de Keynes de modo surpreendentemente
superficial (em uma nota de rodapé), mas mostrava grande interesse na teoria de
Stanley Jevons acerca da influência das manchas solares nos ciclos econômicos
(Dimand, 2019, p. 4).
Eugene Slutsky – que não participava da Comissão Cowles – teve um papel
fundamental para retirar o foco de interesse da comissão do estudo dos ciclos, a
partir da tradução de seu trabalho The Summation of Random as the Source of Cyclic
Processes – originalmente publicado em Moscou –, no periódico Econometrica, em
função de suas críticas metodológicas aos métodos estatísticos utilizados para a
análise dos ciclos (Dimand, 2019, p. 5-6).4 Foi um caso raro de solução de con-
trovérsias empíricas em macroeconomia, em que a discussão metodológica alterou
o foco de interesse teórico.
Esse enfoque em ciclos vai ser abandonado definitivamente quando Jacob
Marschak assume o cargo de diretor de pesquisa da Comissão Cowles em 1943.
Sua atuação promoveria uma mudança importante nas linhas de pesquisa da
comissão, que vai estabelecer os estudos econométricos como principal método
de pesquisa empírica em macroeconomia. Com a indicação de Marschak para a
direção de pesquisa, uma das preocupações centrais da comissão será o estudo das
propriedades estatísticas da estimação de equações simultâneas com erros aleatórios
3. Charles Roos e Harold Davis, diretores de pesquisa da Comissão Cowles em sua origem, antes da mudança de Colo-
rado Springs para a Universidade de Chicago em 1939, eram matemáticos interessados em ajuste de curvas e técnicas
para decompor séries temporais em: i) tendências; ii) múltiplos ciclos coincidentes com periodicidades e amplitudes
diferentes; e iii) movimentos erráticos (Dimand, 2019, p. 7).
4. Eugene Slutsky foi o primeiro professor de Jacob Marschak – que então assinava Jakob – em Kiev, antes da Primeira
Guerra Mundial. Em sua crítica, Slutsky apontava o fato de que as técnicas empregadas pelos analistas de ciclos da
comissão geravam ciclos aparentes, mesmo que não houvesse nenhum ciclo nos dados originais (Dimand, 2019, p. 5-6).
(Dimand, 2019, p. 8), a partir da influência dos trabalhos de Trygve Haavelmo,5

Leonid Hurwicz6 e Tjalling Koopmans.7
O ponto de inflexão será a conferência da Comissão Cowles em Chicago,
durante janeiro e o começo de fevereiro de 1945, que, segundo Edmond Malinvaud
(1983, p. 7), se tornaria a conferência mais influente sobre inferência estatística
que já aconteceu. Malinvaud (1983, p. 7) dá uma ideia da importância dos pes-
quisadores envolvidos e do alcance dos temas debatidos: R. L Anderson, Trygve
Haavelmo, Harold Hotelling, Leonid Hurwicz, Lawrence R. Klein, Tjalling C.
Koopmans, R. Leipnik, Henry B. Mann, Jacob Marschak, H. Rubin, Gerhard
Tintner e Abraham Wald discutiram temas como análise de séries temporais e
problemas de estimação de máxima verossimilhança e identificação em modelos
de equações simultâneas.
Assim, a conferência de janeiro de 1945 e a Cowles Monograph no 10, que
trouxe os resultados dessa conferência, foram fundamentais para os rumos que a
pesquisa econométrica em macroeconomia vem seguindo desde então. Em particular,
o periódico trouxe artigos inovadores que definiram a trajetória da pesquisa sobre
as condições de identificação de coeficientes estruturais de equações simultâneas, a
respeito de problemas de viés quando a estimação de equações simultâneas emprega
métodos de mínimos quadrados que são adequados para apenas uma equação, bem
como sobre os métodos de máxima verossimilhança de informação completa e
limitada (Dimand, 2019, p. 8). As bases fundamentais da moderna pesquisa empírica
em macroeconomia foram lançadas naquele evento e nessa publicação que o seguiu,
especialmente com relação aos modelos de equações simultâneas.
Mas o papel da Comissão Cowles foi além dos progressos no emprego de
técnicas econométricas para a produção de evidências empíricas em macroeconomia.
A comissão teve também um papel fundamental em uma questão que interessa
diretamente a este trabalho: a relação entre teoria e pesquisa empírica. Embora a
pesquisa da comissão sempre tivesse alguma ligação com a teoria econômica, esta
não era objeto direto de pesquisa (Malinvaud, 1983, p. 2). Esse quadro vai começar
a mudar com o ingresso de Oskar Lange e Jacob L. Mosak em 1939: “Suas mono-
grafias da Comissão Cowles, respectivamente os números 8 e 7, ambas publicadas
em 1944, Flexibilidade de Preços e Emprego e Teoria Geral do Emprego no Comércio
5. The Statistical Implications of a System of Simultaneous Equations, publicado no periódico Econometrica em 1943, e
The Probability Approach in Econometrics, também publicado no Econometrica em 1944 (Dimand, 2019, p. 8).
6. Stochastic Models of Economic Fluctuations, publicado no Econometrica de 1944 (Dimand, 2019, p. 8).
7. A dissertação Linear Regression Analysis of Economic Time Series, de 1936, de Tjalling Koopmans, foi publicada no
ano seguinte (Dimand, 2019, p. 8).
Internacional, foram as primeiras a tratar da teoria econômica formalizada” (op.

cit., p. 2, tradução nossa).8
O segundo momento decisivo na redefinição da relação entre teoria e pesquisa
empírica macroeconômica, com a ênfase sendo progressivamente deslocada para os
fundamentos teóricos da pesquisa empírica, acontecerá a partir do período 1942-
1943, com o ingresso de Leonid Hurwicz e Trygve Haavelmo, além da participação
já assinalada de Jakob Marschak. Malinvaud (1983, p. 2) explica que a parcela de
artigos com temas teóricos salta de algo em torno de um terço dos títulos até 1950
para dois terços dos títulos nos anos seguintes, o que levou a comissão a mudar
seu lema de “ciência é mensuração” para “teoria e mensuração”.
As ferramentas para a discussão empírica de políticas macroeconômicas combi-
nadas com explorações teóricas em economia foram dessa forma estabelecidas. Com
o desenvolvimento de técnicas econométricas para a estimação de modelos de
equações simultâneas e ênfase na discussão teórica, a Comissão Cowles assentou
os fundamentos do que viria a tornar-se a prática de discussão empírica em ma-
croeconomia a partir de meados do século XX.
Edmond Malinvaud (1998) descreve a ascensão dos modelos econométricos
como instrumento de avaliação empírica de políticas macroeconômicas nos Estados
Unidos e na Europa, a partir dos anos 1950. Apesar de as principais contribuições
econométricas de Jan Tinbergen na Europa iniciarem-se ainda nos anos 1930
(Tinbergen, 1937), no pós-guerra, foi a partir do modelo Klein-Goldberg nos
Estados Unidos, em 1955, e desde 1957, na Europa, que os modelos econométricos
começaram a ganhar ampla aceitação como instrumentos de avaliação empírica de
políticas macroeconômicas (Malinvaud, 1998, p. 330).
Essa expansão do uso da econometria para a avaliação de políticas macroe-
conômicas (fiscais e monetárias) foi fortemente influenciada pela ampla aceitação
do keynesianismo como ferramenta fundamental de gestão econômica. Como
explica Malinvaud (1998, p. 330), a aceitação do keynesianismo foi resultado da
preocupação em evitar o retorno da crise do período entreguerras, uma vez que
essa teoria se propunha exatamente a combinar medidas fiscais e monetárias, com
o objetivo de garantir o pleno emprego com controle do nível de preços.
Portanto, o emprego de modelos econométricos para avaliar políticas macro-
econômicas nasceu associado ao keynesianismo, tendo como motivação central
a busca do pleno emprego com controle da inflação. Um passo importante nesse
sentido foi dado por Henri Theil, que, a partir da sua experiência na Holanda,
8. “Their Cowles Commission Monographs, respectively Nos. 8 and 7, both published in 1944, Price Flexibility and Employ-
ment, and General-Equilibrium Theory in International Trade, were the first ones to deal with formalized economic theory”.
publicou Economic Forecasts and Policy (Theil, 1958), em que discutiu métodos
econométricos voltados para previsão dos efeitos e estudo de políticas econômicas.
O uso crescente de modelos macroeconométricos foi acompanhado de oti-
mismo que se expressava em modelos cada vez mais extensos, cercados de expec-
tativas crescentes, que se materializavam na ideia de que seria possível desenhar o
que seria uma política macroeconômica ótima baseada em evidências, sendo que
por evidências se entendiam os resultados desses modelos econométricos. Isso levou
“os economistas, munidos de seus modelos dinâmicos, a se verem até mesmo em
uma posição semelhante àquela de engenheiros chamados a dirigir otimamente a
trajetória de um foguete” (Malinvaud, 1998, p. 330, tradução nossa).9
Essa expectativa otimista com relação às possibilidades de os modelos eco-
nométricos fornecerem as evidências empíricas para a adoção de uma política
macroeconômica ótima seria duramente abalada nos anos 1970. Naquele período,
houve a experiência combinada de estagnação econômica e inflação nos Estados
Unidos, que se tornou conhecida em termos jornalísticos como estagflação.
Como será visto mais adiante, a incapacidade dos modelos keynesianos para
lidar inicialmente com essa conjuntura até então inédita motivará a crítica de
Lucas (1976), a primeira a colocar em xeque de forma teórica o uso de modelos
econométricos para avaliar o alcance de políticas macroeconômicas. Essa crítica
foi a de maior alcance e motivou a busca de parâmetros estruturais (deep para-
meters) que refletissem as escolhas de agentes racionais maximizadores perante as
possibilidades de escolha e as próprias políticas adotadas, na abordagem que ficou
conhecida como expectativas racionais.
3 A CRÍTICA DE LUCAS
A discussão dos problemas com relação ao uso de evidências em macroeconomia
inicia-se com a crítica de Lucas aos modelos econométricos keynesianos (Lucas,
1976), pois essa crítica foi uma das primeiras a afetar significativamente uma
das principais fontes de evidências no debate macroeconômico: os resultados de
modelos econométricos. Ao mesmo tempo, a crítica de Lucas oferece oportuni-
dade ímpar para o estudo das dificuldades do debate macroeconômico com as
evidências empíricas.
A crítica de Lucas, tal como apresentada em Econometric Policy Evaluation:
a critique (Lucas, 1976, p. 41), encontra-se sintetizada no final do capítulo, em
que é apresentada como “um simples silogismo” (a single syllogism): dado que a
estrutura de um modelo econométrico é constituída pelas regras de comportamento
9. “Des économistes, dotés de leurs modèles dynamiques, se virent même dans une position semblable à celle d’ingénieurs
appelés à diriger au mieux la trajectoire d’une fusée”.
otimizador dos agentes, qualquer mudança de política transformará a estrutura do

modelo, na medida em que altera os dados relevantes para a tomada de decisão
desses agentes.
Como se pode notar da citação anterior, a crítica de Lucas era direcionada fun-
damentalmente ao uso de modelos macroeconômicos na avaliação de políticas públicas.
Pode-se afirmar, portanto, que a crítica foi talvez o primeiro esforço teórico para
questionar o embasamento de políticas públicas em evidências empíricas baseadas
em resultados de modelos econométricos.
A crítica de Lucas afirmava que mudanças nas políticas econômicas alteravam a
própria forma como essas políticas afetavam a economia. A razão disso é que, sendo
racionais – isto é, utilizando toda a informação disponível –, os agentes antecipa-
riam as consequências das novas políticas macroeconômicas e, consequentemente,
alterariam seu comportamento. Isso teria implicações danosas para o emprego de
modelos econométricos na formulação e, especialmente, na previsão dos efeitos
de políticas econômicas. Como explica Linde (2001, p. 896), a partir da crítica de
Lucas, o comportamento passado deixaria de ser uma referência válida para estimar
os efeitos de políticas alternativas, e os parâmetros dos modelos econométricos em
forma reduzida não seriam mais constantes.
Como é sabido, a forma reduzida de um modelo econométrico é construída a
partir de um modelo estrutural – isto é, de um modelo de equações elaborado
a partir de relações derivadas teoricamente. A forma reduzida nada mais é do que
um arranjo algébrico, em que as variáveis endógenas são colocadas como função
das variáveis exógenas. Por isso, é bem menos detalhado que a forma estrutural.
Por serem mais simples, a fundamentação teórica dos modelos em forma reduzida
é menos exigente teoricamente.
Nunca é demais salientar a importância da crítica de Lucas (1976) no debate
macroeconômico: esta foi assimilada majoritariamente na academia como um
passo fundamental na modernização da teoria econômica, ao menos no que diz
respeito ao seu paradigma dominante, como exemplifica a avaliação de Hall (1996)
acerca da importância da contribuição de Lucas, escrita em função da premiação
deste com o Prêmio de Ciências Econômicas em Memória de Alfred Nobel de
1995. Segundo Hall (1996, p. 38), o efeito da crítica de Lucas foi fazer com que
as gerações subsequentes de economistas fossem treinadas na elaboração de mo-
delos macroeconômicos de forma rigorosamente consistente com os fundamentos
microeconômicos, o que teria afetado não apenas o campo da economia aplicada,
mas também a teoria econômica.
Uma vez que a própria crítica de Lucas (1976) diz respeito à forma como as
evidências são utilizadas no debate macroeconômico e como o uso dessas evidências
afeta a precisão com que as previsões são feitas, o debate no que concerne a essa
crítica envolveu desde o início a discussão acerca da capacidade de fazer previsões

sobre o comportamento dos principais agregados econômicos. Por sinal, Lucas (1976)
utilizou a curva de Phillips e sua relação inversa entre desemprego e inflação, um
dos instrumentos básicos de política macroeconômica ativa, como exemplo de
seu argumento.
É curioso notar que a curva de Phillips é um dos poucos casos de observação
empírica dando origem à produção de nova teoria, algo que deveria ser comum se a
produção de teoria econômica fosse usualmente baseada em evidências.10 Contu-
do, segundo Lucas (1976, p. 40), a curva de Phillips fracassou na antecipação da
chamada estagflação da década de 1970 nos Estados Unidos. Teria havido então,
segundo o autor, uma instabilidade nos parâmetros da curva de Phillips, provocada
pela reação de agentes racionais às políticas macroeconômicas do período.
Por conseguinte, muito da força da crítica de Lucas (1976) advém tanto da
sua apresentação como um silogismo lógico – e, portanto, em princípio irrefu-
tável – como da aparente incapacidade dos modelos keynesianos da época – em
particular, a curva de Phillips – de explicar e prever a combinação de estagnação
econômica e aceleração inflacionária dos anos 1970. Uma consideração adequa-
da da crítica de Lucas, por conseguinte, exige que sejam considerados esses dois
aspectos do seu triunfo.
A crítica de Lucas, se considerada superficialmente, realmente é um silogismo.
Se os agentes alteram seu comportamento em resposta a mudanças na política
econômica, modelos em forma reduzida que não incorporam a reação dos agentes
às mudanças de políticas estão condenados à irrelevância, na melhor das hipóteses,
e a produzir previsões equivocadas, na pior destas.
Essa leitura superficial não esgota, porém, as questões associadas à crítica de
Lucas (1976). Com efeito, essa crítica envolve, ao menos, duas outras questões
(uma de natureza teórica e outra de natureza empírica), e as duas questões não se
resumem a simples silogismos.
A questão teórica diz respeito ao tipo de comportamento dos agentes diante
de mudanças na política econômica, uma vez que se aceite que estes respondem
10. Como é sabido, a origem da curva de Phillips é seu artigo The Relation between Unemployment and the Rate of
Change of Money Wage Rates in the United Kingdom, 1861-1957 (Phillips, 1958). Embora possam ser encontradas
evidências na literatura de algumas passagens em que autores anteriores tenham identificado alguma relação inversa
entre desemprego e inflação, que possivelmente, de acordo com Humphrey (1985), remontariam a John Law (1621-
1729), é geralmente aceito (Gordon, 2011) que a ligação entre desemprego e inflação foi estabelecida formalmente
pela regressão estimada por Phillips, dada por: (Phillips, 1958, p. 290), sendo a taxa anual
de mudança do salário nominal em percentual e U a taxa de desemprego.
Essa identificação empírica produziu uma onda de inovações teóricas, ainda que algumas vezes tornando a relação
ineficaz, como no caso da versão da curva de Phillips com expectativas racionais, que anula o trade-off entre inflação
e desemprego até mesmo no curto prazo. Discutir as revisões dessa curva desde seu surgimento seria impossível no
âmbito deste trabalho. Recomenda-se ao leitor interessado consultar, entre várias possíveis referências, Gordon (2011).
racionalmente a mudanças de política. Essa questão, como é sabido, foi respondida

por Lucas e outros autores com o modelo de expectativas racionais: os agentes são
maximizadores racionais, no sentido de que dispõem e usam toda a informação
disponível e, assim, antecipam corretamente as consequências das políticas macro-
econômicas, anulando em grande medida o efeito de quaisquer políticas discricio-
nárias. A solução seria estabelecer regras claras que influenciariam as expectativas
dos agentes, como é o caso com o regime de metas de inflação, em vez de adotar
políticas macroeconômicas discricionárias, a exemplo de uma política fiscal ativa.
Obviamente, a suposição de expectativas racionais não pode ser considerada um
silogismo, mas uma hipótese a ser avaliada empiricamente.
Todavia, quando se consideram suas consequências em termos de modelos
de análise de políticas econômicas, a crítica de Lucas está envolvida em paradoxos,
especialmente aquele relacionado a um dos seus desdobramentos recentes e impor-
tantes, que são os modelos dinâmicos estocásticos de equilíbrio geral (DSGE).11
Esses modelos são tidos como mainstream na área macroeconômica, particularmente
na elaboração de política monetária. Esse gênero de modelo, como não poderia
deixar de ser, também desfruta de grande popularidade no Brasil, como indicam
os trabalhos de Vereda e Cavalcanti (2010), Cavalcanti e Vereda (2011), Ferreira
(2015), Areosa e Coelho (2015) e Nunes e Portugal (2018), apenas para citar
alguns dos trabalhos mais representativos no país.
Contudo, apesar de serem um desdobramento da crítica de Lucas, os modelos
DSGE, curiosamente, não se adequam aos critérios de invariância dos parâmetros.
Até mesmo seus principais defensores, como Fernández-Villaverde et al. (2007,
p. 84), afirmam ser difícil aceitar que os parâmetros dos modelos DSGE sejam
estruturais. Por exemplo, a maioria desses modelos especifica uma função de
produção estável, com elasticidade do produto em relação ao capital constante –
algo inaceitável, considerada a crítica de Lucas (1976), pois mudanças nos preços
relativos dos fatores induziriam o desenvolvimento de novas tecnologias. Ainda
segundo os autores, problemas desse tipo afetariam quase todas as dimensões de
um modelo DSGE moderno.
Na verdade, também a adoção da hipótese de expectativas racionais não é
garantia de estabilidade dos parâmetros do modelo, como demonstram Estrella e
Fuhrer (1999). Ao testar modelos com comportamento otimizador baseado em
expectativas racionais contra modelos mais simples, sem o mesmo comportam
ento, os autores observaram que há poucas evidências de que modelos adaptativos
(backward-looking models) sejam instáveis, ao contrário de modelos com expectativas
racionais, que exibem clara evidência de instabilidade (op. cit., p. 21).
11. Sergi (2018, p. 2) identifica os modelos DSGE como parte da nova síntese neoclássica que busca responder à crítica
de Lucas. Ver a respeito, também, Hurtado (2013; 2014).
Apesar de sua instabilidade, ainda é possível defender os modelos de expec-

tativas racionais se: i) a instabilidade dos parâmetros for significativa também nos
modelos keynesianos até então utilizados; e ii) os problemas com a curva de Phillips
e outros modelos keynesianos utilizados nos anos 1970 realmente forem consequ-
ência de mudanças nos comportamentos dos agentes em resposta a modificações
nas políticas macroeconômicas.
Caso outros fatores também tenham atuado adicionalmente, ou em subs-
tituição a eventuais mudanças no comportamento dos agentes, uma questão
subsequente envolve avaliar se esses outros fatores poderiam ser incorporados de
forma coerente aos modelos keynesianos então vigentes, ou se somente poderiam
ser incluídos naqueles modelos com o acréscimo de hipóteses ad hoc – isto é,
hipóteses elaboradas a partir do próprio fato que se pretende explicar, para evitar
o descrédito da teoria.
Segundo Goutsmedt et al. (2019, p. 535), a crítica de Lucas (1976) foi ampla-
mente aceita e incorporada ao paradigma dominante pela maioria dos economistas
como um princípio inquestionável, que desqualificou de imediato os modelos
keynesianos, ignorando-se não apenas as questões referidas anteriores, mas também
toda uma série de evidências empíricas que foram apresentadas pelos economistas
keynesianos no debate acerca da crítica de Lucas durante os anos 1970 e 1980.
O debate acerca dos modelos keynesianos que se seguiu à crítica de Lucas
(1976) ilustra com clareza as dificuldades na avaliação das evidências quando se
trata de discutir políticas macroeconômicas, assim como a supervalorização da teoria
em detrimento da evidência empírica. Para isso, é preciso destacar nas respostas
keynesianas aquilo que diz respeito apenas ao efeito que as expectativas dos agen-
tes podem ter sobre a estrutura do modelo, desconsiderando-se questionamentos
específicos com relação à hipótese de expectativas racionais. Isso porque o debate
sobre Lucas (1976) frequentemente combina a questão empírica com a discussão
teórica acerca da hipótese das expectativas racionais.
Na verdade, como explicam Goutsmedt et al. (2019), o cerne da crítica key-
nesiana a Lucas (1976) estava na sua relevância prática. Malinvaud corrobora esse
ponto, esclarecendo que as evidências empíricas da validade da crítica de Lucas
permaneceram muito limitadas, até mesmo mais de vinte anos depois: os “pequenos
modelos ilustrativos” (les petits modèles illustratifs) apresentados por Lucas e outros
autores apenas demonstrariam uma possibilidade, não tendo sido objeto de testes
empíricos mais acurados (Malinvaud, 1997, p. 21). Em relação ao mesmo ponto,
Malinvaud escreveria um ano mais tarde algo que se tornaria o argumento central
para explicar a irrelevância empírica da crítica de Lucas (1976): que os agentes
privados não se importam com decisões monetárias e orçamentárias a menos que
estas os afetem diretamente (Malinvaud, 1998, p. 335).
Sendo assim, é razoável indagar de onde se origina o sucesso que a crítica de

Lucas (1976) desfrutou na academia, quase que imediatamente à sua divulgação.
Ao que parece, esse sucesso resultou não apenas da sua força como um “simples
silogismo” – que foi visto não ser tão simples assim –, mas também das evidências
empíricas a favor da crítica. Essas evidências, contudo, não eram diretas: estavam
relacionadas à aparente incapacidade dos modelos keynesianos de antecipar as flu-
tuações econômicas – em especial, a combinação de desemprego e inflação elevados
dos anos 1970. Essa inaptidão foi assumida pelos críticos do keynesianismo como
evidência da relevância da crítica de Lucas.
Com efeito, no plano empírico, a crítica de Lucas (1976) não foi testada
diretamente de modo sistemático e repetido. O que foi objeto de teste empírico
foram algumas de suas hipóteses e previsões, baseadas no modelo de expectativas
racionais. Desse modo, não houve dissociação da crítica em relação à escola teórica
que esta ajudou a fundar. Alguns dos trabalhos clássicos nesse sentido são os de
Lucas (1973), Sargent e Wallace (1973), Sargent (1976) e Barro (1977).
Isso levou previsivelmente a que a resposta dos keynesianos envolvesse avaliar
empiricamente a existência de quebras estruturais e instabilidade dos parâmetros
nos seus modelos após uma mudança de política econômica, com ênfase na análise
empírica da curva de Phillips, o instrumento central de política macroeconômica,
de acordo com essa geração de keynesianos. Isso ocorreu não obstante a crítica de
Lucas (1976) ser muito mais abrangente, dizendo respeito à estabilidade estrutural
de modelos diante da possibilidade de mudanças de expectativas em resposta a
alterações em políticas macroeconômicas (Goutsmedt et al., 2019).
A primeira resposta keynesiana foi dada por Blinder em seu livro Economic
Policy and the Great Stagflation (Goutsmedt et al., 2019, p. 10). Outros autores
se seguiram, tais como Otto Eckstein, com seus livros The Great Recession, with a
Postscript on Stagflation e The Dri Model of the U.S. Economy, Lawrence R. Klein
(1985) e Robert J. Gordon (1975; 1984; 2011). Todas essas respostas enfatizaram
que o modelo convencional keynesiano e a curva de Phillips em particular descreviam
adequadamente a situação de estagflação dos anos 1970, desde que incorporassem
os choques de oferta em energia e produtos agrícolas do período.
Contudo, essas respostas foram simplesmente ignoradas, o que levou keyne-
sianos como Blinder e Malinvaud a considerar a macroeconomia novo-clássica um
“golpe palaciano” (palace coup) ilegítimo, porque esta é destituída de base empírica
(Goutsmedt et al., 2019, p. 22). É importante destacar aqui que não se está dis-
cutindo a qualidade técnica dessas respostas, apenas o fato de que estas têm sido
ignoradas, e a crítica de Lucas (1976) tem sido considerada um marco no uso de
evidências em macroeconomia, desconsiderando-se totalmente seu questionamento
do ponto de vista empírico por profissionais reconhecidos.
De forma ainda mais surpreendente, Goutsmedt et al. (2016, p. 11) cha-

mam atenção para o fato de que a crítica de Lucas não era novidade – por sinal,
fato reconhecido de passagem em uma curta nota de rodapé pelo próprio Lucas
(1976, p. 20). Exatamente a mesma ideia foi discutida por Jacob Marschak e
Jan Tinbergen de forma explícita, mas foi deixada de lado nas décadas seguintes.
A questão interessante seria, então, perguntar o que teria permitido a Lucas (1976)
reabrir a discussão (Goutsmedt et al., 2016, p. 13).
Portanto, há duas omissões importantes, do ponto de vista empírico, com
relação à crítica de Lucas (1976): os trabalhos macroeconométricos que anteciparam
e discutiram o problema da estabilidade dos parâmetros; e as respostas empíricas
que questionaram a relevância da crítica para os modelos keynesianos. Resulta
muito difícil enquadrar essas omissões na perspectiva de uma disciplina baseada
em evidências. Um cientista normalmente considera as provas que antecederam seu
trabalho, assim como quaisquer evidências empíricas que questionem seu resultado.
Esses fatos indicam que há realmente um problema significativo na relação
entre a macroeconomia e as evidências empíricas. Lawrence Summers (1991)
argumenta nesse sentido, e sua crítica será considerada em seguida.
4 SUMMERS E A “ILUSÃO CIENTÍFICA” DA MACROECONOMIA EMPÍRICA

A crítica contundente mais recente da forma como as evidências são empregadas
em macroeconomia por intermédio de modelos econométricos é a de Lawrence
Summers (1991), em seu artigo The Scientific Illusion in Empirical Macroeconomics.
Essa crítica é relevante porque se trata de economista com grande experiência na
formulação de políticas macroeconômicas, dada sua passagem pelo Departamento
do Tesouro norte-americano e pelo Banco Mundial, além de ter participado do
Conselho Econômico Nacional na primeira gestão do ex-presidente norte-americano
Barack Obama.
Assim, Summers (1991, p. 144) define o que chama de “a ilusão científica
da macroeconomia empírica” (the scientific illusion in empirical macroeconomics), a
saber, as crenças de que: i) o esforço empírico em macroeconomia deve concentrar-se
nos parâmetros estruturais fundamentais (deep structural parameters) relacionados
a preferências e tecnologias; ii) os trabalhos empíricos em macroeconomia devem
testar hipóteses derivadas rigorosamente da teoria; e iii) técnicas estatísticas sofis-
ticadas são importantes para distinguir relações de causalidade em sistemas com
muitas variáveis interdependentes. Conforme foi visto na seção anterior, as crenças
já referidas são resultados diretos da crítica de Lucas. Essas crenças, de acordo com
Summers (1991, p. 144) “constituem o núcleo daquilo que considero a ilusão
científica em macroeconomia empírica”.
A crítica de Summers (1991) quanto ao papel das evidências no debate

macroeconômico pode assim ser resumida: a teoria macroeconômica encontra-se
divorciada da observação empírica e sobrevalorizada pela “falha da análise empírica
em apresentar fatos de uma forma que estes possam ser apreendidos pela teoria”
(op. cit., p. 144, tradução nossa).12
Assim, Summers (1991) identifica duas dificuldades fundamentais na relação
entre macroeconomia e evidências empíricas. Uma diz respeito ao peso excessivo
da teoria no debate. A outra concerne ao tipo de evidência que é produzido.
Os dois problemas seriam as duas faces de uma mesma moeda.
Dessa forma, Summers (1991), em sua crítica à supremacia da teoria em
relação às evidências empíricas no debate macroeconômico, não é um caso isolado.
O peso excessivo da teoria é também identificado e criticado por Juselius (2010,
p. 2), que demanda maior proeminência da análise empírica no que concerne à
teoria, não apenas para fornecer bases mais sólidas à análise, mas também para
embasar novas teorias.
Seria razoável esperar que as evidências empíricas não apenas estimulem a
produção de novas teorias, como pede Juselius (2010), mas também sirvam de base
para previsões que possam ser testadas empiricamente. Contudo, esse não é o caso,
como aponta Summers (1991, p. 144), pois a grande maioria da macroeconomia
teórica, não obstante as declarações enfáticas em favor de rigor e generalidade, não
parte de observações empíricas nem resulta em previsões verificáveis empiricamente.
Com efeito, Summers (1991, p. 131-132) opõe o papel crucial das evidên-
cias empíricas na elaboração de novas teorias científicas com a quase irrelevância
dessas evidências para o desenvolvimento de novas teorias econômicas. Cita, como
exemplo da contribuição fundamental das evidências empíricas para estimular o
desenvolvimento de novas teorias científicas, o papel do telescópio Hubble na
criação da teoria do Big Bang; ou do estudo dos fósseis, da mosca das frutas e do
DNA de várias espécies para as formulações mais modernas da teoria da evolução.
Para contrastar o trabalho teórico dos economistas com os cientistas que ela-
boram novas teorias a partir de evidências empíricas, Summers (1991) cita várias
obras que ajudaram a moldar a macroeconomia atual, com escassas referências,
ou pouco significativas, ou até mesmo sem nenhuma referência a modelos econo-
métricos, tais como: Models of Business Cycles, de Robert Lucas (1987); Dynamic
Macroeconomic Theory, de Thomas Sargent (2009); Growth Theory: an exposition,
de Robert Solow (1970); e Asset Accumulation and Economic Activity, de James
Tobin (1982).
12. “The failure of empirical work to deliver facts in a form where they can be apprehended by theory”.
Como as evidências proporcionadas pelos modelos econométricos – princi-

palmente aqueles que incorporam técnicas mais sofisticadas – são frágeis e proble-
máticas, a teoria por trás dos modelos acaba sendo mais importante que as próprias
evidências empíricas. Também de acordo com Summers (1991), contrariamente à
prática das ciências naturais, são raras as replicações de resultados econométricos
com vistas a testar valores estimados de parâmetros. Para Summers (1991, p. 133,
tradução nossa), isso é consequência de que “os resultados em geral dificilmente
são um insumo importante para a elaboração teórica ou a opinião profissional”.13
Os trabalhos econométricos efetivamente replicados, segundo Summers (1991,
p. 133), geralmente envolvem aspectos qualitativos, em vez de estimar parâmetros
estruturais ou testar uma hipótese. A razão disso – não obstante as inovações meto-
dológicas significativas envolvidas na abordagem deep parameter, de Thomas Sargent,
ou a abordagem de vetores autorregressivos (VARs), de Christopher Sims – seria
a de que os pesquisadores nas duas correntes confundem avanços metodológicos
com avanços de substância (op. cit., p. 134).
A crítica de Summers à abordagem de Sargent da estimação de deep parame-
ters – isto é, dos parâmetros estruturais que descrevem o comportamento funda-
mental de consumidores e empresas14 – concentra-se em dois artigos de Hansen
e Singleton (1982; 1983). Trata-se de dois trabalhos reconhecidos pelo seu valor
econométrico, como demonstra a medalha Frisch concedida a Lars Peter Hansen
e Kenneth Singleton, em 1984. Dado o caráter destacado desses trabalhos eco-
nométricos, suas falhas fundamentais representam todo esse gênero de trabalho
(Summers, 1991, p. 134).
A primeira questão importante a ser destacada é que, mesmo que a hipótese
em teste não seja rejeitada, ainda assim Summers (1991) adverte que dificilmente
os parâmetros estruturais estimados em modelos como os de Hansen e Singleton
(1982; 1983) seriam levados a sério. Além de limitações no acesso e uso de dados,
é incomum que parâmetros estruturais estimados sejam utilizados para fazer previsões
a respeito dos efeitos de políticas macroeconômicas. Como observa Summers, apesar
de Hansen e Singleton (1982; 1983) terem estimado os parâmetros estruturais da
função de utilidade dos consumidores representativos, como recomenda a crítica
de Lucas (1976), é improvável que alguém use essas estimativas para calcular os
efeitos de um corte nos impostos (Summers, 1991, p. 136).
13. “The results are rarely an important input to theory creation or the evolution of professional opinion more generally”.
14. Como explicam Low e Meghir (2017, p. 35), modelos estruturais plenamente especificados adotam hipóteses ex-
plícitas sobre os objetivos dos atores econômicos, seu ambiente e seu conjunto de informação, também especificando
as escolhas que podem ser feitas; dessa forma permitindo a solução do problema de otimização individual em função
do conjunto de informação.
Aqui, tem-se outro ponto fundamental deste trabalho. Diante do grande

volume de trabalhos econométricos em revistas especializadas, por que os valores
estimados dos parâmetros estruturais dificilmente são utilizados em simulações de
políticas, ao contrário dos parâmetros estimados em experimentos de laboratórios,
posteriormente empregados em aplicações de engenharia?15 Trata-se do fato ob-
servado por Summers (1991), de que esses parâmetros estruturais são usualmente
ignorados quando se trata de discutir os efeitos de políticas públicas.
A resposta para essa pergunta, tanto no que diz respeito a Hansen e Singleton
(1982; 1983) quanto a qualquer outro modelo preocupado em estimar parâmetros
estruturais, é simples: as hipóteses heroicas e os problemas frequentes de especi-
ficação da estrutura dos modelos – ainda mais no caso daqueles que empregam
o conceito de consumidor representativo – geram tantas incertezas que tornam
impraticável a aplicação de parâmetro estimado dessa maneira para avaliar políticas
públicas, mesmo que o modelo não rejeite as hipóteses que estão sendo testadas.
Não é de surpreender que Summers (1991, p. 137, tradução nossa) conside-
re que “o trabalho de Hansen e Singleton cria uma forma de arte para os outros
admirarem e imitarem, mas que fornece pouco conhecimento novo”.16 Um juízo
igualmente severo se aplicaria a qualquer tentativa semelhante de “testar uma es-
trutura extremamente restrita e certamente incorreta usando métodos elaborados,
que não lançam luz na causa de qualquer dos desvios dos dados em relação à teoria”
(idem, ibidem, tradução nossa).17
De acordo com Summers (1991), Hansen e Singleton (1982; 1983) tinham
como seu principal objetivo testar a relação entre consumo e preços dos ativos,
a partir de modelo de consumidor representativo com expectativas racionais.
Summers (1991, p. 135) identifica então alguns problemas relevantes de caráter
geral na abordagem de Hansen e Singleton. Estes autores não oferecem nenhuma
indicação acerca da origem da sua falha, se na lógica da própria teoria ou nas
hipóteses auxiliares feitas para testar essa teoria.
Trata-se de argumento importante: quanto mais complexos os modelos
teóricos e mais sofisticadas as técnicas de estimação para tentar validar empirica-
mente esses modelos, mais hipóteses auxiliares têm de ser feitas para obter algum
resultado, e, como consequência, fica cada vez mais difícil discernir se o resultado
15. É importante destacar que não se trata aqui de questionar as bases teóricas desses modelos; por exemplo, a
hipótese de consumidor representativo, ante à heterogeneidade óbvia dos consumidores. A discussão neste trabalho
restringe-se à questão da utilização de evidências empíricas em macroeconomia, aceitando-se os modelos que são
considerados mainstream.
16. “Hansen and Singleton’s work creates an art form for others to admire and emulate but provides us with little
new knowledge”.
17. “To test a highly restricted and surely incorrect structure using elaborate methods which do not shed light on the
cause of any deviations of data from theory”.
(a rejeição ou não rejeição de dada hipótese) é consequência da hipótese em si ou

das exigências adicionais derivadas da técnica de estimação que é necessária para
avaliar empiricamente a hipótese.
Na verdade, há vários problemas envolvidos na estimação de um modelo
teórico com microfundamentos que não podem ser diretamente observados e
que demandam técnicas estatísticas complexas para sua avaliação empírica. Como
apontam Hendry e Muellbauer (2018, p. 304), em primeiro lugar, mesmo que
exista apenas uma teoria a ser avaliada empiricamente – isto é, ainda que seja
satisfeita a condição de consistência teórica –, isso não significa que há apenas um
modelo para a estimação empírica: há diferentes formas de implementar um mo-
delo empiricamente, variadas maneiras de considerar as variáveis que não podem
ser observadas e diferentes modos de tratar as expectativas.
Também não há apenas uma maneira de garantir a coerência empírica. Exis-
tem diferentes maneiras de mensurar os dados; revisões de dados acontecem; nem
sempre é possível calcular com precisão a incerteza das estimativas; e os critérios de
seleção dos diferentes modelos empíricos não são únicos e homogêneos. Todas essas
questões geram uma inevitável incerteza com relação aos valores dos parâmetros
estimados. Em consequência, não é de se admirar que esses parâmetros dificilmente
participem da estimação de políticas macroeconômicas.
Em segundo lugar, caso a hipótese que preside o estudo seja rejeitada em
função de detalhes da implementação do teste empírico, essa rejeição não fornece
nenhuma indicação do tipo de mudança que é necessária na teoria. De forma
ainda mais grave, a rejeição de uma hipótese teórica em função das características
particulares de implementação de um teste empírico não oferece qualquer estímulo
para novos desenvolvimentos teóricos com relação às hipóteses que estão sendo
testadas (Summers, 1991, p. 135).
Com relação à técnica alternativa de exame de evidências empíricas em ma-
croeconomia dos vetores autorregressivos, o veredito de Summers (1991) não é
mais favorável. Ele aprova o que chama de “argumento destrutivo” de Sims (1980a)
contra os modelos estruturais (op. cit., p. 137).18 Mas Summers (1991) é menos
condescendente no que concerne à possibilidade de a modelagem baseada em
VARs oferecer subsídios para a formulação de teorias e políticas macroeconômicas.
Na verdade, modelos baseados em VARs são usualmente alvo de críticas severas.
Como explica Fabio Canova (1995, p. 57), os críticos apontam que a metodologia
dos modelos de VARs tem pouca relação com a teoria econômica, baseando-se em
um conjunto de hipóteses insustentáveis, e é essencialmente falha, estando sujeita
18. Summers cita apenas Sims (1980a) como referência fundamental para a modelagem baseada em VARs, mas Canova
(1995) cita também Sims (1972; 1980a; 1980b) e Sims, Goldfeld e Sachs (1982).
à crítica de Lucas. É paradoxal, assim, que, depois do sucesso acadêmico dessa

crítica, os modelos baseados em VARs alcancem popularidade.
Com efeito, a crítica de Summers (1991) emprega como exemplo paradig-
mático dos problemas das evidências empíricas geradas por esse tipo de modelo
o artigo de Ben Bernanke (1986), Alternative Explanations of the Money-Income
Correlation. Segundo Summers, a única conclusão válida de modelos baseados em
VARs como Bernanke (1986) é que “as interpretações estruturais de VARs são muito
sensíveis ao modelo assumido” (Summers, 1991, p. 138, tradução nossa).19 Essa
conclusão rigorosa não deve surpreender, uma vez que é caraterística dos modelos
baseados em VARs não exigir antecedentes teóricos, apenas que se selecionem as
variáveis a serem incluídas e que se defina a estrutura de defasagens.
Dada a ausência de substância teórica nesses modelos, as estimativas e as
previsões baseadas em VARs são fortemente afetadas pela inclusão ou exclusão de
variáveis (Braun e Mittnik, 1985) e pela estrutura de hiatos das variáveis (Hafer e
Sheehan, 1989). De forma particularmente relevante para este trabalho, é importante
destacar que a estrutura dos hiatos também afeta severamente as recomendações
econômicas sugeridas pelos modelos (Hafer e Sheehan, 1991).
Aqui, alcançamos outro ponto de fundamental importância neste trabalho.
Por um lado, os modelos que buscam estimar parâmetros estruturais impõem um
arcabouço teórico excessivamente exigente sobre os dados, o que faz com que os
resultados sejam pouco robustos. Em consequência, muito é investido em esta-
tísticas para avaliar a conformidade do modelo com os dados, uma necessidade
inevitável em função do caráter excessivamente restritivo das hipóteses que são
adotadas – como é o caso da hipótese de consumidor representativo (Summers,
1991, p. 136-137).
Por outro lado, renunciar a um suporte teórico na análise dos dados – tal
como fazem os modelos baseados em VARs – não apenas abre espaço para grande
número de hipóteses teóricas alternativas para explicar o mesmo resultado, mas
também torna esse tipo de modelo muito suscetível a seleções arbitrárias por
parte do pesquisador, em relação tanto às variáveis quanto aos hiatos. Isso torna
esse tipo de modelagem pouco interessante para a elaboração e a avaliação de
políticas macroeconômicas.
Com efeito, parece haver um problema na relação entre macroeconomia e
evidências empíricas que parece oscilar entre dois extremos: ou a teoria “comanda”
as evidências, como no caso dos modelos estruturais, ou relações estatísticas entre séries
históricas passam a “sugerir” uma ligação entre estas (modelos baseados em VARs),
e a teoria torna-se algo secundário, ao sabor das conveniências do pesquisador.
19. “The only firm conclusion reached is that structural interpretations of VARs are very sensitive to the model one assumes”.
A seguir, será abordada uma crítica ainda mais radical aos modelos estruturais,
em que esse tipo de modelo é considerado um retrocesso em relação ao desenvolvi-
mento do caráter científico da macroeconomia, apesar das aparências em contrário.
5 ROMER E A PERDA DO CARÁTER CIENTÍFICO DA MACROECONOMIA

A crítica de Romer (2016) é ainda mais radical e contundente que a de Summers
(1991). Dado o arsenal de modelos teóricos matematicamente complexos e a grande
variedade e disponibilidade de técnicas e séries estatísticas, não é de surpreender
que a frase de Romer, que serve de epígrafe a este trabalho, seja algo chocante,
quando afirma que a macroeconomia vem perdendo seu caráter científico. Deve-
-se notar também a relevância acadêmica do autor de um diagnóstico tão severo:
Romer recebeu o Prêmio de Ciências Econômicas em Memória de Alfred Nobel
de 2018, com William Nordhaus.
Em seu trabalho The Trouble with Macroeconomics, Romer (2016, p. 9)
acusa o paradigma teórico dominante na macroeconomia de recusar as evidências
empíricas que contradizem seus postulados teóricos, em favor da autoridade de
economistas como Robert Lucas. Segundo esse autor, essa recusa se daria de for-
ma agressiva em relação a qualquer crítica, ainda que as críticas estejam baseadas
em evidências. Mais grave ainda, Romer (2016) acusa o chamado mainstream em
macroeconomia de promover retrocesso nesse campo teórico, especialmente com
seu hábito de ignorar deliberadamente as evidências. Esse seria o caso, por exemplo,
quando autores mainstream afirmam que o Banco Central não tem como afetar
a taxa de juros que funciona como base do sistema econômico, e que a política
monetária seria irrelevante.
Citando a deflação no início da gestão de Paul Volcker no banco central
norte-americano, o Federal Reserve (FED), obtida a partir de política monetária
fortemente contracionista, Romer (2016, p. 4) observa que, se o FED pode causar
mudança na taxa de juros de 500 pontos-base, parece absurdo indagar se a política
monetária é relevante. Romer (2016, p. 10) sugere que uma afirmação que tão
“descaradamente” (blatantly) contradiz fatos estabelecidos sugere um desinteresse
dos economistas pelos próprios fatos.
O próprio texto de Romer (2016) oferece um exemplo das dificuldades do cam-
po macroeconômico para lidar com evidências empíricas. Esse autor apresenta séries
estatísticas que mostram como o banco central norte-americano provocou deflação
no início da gestão de Paul Volcker – entre 1979 e 1983 –, ao elevar a taxa de juros
real dos fundos federais, o que também resultou em redução expressiva da ativida-
de econômica e aumento do desemprego. A essas estatísticas, Romer (2016, p. 2)
contrapõe o trabalho de Jesús Fernández-Villaverde (2010), definido por ele como
um dos principais economistas do mainstream, em que Fernández-Villaverde afir-
ma que, não obstante a “impressionante evidência empírica” (impressive empirical

case) daqueles que acreditam que a moeda afeta as flutuações econômicas, ele não
está totalmente convencido da importância da moeda, “exceto no caso de grandes
inflações” (outside the case of large inflations) (Fernández-Villaverde, 2010, p. 5,
tradução nossa).
As evidências empíricas apresentadas por Romer (2016), suas críticas e o
ceticismo manifestado por Fernández-Villaverde (2010) definitivamente não
podem coexistir em um mesmo campo de pesquisa, sem que haja um sentimento
de embaraço. O uso eficaz das evidências deveria limitar o debate, em princípio,
apenas a questões de importância secundária no campo macroeconômico, ajudando
a pacificar questões fundamentais.20 Por que o debate continua se há uma variedade
de estatísticas prontas a serem usadas como evidências?
Trata-se de pergunta que revela outra questão importante: não basta dispor
de evidências, mesmo que na forma de séries históricas construídas com rigor e
precisão estatística – o que, frequentemente, não acontece. É preciso definir aquilo
que pode validamente ser considerado como evidência legítima para corroborar uma
afirmação em macroeconomia, e como essa evidência pode ser usada adequadamente
no debate. Conforme foi visto anteriormente, diferentes modelos econométricos
podem dar conta de uma mesma teoria – ou seja, há diferentes formas de estimar
uma hipótese teórica empiricamente, há várias alternativas de dados para medir uma
mesma variável, existe o problema das variáveis que não podem ser observadas e há
uma variedade de critérios igualmente válidos para selecionar um modelo empírico.
Esses fatores agravam os embaraços resultantes da falta de protocolos geralmente
aceitos sobre a forma cientificamente adequada do emprego dessas técnicas estatísticas,
tendo-se em vista corroborar uma proposição teórica. Sem esses protocolos, o debate
macroeconômico que definiria quais são as políticas fiscais e monetárias adequadas
para determinados objetivos acaba por recorrer a outros fatores, como a autoridade
acadêmica, ou a sofisticação matemática dos modelos teóricos, ou ambos.
Assim, dada a profusão de métodos estatísticos e econométricos com crité-
rios sempre sujeitos a fortes questionamentos, até mesmo as relações teóricas mais
básicas que norteiam as propostas de políticas macroeconômicas estão imersas em
controvérsias amargas, em que o prestígio acadêmico dos participantes e a com-
plexidade dos modelos teóricos apresentados parecem possuir maior importância
que as evidências disponíveis. Nas palavras de Romer (2016, p. 8, tradução nossa),
“O progresso no campo é julgado pela pureza de suas teorias matemáticas, conforme
é determinado pelas autoridades [acadêmicas]”.21
20. Exceto em momentos extraordinários, a que Thomas Kuhn (1998) chamou de revoluções científicas.
21. ”Progress in the field is judged by the purity of its mathematical theories, as determined by the authorities”.
Com efeito, até mesmo um autor empirista como Reiss (2008, p. 2) é obri-
gado a reconhecer que, no que diz respeito à economia, até um conceito básico
como firma não pode ser observado diretamente, sendo algo de natureza comple-
tamente distinta de uma coleção de máquinas, construções, diretores executivos
etc. A recomendação de Reiss (2008, p. 3), portanto, é a de reconhecer que há
pluralidade de métodos de construir e reunir evidências, que envolve, além da obser-
vação direta de evidências a partir dos sentidos, também métodos estatísticos, tais
como: números-índices; regressões econométricas; análise de variância (Anova);
modelagem matemática; modelos de simulações em computador; economia ex-
perimental; experimentos mentais; opiniões de especialistas etc. Por conseguinte,
a possibilidade de políticas fiscais e monetárias baseadas em evidências depende
antes de uma valorização dos vários tipos de evidências no debate com relação aos
fundamentos macroeconômicos básicos.
Qualquer perspectiva empirista ingênua, que minimize a complexidade na
construção das evidências em macroeconomia, esbarra no fato de que as evidências
econométricas amplamente utilizadas no debate são construídas a partir de técnicas
que oferecem muitos graus de liberdade para o analista, talvez até mesmo graus
de liberdade excessivos, que podem permitir manipulações pouco rigorosas dos
resultados, especialmente quando não há protocolos geralmente aceitos quanto ao nível
adequado de utilização desses graus de liberdade. Esses problemas são inicialmente
ilustrados por Romer (2016), com o conhecido problema de identificação. A esse
respeito, criticando os economistas que não possuem compromisso com evidências
históricas, esse autor observa que estratégias de modelagem que permitam mais
variáveis e mais choques imaginários (imaginary shocks) fornecem graus de liber-
dade adicionais, uma vez que mais variáveis pioram o problema da identificação
(Romer, 2016, p. 10).
Romer (2016, p. 11-12) discute o problema da identificação com um mo-
delo simples de oferta e demanda de trabalho log-lineares com choques aleatórios.
Para prever o efeito de uma mudança de política, é preciso estimar a elasticidade
da demanda de trabalho. Como é sabido, nesse caso, a solução para o problema
de identificação é impor alguma restrição sobre a curva de oferta. Romer (2016,
p. 10-11) impõe duas restrições alternativas: uma em que a curva de oferta é
perfeitamente inelástica; e outra em que esta possui inclinação positiva e passa
pela origem. Cada restrição produz resultados muito diferentes para a curva de
demanda. Portanto, sem informações adicionais, nenhum resultado possui qualquer
significado. Aqui, reside a possibilidade de manipulações arbitrárias, ao sabor das
preferências do pesquisador.
Romer (2016) cita ainda outros exemplos de estimação de modelos econo-
métricos que conferem excessiva liberdade à arbitrariedade do analista. Menciona,
por exemplo, o modelo de Smets e Wouters (2007), que possui sete variáveis e
49 parâmetros para estimar, com apenas sete equações, de forma que 42 dos 49
parâmetros têm de ser estimados com outras informações que não a série temporal
de x (Romer, 2016, p. 12). A inclusão de expectativas racionais agrava ainda mais
o problema de identificação, aumentando o número de parâmetros, que têm de
ser especificados com base em outras informações que não as séries temporais das
variáveis independentes (op. cit., p. 12).
Em função dessa excessiva liberdade concedida à arbitrariedade dos analistas,
as soluções encontradas têm se tornado cada vez mais opacas: “um debatedor ou
parecerista não consegue dizer se a hipótese para a identificação não é crível, se ele
não consegue imaginar qual é esta e se sente constrangido a perguntar (Romer,
2016, p. 15, tradução nossa).22 Essa opacidade na utilização dos graus de liberda-
de proporcionada pelos modelos vem aumentando com o tempo. Romer (2016)
prossegue afirmando que as hipóteses quanto à distribuição dos termos de erros são
um bom lugar para “esconder coisas” (bury things), simplesmente porque “quase
ninguém presta atenção a estas” (hardly anyone pays attention to them) (op. cit., p. 15).
Também no caso do emprego de métodos bayesianos, há problemas. Voltando
ao exemplo da estimação da elasticidade da curva de demanda por trabalho, no
caso do emprego de um método bayesiano, Romer (2016, p. 15) observa que,
manipulando as prioris para a curva de oferta, é possível alterar as posterioris para
a elasticidade da demanda, até conseguir aquela que se deseja.23
Em face de todos esses problemas, Romer conclui que:
Talvez, desta vez, os macroeconomistas devam admitir que a destruição atingiu tão
fundo que eles devem abandonar a busca pelo sagrado modelo de equações simul-
tâneas. Pode ser mais sábio adotar os métodos bagunçados (messy methods) que os
pesquisadores médicos têm usado para fazerem as descobertas, que foram implemen-
tadas e efetivamente melhoraram a saúde (Romer, 2016, p. 19, tradução nossa).24
Ou seja, em vez de uma fidelidade dogmática a um método particular de
análise empírica – como os modelos estruturais –, pode ser mais produtivo con-
siderar uma gama mais ampla de evidências de naturezas distintas, mesmo que o
método resultante não seja formalmente elegante. As diferentes evidências podem
reforçar-se mutuamente ou, alternativamente, fornecer resultados diferentes e,
22. “A discussant or referee cannot say that an identification assumption is not credible if they cannot figure out what
it is and are too embarrassed to ask”.
23. Romer (2016, p. 15) cita vários autores para corroborar sua crítica aos métodos bayesianos na produção de
evidências empíricas em macroeconomia, especialmente em relação ao modelo de Smets e Wooters (2007); entre
eles, Iskrev (2010) e Komunjer e Ng (2011), que mostram que, sem informação sobre as prioris, o modelo de Smets e
Wooters (2007) não é identificado.
24. “Perhaps this time, macroeconomists should admit that the wreckage runs so deep that they should abandon the
quest for the sacred simultaneous equation model. It might be wiser to adopt the messy methods that medical researchers
have used to make discoveries that were implemented and actually improved health”.
com isso, ampliar a perspectiva da análise, possivelmente até estimulando novos

desenvolvimentos teóricos. Esse ponto será retomado na conclusão.
6 À GUISA DE CONCLUSÃO: É POSSÍVEL UMA MACROECONOMIA MAIS

BASEADA EM EVIDÊNCIAS?
Reiss (2008, p. 162) advertiu que modelos econométricos são quase sempre mal
especificados e que, na análise socioeconômica, quebras estruturais são frequentes.
Consequentemente, um modelo sofisticado com técnicas complexas envolvendo
a estimação de parâmetros estruturais pode acabar tendo uma utilidade menor
que um modelo mais simples, no momento em que é necessário fazer previsões
macroeconômicas, especialmente aquelas relacionadas à escolha de políticas: com
efeito, frequentemente, modelos mais complexos não conseguem demonstrar sua
superioridade no que concerne a modelos mais simples (op. cit., p. 162). Certamente,
os problemas dos modelos macroeconométricos de forma geral são tão numerosos
e com fontes tão diversas que David F. Hendry (2018, p. 19) indaga qual seria um
critério possível de escolha entre estes, concluindo que, historicamente, o critério
tem sido a conformidade com a teoria macroeconômica aceita pela mainstream –
ou seja, tem sido a credibilidade interna, e não a verossimilhança.
Esse maior peso da teoria acaba frequentemente por traduzir-se, na prática,
pela maior importância do prestígio acadêmico quando se trata de decidir debates
sobre teoria e políticas macroeconômicas, como acusa Romer (2016). Portanto,
não há escassez de técnicas estatísticas e econométricas para abordar evidências
empíricas na tentativa de desenvolver políticas macroeconômicas baseadas em
evidências. Em vez disso, o problema parece residir na forma pela qual essas téc-
nicas são utilizadas e na excessiva importância atribuída aos modelos teóricos em
detrimento da análise empírica.
É preciso desenvolver uma consciência crítica quanto a esse tipo de viés do
pesquisador, demandando-se que todos os procedimentos de análise empírica sejam
explicitados e julgados criticamente pelos pares, independentemente da vinculação
teórica e da fidelidade do pesquisador aos princípios de uma escola. O emprego
de diferentes modelos econométricos e evidências empíricas – com a utilização de
diferentes dados por pesquisadores que participam de diferentes correntes teóricas –
pode, em alguma medida, gerar resultados que não são controlados por nenhum
pesquisador, ou grupo de pesquisadores, ainda mais se forem combinados com
outras técnicas, como modelos de simulação, ou até mesmo a análise de simples
estatísticas descritivas. Isso pode exercer um papel semelhante ao dos testes clí-
nicos randomizados, ainda que não envolva o mesmo grau de randomização que
caracteriza esse tipo de testes.
Essas considerações indicam que os esforços para construir uma macroecono-

mia mais baseada em evidências devem incluir principalmente a consideração simul-
tânea de diferentes tipos de evidências e a abertura ao debate em macroeconomia.
REFERÊNCIAS
AREOSA, W. D.; COELHO, C. A. Utilizando um modelo DSGE para avaliar
os efeitos macroeconômicos dos recolhimentos compulsórios no Brasil. Pesquisa
e Planejamento Econômico, v. 45, n. 3, p. 407-435, dez. 2015.
BARRO, R. J. Unanticipated money growth and unemployment in the United
States. The American Economic Review, v. 67, n. 2, p. 101-115, 1977.
BERNANKE, B. S. Alternative explanations of the money-income correla-
tion. NBER Working paper, n. w1842, 1986.
BRAUN, P. A.; MITTNIK, S. Structural analysis with vector autoregressive
models: some experimental evidence. St. Louis: Washington University in St.
Louis, 1985. (Washington University in St. Louis Working Paper, n. 84).
CANOVA, F. The economics of VAR models. In: HOOVER, K. D. Macroecono-
metrics. New York: Springer, 1995. p. 57-106.
CAVALCANTI, M. A. F. H.; VEREDA, L. Propriedades dinâmicas de um
modelo DSGE com parametrizações alternativas para o Brasil. Brasília: Ipea,
CHRIST, C. F. History of the Cowles Commission 1932-1952. Economic Theory
and Measurement. Baltimore: Cowles Commission for Research in Economics/
The University of Chicago, 1952. p. 3-65.
COWLES COMMISSION FOR ECONOMIC RESEARCH. Report for 1945.
Chicago: University of Chicago, 1946. Disponível em: <https://is.gd/GbiNia>.
DIMAND, R. W. Macroeconomic dynamics at the cowles commission from the
1930s to the 1950s. New Haven: Cowles Foundation for Research in Economics,
2019. (Cowles Foundation Discussion Paper, n. 2195).
ESTRELLA, A.; FUHRER, J. C. Are deep parameters stable? The Lucas critique
as an empirical hypothesis. Boston: Federal Reserve Bank of Boston, 1999.
FERNÁNDEZ-VILLAVERDE, J. The econometrics of DSGE models. Series, v. 1,
n. 1, p. 3-49, 2010.
FERNÁNDEZ-VILLAVERDE, J. et al. How structural are structural parameters?

[with comments and discussion]. NBER macroeconomics Annual, v. 22, p. 83-
167, 2007.
FERREIRA, D. Regra de Taylor e política monetária no Brasil: considerações em-
píricas a partir de um modelo DSGE para uma pequena economia aberta. Revista
Teoria e Evidência Econômica, v. 21, n. 44, 2015.
GORDON, R. J. Alternative responses of policy to external supply shocks. Brook-
ings Papers on Economic Activity, v. 1975, n. 1, p. 183-206, 1975.
______. Supply shocks and monetary policy revisited. Cambrigde, MA: NBER,
1984. (NBER Working Paper Series, n. w1301).
______. The history of the Phillips curve: consensus and bifurcation. Economica,
v. 78, n. 309, p. 10-50, 2011.
GOUTSMEDT, A. et al. Criticizing the Lucas critique: macroeconometricians’
response to Robert Lucas. Paris: CES, 2016. (CES Working Papers, n. 2015.59).
______. Reacting to the Lucas critique: the keynesians’ replies. History of Politi-
cal Economy, v. 51, n. 3, p. 535-556, 2019.
HAFER, R. W.; SHEEHAN, R. G. The sensitivity of VAR forecasts to alternative
lag structures. International Journal of Forecasting, v. 5, n. 3, p. 399-408, 1989.
______. Policy inference using VAR models. Economic Inquiry, v. 29, n. 1,
p. 44-52, 1991.
HALL, R. E. Robert Lucas, recipient of the 1995 Nobel Memorial Prize in Eco-
nomics. The Scandinavian Journal of Economics, v. 98, n. 1, p. 33-48, 1996.
HANSEN, Lars Peter; SINGLETON, Kenneth J. Generalized instrumental
variables estimation of nonlinear rational expectations models. Econometrica:
Journal of the Econometric Society, p. 1269-1286, 1982.
______. Stochastic consumption, risk aversion, and the temporal behavior of asset
returns. Journal of Political Economy, v. 91, n. 2, p. 249-265, 1983.
HENDRY, D. F. Deciding between alternative approaches in macroeconomics.
International Journal of Forecasting, v. 34, n. 1, p. 119-135, 2018.
HENDRY, D. F.; MUELLBAUER, J. N. J. The future of macroeconomics: macro
theory and models at the Bank of England. Oxford Review of Economic Policy,
v. 34, n. 1-2, p. 287-328, 2018.
HUMPHREY, T. M. The early history of the Phillips curve. Economic Review,
v. 71, n. 5, p. 17-24, 1985.
HURTADO, S. DSGE Models and the Lucas critique. Madrid: Banco de España,
2013. (Banco de España Working Paper, n. 1310). Disponível em: <https://is.gd/
O6vBb6>. Acesso em: 10 abr. 2021.
______. DSGE models and the Lucas critique. Economic Modelling, v. 44,
p. S12-S19, 2014.
ISKREV, N. Local identification in DSGE models. Journal of Monetary Eco-
nomics, v. 57, n. 2, p. 189-202, 2010.
JUSELIUS, K. On the role of theory and evidence in macroeconomics. Copen-
hagen: University of Copenhagen, 2010. (University of Copenhagen Discussion
Papers, n. 10-12).
KLEIN, L. R. Did mainstream econometric models fail to anticipate the inflation-
ary surge? In: FEIWEL, G. R. (Ed.). Issues in contemporary macroeconomics
and distribution. London: Palgrave Macmillan, 1985. p. 289-296.
KOMUNJER, I.; NG, S. Dynamic identification of dynamic stochastic general
equilibrium models. Econometrica, v. 79, n. 6, p. 1995-2032, 2011.
KUHN, T. S. A estrutura das revoluções científicas. 5. ed. São Paulo: Editora
Perspectiva S/A, 1998.
LINDE, J. Testing for the Lucas critique: a quantitative investigation. American
Economic Review, v. 91, n. 4, p. 986-1005, 2001.
LOW, H.; MEGHIR, C. The use of structural models in econometrics. Journal
of Economic Perspectives, v. 31, n. 2, p. 33-58, 2017.
LUCAS, R. E. Some international evidence on output-inflation tradeoffs. The
American Economic Review, v, 63, n. 3, p. 326-334, June 1973.
______. Econometric policy evaluation: a critique. Carnegie-Rochester confer-
ence series on public policy, 19-46, 1976.
______. Models of business cycles. Oxford: Basil Blackwell, 1987.
MALINVAUD, E. Econometric methodology at the Cowles Commission: rise
and maturity. Abstracted from the Cowles fiftieth anniversary volume. 1983.
Disponível em: <https://is.gd/WnwEaB>. Acesso em: 10 abr. 2021.
______. L’économétrie dans l’élaboration théorique et l’étude des politiques.
L’Actualité Économique, v. 73, n. 1-2-3, p. 11-25, 1997.
______. La modélisation en macroéconomie appliquée: quarante ans après. Brussels
Economic Review, v. 160, p. 329-342, 1998.
NUNES, A. F. N.; PORTUGAL, M. S. Intermediários financeiros e política de

crédito em um modelo DSGE para o Brasil. Revista Brasileira de Economia,
v. 72, n. 3, p. 361-390, 2018.
PHILLIPS, A. W. The relation between unemployment and the rate of change
of money wage rates in the United Kingdom, 1861-1957. Economica, v. 25,
n. 100, p. 283-299, 1958.
REISS, J. Error in economics: towards a more evidence-based methodology.
London: Routledge, 2008.
ROMER, P. The trouble with macroeconomics. Journal Title, 2016. Disponível
em: <https://is.gd/g4Y6wb>. Acesso em: 10 mar. 2021.
SARGENT, T. J. The observational equivalence of natural and unnatural rate
theories of macroeconomics. Journal of Political Economy, v. 84, n. 3, p. 631-
640, 1976.
______. Dynamic macroeconomic theory. Cambridge, MA: Harvard University
Press, 2009.
SARGENT, T. J.; WALLACE, N. Rational expectations and the dynamics of
hyperinflation. International Economic Review, p. 328-350, 1973.
SERGI, F. DSGE models and the Lucas critique: a historical appraisal. Bristol:
UWE Bristol, 2018. (Economics Working Paper Series, n. 1806).
SIMS, C. A. Money, income, and causality. The American Economic Review,
v. 62, n. 4, p. 540-552, 1972.
______. Macroeconomics and reality. Econometrica: Journal of the Econometric
Society, p. 1-48, Jan. 1980a.
______. Comparison of interwar and postwar business cycles: monetarism re-
considered. The American Economic Review, v. 70, n. 2, p. 250-257, 1980b.
SIMS, C. A.; GOLDFELD, S. M.; SACHS, J. D. Policy analysis with econometric
models. Brookings Papers on Economic Activity, v. 1982, n. 1, p. 107-164, 1982.
SMETS, F.; WOUTERS, R. Shocks and frictions in US business cycles: a Bayesian
DSGE approach. American Economic Review, v. 97, n. 3, p. 586-606, 2007.
SOLOW, R. M. Growth theory: an exposition. Oxford: Clarendon Press, 1970.
SUMMERS, L. H. The scientific illusion in empirical macroeconomics. The
SUMMERS, Lawrence H. The scientific illusion in empirical macroeconomics. The
THEIL, H. Economic forecasts and policy. Amsterdam: North-Holland, 1958.

TINBERGEN, J. An econometric approach to business cycle problems. Paris:
Hermann and Cie, 1937.
TOBIN, J. Asset accumulation and economic activity: reflections on contem-
porary macroeconomic theory. Chicago: University of Chicago Press, 1982.
VEREDA, L.; CAVALCANTI, M. A. F. H. Modelo dinâmico estocástico de
equilíbrio geral (DSGE) para a economia brasileira: versão 1. Brasília: Ipea,
LINDE, J. DSGE models: still useful in policy analysis? Oxford Review of
Economic Policy, v. 34, n. 1-2, p. 269-286, 2018.
CAPÍTULO 23
PROTEÇÃO AMBIENTAL BASEADA EM EVIDÊNCIAS? EVOLUÇÃO

INSTITUCIONAL, PLANEJAMENTO E EXECUÇÃO ORÇAMENTÁRIA
NO IBAMA
Suely Mara Vaz Guimarães de Araújo1
1 INTRODUÇÃO
O Instituto Brasileiro do Meio Ambiente e dos Recursos Naturais Renováveis
(Ibama) pode ser considerado a principal agência de cunho operacional no Sistema
Nacional do Meio Ambiente (Sisnama). Criado pela Lei no 7.735/1989, reuniu
atribuições de quatro órgãos: Secretaria Especial de Meio Ambiente (Sema) do
Ministério do Interior, Instituto Brasileiro de Desenvolvimento Florestal (IBDF),
Superintendência do Desenvolvimento da Pesca (Sudepe) e Superintendência da
Borracha (Sudhevea).
Sua lei de criação, atualizada em 2007, confere basicamente as seguintes
atribuições à autarquia: exercer o poder de polícia ambiental; executar atribuições
federais na Política Nacional do Meio Ambiente referentes ao licenciamento
ambiental, ao controle da qualidade ambiental, à autorização de uso dos recursos
naturais e à fiscalização, monitoramento e controle ambiental; e executar ações
supletivas de competência do governo federal, o que ocorre sobretudo na fiscali-
zação ambiental e com foco especial na Amazônia Legal. O Ibama tem enfrentado
problemas sérios para assegurar o cumprimento de suas tarefas institucionais,
tanto pela redução progressiva do número de servidores quanto pelos recursos
orçamentários insuficientes.
A autarquia contava com 2.618 servidores em atividade em junho de 2020.
Uma nota técnica desse ano (Ibama, 2020) apresentou demanda de concurso para
provimento de 2.311 cargos na autarquia, sendo 970 de analista ambiental, 336
de analista administrativo e 1.005 de técnico administrativo. O gráfico 1 mostra
a evolução e as perspectivas do quadro de servidores.
1. Urbanista e advogada, professora do Instituto Brasileiro de Ensino, Desenvolvimento e Pesquisa (IDP) e da Universidade
de Brasília (UnB). E-mail: <suely@oc.eco.br>.
GRÁFICO 1
Servidores do Ibama (2002-2023)
Fonte: Ibama (2020).

Obs.: Figura reproduzida em baixa resolução e cujos leiaute e textos não puderam ser padronizados e revisados em virtude das
condições técnicas dos originais (nota do Editorial).
O documento de Ibama (2020) destaca, também, a redução expressiva do

número de servidores designados para atuar como agentes ambientais federais
(AAF), ou seja, para as atividades de fiscalização ambiental. Fala-se em 591 AAF,
sendo que, em 2010, a quantidade era de 1.311. Trata-se de um número que fala
por si, sendo claramente insuficiente para assegurar a atuação eficaz da autarquia
em operações de fiscalização que ocorrem em todo o país e cobrem os diferentes
tipos de infrações ambientais, não apenas as relacionadas a áreas controladas pela
União ou a atividades licenciadas pela autarquia.
A maior parte do orçamento do Ibama é destinada a pagamento de pessoal.
A autarquia responde pelo pagamento dos aposentados advindos dos órgãos
envolvidos em sua formação e, devido ao crescimento do ritmo das aposentadorias,
o peso do pagamento dos inativos é relevante. Nas despesas discricionárias, destacam-se
as ações orçamentárias a cargo da Diretoria de Proteção Ambiental (Dipro), que
responde pela fiscalização ambiental, pela prevenção e combate dos incêndios
florestais e, também, pelas emergências ambientais.
O objetivo deste capítulo é apresentar como a fiscalização ambiental e a pre-
venção e o combate dos incêndios florestais capitaneados pelo Ibama foram insti-
tucionalizados como políticas públicas concretas. Essa preocupação foi desdobrada
em algumas reflexões: i) a evolução da autarquia, no sentido de usar informações
técnicas e se apoiar em tecnologia da informação em seus processos decisórios sobre
a fiscalização ambiental e a prevenção e combate dos incêndios florestais; ii) os
principais aprendizados nesses temas; e iii) o quanto esses processos estão refletidos
no planejamento e na execução orçamentária da autarquia.
A pesquisa envolve análise do uso de evidências científicas ou de outros tipos
pela burocracia federal (Pinheiro, 2020; Koga et al., 2020), de mudanças institu-
cionais ao longo do tempo (Mahoney e Thelen, 2010) e do aprendizado derivado
desses processos (Sabatier, 1988; Sabatier e Jenkins-Smith, 1999; Sabatier e Weible,
2007). O olhar sobre coalizões de defesa aos moldes do modelo de coalizões de
Proteção Ambiental Baseada em Evidências? Evolução institucional, | 727
planejamento e execução orçamentária no Ibama
defesa (em inglês, advocacy coalition framework – ACF) dá continuidade às pesquisas

da autora sobre a aplicação desse enquadramento teórico à política ambiental no
Brasil (Araújo, 2007; 2013; Capelari et al., 2020).
Foram utilizados dados e documentos públicos e, também, aplicadas entrevistas
semiestruturadas guiadas pelas questões destacadas no parágrafo anterior.
Houve abertura para acréscimo de comentários adicionais pelos respondentes.
Os seis entrevistados, todos servidores com longa atuação no Ibama, responderam
por escrito e requereram anonimato. Três deles já atuaram em cargos de coorde-
nação na Dipro, os outros três foram selecionados por exercerem papel informal
de liderança na equipe de fiscalização. Além disso, teve relevância a observação
participante decorrente da experiência da autora como presidente da autarquia no
governo Temer (junho de 2016 a dezembro de 2018). Ganharam destaque os dados
orçamentários, com detalhamento referente aos últimos cinco anos, assumindo-se
o pressuposto de que o orçamento é um espelho importante de opções políticas
e um parâmetro adequado, na sua execução, para a análise da consecução de
2 REVISÃO DE LITERATURA
Há um conjunto grande de fatores que influenciam a produção das políticas
públicas, entre eles a disponibilidade e a utilização de evidências. A abordagem das
políticas públicas baseadas em evidências (PPBEs) tem gerado crescente interesse
dos acadêmicos e outros pesquisadores e analistas. Nesse âmbito, é importante
compreender que a expressão “evidências” pode ganhar vários sentidos quando
relacionada aos processos decisórios em políticas públicas: pode se referir a
evidências científicas, experiências pessoais dos gestores, experiências organizacionais
anteriores, opiniões dos beneficiários sobre as políticas públicas e outros atores.
Na prática, as evidências também podem ser utilizadas para justificar decisões já
tomadas (Koga et al., 2020, p. 7-8).
Pinheiro (2020) propõe-se a elucidar o conceito de evidência, elemento
central da perspectiva das PPBEs. De forma geral, afirma-se nas abordagens sobre
o tema que as evidências de pesquisas devem assumir papel central na formulação
e implementação das políticas públicas, mas se abre espaço para outras formas de
conhecimentos e interesses. Pinheiro (2020, p. 17) problematiza e lança a seguinte
questão: “Já que não estamos falando apenas de evidências científicas, como se
definiriam, então, as informações usadas nas ações e decisões de policymakers e
outros atores interessados (stakeholders)?”.
Para Pinheiro (2020, p. 18), a análise do conceito de evidência demanda mé-
todo, fundamentado em critérios moderados, razoáveis e pragmáticos. Seguindo sua
análise, o autor também explica que o conceito de evidência em políticas públicas
pode se situar em diferentes pontos de um continuum, em que os dois polos são dois
modelos gerais, o racionalista e o construtivista. Em face das limitações de pender-se
de forma simplista para um desses dois extremos, o autor propõe um meio-termo – o
modelo moderado – que assume os seguintes pressupostos epistemológicos:
P1) apreender o social, o econômico e o político como sistemas complexos, porém
racionalmente analisáveis; P2) considerar os limites do conhecimento em geral, a
falibilidade do conhecimento científico e as especificidades do conhecimento em ci-
ências sociais; P3) considerar o status epistemológico (científico) da disciplina ou área
de política sob questão; e P4) entender o uso das evidências dentro de uma estrutura
geral de ação do policymaker ou de outros stakeholders (conforme o caso), a qual, por
sua vez, se especifica dentro de uma moldura contextual. (Pinheiro, 2020, p. 21).
Ao concretizar uma decisão, o agente público usa informações diversas,
influenciadas por suas crenças e conhecimentos, seus objetivos e o caminho esco-
lhido para atingi-los. Essa estrutura é influenciada, por sua vez, por um contexto
em que devem ser considerados fatores políticos, epistemológicos e normativos,
institucionais e organizacionais (Pinheiro, 2020, p. 23).
Neste estudo, adotamos essa perspectiva de Pinheiro (2020), que enxerga as
evidências as quais lastrearão as PPBEs inclusas em processos sociais e decisórios
que necessitam ser compreendidos no âmbito de um enquadramento contextual,
não como parâmetros externos e neutros.
O modelo moderado apresentado pelo autor é epistemologicamente com-
patível com a visão de subsistema de políticas públicas apresentado por Sabatier
e parceiros no ACF (Sabatier, 1988; Sabatier e Jenkins-Smith, 1999; Sabatier e
Weible, 2007). Os diferentes atores, individuais e coletivos, públicos e privados,
que atuam sistematicamente ao longo dos anos tentando influenciar as decisões em
determinado tema de políticas públicas, são movidos por crenças, as quais também
refletem diferentes tipos de interesse. Ademais, a dinâmica dessa rede de atores
é influenciada por fatores externos, estruturais e conjunturais. A racionalidade é
trabalhada no ACF sob a perspectiva da racionalidade limitada (Simon, 1985), que
também parece caracterizada no modelo moderado de Pinheiro (2020).
Os conflitos entre as coalizões de defesa trabalhadas pelo ACF encontram-se
inseridos em determinado contexto social, político, econômico, histórico e setorial
(pressuposto do conflito inserido). As crenças dos atores, por sua vez, são endógenas
e dinâmicas, variando de forma estruturada a partir desses conflitos (pressuposto
do aprendizado socialmente induzido). O aprendizado orientado às políticas
públicas constitui elemento importante no ACF. Ele virá das informações técnicas,
mas também das relações de conflito e coordenação entre os atores (Araújo, 2013).
Vicente e Calmon (2011, p. 2) salientam que, na perspectiva do ACF, a evolução
do conhecimento técnico-científico é importante para compreender o aprendizado
direcionado às políticas públicas e a mudança institucional, o que contribui para

a interação com a abordagem das PPBEs.
Desde as primeiras versões do ACF, a informação técnica é considerada recurso
relevante para a atuação das coalizões de defesa que integram cada subsistema de
políticas públicas. Contudo, os grupos incorporarão essa informação de forma
diferenciada, com lentes distintas influenciadas pelos respectivos sistemas de crenças.
Araújo (2007; 2013), aplicando o ACF, identificou quatro coalizões de
defesa no subsistema da agenda verde, cada uma delas com um conjunto de crenças
direcionadas à política ambiental: i) os desenvolvimentistas tradicionais; ii) os
desenvolvimentistas modernos; iii) os socioambientalistas; e iv) os tecnocratas
esclarecidos.2 O Ibama foi classificado por Araújo (2007; 2013) como tecnocrata es-
clarecido no período 1992-2002 e como socioambientalista no período 2003-2009.
A divisão em quatro grupos foi adotada aqui pela conexão deste trabalho com
as pesquisas desenvolvidas pela autora sobre as coalizões de defesa na política
ambiental brasileira.
O subsistema da política ambiental, no governo Bolsonaro, está sob o domínio
dos desenvolvimentistas tradicionais, pelo menos se considerados os poderes
formais (Capelari et al., 2020).
Quanto à visão desses quatro grupos, o conhecimento técnico-científico é
colocado em destaque pelos tecnocratas esclarecidos e pelos desenvolvimentistas
modernos, trabalhado em conjunto com os saberes tradicionais pelos socioam-
bientalistas e pouco valorizado por parte dos desenvolvimentistas tradicionais
(Araújo, 2007; 2013).
Por fim, como Araújo (2007; 2013) encontrou evidências frequentes de
mudanças graduais na política ambiental, caracterizadas como mudanças em camadas
(layering) segundo a classificação de Mahoney e Thelen (2010), deve-se apresentar
a tipologia de mudanças elaborada por esses autores (quadro 1). No governo
Bolsonaro, esse gradualismo foi rompido (Capelari et al., 2020).
2. Entre as crenças dos desenvolvimentistas tradicionais, estão: visão sobre os recursos naturais que tende ao utilitarismo
puro; valorização dos aspectos culturais (ou, em certas manifestações extremadas, desconsideração do conhecimento
como valor); e oposição aos instrumentos de política ambiental e às unidades de conservação. Entre as crenças dos
desenvolvimentistas modernos, estão: foco no uso sustentável dos recursos naturais; defesa de um Estado mínimo;
prioridade para o conhecimento técnico-científico; e valorização enfática dos instrumentos econômicos de política am-
biental. Entre as crenças dos socioambientalistas, estão: foco na conciliação entre uso sustentável e preservação; ênfase
nos processos democráticos e participativos das decisões estatais; valorização do saber tradicional, sem desconsiderar
o conhecimento técnico; defesa enfática das populações indígenas e outras populações tradicionais; e valorização dos
diferentes tipos de instrumentos de política ambiental. Por fim, entre as crenças dos tecnocratas esclarecidos, estão:
prioridade para a preservação dos recursos naturais; defesa de um Estado caracterizado mais por sua atuação vigorosa
do que por seus aspectos democráticos; prioridade para o conhecimento técnico-científico; tendência ao entendimento de
que as decisões governamentais devem estar centralizadas na União; ênfase nos instrumentos regulatórios; e prioridade
para as unidades de conservação de proteção integral (Araújo, 2007; 2013).
QUADRO 1
Tipologia de mudanças graduais
Mudança por Mudança por
Mudança em Mudança por
deslocamento conversão
camadas (layering) deslizamento (drift)
(displacement) (conversion)
Remoção de regras antigas Sim Não Não Não
Negação das regras antigas - Não Sim Não
Mudança no impacto/na
- Não Sim Sim
aplicação das regras antigas
Introdução de novas regras Sim Sim Não Não
Fonte: Mahoney e Thelen (2010, p. 16).
Na mudança em camadas (layering), uma instituição, conceituada como

regra formal ou informal, é complementada por regras que se somam a ela.
“A sobreposição de camadas de regras tende a provocar um espessamento no regime
de governança, alterando seu funcionamento e sua capacidade regulatória” (Barcelos,
2012, p. 198). Os elementos acrescidos ao longo do tempo podem suplantar os
sistemas antigos (Gomes e Calmon, 2012, p. 5).
3 A EVOLUÇÃO INSTITUCIONAL
3.1 A percepção dos agentes ambientais

O conteúdo desta seção procura expor e analisar, de forma integrada, as respostas
dos entrevistados às seguintes perguntas: i) “como se transformaram as ações de
fiscalização ambiental e a prevenção e o combate dos incêndios florestais ao longo
dos anos?”; ii) “quanto a autarquia evoluiu no sentido de usar informações técni-
cas e se apoiar em tecnologia da informação em seus processos decisórios sobre a
fiscalização ambiental e a prevenção e o combate dos incêndios florestais?”; e iii)
“quais foram os principais aprendizados nesses temas?”. Os entrevistados também
foram perguntados sobre a questão orçamentária ao longo dos anos, sem demanda
de detalhes sobre o tema. Os comentários que integram o texto são decorrentes do
conteúdo destacado pelos respondentes.
Segundo o depoimento dos entrevistados, o Ibama em sua fase inicial tinha
como principal ativo a dedicação dos servidores pela causa da proteção ambiental.
Eles realizavam suas tarefas em meio a adversidades, tais como: dificuldade de
locomoção, ausência de tecnologia e instrumentos de monitoramento eficazes,
fragilidade nas regras sobre as sanções e o processo sancionador ambiental, imensa
dificuldade logística para fazer valer a legislação ambiental e, acima de tudo, falta
de planejamento consistente e de uma doutrina robusta para vencer os desafios da
fiscalização ambiental e da prevenção e combate aos incêndios florestais.
Nessa perspectiva, cabe registrar que a aprovação da Lei no 9.605/1998 (Lei

de Crimes Ambientais – LCA), que reuniu em um único diploma legal as regras
referentes às sanções penais e administrativas aplicáveis às infrações contra o meio
ambiente, ocorreu apenas em 1998. Seu primeiro regulamento data de 1999 e o
atualmente utilizado de 2008.3 Essa legislação é a principal base de atuação dos
fiscais ambientais. Anteriormente à LCA, as regras sobre as infrações ambientais
encontravam-se dispersas em vários diplomas legais e apresentavam contradições
quando consideradas em conjunto. Esse quadro reforça a referência feita pelos entre-
vistados sobre a fragilidade na legislação na fase inicial de funcionamento do Ibama.
É consenso entre os entrevistados que a profissionalização do combate aos
ilícitos ambientais e da prevenção e combate aos incêndios florestais foi viabilizada
principalmente com: i) o concurso público para analistas ambientais em 2002 e
concursos seguintes; ii) a parceria sistemática com o Instituto Nacional de Pesquisas
Espaciais (Inpe); iii) o fortalecimento das políticas ambientais no âmbito do
Ministério do Meio Ambiente (MMA) e outras pastas ministeriais, especialmente
o Plano de Ação para Prevenção e Controle do Desmatamento na Amazônia Legal
(PPCDAM) e o Plano Nacional sobre Mudança do Clima; e iv) o aperfeiçoamento
das ferramentas de planejamento interno da autarquia nos temas aqui abordados,
expresso principalmente no Plano Nacional Anual de Proteção Ambiental (PNAPA).
O PPCDAM foi lançado em 2004 e, inicialmente, envolvia dezessete minis-
térios. A coordenação ficava com a Casa Civil, o que é coerente com a perspectiva
interdisciplinar assumida para o plano, mas foi transferida para o MMA em 2013.4
Desde o início, o plano trabalhou com três eixos: ordenamento fundiário e terri-
torial; monitoramento e controle ambiental; e fomento às atividades produtivas
sustentáveis. Na quarta fase do plano (2016-2020), foi acrescido um quarto eixo,
o de instrumentos econômicos e normativos (Brasil, 2018a).
Também a partir de 2004, o Inpe começou a operar o Sistema de Moni-
toramento em Tempo Real (Deter), que passou a disponibilizar alertas sobre a
ocorrência do desmatamento na Amazônia brasileira, possibilitando uma atuação
mais eficiente dos agentes do Ibama em campo e, por consequência, racionalizando
o emprego dos recursos humanos e orçamentários.
Ibama e Inpe sempre foram peças-chave na implementação do eixo monito-
ramento e controle ambiental do PPCDAM – na percepção dos entrevistados, o
único eixo que conseguiu se manter sólido durante toda a vigência do plano. Este é
apontado como o principal responsável pela redução das taxas de desmatamento na
Amazônia em 83% entre 2004 e 2012, mostrada no gráfico 2.
3. Conferir Decretos nos 3.179/1999 (disponível em: <https://bit.ly/3D1kKOl>) e 6.514/2008 (disponível em: <https://
bit.ly/3rojt1E>), com redação atualizada.
4. Conferir o Decreto no 7.957/2013 (disponível em: <https://bit.ly/3FXbz3j>).
Para cinco entrevistados, os resultados no período 2013-2018 são decor-

rentes do menor aporte de recursos à fiscalização, o que posiciona os aspectos
orçamentários em saliência na percepção dos fiscais. Outro fator mencionado é a
flexibilização da legislação trazida pela Lei no 12.651/2012, a nova Lei Florestal, que
admitiu a regularização de supressões irregulares de vegetação ocorridas até julho
de 2008. Provavelmente, problemas foram gerados, também, com o deslocamento
da coordenação da Casa Civil para o MMA, acompanhado do enfraquecimento
da atuação dos outros ministérios, mas isso não foi destacado pelos respondentes.
O período 2019-2020 será comentado na seção 3.2.
GRÁFICO 2
Taxas de desmatamento na Amazônia brasileira (1988-2020)
(Em km²)
Fonte: Inpe. Disponível em: <https://bit.ly/3FE9EAC>. Acesso em: 15 abr. 2021.

Foi enfatizado por três entrevistados o uso dos dados do Inpe também pela
equipe do Centro de Prevenção e Combate aos Incêndios Florestais (Prevfogo) do
Ibama. O Prevfogo acompanha toda a história da autarquia,5 tendo sido transfor-
mado em centro especializado em 2001.
Com a organização do banco de dados de queimadas do Inpe,6 a equipe de
coordenação do Prevfogo e seus brigadistas passaram a combater os eventos com
mais precisão e rapidez. Os entrevistados relatam que o Prevfogo adota tecnologias
5. Conferir o Decreto no 97.635/1989, disponível em: <https://bit.ly/3d2XpBg> .

6. Disponível em: <https://bit.ly/3r4gLyq>. Acesso em: 15 abr. 2021.
de detecção sempre atualizadas, combinando os dados do Inpe e os mapas de

concentração de material combustível produzido por analistas do centro. Ademais,
tem sido chamado a atuar em consultorias para outros países da América Latina.
O Prevfogo aperfeiçoou, em parceria com universidades, técnicas de manejo
integrado do fogo, usadas também pelo Instituto Chico Mendes de Conservação da
Biodiversidade (ICMBio) e outros órgãos. O manejo integrado é definido como:
modelo de planejamento e gestão que associa aspectos ecológicos, culturais, socioe-
conômicos e técnicos na execução, na integração, no monitoramento, na avaliação
e na adaptação de ações relacionadas com o uso de queimas prescritas e controladas
e a prevenção e o combate aos incêndios florestais, com vistas à redução de emissões
de material particulado e gases de efeito estufa, à conservação da biodiversidade e à
redução da severidade dos incêndios florestais, respeitado o uso tradicional e adap-
tativo do fogo (Brasil, 2018b, p. 3).
No âmbito do manejo integrado do fogo, está inclusa a prática da queima
controlada em áreas com acúmulo de material biológico previamente mapeadas,
especialmente perto de unidades de conservação ou terras indígenas. A queima
prescrita pode ser realizada para fins de pesquisa ou de manejo em áreas deter-
minadas e sob condições específicas, conforme definido em plano de manejo
integrado do fogo.
Cinco entrevistados destacaram a relevância do trabalho do Prevfogo não
apenas na prevenção e combate aos incêndios florestais, mas também na articula-
ção com outras agências governamentais que atuam no tema. Essa atuação levou
o centro a coordenar a Conferência Internacional sobre Incêndios Florestais (em
inglês, International Wildland Fire Conference – Wildfire) em 2019.
Além do Prevfogo, foi destacada por quatro entrevistados a relevância do
centro de monitoramento ambiental do Ibama, que inicialmente se inseria na
Dipro e depois passou a ser uma unidade mais ampla, que pode atender demandas
técnicas de todas as diretorias, o Centro Nacional de Monitoramento e Infor-
mações Ambientais (Cenima). O centro coordena, controla e executa atividades
referentes ao monitoramento e à gestão das informações ambientais, por meio do
processamento e do desenvolvimento de tecnologias, da pesquisa e da integração
de base de dados e informações ambientais geoespaciais, bem como disponibiliza
o acesso de informações e do conhecimento ao público interno da autarquia e
do público externo.
Destacaram-se, também, a organização da coordenação de inteligência
ambiental, integrada ao Sistema Brasileiro de Inteligência (Sisbin) e da coor-
denação de emergências ambientais, assim como o desenvolvimento do auto
de infração eletrônico e das operações remotas de fiscalização. Nas palavras de
um dos entrevistados:
a criação da coordenação e dos núcleos de inteligência e a inclusão do Ibama no Sisbin

também contribuiu de maneira significativa para o planejamento e desenvolvimento
de operações de fiscalização do instituto, subsidiando as ações de proteção ambiental
em nível local e nacional com informações qualificadas e confiáveis para composição
do conjunto probatório dos delitos ambientais identificados, além de proporcionar
maior segurança aos agentes de fiscalização nas ações em campo (Entrevista).
Em geral, a narrativa dos entrevistados procurou destacar tanto o uso pro-
gressivo de informações técnicas e evidências científicas, na perspectiva das PPBEs
(Pinheiro, 2020), quanto a implementação gradual de aperfeiçoamentos na atuação
da autarquia, enquadrados predominantemente como como mudança em camadas
(layering) na tipologia de Mahoney e Thelen (2010). Também ficou caracterizada
a preocupação de salientar o aprendizado associado a essa evolução progressiva, na
linha prevista pelo ACF (Sabatier, 1988; Sabatier e Jenkins-Smith, 1999; Sabatier
e Weible, 2007), por exemplo, nas referências às ações remotas de fiscalização, que
complementam as operações de campo, ou ao trabalho com brigadistas indígenas,
que mostra uma aproximação da autarquia com o socioambientalismo, coerente
com os achados de Araújo a partir de 2003 (Araújo, 2007; 2013).
Cabe registrar, por fim, que o treinamento interno foi tema destacado por
cinco entrevistados. Segundo fiscal reconhecido como líder informal importante
na equipe:
entre as ações internas que colaboraram de maneira significativa para a consolidação
do Ibama como a principal instituição de proteção ambiental do país, e uma das mais
importantes do mundo, podemos citar o investimento em cursos periódicos para
atualização, reciclagem e qualificação dos agentes ambientais federais. Essa qualifi-
cação dos servidores, por sua vez, resultou na criação de uma massa crítica interna,
que enxergava os problemas e as soluções de maneira diferenciada. Em consequência
disso, vimos a criação do Regulamento Interno da Fiscalização (RIF), que propor-
cionou maior padronização e modernização da atividade e dos procedimentos de
fiscalização ambiental, estabelecendo a dissuasão como o objetivo estratégico central
da estrutura fiscalizatória do Ibama (Entrevista).
O tom das respostas dos entrevistados foi marcado pelo apoio à história da
autarquia, o que é esperado em face do posicionamento crítico da atual gestão do
governo federal quanto à política ambiental, suas regras e seus agentes. Estamos
passando por um processo de mudança em larga escala, de desconstrução, nesse
campo de políticas públicas (Capelari et. al., 2000). A interrupção do processo de
construção gradual ocorrida a partir de 2019 também responde pelo rompimento
de circuitos de produção de informações técnicas passíveis de informar as decisões
referentes à gestão do Ibama. Isso fica expresso no relato dos respondentes.
3.2 Temas críticos

Conforme já destacado neste texto, a insuficiência de recursos humanos e orçamen-
tários é um problema central para a atuação do Ibama em termos de fiscalização
ambiental e de prevenção e combate de incêndios florestais. Logicamente, as deficiências
nesse sentido também impactam as outras atividades da autarquia.
Nesse âmbito, por ter relação direta com a fiscalização ambiental, devem ser
destacadas as dificuldades históricas com os processos sancionadores ambientais.
A autarquia enfrenta problemas sérios para resolver os processos sancionadores e
cobrar efetivamente as multas aplicadas, cujos recursos arrecadados se destinam,
em parte (20%), para o Fundo Nacional do Meio Ambiente (FNMA) e o restante
para o Tesouro.7
Considerando-se que o processo sancionador ambiental finaliza com o trânsito
em julgado administrativo, o tempo médio para sua conclusão no período 2005-2012
foi de 5 anos e 7 meses. Em 2013, esse tempo foi diminuído para 4 anos e 3 meses
e, em 2014, para 2 anos e 11 meses. Com a redução das equipes, a duração voltou
a subir em 2015 e 2016, para 4 anos e 1 mês. Nos anos mais recentes, as equipes
passaram a trabalhar com a meta de 3 anos (Ibama, 2019).
Cabe esclarecer que o número de processos julgados anualmente pela equipe
do Ibama é elevado. Em 2018, foram finalizados 13.071 processos (Ibama, 2019),
mas o passivo é muito grande. O tempo de pouco mais de três anos para término dos
processos necessita ser reduzido. Para enfrentar esse desafio, é necessário assumi-lo
como prioridade na autarquia. Sem a finalização dos processos sancionadores, o
poder dissuasório das multas e outras sanções ambientais fica bastante enfraquecido.
Nessa perspectiva, o Ibama vinha investindo na ferramenta da conversão de
multas em serviços ambientais.8 Se a adesão à conversão se viabilizasse com força,
tenderia a haver redução significativa em termos do passivo de processos sancio-
nadores ambientais sem julgamento.
A conversão de multas foi regulamentada pelo Decreto no 6.514/2008 e
chegou a ser aplicada pelo Ibama até 2012, quando foi suspensa em razão da
constatação de que era necessário estabelecer regras sobre os tipos de serviços a
serem realizados, bem como em face das dificuldades de a autarquia monitorar
projetos de pequeno porte espalhados pelo país. Aperfeiçoando as regras sobre a
ferramenta a partir do aprendizado com a experiência anterior e das evidências
de que se faziam necessárias ações mais estruturantes para obter resultados com a
aplicação da ferramenta, o Decreto no 9.179/2017 retomou a conversão de multas.
7. Conferir Lei no 9.605/1998, art. 73 (disponível em: <https://bit.ly/2ZAjlRj>) e Decreto no 6.514/2008, art. 13 (dis-
ponível em: <https://bit.ly/3D1nTxD>).
8. Conferir art. 72, § 4o, da Lei no 9.605/1998.
Entre outros pontos, explicitou as ações consideradas serviços ambientais e criou

a modalidade da conversão indireta, tendo em vista a realização de projetos de
maior envergadura, escolhidos estrategicamente em face da realidade ambiental
do país e dos compromissos internacionais em meio ambiente e clima, como o
Acordo de Paris (2015).
A decisão à época pode ser qualificada como baseada em evidências
técnicas, e contou com o apoio político da Presidência da República, que buscava
recursos para alguns projetos. Havia sido priorizado como tema do primeiro
chamamento da conversão indireta de multas, a ser lançado no início de 2018,
a recuperação ambiental na região das cabeceiras do São Francisco. A narrativa
era “plantar árvores para colher água”, em época de crise hídrica pronunciada.
Essa interação entre fatores técnicos e políticos é coerente com o modelo mode-
rado apresentado por Pinheiro (2020).
No governo Bolsonaro, o Decreto no 9.760/2019 manteve as duas modali-
dades de conversão (direta e indireta), mas remeteu os detalhes sobre a indireta
para regulamentação posterior. Houve ajustes no regulamento e a adoção de uma
medida provisória que centralizava as decisões sobre a alocação dos recursos da
conversão no Ministro do Meio Ambiente. Essa medida provisória9 não logrou
êxito, caiu por decurso de prazo. Houve cancelamento do primeiro chamamento
da conversão indireta do Ibama, lançado em 2018 e que havia selecionado projetos
de recuperação ambiental nas bacias do São Francisco e do Parnaíba, e, desde
então, a implementação da conversão de multas permanece em ritmo muito lento.
Somente o segundo chamamento da conversão indireta do Ibama, que pre-
vê apoio a projetos de recuperação ambiental na região das araucárias em Santa
Catarina, não foi suspenso pela atual gestão, certamente porque decorre de um
acordo judicial. A próxima subseção aborda exatamente o período 2019-2020.
3.3 O período 2019-2020

O governo Bolsonaro traz um processo de ruptura com a história caracterizada por
mudanças graduais sucessivas que marcou a evolução da Política Nacional do Meio
Ambiente desde sua formalização pela Lei no 6.938/1981. Trata-se de uma mudança
radical em termos do ideário que vinha balizando esse campo de políticas públicas
até então. A fiscalização ambiental, especialmente, tem sido objeto de críticas
frequentes nas falas de autoridades governamentais, que destacam a relevância de
se priorizarem a agenda ambiental urbana, bem como as ferramentas voluntárias
e de apoio ao setor produtivo. O comando e o controle têm sido colocados em
xeque e, por decorrência, o rigor dito “excessivo” das regras ambientais e dos agentes
9. Conferir Medida Provisória no 900/2019, disponível em: <https://bit.ly/3D5kHRB>.

de fiscalização, notadamente do Ibama. Para o subsistema de políticas públicas

em foco, adotando a concepção de Sabatier e parceiros (Sabatier, 1988; Sabatier
e Jenkins-Smith, 1993; 1999; Sabatier e Weible, 2007), tem-se uma reviravolta,
marcada por polêmicas e conflitos cada vez mais intensos.
Está em curso um processo de desinstitucionalização, coordenado pelo grupo
dos desenvolvimentistas tradicionais. A coalizão dominante chega a negar a própria
existência do subsistema e questiona elementos estruturantes da política ambiental
no país – por exemplo, como ela foi construída, a interação do governo com as orga-
nizações representativas da sociedade civil, entre outros. Nesse quadro extremamente
conflituoso, a preocupação com PPBEs e com o aprendizado direcionado a políticas
públicas perde quase todo o espaço, fica esvaziada (Capelari et al., 2020).
Os comentários dos entrevistados sobre esses dois anos destacaram, além
das críticas de autoridades governamentais ao rigor da fiscalização, o abandono
do PPCDAM sem justificativa, a paralisação de novas contratações no Fundo
Amazônia, que tem garantido apoio importante nas ações de fiscalização do Ibama
na Amazônia desde o final de 2016,10 e as mudanças nas regras sobre o processo
sancionador ambiental, que têm dificultado o julgamento e a finalização dos
processos. Sobre o processo sancionador, os principais questionamentos estão na
fase prévia de conciliação, que na prática ainda não decolou, e na centralização de
poder decisório nos superintendentes estaduais da autarquia, que são escolhidos,
sobretudo, a partir de critérios políticos.
Esses temas, cabe registrar, são objeto de judicialização perante o Supremo
Tribunal Federal (STF).11 Refletindo um subsistema que se tornou hiperadversário
(Capelari et al., 2020), a intensidade da judicialização sobre as decisões do governo
federal em meio ambiente aumentou bastante. Há ações judiciais propostas por
partidos de oposição ao governo no STF, ações no primeiro grau propostas por or-
ganizações ambientalistas, além de ações no STF e no primeiro grau propostas pelo
Ministério Público. Ademais, bem recentemente, houve uma inovadora ação popular
apresentada por seis jovens ativistas climáticos, que pede a suspensão da Contribuição
Nacionalmente Determinada (em inglês, Nationally Determined Contribution – NDC)
apresentada em 2020 no âmbito do Acordo de Paris, por ter ocorrido um artifício
contábil que feriu o requisito de progressividade na ambição climática brasileira.12
Verifiquemos, agora, como essa mudança em larga escala se reflete no orçamento.
10. A primeira versão do projeto Profisc 1 no Fundo Amazônia foi contratada em novembro de 2016. Disponível em:
<https://bit.ly/3xhWhTV>. Acesso em: 15 abr. 2021.
11. Ver respectivamente Arguição de Descumprimento de Preceito Fundamental (ADPF) no 760 (disponível em: <https://
bit.ly/3liWelW>), Ação Direta de Inconstitucionalidade por Omissão (ADO) no 59 (disponível: <https://bit.ly/3o6cpEI>)
e ADPF no 755 (disponível: <https://bit.ly/3CZZXut>).
12. Ação Popular no 5008035-37.2021.4.03.6100, em curso na 14ª Vara Cível Federal de São Paulo. Disponível em:
<https://bit.ly/3d1RKvi>.
4 O ORÇAMENTO: A POLÍTICA PÚBLICA ALÉM DO DISCURSO13

Como a política ambiental é marcada mais por ações regulatórias e de controle do
que pelo repasse de recursos, o orçamento para o MMA e suas autarquias nunca
foi elevado. Nos últimos anos, contudo, os valores têm caído bastante.
Araújo e Feldmann (2019) destacam, entre outros pontos, o ínfimo valor
destinado ao MMA e suas autarquias no Plano Plurianual 2020-2023:
do total de recursos destinados ao eixo meio ambiente, o Ministério da Agricultura
(Mapa) ficará responsável por 98,4% dos recursos nos próximos quatro anos, sendo que
95,6% (mais de R$ 133 bilhões) são direcionados ao programa agropecuária sustentável.
Os programas do Ministério do Meio Ambiente – mudança do clima, conservação e uso
sustentável da biodiversidade e dos recursos naturais, e qualidade ambiental urbana –
representam 1,6% do total de recursos do eixo. Se a conta for realizada considerando
o total dos recursos governamentais previstos na proposta do PPA (R$ 6,8 trilhões),
os programas do MMA representarão 0,03%, o que é inaceitável.
Segundo cálculos de Werneck et al. (2021), a proposta orçamentária de 2021
para MMA e autarquias, considerando despesas obrigatórias e discricionárias,
trouxe o menor valor em duas décadas. Os recursos são claramente insuficientes
se comparados com os gastos necessários para a concretização da Política Nacional
do Meio Ambiente, evidenciados pela execução orçamentária dos anos anteriores
(Werneck et al., 2021). Está caracterizado um problema de desconsideração de
evidências técnicas, que conflita com a perspectiva das PPBEs.
Como o foco da pesquisa é a atuação do Ibama na fiscalização ambiental e
na prevenção e combate aos incêndios florestais, é necessário analisar o orçamento
discricionário do Ibama e, na sequência, as ações orçamentárias específicas rela-
tivas a esses temas. O gráfico 3 mostra os valores autorizados e os liquidados (de
até 31 de dezembro) referentes aos anos de 2015 a 2020, e, também, faz uma
projeção para o ano de 2021.
13. Os dados desta seção foram consolidados em 15 de abril de 2021, anteriormente à sanção da Lei Orçamentária de
2021. Também não está computada proposta de complementação orçamentária apresentada pelo Poder Executivo ao
Congresso Nacional em 20 de maio de 2021, decorrente da promessa feita pelo presidente da República de aumentar
os recursos para política ambiental, externada no encontro organizado pelo presidente norte-americano nos dias
22 e 23 de abril de 2021.
GRÁFICO 3
Orçamento discricionário do Ibama (2015-2021)
(Em R$ 1 milhão)
Fonte: Werneck et al. (2021).

Obs.: 1. Valores atualizados pelo IPCA (Banco Central do Brasil – Calculadora do Cidadão), considerando o mês de dezembro
de cada ano e o mês de novembro de 2020.
2. Considerou-se como efetivamente autorizado o valor correspondente à coluna “dotação atual” do Sistema Integrado
de Planejamento e Orçamento (SIOP).
3. Não foi considerada a ação orçamentária 21BS em 2019 porque não houve internalização no Ibama dos recursos
correspondentes, destinados aos estados.
4. No Projeto de Lei Orçamentária Anual (PLOA) 2021, não foram considerados os recursos condicionados à aprovação
legislativa nos termos do inciso III do art. 167 da Constituição Federal de 1988.
5. Figura reproduzida em baixa resolução e cujos leiaute e textos não puderam ser padronizados e revisados em virtude
das condições técnicas dos originais (nota do Editorial).
Como referido anteriormente, nas despesas discricionárias, têm destaque

as ações orçamentárias a cargo da Diretoria de Proteção Ambiental (Dipro), que
responde pela fiscalização ambiental, e pela prevenção e combate dos incêndios
florestais, além da atuação nas emergências ambientais, não abordadas neste texto.
Há três ações orçamentárias do Ibama relacionadas diretamente à fiscalização
ambiental e à prevenção e combate aos incêndios florestais, a saber:
• controle e fiscalização ambiental (214N);
• prevenção e controle de incêndios florestais nas áreas federais prioritárias
(214M); e
• prevenção, fiscalização, combate e controle ao desmatamento ilegal, aos
incêndios florestais e aos demais ilícitos ambientais na Amazônia Legal
e sua região fronteiriça (21BS).
A ação 21BS foi criada para abrigar R$ 280 milhões oriundos do acordo
anticorrupção da Lava Jato, sendo que R$ 230 milhões foram repassados aos
estados em 2020 – na condição de restos a pagar de 2019 –, e R$ 50 milhões
foram internalizados no Ibama, também em 2020. Deve ficar claro que se trata
de uma ação orçamentária temporária, a qual não se repetirá nos anos seguintes.
Mesmo no governo Bolsonaro, que reduziu a atenção para a fiscalização
ambiental a cargo do Ibama, com empoderamento dos militares em operações
especialmente na Amazônia, as ações 214M e 214N continuam sendo as ações
discricionárias com maior volume de recursos da autarquia, só perdendo para
a administração da unidade (ação orçamentária 2000), que abrange os recursos
da sede e os repassados para as superintendências estaduais. Para se ter uma
ideia, em 2019, foram efetivamente autorizados R$ 46 milhões na ação 214M
e R$ 103 milhões na 214N, em valores nominais. A ação finalística com maior
volume de recursos após essas duas foi a relativa à gestão do uso sustentável da
biodiversidade (214O), com pouco mais de R$ 18 milhões autorizados. Esses
valores tiveram redução considerável em 2020, quadro que ficará mais compli-
cado ainda se considerado o PLOA 2021, mas a 214M e a 214N continuam a
apresentar total mais elevado do que as demais ações finalísticas do Ibama. A
tabela 1 mostra a situação da ação orçamentária 214M entre 2016 e 2020.
TABELA 1
Dotação e execução na ação orçamentária 214M (2016-2020)
(Em R$ 1 milhão)
Ano Dotação Inicial Autorizado Empenhado Liquidado Pago + RP¹ pagos
2016 66.521.601 66.723.084 55.251.809 46.863.414 46.683.016
2017 57.492.477 50.645.920 36.388.637 24.211.500 30.556.115
2018 60.843.645 43.212.653 41.468.806 34.203.475 41.829.959
2019 49.568.647 50.025.027 43.423.405 39.051.593 43.936.778
2020 40.371.413 40.371.413 39.645.268 30.635.631 32.183.893
Fonte: Siga Brasil/Senado.

Elaboração da autora com apoio do Instituto de Estudos Socioeconômicos (INESC).
Nota: ¹ RP = restos a pagar.
Obs.: Dados corrigidos pelo IPCA dez. 2020, inclui execução de emendas.
A ação 214M financia atividades de controle de incêndios florestais nas

chamadas áreas federais prioritárias, por meio de prevenção, educação, manejo,
preparação, combate, recuperação de áreas e substituição do uso do fogo no meio
rural, bem como capacitação, contratação e administração de brigadistas temporá-
rios. São consideradas áreas prioritárias para atuação do Ibama, em geral, as terras
indígenas, os assentamentos do Instituto Nacional de Colonização e Reforma
Agrária (Incra) e, em atuação conjunta com o ICMBio, as unidades de conservação.
Os valores da execução dessa ação mostram queda significativa de valores

iniciais e autorizados entre os anos de 2019 e 2020, que também se refletiu em
menores valores executados, em um ano marcado pelos incêndios florestais. Já se
sabia que o ano de 2020 seria especialmente problemático, sobretudo no Pantanal
Mato-Grossense.14 Além disso, houve atraso na contratação dos brigadistas,15 o
que tornou a baixa execução ainda menos efetiva, uma vez que, seja no controle
dos incêndios florestais, seja na fiscalização ambiental, não importa apenas a
execução, mas executar no momento certo ao longo do ano. Nessa perspectiva,
pode-se afirmar que a atuação governamental não respondeu de forma adequada
às evidências técnicas que se apresentavam, também nesse assunto colidindo com
a noção de PPBEs.
O cenário para 2021 se agrava: o PLOA propôs apenas R$ 29,7 milhões e
o valor aprovado pelo Congresso e encaminhado à sanção é de R$ 35,7 milhões.
A previsão é de continuação da seca,16 o que imporia aumento dos recursos na
perspectiva das PPBEs e não a redução. A tabela 2 mostra a situação da ação
orçamentária 214N entre 2016 e 2020.
TABELA 2
Dotação e execução na ação orçamentária 214N (2016-2020)
(Em R$)
Ano Dotação Inicial Autorizado Empenhado Liquidado Pago + RP pagos
2016 80.301.164 93.292.162 84.292.629 81.073.046 80.608.513
2017 112.817.193 101.235.805 97.121.448 85.933.570 87.198.932
2018 124.421.192 103.576.349 100.250.400 92.236.761 96.622.436
2019 112.088.291 112.088.291 104.534.589 90.375.940 93.124.878
2020 80.336.103 67.632.816 67.504.035 61.163.640 60.385.224

Elaboração da autora com apoio do INESC.
Obs.: Dados corrigidos pelo IPCA dez. 2020, inclui execução de emendas.
A ação 214N financia as ações de fiscalização direcionadas à verificação da

conformidade ambiental e do cumprimento das normas ambientais, bem como
à prevenção e punição dos diferentes tipos de infrações ambientais, entre elas o
desmatamento e a exploração de produtos florestais.
A redução de valores, em 2020, em todas as fases orçamentárias, chama atenção.
Com R$ 80 milhões na dotação inicial e, principalmente, com R$ 67 milhões nas
despesas efetivamente autorizadas, não havia espaço para o Ibama internalizar os
14. Conferir: <https://bit.ly/3cE1mw8>. Acesso em: 15 abr. 2021.

15. Conferir: <https://bit.ly/3r4kR9I> e <https://glo.bo/3nKCJ7f>. Acesso em: 15 abr. 2021.
16. Conferir: <https://bit.ly/32tHOsD>. Acesso em: 15 abr. 2021.
R$ 47 milhões anuais de recursos financeiros advindos do contrato com o Fundo

Amazônia, que cobre as despesas com a locação dos helicópteros e camionetes usados
na fiscalização do bioma. Esses gastos são muito importantes para fiscalização, e os
recursos do Fundo Amazônia foram essenciais para que as operações de fiscalização
nos anos de 2017 e 2018 pudessem ocorrer.
Se esses recursos do Fundo Amazônia entrassem na íntegra em 2020, so-
brariam apenas R$ 30 milhões para as demais despesas da fiscalização ambiental
em todo o país. O planejamento anual da Dipro consolidado no PNAPA envolve
sempre mais de mil operações anuais. No lugar dos R$ 47 milhões anuais previstos
no projeto Profisc 1-B, foram usados apenas R$ 24 milhões em 2020, mais da
metade em dezembro.17
Todos os contratos do Fundo Amazônia constituem recursos a fundo perdi-
do, doados com a única condição de serem usados para os fins contratados, que
sempre se relacionam ao controle do desmatamento no bioma. Não há qualquer
justificativa técnica para um valor autorizado tão reduzido no orçamento de 2020,
com reflexos diretos nos valores em todo o ciclo orçamentário.
Os números da ação 214N para 2021 melhoram um pouco, mas não resolvem
as demandas da fiscalização: o PLOA propôs R$ 82,9 milhões e o valor aprovado
pelo Congresso e encaminhado à sanção é de R$ 94,5 milhões.
Cabe lembrar que, em 2021, não há previsão de entrada de recursos adicionais
na ação 21BS, criada para receber os recursos do acordo anticorrupção da Lava Jato.
O valor de R$ 50 milhões destinado ao Ibama foi parcialmente executado em 2020,
com pagamento total de R$ 31 milhões. A maior parte do valor autorizado em
2019 nessa ação – R$ 230 milhões, em valores nominais – não foi disponibilizada
para o órgão, mas sim transferida automaticamente para os estados da Amazônia
Legal, como estabeleceu o acordo. A tabela 3 apresenta os dados da ação 21BS,
com valores atualizados.
TABELA 3
Dotação e execução na ação orçamentária 21BS (2019-2020)
(Em R$)
Ano Dotação Inicial Autorizado Empenhado Liquidado Pago + RP pagos
2019 0 293.380.424 240.991.062 0 240.407.785
2020 0 52.474.184 50.721.431 32.680.869 31.610.789

Elaboração da autora com apoio do INESC.
Obs.: Dados corrigidos pelo IPCA dez. 2020 (o que explica diferença de valores em relação aos valores originais do acordo
anticorrupção da Lava Jato), inclui execução de emendas.
17. Conferir: <https://bit.ly/3COx5Fs>. Acesso em: 15 abr. 2021.

A pesquisa realizada procurou descrever e analisar o processo de institucionalização
das ações de fiscalização ambiental e de prevenção e combate aos incêndios flores-
tais no Ibama, combinando a perspectiva teórica das PPBEs, na conformação do
modelo moderado apresentado por Pinheiro (2020), elementos do ACF, aplicado
anteriormente pela autora em relação à política ambiental, e a classificação de
mudanças graduais apresentada por Mahoney e Thelen (2010).
Nas mais de três décadas de existência da autarquia, pelas informações constantes
em documentos públicos e na legislação, está caracterizada uma evolução gradual,
com mudanças principalmente na categoria da mudança em camadas – layering
(Mahoney e Thelen, 2010). Essa é a conclusão a que se chega, também, a partir das
respostas dos entrevistados, servidores com ampla experiência de atuação na autarquia.
Verificou-se na fala dos entrevistados a ênfase ao uso progressivo de informações
técnicas e evidências científicas, na perspectiva das PPBEs (Pinheiro, 2020), bem como
ao aprendizado orientado a políticas públicas (Sabatier, 1988; Sabatier e Jenkins-Smith,
1999; Sabatier e Weible, 2007). São exemplos o destaque ao trabalho conjunto com
o Inpe, a relevância do Cenima e da coordenação de inteligência ambiental, tal como
as inovações – como as operações de fiscalização por via remota. Essas manifestações
são coerentes com os registros formais sobre a atuação do Ibama constantes no sítio
eletrônico da autarquia e nos relatórios anuais de gestão.18
Com a entrada do governo Bolsonaro, o subsistema da política ambiental
passa a ser dominado, pelo menos formalmente, pelos desenvolvimentistas tra-
dicionais. Com isso, o gradualismo cede lugar à ruptura (Capelari et al., 2020).
Ainda não sabemos a extensão dos efeitos das mudanças radicais em curso. Além
do esforço de desregulamentação, no plano orçamentário tem ocorrido redução
dos recursos destinados à política ambiental, o que preocupa bastante aqueles
que atuam nesse campo de políticas públicas. Por fim, preocupa nesse quadro o
enfraquecimento do valor dado às evidências técnico-científicas, caracterizado, por
exemplo, no abandono do PPCDAM e de outros planos e programas que vinham
sendo implementados, independentemente de mudanças no governo, até 2018.
Espera-se que esse processo de ruptura seja revertido e haja espaço para maior
equilíbrio no âmbito do subsistema da política ambiental, com a valorização da
expertise dos servidores públicos que atuam nesse campo e o reforço do aprendizado
orientado às políticas públicas e da perspectiva das PPBEs, assumindo todos os
desafios dela decorrentes. A ruptura institucional em curso na política ambiental,
nela inclusas as regras e a prática da atuação do Ibama, tem implicado, também,
fragilização de circuitos de produção de informações passíveis de serem usadas
como evidências, com efeitos negativos que provavelmente demorarão anos para
serem solucionados. Reconstruir não será simples.
18. Conferir: <https://bit.ly/3r7pzTY>. Acesso em: 15 abr. 2021.

REFERÊNCIAS
ARAÚJO, S. M. V. G. Coalizões de advocacia na formulação da política nacional
de biodiversidade e florestas. Dissertação (Mestrado) – Instituto de Ciência
Política, Universidade de Brasília, Brasília, 2007.
______. Política ambiental no Brasil no período 1992-2012: um estudo
comparado das agendas verde e marrom. Tese (Doutorado) – Instituto de Ciência
Política, Universidade de Brasília, 2013.
ARAÚJO, S. M. V. G.; FELDMANN, F. J. Onde está o meio ambiente no
Plano Plurianual? Valor Econômico, 3 out. 2019. Disponível em: <https://glo.
bo/3tLcJKH>.
BARCELOS, C. L. K. Governança orçamentária e mudança institucional: o
caso da norma geral de direito financeiro – Lei no 4.320/64. Tese (Doutorado) –
Programa de Pós-Graduação em Administração, Universidade de Brasília, 2012.
BRASIL. Ministério do Meio Ambiente. Plano de Ação para Prevenção e Con-
trole do Desmatamento e das Queimadas no Cerrado (PPCerrado) e Plano
de Ação para Prevenção e Controle do Desmatamento na Amazônia Legal
(PPCDAm) – Fase 2016-2020. Brasília: MMA, 2018a.
_____. Projeto de Lei no 11.276/2018. Institui a Política Nacional de Manejo
Integrado do Fogo. Brasília, Câmara dos Deputados, 2018b. Disponível em:
<https://bit.ly/3Fuqa6b>. Acesso em: 15 abr. 2021.
CAPELARI, M. G. M. et al. Mudança de larga escala na política ambiental:
análise da realidade brasileira. Revista de Administração Pública, v. 54, n. 6,
p. 1691-1710, 2020.
GOMES, L. O. M.; CALMON, P.C. D. P. Mudança institucional no setor
público: uma abordagem alternativa. In: ENCONTRO DA DIVISÃO DE
ADMINISTRAÇÃO PÚBLICA/APB DA ANPAD – EnAPG, 5., 2012, Salvador,
Bahia. Anais... Salvador: ANPAD, 2012.
IBAMA – INSTITUTO BRASILEIRO DO MEIO AMBIENTE E DOS
RECURSOS NATURAIS RENOVÁVEIS. Nota Técnica no 16/2020/CODEP/
CGGP/DIPLAN. Ibama, 30 jul. 2020. <https://bit.ly/3FEPwhE>.
______. Relatório de Gestão 2018. Brasília: Ibama, 2019. Disponível em:
<https://bit.ly/3kSd4rx>. Acesso em: 15 abr. 2021.
KOGA, N. M. et al. O que informa as políticas públicas: survey sobre o uso e o
não uso de evidências pela burocracia federal brasileira. Brasília: Ipea, dez. 2020.
MAHONEY, J.; THELEN, K. A theory of gradual institutional change. In:

MAHONEY, J.; THELEN, K. Explaining institutional change: ambiguity,
agency and power. Nova Iorque: Cambridge University Press, 2010.
PINHEIRO, M. M. S. Políticas públicas baseadas em evidências (PPBEs): uma
avaliação crítica. Análise Político-Institucional, n. 24, p. 17-27, nov. 2020.
SABATIER, P. A. An advocacy coalition framework of policy change and the role
of policy-oriented learning therein. Policy Sciences, v. 21, p. 129-168, 1988.
SABATIER, P. A.; JENKINS-SMITH, H. C. The Advocacy Coalition Framework:
Assessment, Revisions, and Implications for Scholars and Practioners. In: SABATIER,
P. A.; JENKINS-SMITH, H. C. (Ed.). Policy change and learning: an advocacy
coalition approach. Boulder: Westview Press, 1993. p. 211-235
______. The advocacy coalition framework: an assessment. In: SABATIER, P. A.
(Ed.). Theories of the Policy Process. Boulder: Westview Press, 1999. p. 117-166.
SABATIER, P. A.; WEIBLE, C. M. The Advocacy Coalition Framework: Innovations
and Clarifications. In: SABATIER, Paul A. (Ed.). Theories of the Policy Process.
2. ed. Boulder: Westview Press, 2007. p. 189-220.
SIMON, H. A. Human Nature in Politics: The Dialogue of Psychology with Political
Science. The American Political Science Review, v. 79, n. 2, p. 293-304, jun. 1985.
VICENTE, V. M. B.; CALMON, P. C. D. P. A Análise de políticas públicas na
perspectiva do modelo de coalizões de defesa. In: ENCONTRO NACIONAL
DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, 35., 2011, Rio de Janeiro.
Anais... Rio de Janeiro: Anpad, 2011.
WERNECK, F. et al. Passando a boiada – o segundo ano de desmonte ambiental
sob Jair Bolsonaro. Piracicaba: Observatório do Clima, jan. 2021. Disponível
em: <https://bit.ly/3FCwIj7>. Acesso em: 15 abr. 2021.
CAPÍTULO 24
USO DE EVIDÊNCIAS EM POLÍTICAS E ESTRATÉGIAS DE

INCLUSÃO PRODUTIVA RURAL NA AMÉRICA LATINA1
Vahíd Shaikhzadeh Vahdat2
Arilson Favareto3
Cesar Favarão4
1 INTRODUÇÃO
O desafio de reduzir a pobreza e incluir as pessoas na vida econômica pela via
do trabalho tem recebido atenção crescente dos formuladores de políticas. Entre
os fatores que têm impulsionado esse debate estão os limites enfrentados pelas
políticas de transferência de renda (World Bank, 2020); as crises econômica e do
emprego vividas pelos países emergentes (World Bank, 2019); a dinâmica recente
do capitalismo mundial, apoiado em tecnologias e setores poupadores de trabalho
(Albuquerque et al., 2019); e o aprofundamento e a intensificação de problemas
anteriores devido ao impacto da pandemia do novo coronavírus (Vahdat et al.,
2020). É diante desse contexto que diferentes programas têm sido desenhados com
objetivos como aprimorar a capacitação da população, conectar trabalhadores com
vagas de emprego e oferecer crédito e outros recursos para o estabelecimento de
pequenos negócios. Esse conjunto de intervenções tem sido criado muitas vezes sob
a denominação de intervenções de inclusão produtiva ou de inclusão econômica.
Ainda que muitas vezes o debate público seja dominado pelos desafios vividos
nos centros urbanos, grande parte das ações empreendidas nessas intervenções se
dá nas áreas rurais, onde ainda se concentra a maior parte das pessoas em situação
de pobreza. Na escala mundial, quase dois terços da população que se encontra
nessa situação vivem nas áreas rurais. No caso do Brasil, ao passo que 84% da
população vivia em áreas consideradas urbanas, entre as pessoas em situação de
1. As informações e análises reunidas neste texto foram mobilizadas pelos autores nos marcos de atividades conduzidas
no âmbito da Cátedra Itinerante sobre Inclusão Produtiva Rural, iniciativa do Centro Brasileiro de Análise e Planejamento
(Cebrap), em parceria com as fundações Arymax e Tide Setubal e com o Instituto Humanize.
2. Diretor de projetos e articulação institucional do Instituto Veredas; e membro da Equipe de Coordenação da Cátedra
sobre Inclusão Produtiva no Brasil Rural e Interiorano. E-mail: <vahid@veredas.org>.
3. Professor da Universidade Federal do ABC (UFABC); pesquisador do Cebrap e do Conselho Nacional de Desenvolvi-
mento Científico e Tecnológico (CNPq); e membro da Equipe de Coordenação da Cátedra sobre Inclusão Produtiva no
Brasil Rural e Interiorano. E-mail: <arilson.favareto@ufabc.edu.br>.
4. Membro da Equipe de Coordenação da Cátedra sobre Inclusão Produtiva no Brasil Rural e Interiorano. E-mail:
<cesarfavarao@gmail.com>.
pobreza, 50% delas se encontram nas áreas rurais (IBGE, 2012). No que se refere
às intervenções promovidas no campo da inclusão produtiva em nível mundial,
segundo o mapeamento da Partnership for Economic Inclusion (PEI), impulsionada
pelo Banco Mundial, 88% das iniciativas dão atenção às áreas rurais (PEI, 2021).
Ao analisar o estado dos programas de inclusão produtiva ao redor do mun-
do, a PEI identifica que o estabelecimento de uma base de evidências ampla é
uma questão crucial para a maior efetividade daquilo que vem sendo feito. Nesse
sentido, o relatório reforça que é preciso continuar a aprender sobre as experiên-
cias de primeira mão que estão sendo produzidas pelos países, que também têm
tido de responder a mudanças nos contextos de pobreza e a diferentes tendências
sociais (Andrews et al., 2021). Para que essa aprendizagem ocorra e resulte em
aprimoramentos constantes das intervenções, é fundamental aprofundar a reflexão
sobre como vem se dando e o que pode ser aprimorado no uso de evidências neste
campo específico.
Apesar da crescente valorização do uso de evidências na elaboração de polí-
ticas públicas, a literatura disponível destaca, sob o ângulo da formulação teórica,
o caráter plástico do conceito – ele envolve muitas dimensões e comporta certa
diversidade de interpretações. Uma das definições disponíveis descreve as evidên-
cias como quaisquer instrumentos informativos, mobilizados pelos policymakers e
outros atores sociais interessados, empregados nas decisões de políticas públicas,
dada uma determinada moldura contextual (Pinheiro, 2020). Koga et al. (2020)
destacam que, ao abordar o uso de evidências, é importante evitar tanto a posição
racionalista – que assume que o simples recurso às evidências permitiria a devida
instrução da ação pública com base na melhor informação disponível, sem se
preocupar com outros condicionantes da tomada de decisão – como a posição
hiperpolitizante – que defende que a prática do planejamento e da gestão de polí-
ticas poderia prescindir de uma justificativa apoiada no conhecimento a respeito do
problema abordado e no aprendizado obtido desde outras formas de intervenção
sobre realidades similares. Pinheiro (2020) sugere que seja adotada uma posição
intermediária, em que as evidências são levadas em consideração, mas sem perder
de vista a moldura contextual dentro da qual operam.
Este capítulo tem um objetivo duplo – um de natureza teórica e outro de
natureza empírica. Sob o ângulo teórico, trata-se de mostrar que, para que o
uso de evidências cumpra o seu propósito de informar o processo de tomada de
decisão, é necessário responder a três perguntas interdependentes. Primeiro, é
preciso perguntar: Evidências sobre o quê? Não se trata apenas de definir a área de
uma intervenção ou política. O que se quer enfatizar com esta pergunta é que há
diferentes maneiras de definir o problema sobre o qual se quer atuar. Usando a
mesma denominação – por exemplo, inclusão produtiva rural –, pode-se delimitar
as causas do problema em diferentes aspectos da realidade: a tecnologia disponível,
Uso de Evidências em Políticas e Estratégias de Inclusão Produtiva Rural | 749
na América Latina
o nível de capitalização, o acesso a mercados, as condições básicas de vida, mesclas

destas várias dimensões. E isso exercerá um papel crucial na definição de quais
evidências precisam ser consideradas. Em seguida, é preciso perguntar: evidências
para quê? Isto é, há diferentes caminhos para atuar sobre o problema delineado.
E cada caminho implica repertórios distintos de ações que também pedem, cada
um deles, determinados tipos de evidência em seu suporte. Por exemplo, ações
multidimensionais pedem evidências acerca das interdependências entre as áreas
mobilizadas e não somente sobre o objeto de cada uma delas, enquanto ações
de tipo top-down e unidimensionais tendem a exigir somente evidências sobre o
monitoramento de sua implementação. Assim, é apenas depois de explorar essas
duas perguntas, e em função das escolhas que elas obrigam fazer, é que poderíamos
procurar responder à questão: que evidências mobilizar?
Sob o ângulo empírico, queremos demonstrar que, ao dedicar atenção limi-
tada às questões evidências sobre o quê e evidências para quê, as experiências latino-
-americanas no campo da inclusão produtiva se apoiaram apenas parcialmente em
evidências, e que, ao fazê-lo, obtiveram resultados limitados. Para demonstrar esse
argumento, analisamos as experiências dos programas de inclusão produtiva rural de
cinco países da América Latina, os quais representam alguns dos principais esforços
realizados na região na última década. Um desdobramento das conclusões obtidas
com esta análise é que uma próxima geração de políticas sobre este tema terá que
mobilizar evidências distintas e, para isso, responder àquela tríade mencionada
anteriormente, se quiser avançar em relação aos limites da geração anterior.
Emoldurar o tema das evidências com essas indagações permite situar a
discussão a respeito do seu uso em uma abordagem inseparavelmente cognitiva,
estrutural e contextual. Isto é, acreditamos que desta maneira se pode operar com
o alerta de Pinheiro (2020), levando em conta que há opções políticas envolvidas
na moldagem de intervenções e na seleção de que tipo de informações contam
como evidências, mas também evitando o olhar hiperpolitizante, uma vez que,
inversamente, a qualidade dos dados e das informações usados como evidências
afeta e é afetada pelo repertório de valores e práticas dos gestores e profissionais
envolvidos com uma política ou programa público.
Para desenvolver esses argumentos, este capítulo está organizado em três se-
ções, além desta introdução. A seção 2 dá atenção à questão evidências sobre o quê?
A discussão apresentada indica que as evidências, nos casos das iniciativas de políticas
e estratégias de inclusão produtiva rural analisadas, foram mobilizadas especialmen-
te para apoiar a focalização dos esforços dos mais pobres. Isso se fez acompanhar
de uma abordagem multidimensional da pobreza e, sendo assim, cobriram vários
domínios para além das restrições em ingressos monetários das famílias. Mas, ao
observar as intervenções, especificamente, a adoção de um enfoque apoiado nas
interdependências entre as várias dimensões da pobreza revelou-se apenas parcial,
na maioria dos casos. Tal adaptação, como se irá demonstrar, moldou o repertório
de ações postas em prática em cada um dos países. Por isso, na seção 3, é abordada
a questão evidências para quê? Nessa parte, a discussão demonstra que, apesar de
reconhecer a necessidade de abordagens multicomponentes, as intervenções tiveram
grande dificuldade para superar a fragmentação dos componentes mobilizados. Eles
foram implementados de maneira justaposta, pouco ou nada coordenada e inte-
grada. Isso se refletiu na maneira como as evidências envolvendo a implementação
das políticas foram sendo mobilizadas na implementação das iniciativas, com um
monitoramento separado para cada componente, privilegiando seus aspectos isolados
(número de famílias atendidas por iniciativa, valores gastos), mas sem dar atenção
às formas de combinação do mix de componentes viabilizado por meio das políticas
e dos programas ou aos resultados que indicariam mudanças efetivas na condição
produtiva (aumento da produtividade, das ocupações, da renda pelo trabalho).
Como deve ter ficado claro, a resposta à questão que evidências foram ou
precisariam ter sido mobilizadas é um desdobramento das respostas obtidas para as
duas perguntas anteriores. Por isso, ao final de cada uma das seções, são discutidos
os desdobramentos das considerações apresentadas para o uso de evidências pelos
programas. Adicionalmente, a seção 4 traz as considerações finais deste texto, dis-
cute as lacunas identificadas e indica a necessidade de mobilizar outras evidências,
a fim de potencializar intervenções no campo da inclusão produtiva de uma forma
mais coerente e consistente, com uma abordagem multidimensional e relacional,
isto é, apoiada em interdependências. É justamente isso que permitirá evitar certo
tecnicismo na discussão sobre uso de evidências, e também uma versão hiperpo-
litizante ou mesmo voluntarista.
2 EVIDÊNCIAS SOBRE O QUÊ?

Para iniciar a discussão sobre evidências, é importante definir o problema que está
sendo abordado. Nesse sentido, no caso da inclusão produtiva, é útil considerar de
que maneira a discussão sobre a redução da pobreza nas áreas rurais evoluiu nas
últimas décadas até chegar às abordagens contemporâneas e às maneiras correntes
ou recentes de como os programas na região entendem o problema da exclusão
econômica. É a partir desse movimento analítico que poderemos compreender o que
os programas buscaram mobilizar como evidências e quais as consequências disso.
2.1 A emergência do enfoque de inclusão produtiva rural

A preocupação com o desenvolvimento rural e a redução da pobreza no campo
tem evoluído ao longo do tempo, dando lugar a diferentes abordagens. No caso
do Brasil, por exemplo, até a metade da década de 1950, a estratégia adotada para
as áreas rurais tinha como base uma política de expansão da fronteira agrícola em
terras férteis, por meio de um padrão de produção extensivo e com mão de obra
na América Latina
barata, sem dar maior atenção a outras dimensões do desenvolvimento (Santana

et al., 2014), esperava-se também que a migração para as cidades seria suficiente
para absorver o excedente de trabalho existente no campo. Com a aceleração da
urbanização do país a partir de meados da década de 1950, foram geradas pressões
sobre o padrão de desenvolvimento das áreas rurais e duas perspectivas dominaram
o debate público: uma que privilegiava a reforma agrária como estratégia central
para ampliar a produção, e outra que defendia a modernização tecnológica, com
base no marco da Revolução Verde (Buainain, 1999). Acabou por prevalecer a se-
gunda perspectiva, a qual ganhou força na década de 1970 e criou uma vinculação
entre o crédito e a adoção de pacotes tecnológicos, levando a uma modernização
compulsória entre os produtores rurais. O resultado gerado foi extremamente
desigual, enquanto alguns estabelecimentos se integraram e aumentaram a sua
competitividade, a vasta maioria foi marginalizada e centenas de milhares desapa-
receram (Souza Filho e Buainain, 2010).
Para apoiar os pequenos produtores das áreas rurais, na década de 1980 fo-
ram impulsionados projetos inspirados na ideia de desenvolvimento rural integral
(DRI). Essa abordagem reconhecia que a Revolução Verde não havia sido capaz
de beneficiar os pequenos agricultores e, por isso, propunha um conjunto de
intervenções que enfatizava o aspecto produtivo do desenvolvimento rural e dava
atenção especial à melhoria das condições de oferta dos produtores rurais (Garcia
Junior, 2003). Tipicamente, as intervenções se organizavam ao redor de três eixos
complementares: i) desenvolvimento de infraestruturas, especialmente a constru-
ção e o melhoramento de estradas; ii) serviços de assistência técnica para auxiliar
os agricultores na adoção de tecnologias; e iii) linhas de crédito que permitissem
viabilizar os investimentos necessários. Infelizmente os projetos DRI fracassaram
nos seus objetivos. Eles eram muito caros e não foram capazes de reverter a sele-
tividade que a modernização da agricultura havia colocado em marcha. A crise
fiscal vivida pelos países da América Latina no mesmo período comprometeu essa
perspectiva, deixando um vácuo para o momento seguinte.
Em um período que se inicia na década 1990 e se estende até o início da
década de 2000, surge uma nova abordagem para pensar o desenvolvimento
rural, apoiada em programas de transferência de renda e outros benefícios sociais
e no oferecimento de políticas de apoio à produção diferenciadas para agricul-
tores familiares. Considerando mais uma vez o caso brasileiro, na década de
1990 houve a extensão dos direitos previdenciários para os trabalhadores rurais.
Foram também criados os programas Bolsa Escola e Vale Gás, posteriormente
ampliados com o Programa Bolsa Família (PBF) na década de 2000, dando
forma a uma política nacional de transferência condicionada de renda (Castro
e Modesto, 2010). Por sua vez, foram criadas políticas que atendiam diferentes
necessidades econômicas das áreas rurais, particularmente da agricultura familiar,
abordando um conjunto de desafios mais amplo do que havia ocorrido ante-

riormente. Alguns exemplos de políticas nesse período são: em 1996 foi criado
o Programa Nacional de Fortalecimento da Agricultura Familiar (Pronaf ), para
facilitar o acesso ao crédito aos produtores; em 2003 foi criado o Programa de
Aquisição de Alimentos (PAA), para facilitar o acesso a mercados por meio
de compras públicas, superando o foco exclusivo das políticas nas condições de
oferta; em 2004 foi criado o Programa de Garantia da Atividade Agropecuária
(Proagro), o qual buscava oferecer serviços de seguros para a agricultura familiar
(Guanziroli et al., 2019). É possível encontrar um padrão similar nos demais
países da América Latina (Sabourin e Grisa, 2018).
Por meio da adoção desses conjuntos de políticas e em um contexto de
crescimento econômico, a América Latina teve avanços expressivos na redução da
pobreza. Segundo o Banco Mundial, entre 2000 e 2014, a porcentagem da popu-
lação em situação de pobreza extrema na América Latina (incluindo áreas rurais
e urbanas) passou de 25,5% para 10,8%, enquanto a população em situação de
pobreza passou de 42,8% para 23,4% (World Bank, 2019).
No entanto, no final da década de 2000, em meio à crise fiscal dos países,
ficou claro que também havia limites nas políticas empreendidas. Por uma parte,
as políticas de transferência de renda, bem-sucedidas em aliviar a pobreza, não
tiveram o mesmo sucesso naquilo que se convencionou chamar de porta de saída
da dependência desses benefícios, tendo em vista que não foram capazes de ga-
rantir melhores oportunidades de trabalho para essa população e também pelos
resultados limitados na redução da chamada pobreza intergeracional (World Bank,
2020; Araújo, Bosch e Schady, 2017). Por outra parte, as políticas de apoio aos
produtores rurais em muitos casos foram majoritariamente acessadas pelos produ-
tores melhor estruturados, enquanto os mais fragilizados se mantiveram à margem
(Aquino e Schneider, 2015).
Dessa forma, em diversos países se constatou a existência de um núcleo duro
da pobreza, o qual resistia mesmo diante da ampliação de esforços de políticas
públicas. Soma-se a esse panorama, a crise econômica e a do emprego, vividas
particularmente pelos países emergentes nos meados do último decênio e que
acabaram levando a retrocessos nos avanços alcançados (World Bank, 2019) e a
uma crescente fragilização das relações de trabalho. Segundo o Banco Mundial,
apesar de a América Latina ter reduzido a pobreza no período 2002-2016, a por-
centagem de pessoas economicamente vulneráveis passou de 34% para 38% no
mesmo período (World Bank, 2018).
Os programas de inclusão produtiva surgem em meio a esse contexto, a
depender do país, entre meados dos anos 2000 e início da década de 2010, ten-
tando justamente responder aos desafios que se apresentavam. Buscando alcançar
na América Latina
os extremamente pobres, os programas de inclusão produtiva assumiram que era

apenas por meio do aumento da renda das famílias pela via do trabalho que a
pobreza pode ser reduzida no longo prazo (Rigolini, 2016; World Bank, 2020).
Ao mesmo tempo, a abordagem se inspira na proposta de necessidades básicas
insatisfeitas, disseminada pela Comissão Econômica para a América Latina e o
Caribe (CEPAL) na América Latina. Segundo esse enfoque, é preciso combinar
mecanismos de inclusão produtiva com mecanismos da solução de outras necessi-
dades que afetam as possibilidades de inclusão das pessoas. Por isso, os programas
de inclusão produtiva foram inseridos como componentes de programas mais
amplos de combate à pobreza, conduzidos por ministérios ou secretarias dedicadas
ao desenvolvimento social, os quais buscavam oferecer de maneira coordenada
diferentes tipos de intervenções.
Diversos países da América Latina empreenderam programas baseados no
enfoque da inclusão produtiva. Neste capítulo, são utilizados como casos para
apoiar a discussão sobre uso de evidências: a rota de inclusão produtiva rural do
Plano Brasil Sem Miséria, criado pelo governo brasileiro em 2011; os programas
Chile Solidário e Ingreso Ético Familiar (IEF), criados, respectivamente, em 2002
e 2012 pelo governo chileno; o programa Haku Wiñay do Peru, criado em 2014;
o programa Oportunidades Rurales, cuja origem remonta aos fins dos anos 1960,
mas que foi amplamente reformulado em acordos de cooperação entre o Fondo
Internacional de Desarrollo Agrícola (Fida) e o governo colombiano ao longo dos
anos 2000; e o Programa Territorios Productivos (PTP) do governo mexicano, que
teve início em 2015. A situação corrente de cada um destes programas no início
da terceira década do século é variável. Por isso, as informações utilizadas dizem
respeito às etapas de desenho e implementação de cada um deles no decorrer do
último decênio, e não à sua condição atual.
E é importante observar também que as iniciativas analisadas neste estudo
são de diferentes ordens. Algumas são programas específicos, como é o caso do
Peru e da Colômbia. Outras são estratégias ou lógicas que congregam diferentes
programas, como são os casos do Brasil e do Chile. Em algumas das discussões
poderia ser inclusive mais adequado, por exemplo, comparar o programa Haku
Wiñay com o programa de fomento rural, que é um componente da estratégia
da rota de inclusão produtiva rural do Brasil Sem Miséria. No entanto, a própria
decisão de unificar as ações em um único programa ou mantê-las distribuídas parece
relevante para a análise apresentada aqui. Assim, apesar das diferenças existentes,
discutir as experiências justamente explorando esses contrastes é um caminho que
oferece um panorama rico para os objetivos deste capítulo, o qual pretende mostrar
como o uso de evidências não é, com o risco de ser redundante, autoevidente; ao
contrário, é algo variável e dependente de contextos e escolhas, conscientes ou não,
explícitas ou implícitas aos processos de tomada de decisão.
2.2 As diferentes definições dos programas para o problema da exclusão

econômica nas áreas rurais
Em geral, o objetivo das intervenções de inclusão produtiva tem sido apoiar a
população em situação de extrema pobreza a se inserir no mundo do trabalho.
Quando se consideram as áreas rurais, é importante reconhecer que a maior parte
da população em situação de pobreza já se encontra inserida, com frequência
em unidades produtivas fragilizadas buscando garantir sua subsistência. Assim,
mais do que inserir essa população no mundo do trabalho, o objetivo geral das
intervenções de inclusão produtiva neste caso consiste em apoiar as populações
em situação de extrema pobreza a melhorar as suas condições de produção ou de
participação nos mercados.
Ainda que os programas considerados neste estudo compartilhem esse ob-
jetivo geral, há diferenças na forma como eles definem o problema da exclusão
econômica. Ao comparar os programas selecionados da região, é possível identificar
ao menos duas diferenças: i) a existência (ou não) de uma diferenciação nas linhas
de trabalho destinadas às áreas rurais em comparação com as áreas urbanas; e
ii) os campos de problemas que são identificados como relevantes na superação da
exclusão econômica. Essas duas questões serão abordadas a seguir.
Com frequência, os programas de inclusão produtiva partem da premissa de
que os desafios vividos pelas áreas rurais diferem dos existentes nas áreas urbanas,
o que leva à definição de estratégias diferenciadas para cada tipo de espaço. En-
tre as experiências analisadas, apenas os programas chilenos não ofereceram um
olhar diferenciado para as áreas rurais. No caso desses programas, assumiu-se que
a pobreza extrema se distribui de maneira igual entre a população e, por isso, um
mesmo programa poderia servir a diferentes contextos. Fernandéz et al. (2016)
apontam que, ainda que o tipo de atividade produtiva tipicamente realizado em
cada espaço se difira, os programas chilenos eram marcadamente urbanos e não
levavam em consideração as particularidades existentes nas áreas rurais, como as
distâncias que precisam ser percorridas por essas populações para alcançar mercados
ou a dificuldade de acessar serviços e infraestruturas.
Nos demais programas que assumiram um olhar diferenciado para as áreas
rurais, é interessante observar que predomina uma perspectiva que estabelece uma
equivalência dos espaços rurais com a atividade agrícola. Esse é o caso especialmente
do Brasil e também do Peru e da Colômbia, que assumem que a exclusão produtiva
é resultado, principalmente, de uma produção agropecuária insuficiente para gerar
renda. Isto é particularmente relevante porque a literatura tem apontado desde os
anos 1990 a tendência declinante de agropecuária na incorporação de trabalho e
na formação da renda das famílias rurais, devido à crescente adoção de tecnologias
(Ramírez, 2019). Com isso, cresce a importância das chamadas oportunidades rurais
na América Latina
não agrícolas (Graziano da Silva, 1999) e da pluriatividade (Schneider, 2003). Apesar

disso, ainda que haja algumas poucas exceções, os esforços dos programas foram
direcionados a equipar os estabelecimentos familiares para melhorar sua produção
e inserção em mercados agropecuários (Mello et al., 2014; Fida, 2007; Asensio,
2021). Assim, por mais que se estabeleça uma diferença com a abordagem adotada
para as áreas urbanas – tipicamente enfocada em programas de capacitação técnica
e intermediação de mão de obra –, é possível dizer que as iniciativas desenhadas
mantiveram traços de um olhar tradicional, ou setorial, para as áreas rurais.
A única exceção nesse sentido é o programa do México, que reconheceu
o papel das rendas agrícolas e não agrícolas para as áreas rurais. O PTP partiu
daquele entendimento de que existe uma tendência de queda da importância da
renda agrícola para reprodução econômica das famílias rurais, que crescentemente
vêm dependendo de outras ocupações (Berdegué et al., 2015). Em sua operação,
o Territorios Productivos procurou compreender o peso dessas outras atividades
na composição da renda familiar, as estratégias diversas de reprodução econômi-
ca e os fluxos campo-cidade que daí se estabelecem (migração de jovens, fluxos
pendulares etc.) e, a partir dessa leitura, estimular sinergias entre esses espaços
(Berdegué et al., 2015).
Com relação aos campos de problemas considerados por cada iniciativa,
para além da dimensão econômica, em si, há um relativo consenso de que seria
necessário abordar tanto carências básicas como também as capacidades produtivas
para apoiar as famílias rurais. Se, sob o ângulo produtivo, repetiu-se uma visão
tradicional restrita às atividades agropecuárias, aqui há uma novidade. Refletindo
o entendimento de que a pobreza é um problema multidimensional, e não apenas
econômico, os programas buscaram abordar uma diversidade de necessidades, tais
como o acesso a saneamento básico, água, habitação, luz, serviços de educação,
saúde e registro oficial, e a transferência de renda – seja por meio dos próprios
programas ou por ações complementares. O argumento aqui é que a precarie-
dade nestas condições básicas compromete a capacidade das famílias em usar
melhor seus ativos – conhecimentos, força de trabalho, terra e recursos naturais –
para desenvolver a dimensão produtiva. Os programas chilenos apresentaram uma
diferença com relação aos demais também neste âmbito, ao identificar a necessidade
de que as pessoas em situação de pobreza desenvolvam capacidades e atitudes que
promovam um desenvolvimento autônomo das famílias (Larrañaga, Contreras e
Cabezas, 2014).
Com relação às capacidades produtivas, os programas analisados coincidem em
dar destaque aos desafios da falta de capacitação técnica e acesso precário a recursos
financeiros. No entanto, há uma diferença com relação ao tipo de conhecimento
que se considera necessário mobilizar. Enquanto os programas do Brasil, do Chile
e do México reconhecem a importância do conhecimento oferecido por serviços

de assistência técnica, os casos do Peru e da Colômbia indicaram a necessidade
de que as intervenções também sejam culturalmente adaptadas. Nesse sentido,
o programa Haku Wiñay se apoiou fortemente na figura de especialistas locais,
chamados de yachachiqs (o que sabe, em quéchua), os quais buscam resgatar os
saberes indígenas para incorporá-los nas intervenções e, por estarem inseridos nas
dinâmicas socioculturais das comunidades, possuem um conhecimento privilegia-
do da zona, de suas características e das necessidades das famílias rurais (Asensio,
2021). No caso do programa colombiano, também foi reconhecida a importância
de se mobilizar os talentos locais – que pertencem às próprias comunidades e que
possuem conhecimento destacado e aplicado na resolução de problemas comuns –
e de promover o intercâmbio de experiências, em um processo que valoriza o
conhecimento local na busca de soluções adaptadas (Procasur, 2017).
Ainda com relação às capacidades produtivas, os programas analisados pa-
recem se diferenciar na atenção que conferem à dificuldade de acessar mercados.
A maioria dos programas assumiu de maneira implícita que, à medida que os agri-
cultores melhorassem suas condições produtivas (com acesso a assistência técnica e
crédito), eles estariam mais aptos a incrementar sua produção e sua produtividade
e a acessarem mercados. Nesse contexto, a atenção aos mercados se dá de maneira
indireta. Os programas do Peru e do México reconheceram adicionalmente a ne-
cessidade de fomentar a diversificação e a criação de empreendimentos inovadores
nas áreas rurais. Já o programa colombiano contemplou a possibilidade de realizar
estudos de mercado e por isso incluiu componentes para fomentar a capacitação
dos produtores nesse sentido (Asensio, 2021; Berdegué et al., 2015; Fida, 2007).
O único país que parece ter adotado um componente que aborda mais diretamente
a questão do acesso a mercados foi o Brasil, por meio de políticas de compras pú-
blicas (Mello et al., 2014). Neste caso, o que se esperava é que a política oferecesse
uma oportunidade de mercado relativamente estável e em boas condições e que
funcionasse como um impulso inicial para, em um passo seguinte, favorecer que
as famílias estivessem aptas a acessar outras oportunidades em mercados conven-
cionais, mesmo na ausência de instrumentos específicos para este segundo tipo.
Por fim, uma última questão que os programas dos países abordaram de
maneira diferenciada é o papel atribuído (ou não) aos territórios. Os programas
de alguns países identificaram a importância dos territórios na medida em que
reconheceram que os desafios existentes em um lugar diferem daqueles que existem
em outro e que a tessitura dos territórios importa para essas diferenças. Isso traz
exigências de flexibilidade e adaptabilidade para as intervenções implementadas e
de capacidade institucional em nível local para apoiar a tomada de decisão. Este é
o caso especialmente dos programas peruano e colombiano (Asensio, 2021; Fida,
2007). Neles, não houve propriamente uma diferenciação de estratégias para
na América Latina
diferentes tipos de territórios, mas foi conferido um papel destacado a instâncias

locais de governança para adaptarem os instrumentos de políticas às condições
locais. O programa Territorios Productivos do México aprofundou o olhar para
os territórios, ressaltando que a exclusão econômica das áreas rurais também está
associada à falta de participação e sinergia entre atores e instituições locais, assim
como ao baixo aproveitamento dos vínculos entre áreas urbanas e rurais (Berdegué
et al., 2015). Os programas chilenos e o programa brasileiro5 deram pouca ou
nenhuma atenção à dimensão territorial, centrando essencialmente a sua atenção
nos desafios vividos por indivíduos e famílias em situação de pobreza (Favareto,
2019; Fernandéz et al., 2016).
2.3 A mobilização de evidências para definir o público-alvo

A partir do entendimento do problema da exclusão econômica, um desafio im-
portante abordado é a definição do público-alvo. Para avançar nesse sentido, os
programas buscaram mobilizar diferentes tipos de evidências, de maneira a focalizar
as intervenções. As escolhas realizadas indicam que há uma relação entre a definição
do problema da exclusão econômica, as estratégias de identificação e definição do
público-alvo e as evidências mobilizadas.
Como discutido anteriormente, a atenção dos programas do Brasil e do
Chile recaiu sobre indivíduos e famílias em situação de pobreza e, por isso, a de-
finição do público-alvo nesses casos passou pela mobilização de evidências sobre
diferentes vulnerabilidades, com base nos cadastros nacionais dos países. No caso
do Brasil, foram consideradas elegíveis as famílias que já eram público-alvo do
Brasil Sem Miséria, dando especial atenção à população em situação de extrema
pobreza e incluindo famílias com renda de até meio salário mínimo per capita. Para
identificar essas famílias, foram utilizadas as informações do Cadastro Único para
Programas Sociais do Governo Federal (Cadastro Único), sistematizadas a partir
de um conjunto de iniciativas que também incluía a busca ativa pelas famílias,
realizada por profissionais da área de assistência social dos municípios (Campello,
Falcão e Vieira, 2015), e a mobilização de outros sistemas de informação, como
a Declaração de Aptidão ao Pronaf (DAP). Vale lembrar que a própria criação do
Cadastro Único havia sido uma inovação importante, unificando bases de dados
e informações sobre beneficiários e potenciais beneficiários, que antes estavam
dispersas em bases individuais por programas, com inconsistências entre eles.
5. Apesar de o programa brasileiro não adotar uma lógica territorial no seu planejamento, houve uma preocupação
em dar atenção às necessidades que diferentes regiões apresentavam. O programa Água para Todos, por exemplo, era
um dos que compunham o mix presente na Rota de Inclusão Produtiva Rural do Brasil Sem Miséria, e tinha como foco
especial os estabelecimentos da região Nordeste. O mesmo se pode dizer a respeito do programa Bolsa Verde, que estava
direcionado para a região da Amazônia. O desenho e a implementação desses programas exigiram a mobilização de
diferentes tipos de informações para planejar as intervenções, desde um melhor mapeamento da infraestrutura existente
até a identificação do público-alvo. Também é preciso lembrar que houve no mesmo período uma política territorial
nacional, mas a execução da política de inclusão produtiva não passava pelos espaços de governança daquela iniciativa.
No caso do Chile, de maneira similar, foram utilizados os dados do Registro Social

de Hogares, a partir do qual é realizada a análise dos perfis das famílias em diferentes
dimensões de vulnerabilidade. Com base em critérios quantitativos, aqueles que
se encontram abaixo de uma pontuação definida são considerados elegíveis para
o programa. As iniciativas chilenas adicionam uma segunda etapa à definição do
público-alvo, na qual as famílias recebem a visita de assistentes sociais que reali-
zam um diagnóstico situacional qualitativo e confirmam se as famílias podem ser
beneficiárias do programa (Larrañaga, Contreras e Cabezas, 2014).
Nos casos do Peru e da Colômbia, foram incluídas evidências adicionais sobre
o espaço em que as famílias se inserem indicando uma maior preocupação com a
dimensão territorial da inclusão produtiva. No caso peruano, a definição do público-
-alvo se deu em três etapas. Primeiro, em âmbito nacional, foram identificados os
centros populacionais nas áreas rurais do país que apresentam alta incidência de
pobreza, predominância de famílias que dependam de práticas caracterizadas como
economias de subsistência,6 além de outros fatores de vulnerabilidade, como desnu-
trição infantil. No caso colombiano, em particular, a atenção às áreas marcadas pelos
conflitos armados é especialmente relevante. Em uma segunda etapa, os escritórios no
âmbito zonal fizeram uma nova avaliação socioeconômica dos centros populacionais,
buscaram a opinião dos municípios e avaliaram a capacidade orçamentária do âmbito
zonal para a execução do programa. Por fim, nos locais que foram selecionados para
receber a intervenção, qualquer habitante pode se inscrever no programa se desejar,
não havendo restrições relacionadas ao tamanho das propriedades ou à participação em
outros programas (Asensio, 2021). Além de identificar as regiões com características
predominantemente rurais e em quais delas se concentram as famílias em situação
de pobreza, o programa colombiano avaliou se existem organizações sociais capazes
de implementar as ações do projeto (Fida, 2007).
Por fim, no caso do México, buscou-se levantar evidências que permitissem
a identificação de territórios funcionais, onde seria implementado o programa.
Primeiramente, foram identificadas as localidades em que o Programa Nacional de
Transferência de Renda (Prospera) estava em operação e onde existia uma presença
expressiva de pequenas unidades de produção agrícola (menos de 20 hectares).
Entre as localidades mapeadas em cada estado, foram identificadas as que contavam
com um maior número de beneficiários do Prospera e que apresentavam mais de
quatrocentos habitantes, as quais teriam prioridade para receber o programa. Os
territórios funcionais abarcaram um conjunto de municípios, incluindo uma ca-
beceira e os municípios que se encontram em um raio de até 10 km e que também
apresentavam uma presença relevante de pequenas propriedades e um número
6. A definição de economia de subsistência tem como base o indicador de utilização das terras, que deve ser predo-
minantemente voltado ao uso agrícola, e famílias com propriedade com menos de 1,3 hectare que utilizam ao menos
75% da mão de obra doméstica nessas atividades (Asensio, 2021).
na América Latina
mínimo de beneficiários do Prospera. Com isso, esperava-se que os territórios fun-

cionais fossem espaços que apresentassem intensidade nas interações econômicas
e sociais entre habitantes, organizações locais, unidades de produção e empresas.
Para confirmar as análises anteriores, feitas a partir das bases de dados do país,
foram realizadas pesquisas para validar os territórios e para analisar a existência de
organizações locais e o potencial de desenvolvimento delas (Berdegué et al., 2015).
Esse rápido olhar para a diversidade de experiências de inclusão produtiva
rural na América Latina mostra como as diferentes formas de definir a condição
de exclusão implica, conscientemente ou não, distintos tipos de evidências a serem
mobilizadas. Em alguns casos, isso envolve a abrangência geográfica das ações – se
as evidências precisam abranger a região e as relações entre áreas rurais e centros
urbanos, as condições socioeconômicas dos municípios, ou apenas a dimensão da
vulnerabilidade das famílias. O mesmo se poderia dizer a respeito dos temas que
as evidências mobilizadas ou necessárias deveriam cobrir: se apenas aquelas relacio-
nadas às condições infraestruturais ou também sobre a dimensão comportamental
ou outras. E, por fim, especificamente sobre a dimensão produtiva, se as evidências
dizem respeito somente aos problemas e às condições da porteira para dentro dos
estabelecimentos, ou se deveriam envolver também informações sobre os mercados
potenciais para o trabalho e para a produção das famílias; e se esse trabalho se resume
ao trabalho em atividades primárias ou se as evidências deveriam abranger também
os domínios associados à pluriatividade dessas famílias pobres. Tudo isso, por sua
vez, irá repercutir também sobre as modalidades de ações a serem implementadas
e, claro, o tipo de evidências que, também elas, as políticas e as intervenções, irão
requerer. Este é o foco da seção 3: evidências para que tipo de práticas?
3 EVIDÊNCIAS PARA QUÊ?

A partir da definição dos contornos do problema da exclusão econômica e do
público-alvo que receberá atenção, cada um dos programas avançou na definição
dos instrumentos de intervenção e das estruturas responsáveis por esses. A seguir
serão feitos comentários sobre como foram definidos os contornos dessas formas
de intervenção, sua implementação e, em função disso, qual a repercussão destas
opções para a produção e o uso de evidências.
3.1 Um conjunto de políticas ao longo de uma trajetória

Ao observar os programas de inclusão produtiva, é possível notar que a maioria
deles abordou a superação da exclusão econômica por meio de um conjunto de
políticas que se organizam ao longo de uma trajetória. O único caso que não
parece ter incluído a ideia de uma trajetória é o programa colombiano, em que
associações locais formularam projetos de assistência técnica ou financiamento a
serem aprovados pelos comitês gestores dos programas, mas não parece ter havido
um sequenciamento esperado. Para os demais países, a noção de trajetória – ou

rota de inclusão produtiva, como no caso brasileiro – serviu como elemento or-
ganizador do conjunto de políticas oferecido. No entanto, a noção de trajetória se
expressou de formas diferentes, mantendo uma forte relação com a maneira como
o problema da exclusão econômica é concebido em cada caso.
Para os casos do Chile e do Brasil, ambos conceberam rotas que deveriam ser
percorridas por indivíduos e famílias, refletindo a sua abordagem para a inclusão
produtiva. As trajetórias nesse sentido estariam associadas a dois caminhos possíveis:
o do estabelecimento de um pequeno negócio ou o da obtenção de um emprego
formal. Para as áreas rurais, o primeiro caso é o mais frequente.
No caso do Chile, a trajetória a ser percorrida deveria constituir um plano
de ação a ser cumprido pelas famílias com prazos e requisitos definidos. Depois de
deliberar juntamente com o assistente social responsável pelo acompanhamento da
família se ela seguiria o caminho do empreendedorismo ou do emprego formal,
definia-se uma trajetória padronizada a ser concluída pelas famílias no período de
três anos. O caminho para o empreendedorismo envolve avaliar diferentes opções,
definir qual negócio será iniciado, obter a formação técnica requerida ou receber
serviços de assistência técnica e a compra de equipamentos e insumos. Para cada
uma dessas etapas, as famílias deveriam cumprir com requisitos mínimos para passar
à seguinte e ter acesso aos benefícios. Caso esses requisitos não fossem cumpridos,
as famílias poderiam deixar o programa. O modelo chileno é criticado justamente
por adotar uma trajetória padronizada que não dá espaço às particularidades de
cada caso (Fernandéz et al., 2016; Larrañaga, Contreras e Cabezas, 2014).
No caso do Brasil, ao passo que o programa de fomento seguiu uma lógica
similar ao programa chileno, é interessante notar que a Rota de Inclusão Produ-
tiva Rural, definida pelo governo federal do país, também serviu como esquema
organizador para reunir diferentes intervenções anteriormente dispersas, mas sem
estabelecer um sequenciamento com as famílias. Ou melhor, no planejamento, a
rota previa um sequenciamento, mesmo considerando que as famílias não rece-
beriam necessariamente todas as intervenções, pois nem todas sofriam as mesmas
restrições. A rota rural consistia em uma combinação de programas que buscaria
atender as diferentes necessidades dos pequenos estabelecimentos agrícolas. Primeiro
se ofereceriam programas para atender carências básicas (água, luz e renda); em
seguida, seria dada atenção a carências produtivas (crédito e assistência técnica); e,
por fim, se buscaria inserir os agricultores em mercados institucionais. Entretanto,
como a implementação dos programas para cada uma destas carências era realizada
separadamente, às vezes por diferentes ministérios, apenas o acompanhamento de
metas e a solução de problemas era feito por uma estrutura centralizada, cada um
desses programas ou ações chegava para grupos diferentes de agricultores pobres e em
ordem aleatória, pervertendo a concepção original (Mello et al., 2014; Mello, 2018).
na América Latina
Para os casos do Peru e do México, as etapas do programa estavam relacionadas

à sua implementação em uma localidade, em vez de se centrar nas famílias. Estes
programas são descritos a seguir.
O programa peruano definiu três estágios, cada um com a duração de um
ano, durante os quais se buscaria o amadurecimento dos negócios das famílias.
Em um primeiro estágio, considerado o mais intenso, os especialistas locais do
programa apoiariam as famílias a implementar tecnologias e práticas produtivas
selecionadas pela população local, assim como melhoras na infraestrutura de suas
residências, especialmente no que se refere a saneamento e saúde. No segundo ano
do programa, os especialistas locais se dedicariam a reforçar a apropriação tecno-
lógica e a resolver possíveis problemas que surgem do seu uso, além de promover
o fomento de capacidades financeiras. No último ano, o trabalho dos especialistas
locais com os estabelecimentos familiares deveria ser reduzido, e passar a se con-
centrar em empreendimentos coletivos, que também deveriam receber o apoio de
especialistas dedicados à comercialização, com vistas a melhorar os seus resultados
financeiros (Asensio, 2021).
Por fim, a experiência mexicana organizou a sua trajetória ao redor de um
plano de desenvolvimento territorial. Depois de identificar as formas de ação
coletiva existentes no território, seria realizado um diagnóstico dos principais pro-
blemas e obstáculos para o avanço da localidade. Com base no diagnóstico, seria
elaborado um plano de desenvolvimento de três anos e um plano de trabalho de
um ano. Os planos deveriam ser construídos de forma participativa, com mem-
bros da comunidade, organizações locais e agências governamentais. Os projetos
empreendidos visariam identificar e estimular os principais eixos econômicos do
território. A implementação se daria com o apoio de agências governamentais e
contaria também com a participação da comunidade e das organizações locais, que
também participariam do seu monitoramento (Berdegué et al., 2015).
3.2 A necessidade de coordenar as ações

Para oferecer os diferentes tipos de intervenções implicados nos programa de
inclusão produtiva, é necessário que exista um grau elevado de coordenação,
sobretudo no que diz respeito a dois aspectos: i) os programas que compõem as
trajetórias precisam chegar às mesmas famílias nos territórios; e ii) eles precisam
chegar na sequência certa para garantir a cumulatividade. Sem isso, a ideia de
trajetória é apenas uma abstração. E, para que ela ocorra, é necessária a coorde-
nação entre níveis de governo e entre áreas de governo, pois cada componente
das rotas ou trajetórias de intervenção estão tipicamente localizados em uma
estrutura governamental, muitas vezes em diferentes órgãos ou estruturas, com
seus mecanismos próprios de implementação e governança.
De maneira geral, os programas assumiram que os instrumentos de política

são oferecidos em nível nacional e coordenados em nível local; no entanto, a ope-
racionalização desse arranjo se deu de diferentes maneiras e nem sempre favoreceu,
de fato, esta coordenação em âmbito local.
Para oferecer os instrumentos de política em nível nacional, alguns países
utilizaram as políticas com que já contavam, enquanto outros criaram novas
estruturas. No caso do Brasil, por exemplo, os programas que foram mobilizados
para compor a rota de inclusão produtiva rural já existiam e eram operados por
diferentes ministérios. Para favorecer a sua mobilização e coordenação ao redor
dos beneficiários do programa, foram criadas salas de situação interministeriais
para o monitoramento dos programas (Mello et al., 2014). No caso chileno, foi
identificado que a inclusão dos beneficiários do Chile Solidário em programas que
já existiam no país, como os serviços de assistência técnica agrícola e os serviços de
apoio para o desenvolvimento de empreendimentos, traria muitas dificuldades a
esses programas. Por isso, decidiu-se duplicar algumas dessas iniciativas, criando
programas paralelos dirigidos às necessidades do público-alvo do Chile Solidário
e posteriormente do IEF. Esse arranjo é criticado por não favorecer a conexão dos
empreendimentos com os serviços mais especializados do país e com mercados
mais dinâmicos (Fernandéz et al., 2016).
Como mencionado anteriormente, a maioria dos programas dos países reconheceu
a necessidade de conferir um papel de coordenação para o âmbito local. No entanto,
foram adotados diferentes arranjos com esse objetivo. No Chile, apesar de inicialmente
o planejamento do programa ser centralizado no governo nacional, com o tempo esse
papel foi transferido para os municípios, por reconhecer a importância de dar uma
maior atenção às necessidades locais. Os governos municipais contaram também com
o apoio de assistentes que acompanham as famílias em dois âmbitos: psicossocial e
laboral (Larrañaga, Contreras e Cabezas, 2014). Nos casos peruano e colombiano, a
coordenação se estabeleceu por meio da interação entre organizações locais da sociedade
civil – conselhos de administração de núcleos de quarenta a oitenta famílias no Peru e
associações locais de produtores na Colômbia – com órgãos de governo regionais ou
zonais. No programa Haku Wiñay, a coordenação também foi fortalecida por meio
da figura dos yachachiqs – responsáveis por oferecer um acompanhamento direto às
famílias (Asensio, 2021). No caso do México, foram criadas unidades de operação
com representantes governamentais e de organizações locais (Berdegué et al., 2015).
Nos programas dos três últimos países, essas organizações locais foram responsáveis
por gerir recursos, identificar e solicitar a oferta de políticas necessárias, acompanhar
a execução das ações e, em alguns casos, participar da sua avaliação.
A exceção nessa última discussão é o programa brasileiro, pois, diferentemente
do que ocorre com a sua rede de assistência social, com capilaridade municipal em
todo o território nacional, o programa não conta com estruturas em nível local
na América Latina
para empreender as políticas de apoio produtivo. No caso do PBF, por exemplo,

o Conselho Municipal de Assistência Social (CMAS) monitora a aplicação e a
situação das famílias. Já no caso da inclusão produtiva, não há um conselho local.
Os antigos Conselhos Municipais de Desenvolvimento Rural (CMDRs) foram,
em sua quase totalidade, desmontados. Em seu lugar, foram criados em muitos
lugares os Colegiados Territoriais, mas eles não atuavam em âmbito municipal.
Com isso, programas importantes, como assistência técnica, crédito de fomento,
entre outros, não passavam por nenhuma estrutura municipal de gestão, ficando
exclusivamente sob coordenação das estruturas nacionais, muito distantes, por sua
própria natureza, das sutilezas e especificidades dos contextos locais de implemen-
tação, e isso, obviamente, dificultava muito a coordenação entre esses instrumentos
no momento de sua implementação com os beneficiários (Favareto, 2019).
3.3 A mobilização de evidências para acompanhar o desempenho dos programas

Para dar seguimento às ações empreendidas pelos programas, os países mobilizaram
evidências de diferentes tipos. Ao observar os diferentes casos, parece possível identifi-
car duas situações distintas. Uma primeira na qual se encaixam os programas brasileiro
e chilenos, que buscaram monitorar a execução de cada um dos componentes, mas
deram menor atenção à sua coordenação e aos resultados dos programas. E outra
situação, na qual se encontram as iniciativas do México e do Peru, que incorporaram
estratégias de avaliação de resultados no desenho dos programas.
Os programas do Brasil e do Chile optaram por monitorar os componentes
dos programas, privilegiando assim o acompanhamento do alcance das intervenções
e seus impactos em termos agregados, por exemplo, nos indicadores de pobreza do
país. No caso do Brasil, mantendo em grande medida a lógica de cada intervenção,
foi dado seguimento, por exemplo, a quanto do orçamento dos programas estava
sendo investido de fato, quantas pessoas receberam assistência técnica ou quantas
cisternas foram instaladas. Mas nada havia de evidências sobre se estes investimentos
estavam atingindo as mesmas famílias ou se estavam sendo pulverizados, ou se a
ideia de rota baseada em sequenciamento de acesso a programas estava ocorrendo.
As informações eram reunidas para acompanhamento e eventual apoio pelas es-
truturas de gestão coordenadas pelo plano Brasil Sem Miséria, que amalgamava
todos estes outros programas dispersos em outras estruturas ministeriais. Nos casos
chilenos, também foi privilegiado o alcance das intervenções, monitorando, por
exemplo, o número de visitas realizadas pelos assistentes sociais, quantas famílias ini-
ciaram hortas ou quantas receberam os insumos para começar a criação de animais.
Ao dar seguimento apenas às ações de cada um dos componentes, esses programas
enfrentaram dificuldades para estabelecer a coordenação das intervenções e não
foram capazes de fazer os ajustes necessários para melhorar sua complementaridade
e, por aí, a sua efetividade (Fernandéz et al., 2016; Favareto, 2019).
É importante mencionar que, no início da implementação dessas iniciativas,

algumas das ações empreendidas tiveram de enfrentar o desafio da ausência de dados
ou informações sobre as famílias que buscavam atender. Foi durante o processo de
execução que algumas dessas informações foram captadas e posteriormente utili-
zadas para redirecionar as ações. Nesse sentido, não houve necessariamente uma
decisão deliberada de acompanhar a execução dos programas individualmente.
Houve uma inércia institucional que favoreceu a fragmentação do olhar e a ênfase
na dimensão de alcance das políticas. Ainda assim, o acompanhamento de cada
um dos programas foi o que finalmente permitiu identificar a falta de convergência
das ações. No caso da rota rural brasileira, por exemplo, observou-se que a maioria
da população beneficiária recebeu apenas uma ou duas intervenções do conjunto
definido, de forma que a trajetória cumulativa que havia sido imaginada não foi
implementada (Mello, 2018).
Nos casos do Peru e do México, os governos de ambos os países encomen-
daram e realizaram avaliações de impacto. Para o programa mexicano, foram
estabelecidas comissões de seguimento nos âmbitos nacional, estadual e territorial,
com a função de receber e discutir as evidências oferecidas pelas experiências
locais, as quais seriam reportadas e monitoradas por um sistema de avaliação
desenvolvido para o programa tanto no processo de planejamento e implemen-
tação quanto no término do ciclo trienal (Berdegué et al., 2015). Além disso, o
programa contemplava a realização de projetos-piloto que funcionariam como
espaços de aprendizagem, nos quais seriam experimentadas estratégias, métodos e
instrumentos e se manteria um dispositivo de acompanhamento e aprendizagem
sistemática. As decisões de expandir e dar continuidade ao programa estariam
associadas aos resultados obtidos. O sistema de avaliação e monitoramento também
incluiu um componente de aprendizagem, que permitia identificar os elementos
críticos que obstaculizam o processo operativo proposto e os efeitos esperados
do programa e deveria contar com a participação de uma equipe de especialistas
externa ao governo (Rimisp, 2015).
Esse olhar sobre os programas mostra que o uso de evidências pode ser muito
variado, a depender de, pelos menos, dois aspectos: i) assim como a maneira
de definir o problema recorta o olhar dos gestores para buscar certos tipos de
evidências em seu apoio e definição de foco, o uso destas evidências repercute
também sobre o repertório de ações selecionadas para compor os programas
e as estratégias de inclusão produtiva rural; e ii) as evidências sobre as ações
e sua implementação também têm sido diversas, quanto aos fins – monitorar
execução formal, gerar aprendizados ou subsidiar decisões sobre encadeamento
ou bifurcações de trajetórias, aperfeiçoar gestão e buscar complementaridades e
sinergias, ou avaliar impactos.
na América Latina
Retomando as ambições anunciadas para este capítulo, o intuito principal consistia
em oferecer reflexões de cunho teórico e, principalmente, empírico sobre uso de
evidências, tendo por base a análise de experiências selecionadas da atuação de
governos latino-americanos na promoção de inclusão produtiva rural.
Sob o ângulo teórico, tentamos desenvolver o argumento de que o uso de
evidências opera nas interdependências entre decisões técnicas e cognitivas. Isto
é, há um ponto de partida que é dado pelo viés cognitivo dos agentes, ao emol-
durar o problema foco das intervenções públicas de uma determinada maneira,
o que, por si, já condiciona o tipo de evidências a serem buscadas. Isso cria uma
espécie de dependência de caminho, na qual tal escolha de evidências condiciona,
por sua vez, o repertório de ações a compor os programas. No que diz respeito
à implementação das ações, pesam tanto o viés cognitivo dos agentes como o
tipo de cultura institucional, que pode privilegiar mais evidências que permitam
acompanhamento e transparência (accountability) sobre gastos e metas, ou algum
tipo de construtivismo e geração de aprendizados institucionais apoiado em mo-
nitoramento de resultados ou de eficácia de ações.
A consequência de tudo isso para as análises sobre evidências é que não se
pode compreender as formas de sua produção e uso descontextualizadas destas
dimensões políticas, cognitivas e institucionais. Mas isso não significa hipervalorizar
a dimensão política e cultural, e sim chamar a atenção para as interdependências
entre isso e como os aspectos técnicos provocados pelas evidências atuam no sentido
de reforçar ou desafiar aqueles vieses. Por tudo isso, é preciso antepor à pergunta
que evidências, as perguntas evidências sobre o quê e evidências para quê. Porque
elas elevam o nível de reflexividade não só sobre o uso de evidências, mas sobre as
práticas dos gestores e sobre os objetos de suas intervenções, reconectando aquilo
que certos automatismos ou tecnicismos associados a evidências podem gerar.
Ainda sobre essa dimensão conceitual, é importante destacar que o termo
evidências tem sido utilizado para fazer referência a diferentes tipos de informações.
Estão entre os tipos de evidências mais comuns: dados cadastrais, informações sobre
a infraestrutura existente, diagnósticos de assistentes sociais, dados sobre a execução
de políticas e resultados de avaliações de impacto. Deve-se reconhecer o papel que
cada um desses tipos desempenha nas intervenções sociais, mas é igualmente im-
portante diferenciá-los e entender o propósito do seu uso e as implicações que eles
têm para a gestão pública. Especialmente no que se refere à análise da efetividade
das intervenções, é essencial dar atenção à validade das evidências, ao que tem sido
discutido mais amplamente ao redor do conceito de evidências científicas, as quais
são caracterizadas por maior rigor e reflexividade.
Para ampliar seu uso, dois desafios se impõem. Do lado dos gestores, criar
condições para o uso de evidências científicas nas várias fases de elaboração e ges-
tão das políticas, para além da consulta a especialistas. Isso envolve a promoção
ou incorporação de bons estudos sobre os aprendizados de experiências similares
anteriormente implementadas, diagnósticos e caracterização situacional de famí-
lias, elaboração de linhas de base apoiadas no conhecimento de fronteira sobre
os problemas e a complexidade que envolve suas interdependências. Da parte de
pesquisadores e da comunidade científica, é preciso melhorar a adaptabilidade dos
métodos que garantem o rigor do conhecimento produzido às condições de tempo
e às necessidades concretas dos gestores públicos. Isso envolve modelar linguagem
e foco das pesquisas, priorizar a abordagem por problemas, entre outros aspectos.
Sob o ângulo empírico, deve ter ficado claro como o uso de evidências, particular-
mente em alguns países, é pouco reflexivo. O grande esforço para chegar a populações
tradicionalmente não atendidas pelas políticas públicas, sobre quem muitas vezes
não havia informações, parece ter limitado as possibilidades para um esforço mais
deliberado e estruturado de uso de evidências ao longo das etapas de planejamento,
implementação e avaliação das políticas. Nesse sentido, o não uso de evidências em
alguns casos não foi uma opção, mas uma contingência a ser enfrentada. Muitos dados
sobre os públicos-alvo tiveram que ser produzidos ao longo da execução, e com isso
prevaleceu a atenção à focalização e ao acompanhamento de cada intervenção, enquan-
to a avaliação da efetividade das intervenções recebeu pouca ou nenhuma atenção.
Além disso, a análise apresentada revelou também uma lacuna crucial: para
o melhor desenho das iniciativas, faltam evidências que ajudem a identificar os
bloqueios e fatores que têm favorecido, efetivamente, a saída da pobreza e a inclu-
são produtiva. É curioso que, em tudo o que foi levantado de análises e avaliações
sobre os programas, não existam lições consolidadas que buscassem evidenciar, por
exemplo, de que forma as famílias conseguiram romper a exclusão produtiva. Não
há acompanhamento sistemático de egressos dos programas de inclusão produ-
tiva. Faltam evidências sobre como alcançar níveis mais elevados de coordenação
entre níveis e áreas de governo ou entre diferentes programas. Em uma palavra,
concentra-se muito esforço nos meios e pouco nos fins das iniciativas.
Tudo isso é especialmente importante pelo momento vivido por estas expe-
riências e pela relevância crescente que o uso de evidências vem tendo na gestão
pública. Os vários estudos aqui mencionados, e também algumas sínteses, como
aquela produzida pela PEI, parecem sugerir que é necessário inaugurar uma nova
geração de iniciativas de inclusão produtiva rural (Andrews et al., 2021). Quem
sabe as evidências sobre o que funcionou ou não nestes programas possam criar
um ambiente favorável a um melhor uso deste instrumento nos novos programas
que serão moldados nos próximos anos.
na América Latina
REFERÊNCIAS
ALBUQUERQUE, P. H. M. et al. Na era das máquinas, o emprego é de quem?
Estimação da probabilidade de automação de ocupações no Brasil. Rio de Janeiro:
Ipea, mar. 2019. (Texto para Discussão, n. 2457).
ANDREWS, C. et al. The state of economic inclusion report 2021. The potential
to scale. Washington: The World Bank Group, 2021.
AQUINO, J. R.; SCHNEIDER, S. O Pronaf e o desenvolvimento rural brasileiro:
avanços, contradições e desafios para o futuro. In: GRISA, C.; SCHNEIDER, S.
(Org.). Políticas de desenvolvimento rural no Brasil. Porto Alegre: UFRGS, 2015.
ARAÚJO, M. C.; BOSCH, M.; SCHADY, N. Can cash transfers help households
escape an inter-generational poverty trap? [S.l.]: Inter-American Development
Bank, Jan. 2017. (IDB Working Paper Series, n. 767). Disponível em: <https://
bit.ly/3DjgGdg>. Acesso em: 26 set. 2020.
ASENSIO, R. Haku Wiñay: potencialidad y retos de las nuevas intervenciones
de inclusión económica en las zonas rurales andinas. Documento de Trabajo-280.
Lima: IEP, 2021. (Serie estudio sobre desarrollo, n. 51).
BERDEGUÉ, J. A. et al. Territorios Productivos: un programa articulador para
reducir la pobreza rural a través del incremento de la productividad, la producción
y los ingresos. Grupo de Trabajo: Desarrollo con Cohesión Territorial. Programa
Cohesión Territorial para el Desarrollo. Santiago, 2015. (Serie Documentos de
Trabajo, n. 131).
BUAINAIN, A. M. Trajetória recente da política agrícola brasileira. 1999.
Tese (Doutorado) – Universidade Estadual de Campinas, Instituto de Economia,
Campinas, São Paulo, 1999. Disponível em: <https://bit.ly/3cjRZBy>. Acesso
em: 28 fev. 2017.
CAMPELLO, T.; FALCÃO, T.; VIEIRA, P. O Brasil Sem Miséria. Brasília:
MDS, 2015.
CASTRO, J. A.; MODESTO, L. Bolsa Família 2003-2010: avanços e desafios.
Brasília: Ipea, 2010. v. 1.
FAVARETO, A. A estratégia de inclusão produtiva rural do programa Brasil
Sem Miséria: arranjo institucional, implementação e aprendizados. Report prepared
for the Banco Mundial. 2019. Mimeografado.
FERNANDÉZ, M. I. et al. Efectos sinérgicos entre el Ingreso Ético Familiar (IEF)
y los programas de apoyo al emprendimiento en Chile, 2012-2014. In: MALDO-
NADO, J. H. et al. Protección, producción, promoción: explorando sinergias
entre protección social y fomento productivo rural en América Latina. Bogotá:
Universidad de los Andes, 2016.
FIDA – FONDO INTERNACIONAL DE DESARROLLO AGRÍCOLA.

Programa de Desarrollo de la Microempresa Rural: Evaluación Final. Bogotá;
Roma: Fida, 2007.
GARCIA JUNIOR, A. R. A sociologia rural no Brasil: entre escravos do passado
e parceiros do futuro. Sociologias, ano 5, n. 10, jul.-dez. 2003.
GRAZIANO DA SILVA, J. O novo rural brasileiro. Campinas: Ed. Unicamp. 1999.
GUANZIROLI, C. et al. The fate of family farming under the new pattern of
agrarian development in Brazil. In: BUAINAIN, A. M.; LANNA, R.; NAVARRO,
Z. (Org.). Agricultural development in Brazil: the rise of a global agro-food
power. 1. ed. Nebraska: Routledge, 2019. v. 1.
IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA.
Censo Brasileiro de 2010. Rio de Janeiro: IBGE, 2012.
LARRAÑAGA, O.; CONTRERAS, D.; CABEZAS, G. Políticas contra la
pobreza: de Chile Solidario al Ingreso Ético Familiar. Documento de Trabajo.
Chile: PNUD, 2014.
MELLO, J. Estratégias de superação da pobreza no Brasil e impactos no meio
rural. Brasília: IPE, 2018.
MELLO, J. et al. A inclusão produtiva rural do Brasil Sem Miséria: estraté-
gias e primeiros resultados. In: CAMPELLO, T.; FALCÃO, T.; COSTA, P. V.
(Org.). O Brasil Sem Miséria. Brasília: MDS, 2014. Disponível em: <https://
bit.ly/3coZVRX>. Acesso em: 19 jan. 2021.
PEI – PARTNERSHIP FOR ECONOMIC INCLUSION. PEI Data Portal,
2021. Landscape Dashboard. Disponível em: <https://bit.ly/3CzfBgg>. Acesso
em: 2 abr. 2021.
Delimitando o problema conceitual. Brasília: Ipea, abr. 2020. (Texto para Dis-
cussão, n. 2554).
PROCASUR – PROGRAMA OPORTUNIDADES RURALES. Dinamización
de un mercado de talentos locales para servicios de asistencia técnica a micro-
empresarios rurales. Bogotá: Procasur, 2017.
RAMÍREZ, E. Empleo rural no agrícola en América Latina. 2030 – Alimentación,
agricultura y desarrollo rural en América Latina y el Caribe. Santiago de Chile:
FAO, 2019. (Documento, n. 18). Disponível em: <https://bit.ly/3kFi6Ys>.
na América Latina
RIMISP – CENTRO LATINOAMERICANO PARA EL DESARROLLO RURAL.

Programa Territorios Productivos: nota de aprendizaje n. 1. Chile: Rimisp, 2015.
RIGOLINI, J. Productive inclusion: a silver bullet, or a new development fad?
Brookings, 12 abr. 2016. Disponível em: <https://brook.gs/3Co8IhQ>. Acesso
em: 20 fev. 2019.
SABOURIN, E.; GRISA, C. (Org.). A difusão de políticas públicas brasileiras para
a agricultura familiar na América Latina e Caribe. Porto Alegre: Escritos, 2018.
SANTANA, C. A. M. et al. Política agrícola: avanços e retrocessos ao longo de
uma trajetória positiva. In: BUAINAIN, A. M. et al. (Ed.). O mundo rural no
Brasil do século 21: a formação de um novo padrão agrário e agrícola. Brasília:
Embrapa, 2014.
SCHNEIDER, S. A pluriatividade na agricultura familiar brasileira. Porto
Alegre: Ed. UFRGS, 2003.
SOUZA FILHO, H. M.; BUAINAIN, A. M. Economia agrícola. São Carlos:
EdUFSCar, 2010.
VAHDAT, V. S. et al. O futuro da inclusão produtiva: da emergência social
aos caminhos pós-pandemia. Brasília: Instituto Veredas, 2020. Disponível em:
<https://bit.ly/329v9uH>.
WORLD BANK. Stagnant Poverty Reduction in Latin America. Poverty and
inequality monitoring: Latin America and the Caribbean. [S.l.]: World Bank
Group, 2018. Disponível em: <https://bit.ly/3qH9p3o>. Acesso em: 16 jan. 2021.
______. Effects of the business cycle on social indicators in Latin America and
the Caribbean: when dreams meet reality. Washington: World Bank, Apr. 2019.
Disponível em: <https://bit.ly/3Do6iky>. Acesso em: 4 maio 2019.
______. Productive inclusion in Latin America: policy and operational les-
sons. World Bank, Washington: World Bank, 2020. Disponível em: <https://bit.
ly/3oD6ciC>. Acesso em: 15 jan. 2021.
CAPÍTULO 25
O USO DAS EVIDÊNCIAS NAS POLÍTICAS BRASILEIRAS

DE CIÊNCIA, TECNOLOGIA E INOVAÇÃO
Flávia de Holanda Schmidt1
Adriana Bin2
Lissa Vasconcellos Pinheiro3
Fernanda De Negri4
1 INTRODUÇÃO
As expectativas em torno dos resultados das políticas científicas, tecnológicas e de
promoção da inovação costumam ser altas e, por vezes, ultrapassam os próprios
objetivos para as quais foram desenhadas. Espera-se que essas políticas gerem
avanços significativos do conhecimento, mais inovação e, consequentemente, mais
crescimento econômico e ganhos de produtividade. Não é por acaso, portanto,
que os resultados efetivamente obtidos pelo gasto público em ciência, tecnologia e
inovação (CT&I) tenham ganhado centralidade no debate público recente (Dosso,
Martin e Moncada-Paternò-Castello, 2018).
Avaliar adequadamente os resultados das políticas de CT&I tem alguns de-
safios específicos. Em primeiro lugar, o horizonte temporal de interesse dos policy
makers tende a ser de curto prazo, em contraste claro com o horizonte de resposta
dos investimentos das políticas de desenvolvimento científico e tecnológico, cujos
retornos esperados frequentemente são de longo prazo. Isso torna o ambiente
institucional pouco compatível com uma agenda governamental de longo prazo
realmente comprometida com o tema. Em segundo lugar, a própria compreensão,
pela sociedade, do que é e de como pode ser mensurada a produção de conheci-
mento é limitada, assim como o entendimento dos seus efeitos de longo prazo
sobre a economia e a qualidade de vida da população. Os próprios elementos que
fazem parte das políticas ou do mix de políticas de CT&I são complexos, e uma
1. Técnica de planejamento e pesquisa na Diretoria de Estudos e Políticas de Estado, Instituições e Democracia (Diest)
do Ipea. E-mail: <flavia.schmidt@ipea.gov.br>.
2. Professora doutora da Faculdade de Ciências Aplicadas da Universidade Estadual de Campinas (FCA/Unicamp) na área
de administração; docente permanente dos programas de pós-graduação em administração (PPGAs) da FCA/Unicamp e
do Departamento de Política Científica e Tecnológica do Instituto de Geociências (DPCT/IG) da Unicamp; e coordenadora
associada do Laboratório de Estudos sobre Organização da Pesquisa e da Inovação (Lab-GeopiI).
3. Mestranda em política científica e tecnológica no DPCT/IG/Unicamp.
4. Técnica de planejamento e pesquisa da Diretoria de Estudos e Políticas Setoriais de Inovação, Regulação e Infraestrutura
(Diset) do Ipea e coordenadora do Centro de Pesquisa em Ciência, Tecnologia e Sociedade do Ipea.
sociedade precariamente informada sobre o tema é menos capaz de acompanhar

e cobrar resultados sobre as escolhas feitas por seus representantes. Por sua vez, os
últimos anos vêm assistindo a um entendimento social mais ampliado da ciência
como um ator político, mais marcadamente a partir dos debates sobre mudança
climática. Esse movimento parece ter sido exponenciado desde 2020, a partir da
pandemia decorrente do Sars-CoV-2.
Constrói-se, então, um cenário em que é razoável supor que as políticas de
desenvolvimento científico e tecnológico passem a ser discutidas, doravante, sob
escrutínio maior da sociedade e dos atores políticos, ainda que não necessariamente
com compreensão mais ampliada e bem informada sobre o tema e a complexidade
das relações entre essas políticas e seus resultados (Barker, 1994). Ao precário nível
de informação preexistente, somam-se agora esforços de desinformação, com falsas
controvérsias e dicotomias inseridas no debate público.
Outro desafio importante para o avanço da agenda de CT&I no Brasil é
o cenário arrastado de crise nas contas públicas do país e de restrições ao cres-
cimento. Tradicionalmente, os ciclos econômicos recessivos no Brasil têm sido
marcados pela desestruturação das atividades inovadoras e científicas, com queda
nos investimentos mais que proporcionais à queda da renda (De Negri, 2020).
Esse contexto, como em outras áreas da ação do Estado, aproxima o processo de
produção de políticas públicas em CT&I do movimento das políticas públicas
baseadas em evidências (PPBEs).
Este capítulo tem por objetivo analisar como funciona a interação entre a oferta e
a demanda por evidências na área de CT&I para o caso brasileiro. Inserido no projeto
O que Informa as Políticas Públicas Federais: o uso e o não uso de evidências pela
burocracia federal brasileira, esta proposta atende ao marco inicial do projeto (Pinheiro,
2020a), que sugere que a agenda de pesquisa contemplasse casos de diferentes áreas de
política, regiões geográficas, instituições, graus de importância na agenda de políticas
públicas, temporalidades e fases do ciclo das políticas públicas, atores interessados e
outras. Adicionalmente, iniciativas promotoras da abordagem de PPBEs na área de
CT&I no país não foram identificadas por Sandim e Machado (2020).
Além desta introdução, este capítulo está organizado em quatro seções. A se-
gunda seção traz um panorama atualizado sobre as políticas adotadas pelo Brasil no
período recente, com o objetivo de promover a ciência, a tecnologia e a inovação. Na
terceira, é realizada uma discussão sobre alguns requisitos importantes para o uso de
evidências no processo de produção de políticas de CT&I: mandato institucional,
disponibilidade de dados para realização de avaliações e, por fim, uma análise da oferta
de evidências no campo – com especial ênfase para avaliações. A quarta seção traz
uma análise sobre os usos de diferentes fontes de evidências pela burocracia que atua
nas políticas de CT&I. O texto encerra-se com uma seção de considerações finais.
O Uso Das Evidências nas Políticas Brasileiras de Ciência, Tecnologia e Inovação | 773
2 AS POLÍTICAS PÚBLICAS PARA CT&I NO BRASIL

Antes de analisar o uso de evidências nas políticas públicas de CT&I no Brasil, é
necessário circunscrever quais são as políticas ou os instrumentos mais relevantes,
a fim de buscar as evidências disponíveis para tais políticas.
A descontinuidade das políticas públicas para CT&I é um dos fatores que
dificulta seu processo de monitoramento e avaliação. A despeito das constantes
mudanças nos nomes de políticas e programas de suporte à CT&I, os instrumentos
disponíveis (crédito, subvenção, incentivos fiscais etc.) para essas políticas são rela-
tivamente estáveis e, por isso, são mais propícios a servir de base para essa análise.
É fato que, nas últimas décadas, o Brasil constituiu um sistema de suporte à ati-
vidade inovativa relativamente amplo. Os instrumentos utilizados pelo país vão desde
subvenções diretas à pesquisa científica nas universidades e instituições de pesquisa
ou nas empresas, até incentivos fiscais e crédito subsidiado para empresas inovadoras.
Um dos principais marcos na política de suporte e financiamento à inova-
ção no Brasil foi a criação dos fundos setoriais, em 1999. Os fundos pretendiam
reduzir a instabilidade dos recursos orçamentários destinados à CT&I, por meio
da criação de tributos vinculados, arrecadados de vários setores econômicos, para
o financiamento de suas atividades de pesquisa e desenvolvimento (P&D). Assim,
por exemplo, parte dos royalties arrecadados pela exploração de petróleo constituiu
o primeiro desses fundos, o Fundo Setorial do Petróleo (CT-Petro), cujo objetivo
era financiar o desenvolvimento tecnológico do setor. Ao longo da primeira me-
tade dos anos 2000, diversos outros fundos foram criados, e os fundos setoriais,
agregados sob o guarda-chuva do Fundo Nacional de Desenvolvimento Científico
e Tecnológico (FNDCT), constituíram-se em uma das principais fontes de recursos
do orçamento federal para a pesquisa científica e tecnológica no Brasil.
Embora a concessão de subvenções para a realização de pesquisa científica
em universidades já fosse relativamente comum no país, apenas em 2004 esse
instrumento passou a ser utilizado por empresas. A Lei de Inovação, aprovada na-
quele ano, permitiu que o Estado brasileiro concedesse subvenção para a inovação
tecnológica diretamente para empresas inovadoras. Além disso, a lei possibilitou
que empresas contratassem projetos de pesquisa de universidades e institutos pú-
blicos de pesquisa no país, regulando, entre outras coisas, a propriedade intelectual
derivada desses contratos.
Incentivos fiscais amplos e simplificados para investimentos em P&D somente
foram criados em 2006, com a aprovação da chamada Lei do Bem. Além de uma
série de outros estímulos à produção, a lei instituiu um sistema simplificado de
incentivos fiscais para empresas que investirem em P&D. Além dos incentivos pre-
vistos pela Lei do Bem, existem alguns outros classificados pela Receita Federal do
Brasil (RFB), como voltados à inovação. O principal destes é a Lei de Informática,
cujos objetivos, contudo, são muito mais diversificados e vão desde a geração de
empregos no setor até o investimento em P&D, passando por requisitos de con-
teúdo local mínimo para a indústria nacional.
Historicamente, o crédito subsidiado tem sido utilizado como instrumento
de políticas de desenvolvimento no país, principalmente pelo Banco Nacional de
Desenvolvimento Econômico e Social (BNDES). O crédito subsidiado, voltado
explicitamente para inovação é, contudo, um instrumento mais recente. Em 2013,
foi lançado um amplo programa de crédito para inovação, operado pela Financia-
dora de Estudos e Projetos (Finep), principal agência de fomento à CT&I no país
e responsável pela operação do FNDCT e pelo BNDES.
Além disso, o Brasil estabelece obrigações de investimento em P&D para
empresas que atuam em setores regulados, particularmente no setor de petróleo e
no setor elétrico. Embora sejam recursos investidos pelas próprias empresas con-
cessionárias, esses programas são gerenciados pelas respectivas agências regulatórias:
Agência Nacional do Petróleo (ANP) e Agência Nacional de Energia Elétrica (Aneel).
TABELA 1
Recursos disponibilizados em programas de suporte à inovação no Brasil (2018)
(Em R$ 1 milhão)
Programa Responsável Valor disponível
BNDES 1.800
Crédito subsidiado para inovação Finep 2.430
Total 4.230
Lei do Bem (inovação) 2.131
Incentivos fiscais para inovação Lei de Informática 5.745
Total1 10.207
Aneel 805
P&D compulsório ANP 2.016
Total 2.821
Federais 13.502
Investimentos públicos em P&D – exceto pós-graduação Estaduais 3.588
Total 17.090
Total geral – recursos disponibilizados para as políticas de CT&I 34.348
Fontes: Relatório anual do BNDES (2018), disponível em: <https://is.gd/UFXIQp>; Demonstrações financeiras da Finap (2018);
Indicadores nacionais de C&T do Ministério da Ciência, Tecnologia e Inovações (MCTI), da ANP, da Aneel e demonstrativo
de gastos tributários da RFB (2018).
Nota: 1 O total inclui outros incentivos fiscais de menor valor, não reportados na tabela.
Obs.: 2018 é o último ano para o qual há informações sobre os orçamentos federal e estaduais em P&D.
A tabela 1 detalha o volume de recursos disponíveis nos principais instru-

mentos de suporte à inovação existentes no país. O maior volume de recursos é
constituído pelo orçamento federal aplicado em P&D, que inclui tanto os fundos
setoriais como diversos outros programas e instituições criadas ao longo dos últimos
anos. Nesse orçamento, estão, por exemplo, os recursos destinados aos institutos
públicos de pesquisa vinculados ao MCTI (dezesseis unidades de pesquisa da
administração direta e seis organizações sociais regidas por contratos de gestão) e
a outros ministérios, tais como a Fundação Oswaldo Cruz (Fiocruz) e a Empresa
Brasileira de Pesquisa Agropecuária (Embrapa). A mais recente dessas instituições
é a Empresa Brasileira de Pesquisa e Inovação Industrial (Embrapii), organização
social (OS) criada em 2014, que funciona como uma espécie de agência de fomento
e cujo modelo se inspirou na bem-sucedida fundação Fraunhofer, da Alemanha.
A Embrapii apoia projetos de pesquisa de interesse de empresas, aportando, na
forma de subvenção, recursos de até um terço do valor do projeto, que deverá ser
desenvolvido por instituições de pesquisa credenciadas. Embora com orçamento
relativamente baixo, esse foi um modelo inovador no arcabouço das instituições
de suporte à P&D no país.
No orçamento federal, também estão incluídos os recursos destinados a bolsas
de graduação e pós-graduação, concedidas pelo Conselho Nacional de Desenvolvi-
mento Científico e Tecnológico (CNPq) e pela Coordenação de Aperfeiçoamento
de Pessoal de Nível Superior (Capes).
Muitos programas e políticas de suporte à CT&I criados e por vezes extintos
ao longo dos últimos anos foram financiados com base nesses recursos orçamentá-
rios. O programa Ciência sem Fronteiras, por exemplo, criado em 2011 e extinto
em 2017, utilizou recursos do orçamento do CNPq e dos fundos setoriais. Assim,
foram vários outros programas criados ou modificados ao longo de vários governos.
Esse quadro geral dos recursos disponíveis para a P&D no país fornece, portan-
to, um contexto mais geral para as avaliações de diferentes políticas e programas
realizadas nos últimos anos.
Vale notar também alguns instrumentos que são menos frequentes no caso
brasileiro, embora amplamente utilizados em outros países. O uso do poder de
compra do governo para estimular a inovação, por exemplo, ainda é incipiente no
país. As encomendas tecnológicas, embora tenham sido previstas na Lei de Ino-
vação, em 2004, ainda são muito pouco utilizadas.5 A recente mudança pela qual
passou a lei de licitações criou novos mecanismos pelos quais se pode utilizar as
compras públicas como instrumento de estímulo à inovação (Rauen, 2021), entre
os quais: i) as margens de preferência, pelo qual o poder público pode aumentar
em até 20% os preços de produtos e serviços cujo desenvolvimento tecnológico
tenha sido realizado no país; ii) diálogos competitivos, que preveem a apresentação
de soluções diferenciadas para um problema a ser resolvido pelo poder público e;
iii) os prêmios para inovação.
5. Para mais detalhes, ver Rauen (2017b).

Outro instrumento pouco utilizado no país são os investimentos públicos

diretos em negócios inovadores, por meio de fundos de venture capital ou de
investimento em participações. A Finep e o BNDES utilizam parte dos recursos
disponíveis para a inovação em fundos dessa natureza. No entanto, esse tipo de
investimento ainda é muito baixo em comparação com as políticas de crédito ou
de subvenção implementadas pelas duas instituições.
Por fim, é importante considerar os investimentos estaduais em P&D, que
somaram, em 2018, cerca de R$ 3,6 bilhões. Esses investimentos são predominan-
temente executados por meio das fundações de amparo à pesquisa (FAPs) estaduais
e são mais relevantes em estados como São Paulo, Rio de Janeiro e Minas Gerais,
que respondem por parcela significativa desse orçamento.
3 REQUISITOS PARA A AVALIAÇÃO E USO DE EVIDÊNCIAS EM POLÍTICAS

DE CT&I: O CENÁRIO BRASILEIRO
As pesquisas sobre o uso da avaliação em políticas públicas estão amplamente foca-
das nos tipos de uso dessas avaliações, bem como nos fatores e nas condições que
afetam tal uso. No entanto, a literatura é predominante em políticas e programas
nas áreas da saúde, educação e serviço social. No que diz respeito aos estudos sobre
o uso da avaliação em programas e políticas de CT&I, há maior escassez, tendo
como pano de fundo a própria complexidade da produção dessas avaliações (Edler
et al., 2012; Streicher, 2017; Milzow et al., 2019).
O apelo por mais evidências sobre eficiência das políticas de CT&I – dado o
esforço crescente dos diferentes países para desenvolver suas capacidades científicas e
tecnológicas e de inovação – acelerou a atividade de avaliação no campo. Contudo,
a política de ciência, tecnologia e inovação é caracterizada por objetivos múltiplos
e por interações com um portfólio de políticas mais amplo, em vários níveis (policy
mix) (Edler et al., 2008). Essa característica, combinada com a diversidade de instru-
mentos da política de CT&I, impõe alta complexidade para exercícios de avaliação,
pois fazer uso de abordagens específicas para avaliar políticas sistêmicas pode ser
um obstáculo para capturar os efeitos desse policy mix (Magro e Wilson, 2013).
Essa dificuldade intrínseca da avaliação em CT&I é um risco à qualidade e à
validade dos resultados, podendo ser mais um obstáculo para o uso das evidências
que a prática avaliativa pode oferecer. Contudo, isso não elimina a existência de
avaliações robustas e competentes para oferta de evidências. Sobre isso, pesquisas
conduzidas recentemente apontam para o uso das avaliações de CT&I para alguns
fins específicos: para alterar o design da política avaliada; para formulação das políti-
cas futuras (Edler et al., 2012); para o aprimoramento da política (Streicher, 2017);
para legitimar a tomada de decisão sobre as políticas; e para dar direcionamento
ao planejamento futuro dos programas (Milzow et al., 2019).
Apesar dessas considerações, é importante ressaltar que o uso da avaliação é

apenas mais uma peça no quebra-cabeça de informações e dados que os formula-
dores e implementadores das políticas utilizam para o planejamento e a tomada
de decisões, como as discussões que se seguem pretendem apresentar.
Nesse sentido, é importante destacar que, para que as políticas sejam avalia-
das de forma sistemática, são necessários ao menos dois requisitos fundamentais.
Primeiro, é preciso que existam instituições com mandato para realizar esse tipo
de avaliação. Caso contrário, estas serão realizadas de forma esporádica, como
resultado do esforço e da iniciativa individual de pesquisadores interessados no
tema. É preciso, também, que os órgãos formuladores e executores das políticas
públicas detalhem, no próprio desenho da política, seus objetivos e resultados a
serem obtidos, para que posteriormente esses resultados sejam analisados pelas
instituições responsáveis por proceder à avaliação.
Outro requisito crítico para o processo de avaliação é a existência de indi-
cadores e informações abrangentes e transparentes sobre a política. Informações
detalhadas a respeito de valores investidos, beneficiários e resultados alcançados
são parte fundamental do processo de avaliação. Esta seção buscará analisar como
esses requisitos são preenchidos no caso das políticas de CT&I brasileiras.
3.1 Mandato institucional para realização de avaliações

A avaliação de políticas públicas passou por diversas evoluções institucionais,
no Brasil, no período recente, refletindo inflexões dos movimentos do Estado.
Recupera-se aqui mais marcadamente o período pós-2015, com a instituição,
nesse ano, da Comissão Especial de Reforma de Estado, com o objetivo de
propor aos órgãos da administração pública federal medidas para aumentar a
eficiência na gestão e reduzir os custos administrativos, a subsequente instituição
do Novo Regime Fiscal, previsto na Emenda Constitucional (EC) no 95/2016
(Brasil, 2016b), e a simultânea intensificação dos debates sobre governança na
administração,6 de ordem proeminentemente prescritiva e formal. É nesse contexto
que foi inicialmente criado, por esse mesmo núcleo de governo, ainda em 2016,
o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP), por
meio de Portaria Interministerial, naquele momento ainda denominado como
Comitê de Monitoramento e Avaliação de Políticas Públicas.7
Desde o ciclo de 2020, dezesseis políticas têm sido objeto de avaliação anualmente,
sendo que oito foram selecionadas entre as executadas por gastos diretos e oito, por
subsídios da União. Até o momento, o CMAP já promoveu avaliações de algumas das
principais políticas de CT&I no país; entre estas, a Lei de Informática e o FNDCT.
6. O Decreto no 9.203, de 22 de novembro de 2017 (Brasil, 2017), dispõe sobre a política de governança da administração
pública federal direta, autárquica e fundacional.
7. Portaria Interministerial no 102, de 7 de abril de 2016.
Além do CMAP, o decreto de regulamentação do Plano Plurianual (PPA)

2020-2023 (Brasil, 2020b) define que o fato de os programas constantes do pla-
no poderem ser objeto de avaliação pelo CMAP não desobriga o órgão gestor da
política pública de realizar outras avaliações das políticas em execução, “com o
intuito de buscar o seu aperfeiçoamento permanente”.
Na Política Nacional de Inovação, recentemente instituída pelo Decreto no
10.534, de 28 de outubro de 2020 (Brasil, 2020a), há também a previsão de que
os planos setoriais e temáticos de inovação devem prever a “metodologia de moni-
toramento e de avaliação de resultados e de impactos, acompanhada da definição
de indicadores quantitativos mensuráveis” e, analogamente, de que à Câmara de
Inovação compete estabelecer a “metodologia, os critérios e os indicadores de
avaliação e de monitoramento da Política Nacional de Inovação e de seus instru-
mentos (Brasil, 2020a, arts. 8o e 10)”. Existe também a definição de que todos os
programas e instrumentos adotados no âmbito da política devem ter mecanismos
de avaliação alinhados com as prescrições legais sobre governança pública em vigor
e adotar como referência os guias de análise ex ante e avaliação ex post.
Há de se destacar que, embora os mecanismos de avaliação previstos na Política
Nacional de Inovação sejam de grande relevância, não constituem algo inédito.
Duas tentativas anteriores nessa mesma direção foram o lançamento, pelo MCTI,
da Política de Monitoramento e Avaliação (Pama) em 2013, ou, mais recentemen-
te, em 2015, a aprovação do Modelo Integrado de Avaliação Global (MAG) do
FNDCT. Foram esforços importantes para a institucionalização da avaliação de
políticas de CT&I no país, que trazem um legado importante para o esforço que
se desenha atualmente nessa direção.
Na subseção 3.3 deste capítulo, são analisados dados de avaliações revisitadas
para o período 2006-2020, as quais indicam que, para o período imediatamente
anterior à formalização do CMAP, tanto os próprios órgãos realizavam interna-
mente avaliações (MCTI e Finep) – em escala bastante menor – ou mobilizavam
parcerias externas para tanto, quanto avaliações vinham sendo realizadas por livre
iniciativa em instituições diversas, incluindo-se oito universidades, o Ipea, o Centro
de Gestão e Estudos Estratégicos (CGEE), o BNDES e o Senado Federal.
No contexto desse trabalho, é especialmente importante destacar o papel do
Ipea e do CGEE. A análise do quadro nacional indica um forte protagonismo,
no período analisado, do Ipea em relação ao total de avaliações realizadas em
políticas de CT&I. Sendo uma autarquia atualmente vinculada ao Ministério da
Economia (ME), o instituto tem como missão “Aprimorar as políticas públicas
essenciais ao desenvolvimento brasileiro, por meio da produção e disseminação
de conhecimentos e da assessoria ao Estado nas suas decisões estratégicas”.8
8. Disponível em: <https://bit.ly/3542Ork>.

Desde o início dos anos 2000, a agenda de pesquisas sobre políticas de CT&I –
uma entre diversas áreas de pesquisa da instituição, considerado o principal think
tank governamental do país – desenvolvida no Ipea tem sido bastante robusta e
consistente ao longo do tempo.
Além do Ipea, o Brasil conta ainda com o CGEE, uma OS que tem como
objetivo “a promoção e realização de estudos e pesquisas prospectivas na área de
ciência e tecnologia e atividades de avaliação de estratégias e de impactos econô-
micos e sociais das políticas, programas e projetos científicos e tecnológicos”,9 cujo
contrato de gestão é firmado com o MCTI. Originalmente constituído para realizar
prospecção tecnológica e dar suporte às secretarias técnicas de cada fundo setorial,
passou – na prática e com o passar do tempo e das reconfigurações do ambiente
institucional em que se desenrola a política de CT&I – a funcionar mais como
um think tank vinculado às diretrizes que emanavam do MCTI e menos ligado
diretamente aos comitês gestores. Com efeito, a missão atual do CGEE – “subsi-
diar processos de tomada de decisão em temas relacionados à ciência, tecnologia e
inovação, por meio de estudos em prospecção e avaliação estratégica baseados em
ampla articulação com especialistas e instituições do Sistema Nacional de Ciência,
Tecnologia e Inovação (SNCTI)”10 – é, em grande medida e de modo focado ao
interesse do SNCTI, bastante aproximada à do Ipea no que concerne ao foco na
produção de conhecimento voltado ao assessoramento governamental.
Há, assim, um quadro nacional que, para além das universidades públicas
e particulares, conta com duas instituições na esfera governamental federal com
papéis claramente ligados à produção de conhecimento, com o objetivo de subsidiar
a produção de políticas públicas na área. Adicionalmente, outras instituições do
governo, como o BNDES, a Câmara dos Deputados e o Senado Federal, além dos
próprios órgãos do SNCTI (MCTI e Finep), desenvolvem estudos sobre avaliação
da política de CT&I e de seus instrumentos.
Considerando-se que a existência dessas instituições indicaria uma condição de
oferta de evidências, poderia parecer razoável supor que os potenciais demandantes
(policy makers) estariam assim prontos e ávidos por usar esse conhecimento para
produzir políticas mais efetivas. Contudo, se a literatura em políticas de CT&I já
avançou no que concerne ao modelo no qual a transformação do conhecimento
científico em tecnologia e sua apropriação pela sociedade são concebidas de forma
linear, analogamente Boswell e Smith (2017) argumentam que esperar esse modelo
linear no processo de produção de políticas seria simplista e pouco adequado para
captar a complexidade da relação entre conhecimento e políticas públicas, como
já discutido na seção 2 deste capítulo.
9. Disponível em: <https://bit.ly/3Hhyd72>.

10. Disponível em: <https://bit.ly/3Hhyd72>.
Assim, é razoável supor que a existência dessa estrutura e arranjo institucional

para realização de avaliações são condições necessárias, mas não suficientes, para
sua plena utilização pelos atores de interesse. Desse modo, investigações mais
específicas, inclusive de caráter experimental, podem ser usadas para avaliar mais
especificamente as evidências disponibilizadas.
3.2 Disponibilidade de dados e informações transparentes

A disponibilidade de dados e informações transparentes, em quantidade e qua-
lidade suficientes, é crucial para as atividades de monitoramento e avaliação das
políticas públicas. Nesse aspecto, ainda existem enormes desafios para a avaliação
de políticas de CT&I.
O primeiro desses desafios diz respeito à própria mensuração dos resultados – ou
outcomes – das políticas, que nem sempre são tão facilmente mensuráveis. O objetivo
final das intervenções públicas em CT&I é a produção de conhecimento e inovações,
bem como a formação de mão de obra altamente qualificada (cientistas e pesquisadores).
Como se avalia a produção de conhecimento? A literatura costuma utilizar o número de
publicações científicas como proxy do conhecimento produzido, mas certamente nem
todo o conhecimento pode ser mensurado por essa variável. Além disso, o impacto e a
importância desse novo conhecimento também não são facilmente reconhecíveis. Um
indicador que a literatura especializada utiliza para driblar essa limitação é o número de
citações dos artigos científicos publicados. Parte-se do pressuposto que quanto melhor
e mais relevante é o conhecimento produzido, mais este será utilizado – e citado – por
outros cientistas.
A despeito dos avanços recentes possibilitados pelas pesquisas de inovação
ao redor do mundo, a mensuração da atividade inovativa ainda é um desafio.
Basicamente, a estratégia dessas pesquisas segue o Manual de Oslo, que conceitua
inovação como o lançamento, no mercado, de um produto ou processo novo
ou substancialmente aprimorado. A estratégia para identificar e mensurar a
inovação consiste em perguntar às próprias empresas se estas realizaram algum
tipo de inovação em determinado período. As patentes também constituem um
indicador relevante e bastante objetivo de inovação, mas claramente insuficiente.
O patenteamento costuma ser utilizado para proteger tecnologias cuja replica-
bilidade seria muito simples. Nesse sentido, este é mais fortemente utilizado em
algumas atividades econômicas, como a saúde, em que os custos de pesquisa são
muito elevados, e, uma vez desenvolvido um produto ou processo, este pode ser
facilmente reprodutível pelos competidores. Existe uma infinidade de inovações,
contudo, que não são patenteadas e que são protegidas de outras formas, como o
segredo industrial. Outra maneira, talvez mais objetiva, de mensurar a inovação,
é medindo os esforços realizados pelas empresas para inovar – ou seja, os inves-
timentos empresariais em P&D. Embora o investimento seja um indicador de
esforço, do ponto de vista das políticas públicas, muitas vezes este é o resultado
esperado. Muitas das políticas de CT&I têm como objetivo explícito ampliar os
investimentos empresariais em P&D.
A formação de pesquisadores e cientistas talvez seja o resultado mais facilmente
mensurável dessas políticas, por meio da quantificação do número de mestres e
doutores formados pelas instituições brasileiras em várias áreas. Nesse sentido, o
resultado da política é seu próprio investimento. O número de bolsas de mestrado
e doutorado concedidas pelo CNPq todos os anos é, ao mesmo tempo, indicador
de gasto e resultado. É claro que, pelo número total de mestres e doutores forma-
dos, não é possível inferir a qualidade dessa formação, que também é um aspecto
relevante na avaliação das políticas. Por sua vez, a qualidade da formação de pessoal
qualificado também é resultado de diversos outros fatores, tais como as políticas
educacionais do país e até mesmo do perfil socioeconômico da população.
De toda forma, aqui já temos um conjunto de indicadores imediatos comu-
mente utilizados para a avaliação das políticas de CT&I, quais sejam: i) número
de patentes depositadas; ii) número de empresas inovadoras; iii) investimentos
empresariais em P&D; iv) número de publicações científicas; v) citações – ou im-
pacto – dessas publicações; e vi) número de mestres e doutores formados. De modo
geral, políticas de CT&I bem-sucedidas terão efeitos em algumas dessas variáveis.
O segundo desafio diz respeito ao nível em que se espera que a política tenha
resultados e impactos – ou seja, se a política deve afetar, entre dois extremos, o de-
sempenho dos beneficiários ou do país como um todo. De modo geral, a forma de
aferir se uma política foi bem-sucedida é comparar o desempenho dos beneficiários
diretos daquela intervenção com um grupo de controle de não beneficiários. Se o
desempenho do primeiro grupo for melhor, em qualquer dos indicadores medidos,
significa que a política teve o efeito desejado. Essa é a opção usual nas avaliações por
razões óbvias. Ampliar a inovação no país ou sua participação na produção científica
mundial, por exemplo, depende de múltiplos fatores além da política a ser avaliada.
Da mesma forma, não se pode esperar das políticas de CT&I que sejam capazes de,
diretamente, aumentar a competitividade do país no comércio internacional ou a
produtividade da indústria nacional. Esses resultados não são outcomes diretos das
políticas avaliadas, e sim efeitos de diversos outros fatores intervenientes, tais como
a infraestrutura, a taxa de câmbio, o ambiente de negócios etc.
Por fim, o terceiro desafio diz respeito à existência de dados e informações
sobre a execução da política e seus beneficiários, que deveriam ser transparentes
e divulgados de maneira consistente, com o objetivo de facilitar o processo de
avaliação. Os principais indicadores divulgados pelo MCTI, em seu portal, são
indicadores nacionais, tais como investimentos em P&D (públicos e empresariais),
produção científica do país, recursos humanos disponíveis, patentes, dados gerais
sobre inovação, entre outros. São absolutamente necessários, mas não têm o objetivo
de fornecer informações úteis para o processo de avaliação das políticas públicas na

área. Faltam informações sistematizadas sobre a execução das políticas do ministério,
seus beneficiários, áreas de concentração, entre outros exemplos que seriam funda-
mentais para um processo constante de monitoramento e avaliação dessas políticas.
Em 2012, já havia o diagnóstico de que era necessário aprimorar a geração
e o tratamento das informações sobre as políticas de CT&I implementadas pelo
ministério, consolidando estatísticas sobre beneficiários, recursos aplicados e re-
sultados obtidos pelas políticas (De Negri, 2013). Naquela época, o ministério fez
uma tentativa de superar esses gargalos por meio de duas estratégias com objetivos
muito similares: o Monitor de Políticas Públicas de CT&I e a Plataforma Aquarius.
A ideia do monitor era simplesmente consolidar e disponibilizar estatísticas sobre as
políticas públicas implementadas pelo MCTI que estavam dispersas nas suas várias
agências. A Plataforma Aquarius tinha objetivos mais ousados, de ser uma espécie de
plataforma de business inteligence (BI), em que os dados e os painéis seriam atualizados
em tempo real, por meio da interconexão de vários sistemas. O ministério, contudo,
não dispunha – e ainda não dispõe – de sistemas interconectados, o que obviamente
era um pré-requisito para a criação de uma plataforma como aquela. A relação de
beneficiários de várias das políticas implementadas é, muitas vezes, armazenada em
planilhas pela secretaria ou agência responsável pela implementação da política.
A incapacidade do ministério em sistematizar, organizar e tratar as infor-
mações básicas das políticas implementadas continua sendo um gargalo para o
efetivo monitoramento e avaliação das políticas de CT&I. As informações sobre
a execução orçamentária estão disponíveis no Sistema Integrado de Administração
Financeira do Governo Federal (Siafi). Em várias políticas, contudo, tais como
bolsas implementadas pelo CNPq ou projetos apoiados pelo FNDCT, o Siafi não
evidencia o beneficiário final da política – no caso das bolsas –, ou não traz maiores
informações sobre os projetos apoiados – a exemplo do FNDCT.
As estatísticas sobre bolsas concedidas pelo CNPq costumavam ficar disponí-
veis no site da agência. Até 2014, era possível obter um painel relativamente amplo
de informações sobre os beneficiários das bolsas da agência, bem como a área cien-
tífica, universidade onde o bolsista realizava sua pesquisa no Brasil ou no exterior,
entre outras informações. Atualmente, informações agregadas sobre a concessão de
bolsas estão disponíveis no site de indicadores do MCTI.11 Contudo, não existem
informações públicas sobre os beneficiários, o que é um insumo importante para
a avaliação das políticas nessa área. Considerando-se essas limitações, um esforço
recente – mais especificamente, na avaliação de bolsas da Fundação de Amparo
à Pesquisa no Estado de São Paulo (Fapesp, 2019) – foi justamente o de obter e
integrar dados de diferentes bases (da própria Fapesp, da Capes, da Relação Anual
11. Disponível em: <https://is.gd/8ctDNW>.

de Informações Sociais – Rais, do CV Lattes, do Instituto Nacional de Propriedade

Industrial – Inpi, do Google Scholar, do Scopus, do Dimensions e do Altmetrics),
com o objetivo de mensurar impactos não apenas na produção científica e tecnoló-
gica, mas também na trajetória profissional desses beneficiários – na perspectiva de
ir além dos indicadores tradicionais. No entanto, a ausência de informações públicas
torna esse esforço nada trivial, pois envolve concomitantemente a negociação para o
acesso de bases, o uso de assinaturas institucionais – no caso das bases de produção
científica – e o web crawling. Pode ser uma solução para uma avaliação pontual,
mas certamente não é quando pensamos em avaliações sistemáticas.
Informações sobre projetos apoiados pelo FNDCT, por sua vez, podem ser
encontrados no site da Finep, inclusive com informações sobre o projeto e o bene-
ficiário. Essas informações, contudo, apenas estão disponíveis a partir de 2015.12
Anteriormente, esse tipo de informação detalhada estava disponível no site do MCTI.
No que diz respeito aos incentivos fiscais, os relatórios anuais dos incentivos
fiscais da Lei do Bem são divulgados anualmente pelo ministério, mas apenas de
forma agregada. Nesses relatórios, é possível saber apenas o valor dos incentivos
por setor ou por porte de empresa durante o ano. Nenhuma informação mais
detalhada é divulgada publicamente.
Esses são apenas alguns exemplos da inconstância e da incompletude das
informações disponíveis sobre as políticas de CT&I no Brasil, que tornam muito
difícil avaliar essas políticas de maneira ampla, sistemática e transparente, bem
como dificulta a avaliação por equipes externas ao governo.
3.3 A oferta de evidências em políticas de CT&I no Brasil: mapeamento de

avaliações entre 2006 e 2020
Esta subseção apresenta uma discussão sobre a oferta de evidências em políticas
de CT&I no Brasil nos últimos quinze anos (entre 2006 e 2020), com ênfase em
estudos de avaliação.13 Foram buscados artigos científicos, relatórios de avaliações,
working papers, entre outros tipos de documentos, desde que contivessem uma
descrição da metodologia empregada na avaliação, assim como dos achados da
avaliação realizada. Essa condição é necessária pelo entendimento de que avaliações
resultam de esforços formais, que se concretizam por meio da aplicação de métodos
científicos, tendo-se em vista a análise de processos de implementação, resultados
ou impactos de determinadas intervenções.
12. Disponível em: <https://is.gd/Rq3qNj>.

13. Parte dos achados apresentados nesta subseção é resultado do projeto de pesquisa Avaliação de Políticas de Ciência,
Tecnologia e Inovação na América Latina, financiado pela Fapesp e pelo CNPq. Tal projeto se valeu de uma parceria
com uma iniciativa mais ampla, denominada Science and Innovation Policy Evaluations Repository (Siper), que vem
sendo liderada pelo Fraunhofer Institute for Systems and Innovation Research (ISI) da Alemanha, que tem por objetivo
a construção de um repositório on-line contendo estudos de avaliação de políticas de CT&I e um banco de dados com
informações descritivas e de análise de tais estudos.
Optou-se também, para esta pesquisa, por limitar as buscas a avaliações de de-
terminada política de CT&I, excluindo-se avaliações de organizações de pesquisa ou
de agências de fomento à CT&I. Tal decisão se pautou na natureza significativamente
distinta desse segundo tipo de avaliação, mais orientada ao planejamento e aprendi-
zado de uma organização que aos insumos para a realimentação do ciclo de políticas.
Os documentos foram buscados em quatro fontes principais, a saber:
• sites institucionais de ministérios, órgãos governamentais e agências de
fomento ligadas à CT&I;
• revistas científicas relacionadas aos temas de políticas de C&T e avaliação
em CT&I indexadas na Web of Science, Scopus e Scielo, esta última
tendo em vista a necessidade de consideração de conteúdo local;
• sites de grupos acadêmicos, institutos de pesquisa públicos ou privados, ou
empresas que se dedicam ao estudo ou à prática de avaliação de CT&I; e
• world wide web em geral.
Para orientar as buscas, empregaram-se distintas combinações de palavras
que caracterizam tipos de políticas de CT&I, em consonância com as definições
da subseção anterior, incluindo-se: incentivos fiscais a P&D e inovação; apoio
direto a P&D e inovação; capital de risco e crédito a P&D e inovação; formação e
qualificação, abrangendo-se bolsas; empreendedorismo e inovação; colaboração em
P&D e inovação; compras públicas; e acordos pré-comerciais para P&D e inovação.
Cada um dos resultados das buscas foi analisado, tendo-se em vista o aten-
dimento das condições descritas. Esse esforço resultou em 54 documentos. Um
ponto que chamou atenção é o fato de que vários documentos que usam o termo
avaliação em seus títulos, resumos ou palavras-chave não são de fato avaliações,
mas análises – igualmente importantes – sobre políticas de CT&I. São documentos
que geralmente: i) verificam o perfil de indivíduos, empresas ou outras institui-
ções beneficiadas – que pode ser conferido, por exemplo, em Zucoloto (2010),
Matias-Pereira (2013) e CGEE (2018), sobre a Lei do Bem; ii) realizam síntese
de avaliações realizadas anteriormente – como é o caso, por exemplo, de Araújo
(2012), que apresenta e discute, entre outros aspectos, artigos que avaliam o im-
pacto dos instrumentos de apoio direto da Finep; ou iii) discutem a consolidação
e a evolução de determinada política – consulte-se, por exemplo, Prochnik et al.
(2015), sobre a Lei de Informática.
Entende-se que o número obtido é bastante representativo dos esforços de
avaliação de políticas e programas de CT&I no Brasil para o período considerado,
especialmente quando se consideram os critérios de inclusão de detalhamento
metodológico e apresentação e discussão de resultados. No entanto, há de se
destacar que o objeto aqui tratado é um alvo móvel, uma vez que novos estudos
são divulgados de forma contínua, sendo difícil garantir uma análise exaustiva do
universo real de avaliações.
Ademais, outras três ressalvas são necessárias. A primeira é que nem sempre
ocorre a divulgação pública de resultados de avaliação, em especial quando estamos
tratando de relatórios (literatura cinza). A segunda é que por vezes as publicações –
em especial no caso de artigos científicos – apresentam recortes dos resultados de
uma avaliação, sem mencionar explicitamente sua relação com um esforço de ava-
liação mais abrangente e estruturado. A terceira é que há um conjunto relevante de
trabalhos de avaliação apresentados em eventos, mais difíceis de serem rastreados.
Não há nenhuma tendência evidente ao longo do período que possa in-
dicar aumento ou diminuição do número de avaliações por ano. Há três picos
ao longo do período: sete avaliações em 2008, onze em 2012 e onze em 2019.
Sobre as políticas estudadas, há grande predomínio de avaliações de políticas de
financiamento direto a empresas, incluindo-se auxílios, subsídios e crédito – em
especial, as que têm como objeto programas que usam recursos do FNDCT – e
de políticas de incentivo fiscal; particularmente, a Lei de Informática e a Lei do
Bem, fundamentalmente realizadas ex post. Há também um conjunto relevante de
pesquisas de programas variados da Fapesp, instituição que se destaca não apenas
em termos de investimentos estaduais em CT&I, mas também em seus esforços
de sistematização da avaliação de resultados e impactos de seus programas. Um
detalhamento das políticas estudadas é apresentado na tabela 2.
TABELA 2
Tipo de política avaliada – Brasil (2006 e 2020)
Políticas avaliadas Quantia
Fundos setoriais – incluindo-se subvenção econômica. 13

Crédito subsidiado para inovação (Finep). 2
Outros programas da Finep, como o Programa de Pesquisas em Saneamento Básico (Prosab), o Programa de Apoio à
4
Pesquisa em Empresas (Pappe) e apoio à pesquisa em institutos de ciência e tecnologia (ICTs).
Incentivos fiscais (Lei do Bem e Lei de Informática). 10
Programas do BNDES, como o Programa de Apoio ao Desenvolvimento da Cadeia Produtiva Farmacêutica (Profarma),
o Programa para o Desenvolvimento da Indústria Nacional de Software e Serviços de Tecnologia da Informação 3
(Prosoft) e o Fundo de Desenvolvimento Técnico-Científico (Funtec).
Programas da Fapesp, como o Programa Equipamentos Multiusuários (EMU), Programa de Pesquisas em Caracteri-
zação, Conservação e Uso Sustentável da Biodiversidade (Biota), Programa Pesquisa Inovativa na Pequena e Micro
8
Empresa (Pipe), Programa de Apoio à Pesquisa em Parceria para a Inovação Tecnológica (Pite), Programa Políticas
Públicas (PPP), Programa de Apoio ao Jovem Pesquisador (JP) e acordos de cooperação internacional.
Programa de Pesquisa e Desenvolvimento Tecnológico do Setor de Energia Elétrica 1
Rede Nacional de Ensino e Pesquisa (RNP) 1
Embrapii 1
(Continua)
(Continuação)
Políticas avaliadas Quantia
Compras governamentais 1
Mix de políticas para inovação em empresas 2
Bolsas (iniciação científica, mestrado e doutorado) 3
Programa Ciências Sem Fronteiras 2
Programa de Apoio ao Desenvolvimento Tecnológico da Empresa Nacional (Adten) 2
Programa de Desenvolvimento Tecnológico Industrial (PDTI) 1
Fonte: Dados do projeto Avaliação de Políticas de Ciência, Tecnologia e Inovação na América Latina.
Elaboração das autoras.
São achados compatíveis com as conclusões de Rauen (2017a), em sua tentativa

de caracterizar um conjunto recente – dos últimos cinco anos – de esforços federais
destinados à avaliação das políticas de inovação no país. O autor aponta que há
lacunas em termos de frequência de avaliações, assim como de seu escopo, uma
vez que não cobrem todo o espectro de políticas que vêm sendo implementadas
no país, havendo predominância de avaliações do FNDCT, da Lei de Informática
e da Lei do Bem.
No que concerne à condução dos exercícios de avaliação, chama atenção
o caráter externo e independente das equipes responsáveis: 56% das avaliações
enquadram-se nessa categoria – ou seja, avaliadores e respectivas instituições de
vínculo não são diretamente relacionados com os processos de gestão da política
avaliada e não fazem parte do governo.
São avaliações conduzidas por docentes e pesquisadores de universidades,
entre as quais se destacam a Universidade Estadual de Campinas (Unicamp),
responsável pela condução de dezessete avaliações entre as 53 identificadas, a
Universidade Federal de Uberlândia (UFU), encarregada de cinco avaliações no
conjunto identificado, e a Universidade de São Paulo (USP), com três avaliações.
Em uma categoria intermediária (26% das avaliações), enquadram-se ava-
liações conduzidas por equipes externas à gestão da política, mas que possuem
vínculo com o governo. O destaque aqui fica por conta do Ipea, que aparece na
autoria de nove das avaliações identificadas no período, além do Centro de Gestão
e Estudos Estratégicos (CGEE), do Senado Federal, e do CMAP – já no escopo
das iniciativas recentes destacadas na subseção 3.1.
No outro extremo, há um conjunto de avaliações (19% do total) que foi con-
duzido por equipes internas e diretamente vinculadas à gestão da política avaliada,
a saber: BNDES; Finep (seja de forma autônoma ou em parceria com o Ipea, o
CGEE e a Pontifícia Universidade Católica do Rio de Janeiro – PUC-RJ); MCTI
(com a Universidade do Estado de Santa Catarina – Udesc); e Rede Nacional de
Ensino e Pesquisa – RNP (com a Unicamp).
De acordo com Weiss (1998a), a vantagem da avaliação realizada inter-

namente é o acesso aos dados necessários e, também, uma possibilidade maior
de uso dos resultados da avaliação. Por sua vez, a avaliação conduzida externa-
mente tem como vantagem a própria independência na condução do exercício
avaliativo, o que reduz a possibilidade de vieses. Essa é a situação mais comum
no caso brasileiro, reflexo da institucionalização ainda incipiente da avaliação
Conforme destacado anteriormente, a participação efetiva das instituições com
mandato institucional para avaliações de políticas públicas e, mais especificamen-
te, para políticas públicas de CT&I é tímida nos estudos analisados – há alguma
participação do CGEE e, mais recentemente, da Controladoria-Geral da União
(CGU), por meio do CMAP, além do Ipea, que vem assumindo papel importante
na execução de avaliações. Reforça-se, nesse sentido e conforme colocado por De
Negri (2013) e Rauen (2017a), a ausência histórica de um sistema de avaliação de
políticas de CT&I no país, com estrutura de governança definida, a despeito de
iniciativas passadas nessa direção.
Entende-se que há iniciativas atuais importantes nessa direção já mencionadas
(a avaliação no âmbito do CMAP e a obrigatoriedade de definição da metodologia,
dos critérios e dos indicadores de avaliação e de monitoramento da Política Na-
cional de Inovação e de seus instrumentos, prevista pelo Decreto no 10.534, de 28
de outubro de 2020). No entanto, ainda é cedo para determinar em que medida
essas iniciativas vão efetivamente modificar o quadro aqui apresentado, tanto em
termos das instituições responsáveis pela condução dos exercícios de avaliação,
quanto na relação das políticas avaliadas.
Outro ponto que chama atenção é o fato de que as avaliações têm caráter
mais somativo, de análise e “julgamento”, que formativo, de apoio ao processo de
implementação e gestão. Assim, estão focadas bem mais na mensuração de resul-
tados e impactos, sendo menos frequente a discussão sobre a adequação da teoria
da mudança que sustenta a política, incluindo-se seus objetivos e instrumentos.
Nesse sentido, a implementação da análise ex ante também no âmbito do CMAP
é uma experiência a ser acompanhada.
Os resultados e os impactos mensurados nas avaliações revisitados nesta sub-
seção concentram-se em aspectos científicos e tecnológicos e econômicos (mais de
50% das avaliações consideram impactos dessa natureza), embora haja também,
em menor grau, preocupação com aspectos sociais – incluindo-se aqui a criação
de empregos – e de geração de competências. Por sua vez, há pouquíssimas ava-
liações que consideram em seu escopo indicadores relacionados a mobilidade de
pessoal e carreira (cerca de 7%), gênero, minorias e impactos ambientais (menos
de 2%). Essa constatação indica necessidade de ampliar o escopo dos esforços

de avaliação de políticas de CT&I no Brasil, com o objetivo de incluir temas
relevantes para a realidade do país, complementando e indo além dos indicadores
mais tradicionais.
Referente ao desenho das avaliações, sobressaem-se os quase-experimentais
(quasi-experiments) com 50%, seguidos pelos não experimentais (39%) e, final-
mente, por uma combinação entre esses desenhos (11%). Trata-se de tradição de
avaliação muito influenciada pelos padrões do Banco Mundial e do Banco Inte-
ramericano de Desenvolvimento (BID), que disseminam as práticas de avaliação
quase-experimentais como “padrão ouro”, e bastante distinta da prática europeia,
bem centrada em desenhos não experimentais e estudos de casos. Disso decorre
também a predominância de métodos econométricos de análise de dados, além
do uso da estatística descritiva. A participação do BID, além da Fundação Getulio
Vargas (FGV) e do Instituto de Estudos para Políticas de Saúde (IEPS) no CMAP
como executores de questões de avaliação – iniciado em 2021 –, pode reforçar essa
predominância de desenhos quase-experimentais.
Em relação à coleta de dados, a ênfase é no uso de bases de dados existentes
da política avaliada – muitas vezes, organizada para uso na avaliação –, tanto in-
ternas quanto externas, com ênfase na Pesquisa de Inovação do Instituto Brasileiro
de Geografia e Estatística (Pintec/IBGE) e Rais do ME. Há ainda um conjunto
expressivo de avaliações que empregam questionários e, em menor grau, entrevistas.
Embora mais trabalhosas, são estratégias necessárias quando a informação buscada
não está disponível nas bases existentes ou até mesmo quando há dificuldade de
acesso às bases.
Reforça-se, nesse sentido, o argumento da subseção 3.2 de que, para além
dos aspectos de institucionalização e governança, outra limitação dos esforços de
avaliação em âmbito nacional se refere à disponibilidade de dados. Bases internas
das políticas de CT&I, que trazem informações relevantes sobre os beneficiá-
rios – e muitas vezes sobre os não beneficiários que de alguma forma tentaram
usufruir da política –, em especial para a construção da linha de base de avalia-
ções, raramente são disponibilizadas publicamente, sendo o acesso geralmente
restrito à equipe que conduz a pesquisa. Por sua vez, bases externas – entendidas
como aquelas construídas para outras finalidades que não a avaliação, mas que
podem ser empregadas por estas –, quando existentes, são limitadas em termos
de acesso e possibilidades de integração. Essa é a razão para o uso recorrente de
algumas bases – como as mencionadas Pintec e Rais – e o pouco uso de outras
bases para fins de avaliação, tal como dados CV Lattes ou até mesmo do Inpi, o
que contribui sobremaneira para o escopo também restrito das avaliações, como
discutido anteriormente.
4 O USO DE EVIDÊNCIAS POR PARTE DOS POLICY MAKERS

Como parte da pesquisa do projeto em que se insere este trabalho, um survey14 foi
conduzido com servidores públicos federais da administração pública direta, com o
objetivo de compreender as diferentes evidências utilizadas pela burocracia federal,
bem como contextos e fatores relativos à sua utilização. Nesta seção, analisaremos os
dados de um recorte de respondentes do survey que atuam em políticas de CT&I.
Ressalta-se aqui que, embora a discussão predominante deste trabalho tenha focado
no uso de avaliações como evidências para o processo de produção de políticas públicas,
dado que estas são um dos principais focos de atenção dos policy makers em CT&I
(Molas-Gallart e Davies, 2006), o survey analisado não se restringe apenas ao uso de
avaliações, mas também de outras fontes de informação, estudos e pesquisas científicas.
A amostra completa contou com 2.180 questionários respondidos entre outu-
bro e dezembro de 2019. Os dados foram coletados por meio da aplicação de um
questionário on-line, na plataforma LimeSurvey, enviado por e-mail a uma amostra
previamente selecionada do público-alvo da pesquisa. Todos os detalhes sobre a
construção do instrumento, a amostragem e a coleta dos dados estão apresentados
em Koga et al. (2020), assim como o modelo analítico adotado na pesquisa.
4.1 Perfil funcional

Para a construção do recorte analisado nesta subseção, optou-se por analisar as
respostas de 96 servidores que informaram atuar no programa Ciência, Tecnolo-
gia e Inovação, do PPA 2016-2019. Ainda que na base completa houvesse 197
servidores do então MCTIC,15 a opção das autoras justifica-se pelo objetivo de
avançar na compreensão de como ocorre o uso de evidências no processo finalístico
de produção da política de CT&I e pelo reconhecimento do caráter transversal
da política. Assim, ainda que um número maior de servidores estivesse ligado ao
que pode ser considerado o principal órgão gestor da política, nem todos os ser-
vidores do ministério podem ser diretamente associados ao processo de produção
Cerca de 80% dos respondentes faziam parte do Plano de Carreiras para a
Área de Ciência e Tecnologia, e 35% ocupavam algum cargo de confiança (direção
e assessoramento superior – DAS ou função comissionada do Poder Executivo –
FCPE). Entre os respondentes, 85,4% trabalham no MCTI.
14. O planejamento e a aplicação do survey foi coordenado pela Diest/Ipea e por pesquisadores das demais instiuilções
que são parceiras no projeto (Escola Nacional de Administração Pública – Enap, Companhia de Planejamento do Distrito
Federal – Codeplan-DF, cluster de governança do Institute of Development Studies – IDS do Reino Unido, e Lee Kuan
Yew School of Public Policy da National University of Singapore – LKY/NUS).
15. À época da coleta dos dados, o MCTI ainda era nomeado MCTIC, tendo tido em junho de 2020, pela Medida
Provisória (MP) no 980/2020, suas competências cindidas com a recriação do Ministério das Comunicações (MC), para
onde foram remanejadas as antigas Secretaria de Radiodifusão e Secretaria de Telecomunicações. A MP no 980/2020
foi posteriormente convertida na Lei no 14.074/2020.
No que diz respeito ao nível de escolaridade, mais de 80% dos responden-

tes possuíam algum tipo de pós-graduação, sendo que a predominância era de
pós-graduação stricto senso (mais de 70% do total). Esse percentual de mestres e
doutores é mais que o dobro do que o observado na amostra ampla, que foi de 31%.
GRÁFICO 1
Escolaridade (PPA-CT&I)
(Em %)
44,7
26,6
14,9
11,7
2,1
Ensino médio ou Graduação Especialização Mestrado Doutorado ou

técnico (pós-graduação pós-doutorado
lato sensu)
Fonte: Ipea.
Outro aspecto bastante diferenciado sobre a formação dos servidores que

atuam no programa de CT&I é sobre a área de formação. Enquanto 62,7% dos
respondentes da amostra ampla possuem seu mais alto título em ciências sociais
aplicadas ou ciências humanas, nesse segmento ora analisado, 62% estão nas ciências
duras (hard sciences).
O tempo médio de atuação na carreira é de quinze anos, o que sinaliza uma
razoável experiência acumulada dos respondentes em políticas de CT&I. Mais
uma vez, nesse aspecto, o perfil específico em análise difere o perfil geral: 55,2%
atuam em CT&I há mais de dez anos, em contraste com os 40% da amostra ampla.
Outra questão desse bloco se dedicava a investigar quais as funções desempe-
nhadas pelos servidores respondentes no âmbito da política. Entre a lista apresentada
no gráfico 2, das quatro desempenhadas em maior intensidade pelos respondentes,
três estão no que pode ser classificado como atividades de assessoramento e análise:
elaborar relatórios e notas técnicas para subsidiar a tomada de decisões, com 66% dos
participantes tendo afirmado realizá-la sempre ou frequentemente; realizar assessoramento
de dirigentes (51,6%); e coletar e analisar dados relacionados à política pública (49,5%).
A segunda atividade mais intensamente desempenhada, e que está fora desse bloco,
é a de coordenar equipes (64,9%), que pode ser enquadrada no bloco relacional.
GRÁFICO 2
Funções desempenhadas no âmbito da política pública (PPA-CT&I)
(Em %)
Elaborar relatórios e notas técnicas 38,5 27,5 16,5 13,2 4,4
Coordenar equipe 37,4 27,5 16,5 7,7 11,0
Realizar assessoramento de dirigentes 25,8 25,8 21,3 15,7 11,2

Coletar e analisar dados relacionados
22,5 27,0 28,1 14,6 7,9
à política pública (PP)
Realizar atividades administrativas 24,1 16,1 19,5 18,4 21,8
Elaborar, gerir e fiscalizar contratos 11,4 27,3 20,5 13,6 27,3
Captar e negociar recursos financeiros 7,9 24,7 23,6 14,6 29,2
Atender demandas dos órgãos de controle 13,5 16,9 34,8 22,5 12,4
Representar seu órgão junto a outros entes
11,4 18,2 29,5 10,2 30,7
do governo
Consultar e atender grupos da sociedade 5,7 23,0 27,6 25,3 18,4
Fiscalizar o cumprimento das normas da PP 12,9 10,6 11,8 22,4 42,4
Organizar eventos 3,4 17,2 28,7 27,6 23,0
Contratar e validar estudos de avaliação de PP 5,9 10,6 17,6 18,8 47,1
Elaborar textos normativos (ex. projetos de lei) 6,8 8,0 17,0 14,8 53,4
0 20 40 60 80 100
Fonte: Ipea.
O gráfico 3 analisa as respostas a respeito dos atores e organizações com

os quais o burocrata interage. Se na amostra geral as respostas a esse quesito
apontaram para um “forte tendência ao ‘ensimesmamento’ por parte do Execu-
tivo federal, de modo que os maiores índices de interação ocorrem com pares
e os menores índices, com outros poderes e a sociedade civil em geral (Koga et
al., 2020, p. 46)”, no caso dos burocratas que atuam em CT&I revelaram que
as interações mais intensas, novamente medidas pela soma das respostas sempre
e frequentemente, ocorrem com Universidades, institutos de pesquisa, professores
e pesquisadores (69,3%), com ampla vantagem sobre as categorias subsequentes
Outras áreas do meu ministério ou entidade (43,5%) e Outros ministérios ou en-
tidades do governo federal (25%), que está em percentual bastante próximo de
Setor privado e empresas públicas (22,8%).
GRÁFICO 3
Atores/organizações com os quais o servidor interage (PPA-CT&I)
(Em %)
Universidades, institutos e professores 35,2 34,1 18,7 8,8 3,3
Outras áreas do meu ministério 19,6 23,9 29,3 20,7 6,5
Outros ministérios 3,3 21,7 29,3 31,5 14,1
Setor privado e empresas públicas 8,7 14,1 32,6 25,0 19,6
Beneficiarios de políticas 9,0 9,0 19,1 21,3 46,1
Organismos Internacionais e governos de 2,2 11,1 17,8 25,6 43,3

outros países
Órgaos de controle 2,2 6,5 28,3 20,7 42,4
Organizações da sociedade civil ,0 6,6 25,3 36,3 31,9
Mídia e imprensa 1,1 5,5 17,6 33,0 42,9
Governos estaduais e municipais 1,1 3,3 21,1 35,6 38,9
Entidades do sistema sindical ,0 2,3 8,0 25,0 64,8
Representantes do Poder Judiciário e MP ,0 1,1 6,7 31,1 61,1
Representantes do Poder Legislativo ,01,1 11,0 26,4 61,5
0 20 40 60 80 100
Fonte: Ipea.
4.2 Uso de informações e evidências científicas

Os dados do survey para os respondentes que atuam nos programas de CT&I
analisados até aqui mostram que se trata de burocracia com bastante experiência
e estabilidade de atuação na política, altamente qualificada e especializada, visto
que pertence de forma muito predominante a carreiras de CT&I. Em relação às
atividades desempenhadas, situam-se predominantemente em atividades de as-
sessoramento e análise e de coordenação de equipes, e – diferentemente do perfil
da burocracia ampla – interagem principalmente com o mundo acadêmico. Isso
posto, nesta subseção, analisaremos o core do survey, em que as questões investigam
as práticas e os padrões de uso de informações e evidências científicas.
Nesse bloco, os respondentes foram solicitados inicialmente a indicar a fre-
quência com que utilizavam determinados tipos de informação no trabalho com
política pública. Reforça-se aqui o disclaimer feito na extensa análise de Koga et
al. (2020), sobre a indicação, na lista de informações, de modo mais amplo de
possíveis fontes, e não apenas fontes reificadas como estritamente científicas.
A fonte frequentemente mais adotada pelos respondentes foi a consulta a colegas
de trabalho, com 77% de respostas entre sempre e frequentemente, percentual muito
próximo ao observado na amostra ampla (76,3%), em que, contudo, a fonte mais

frequente foi leis e normas (82%). A segunda categoria mais usada segundo as respostas
foi Artigos, capítulos ou livros produzidos por pesquisadores, indicada como sempre ou
frequentemente usada por 71,9% dos burocratas de CT&I. Esse resultado contrasta
fortemente com o relatado na amostra ampla, em que essa fonte informacional para
o trabalho foi apontada como de intensa utilização por apenas 30,46% da burocracia
respondente. Entre as quinze categorias apresentadas como opções (não excludentes),
duas das principais apontadas (Artigos, capítulos ou livros produzidos por pesquisadores
e Relatórios de pesquisa científica) sinalizam que há incidência muito mais intensa da
produção científica sobre o trabalho dos servidores com políticas públicas na área de
CT&I que na burocracia como um todo, dado que podem ser consideradas fontes
“acadêmicas”. Esses resultados parecem afastar, para o caso da burocracia em análise,
a hipótese de não uso apontada na seção 2 deste trabalho, pois sugere que há um
consumo direto de insumos de natureza científica no trabalho da política.
GRÁFICO 4
Tipos de informação utilizados no trabalho com políticas públicas (PPA-CT&I)
(Em %)
Consulta a colegas de trabalho 45,8 35,4 13,5 3,1 2,1
Artigos, capítulos ou livros produzidos

43,8 28,1 16,7 8,3 3,1
por pesquisadores
1,0
Experiência pessoal 46,9 24,0 19,8 6,3
2,1
1,0
Leis e normas 38,5 27,1 16,7 13,5 3,1
Sistemas informacionais e bases 1,0
26,0 22,9 21,9 11,5 16,7
de dados governamentais
Relatórios de pesquisa científica 18,8 29,2 27,1 11,5 10,4 3,1
Notas técnicas produzidas por órgãos federais 24,0 21,9 27,1 16,7 8,3
2,1
Recomendações de órgãos de controle 18,8 14,6 29,2 21,9 13,5 2,1
Pareceres legais e decisões judiciais 17,7 13,5 24,0 17,7 22,9 4,2
Matéria jornalística 10,4 16,7 26,0 25,0 19,8 2,1
Recomendações de organismos internacionais 7,3 18,8 19,8 26,0 22,9 5,2
Recomendações de instâncias participativas 3,1 10,4 27,1 25,0 29,2 5,2
Informações geradas por grupos de interesse 11,5 17,7 22,9 42,7 5,2
(ex. ONGs)
Experiência e opiniões de beneficiário 3,1 7,3 16,7 27,1 42,7 3,1
Boas práticas e iniciativas produzidas pelos
8,3 13,5 25,0 47,9 5,2
estados e municípios
0 10 20 30 40 50 60 70 80 90 100
Fonte: Ipea.
Indagados especificamente sobre como acessar os estudos científicos usa-

dos no trabalho na política de CT&I, os servidores apontaram como principais
fontes: Em eventos ou congressos científicos (78,7%); Google ou outras ferramentas
de busca (76,6%); Portal de periódicos ou banco de teses (75,5%); Por citações em
estudos acadêmicos (68,1%); e Por busca em sites de instituições de pesquisa (60,6%),
sendo que as três principais fontes aparecem com frequências bastante próximas.
A análise dessas respostas aponta para o uso prevalente, nesse recorte específico aqui
analisado, das fontes tidas como mais convencionais de acesso ao conhecimento
científico. Mesmo se considerando os altos índices de resposta da opção Google ou
outras ferramentas de busca, é necessário destacar que atualmente tais mecanismos
de busca são considerados intermediários amplos no acesso à informação e que,
no caso do Google, há a opção Google Scholar, que – a despeito das conhecidas
dificuldades de mensuração precisa de extensão – já foi apontada recentemente
como o buscador acadêmico existente com mais alcance (Gusenbauer, 2019).
TABELA 3
Fontes de acesso a pesquisas e estudos científicos (PPA-CT&I)
(Em %)
Fonte de acesso Simples1
Em eventos ou congressos científicos 78,7

Google ou outras ferramentas de busca 76,6
Portal de periódicos ou banco de teses 75,5
Por citações em estudos acadêmicos 68,1
Por busca em sites de instituições de pesquisa 60,6
Indicação de conhecidos 51,1
Sites de organismos internacionais 45,7
Imprensa 41,5
Por busca presencial ou em sites de bibliotecas 38,3
Redes sociais – por exemplo, Facebook e WhatsApp 19,1
Plataformas de áudio e vídeo (Youtube etc.) 19,1
Fonte: Ipea.
Nota: 1 O respondente poderia marcar mais de uma opção.
A mensuração da contribuição dos estudos acessados ao seu trabalho na

política foi feita por uma questão que adotava uma tipologia criada por Beyer
(1997), que diferencia os usos entre: conceitual (esclarecimento), instrumental
(ações concretas) e simbólico (confirmação de escolhas prévias). Assim como
na amostra ampla, não foi possível extrair diferenciações significativas da
contribuição das pesquisas entre os três usos. Vale ressaltar, entretanto, que os
percentuais de concordância (concordo totalmente mais concordo) das duas pri-
meiras opções, que apontam para o uso conceitual e instrumental, foram iguais
(92,7%) e superiores ao uso simbólico (83,4%). Esses resultados tão próximos
e tão positivos sobre o uso conceitual e instrumental indicam a existência de
ambiente organizacional favorável, em que, como posto por Weiss (1998b), o
uso conceitual pode concretizar o uso instrumental. Soma-se a isso o fato de
que o percentual de usos conceitual e instrumental foi, entre os burocratas de
CT&I, muito maior que o da amostra geral (73,7% e 67,2%, respectivamente).
Ainda no campo da comparação entre os dois grupos, observa-se nos resultados
que, ainda que próximos, o percentual de respondentes que indicaram concordar
totalmente com os usos foi superior aos que indicaram a opção concordo, com
percentuais bastante distintos do observado na amostra ampla, em que a con-
cordância se manifestou de forma muito mais intensa com a opção concordo e
não em concordo totalmente. Ainda assim, mesmo que em magnitude inferior,
foi alta a indicação do uso simbólico.
TABELA 4
Contribuição do uso de pesquisas e estudos científicos no seu contexto de trabalho
(PPA-CT&I)
(Em %)
Concordo Discordo
Tipo de pesquisa Concordo Indiferente Discordo Não sei
totalmente totalmente
O uso de pesquisas e estudos científicos

47,9 44,8 6,3 0,0 0,0 1,0
serve para esclarecer situações
45,8 46,9 5,2 1,0 0,0 1,0
leva a ações concretas
43,8 39,6 1,5 2,1 1,0 2,1
serve para confirmar escolhas já feitas
Fonte: Ipea.
Um aspecto frequentemente discutido tanto na literatura de PPBEs quanto

na literatura precedente de knowledge utilization é sobre que características das evi-
dências (fontes de informação) teriam impacto no seu uso ou não pelos burocratas
e policy makers. Os fatores mais decisivos apontados no segmento analisado foram
Credibilidade e prestígio da fonte e a Pertinência e aplicabilidade da informação, que
foram apontados por, respectivamente, 76% e 68,4% dos respondentes como
decisivos ou muito relevantes. Esses dois pontos apontam para achados similares à
análise feita por Blair (2021) para o caso norte-americano, em que credibilidade e
adequabilidade seriam características centrais das evidências para que seu uso fosse
efetivo entre os demandantes. Nessa questão, o perfil observado nas respostas dos
servidores que atuam em CT&I não foi, em relação ao ordenamento de relevância
dos fatores, diferente da amostra ampla. As diferenças foram observadas apenas nos
percentuais de resposta obtidos.
GRÁFICO 5
Fatores determinantes na utilização de pesquisas e estudos científicos (PPA-CT&I)
(Em %)
1,0
Credibilidade e prestígio da fonte 33,3 42,7 20,8 2,1
1
Pertinência e aplicabilidade da informação 35,4 33,3 29,2
1
Facilidade de compreensão da pesquisa ou 2,1

31,3 27,1 32,3 6,3
estudo científico 1,0
Existência de conclusões e recomendações 1,0

27,1 30,2 33,3 6,3
de natureza operacional 2,1
Tempestividade (a pesquisa chega 4,2

21,9 25 35,4 11,5
no tempo adequado) 2,1
2,1
Atratividade (leitura fácil; gráficos; cores; etc.) 9,4 21,9 40,6 21,9
4,2
Tamanho (número de páginas) 3,1 12,5 20,8 43,8 18,8 1
0 20 40 60 80 100
Decisivo Muito relevante Relevante Pouco relevante Irrelevante Não sei
Fonte: Ipea.
Outro ponto investigado sobre o uso das fontes de informação foi sobre os
aspectos individuais e organizacionais que impactam nas práticas de utilização de
pesquisas. A questão listava uma série de situações ligadas à atuação do indivíduo
ou da organização a que está vinculado, e cabia ao respondente indicar a frequência
com que cada situação ocorria. Novamente nessa questão, e em contraste com o
caso anteriormente analisado, tanto o ordenamento quanto os percentuais foram
muito diferentes da amostra ampla. Todas as situações relatadas tiveram altos per-
centuais de respostas sempre ou frequentemente (entre 59,4% e 66,7%) no recorte
para CT&I, exceção feita ao item Durante minha jornada de trabalho, há tempo
suficiente para leitura de pesquisas e estudos científicos relevantes, apontando assim
para a existência de condições favoráveis ao uso de pesquisas e estudos científicos
não apenas no nível organizacional, como também no individual. Tome-se por
referência, por exemplo, a situação proposta Na minha rotina de trabalho, eu faço
pessoalmente esforços para entrar em contato com pesquisadores e acadêmicos: na amostra
ampla, nesse sentido, 65,28% dos respondentes afirmaram que não sabiam ou nunca
ou raramente faziam esforços pessoais para entrar em contato com pesquisadores
e acadêmicos, o que indica um significativo afastamento entre os membros dos
campos burocrático e acadêmico. No recorte de CT&I, 59,4% declararam que

faziam esses esforços individuais sempre ou frequentemente.
Feita a ressalva de que achados aqui discutidos podem não ser representativos
da burocracia envolvida, cabe destaque para o fato de que, como os principais usu-
ários das políticas (a academia) e a burocracia envolvida no processo de produção
dessas políticas são um grupo com perfil de formação próximo, somado aos achados
dessa questão em relação aos níveis de ação individual e ambiente organizacional,
a hipótese de lógicas ou comunidades distintas não parece apropriada para carac-
terizar as políticas de CT&I.
GRÁFICO 6
Aspectos individuais e organizacionais e sua relação com a utilização de pesquisas e
estudos científicos (PPA-CT&I)
(Em %)
Minha organização oferece oportunidades
para construir relacionamentos com 4,2
35,4 31,3 17,7 10,4
pesquisadores de universidades e institutos 1,0
de pesquisa
Minha organização dispõe de meios e recursos 2,1

suficientes para obter informações produzidas 31,3 31,3 21,9 9,4 4,2
por pesquisas e estudos científicos
Na minha rotina de trabalho, eu faço

pessoalmente esforços para entrar em contato 31,3 20,8 14,6 4,2
29,2
com pesquisadores e acadêmicos
Assessores e servidores da minha organização

5,2
são encorajados pelos dirigentes a utilizar 24,0 35,4 17,7 13,5 4,2
resultados de pesquisas e estudos científicos
No meu trabalho, quando preciso tomar uma

decisão, prefiro recorrer a pesquisas e estudos 3,1
22,9 36,5 24,0 12,5
científicos do que a outras fontes
1,0
de informação
Durante minha jornada de trabalho, há tempo

suficiente para leitura de pesquisas e estudos 15,6 21,9 37,5 24,0 1,0
científicos relevantes
0 10 20 30 40 50 60 70 80 90 100
Fonte: Ipea.
Focando-se especificamente em uma variável específica do nível organi-

zacional, buscou-se a seguir mapear com os respondentes sobre a existência de
unidade especializada na utilização de pesquisas no órgão/ministério no qual o
burocrata trabalha e as atribuições dessa unidade, caso exista. Merece destaque
o fato de que, se 42% dos respondentes disseram que contavam com essa estrutura
no ministério em que atuam, 34% informaram que não sabiam se unidade com esse
propósito existia na estrutura da organização, o que sugere que, ainda que existente,
essa estrutura não parece ser intensamente mobilizada pelos servidores que atuam
na política de CT&I. Ponderando-se que a amostra em análise é predominante-
mente de respondentes da mesma organização (MCTI), esses resultados indicam
um entendimento interno bastante heterogêneo sobre qual seria essa unidade.
Ainda se tratando sobre unidade especializada na utilização de pesquisas, na
premissa da pesquisa de que tais estruturas voltadas ao estímulo e à disseminação da
PPBE na burocracia federal seriam importantes no uso de evidências, perguntou-se
a seguir, para os respondentes que haviam confirmado a existência de tal unidade,
quais seriam as atribuições. Os resultados não foram substantivamente diferentes da
amostra ampla, tendo indicado, contudo, percentuais mais baixos para as atribuições
de Contratar pesquisas (47,5% na amostra ampla versus 33% em CT&I) e Traduzir os
resultados de pesquisa em recomendações (37,3 versus 33,1%). Reforça-se que a disper-
são das respostas também aponta, como na questão anterior, para uma compreensão
internamente pouco compartilhada sobre a existência e as atribuições dessa unidade.
TABELA 5
Atribuições da unidade especializada (PPA-CT&I)
(Em %)
Atribuições Válido1
Disseminar os resultados de pesquisas 76,9

Prospectar pesquisas realizados 66,7
Produção de pesquisas 64,1
Contratar pesquisas 33,3
Traduzir os resultados de pesquisa em recomendações 23,1
Fonte: Ipea.
Nota: 1 O respondente poderia marcar mais de uma opção.
Como funcionam a oferta e a demanda por evidências sobre políticas voltadas para
o desenvolvimento científico e tecnológico no Brasil? Buscou-se aqui ir além de
uma abordagem prescritiva de tipo ideal sobre o “como deveria ser”, para, a partir
de um olhar realista sobre as características da política e do ambiente institucional
em que esta está inserida, avançar no entendimento sobre a interação entre a oferta
e a demanda por evidências em CT&I.
O foco do trabalho, ao revisitar a literatura e analisar a oferta de evidências,
foi nas avaliações de políticas e instrumentos de políticas. Analisou-se um recorte
de uma base de dados inédita produzida para o projeto maior em que este capítulo
se encaixa (Koga et al., 2020), como insumo para avançar na compreensão do uso
de evidências pela burocracia envolvida no processo de produção de CT&I. A
análise da demanda foi feita sob lentes ampliadas, que incorporaram outras fontes
de informação e estudos científicos além das avaliações.
A análise da oferta de evidências foi feita considerando o ambiente institucional
para a avaliação de políticas públicas no governo federal, a disponibilidade de dados
e informações transparentes sobre políticas públicas e, por fim, a disponibilidade
de avaliações de políticas publicadas entre 2006 e 2020.
Em relação ao ambiente institucional, a análise aponta para um momento
favorável à produção de mais avaliações, ao considerar especialmente o consistente
movimento de institucionalização da avaliação de políticas públicas em âmbito
federal. Esse movimento é inserido em tendência mais ampla, observada desde
2016. No âmbito do CMAP, por exemplo, entre as principais políticas de CT&I
no país, foram contempladas a Lei de Informática, no ciclo de 2019, e o FNDCT,
selecionado para o ciclo de 2021.
Até mesmo antes da instituição e configuração mais atual do CMAP, contudo,
o país contava com instituições que já atuavam de forma consistente na avaliação
de políticas de CT&I, como o Ipea e o CGEE, vinculados à estrutura do Executivo
federal e com competências diretamente ligadas à produção de conhecimento para
subsidiar a produção de políticas públicas. Trata-se de condição que, como sugere
a literatura, é necessária, mas não suficiente para sua plena utilização pelos atores
de interesse e tomadores de decisão.
No entanto, como ficou evidenciado pelo levantamento de avaliações de po-
líticas de CT&I no país entre 2006 e 2020, grande parte dos exercícios realizados
decorreu de esforços pontuais protagonizados por universidades. O quanto esse
quadro vai efetivamente se modificar nos próximos anos ainda é uma incógnita.
No momento da elaboração deste trabalho, ainda não foi possível, pela ausência de
tempo decorrido, avaliar se a realização de mais avaliações no âmbito do CMAP e
diretamente ligadas aos movimentos do Estado aqui descritos terão impactos reais
na formulação, na reformulação ou até mesmo na extinção de políticas.
Outro aspecto a ser considerado nesse sentido é o fato de que os critérios e
as operacionalizações respectivas adotados em 2020 e 2021 pelo conselho para
a seleção de políticas tendem a privilegiar a realização de políticas que já foram
avaliadas em momentos anteriores, sem que tais avaliações tenham resultados
em aperfeiçoamentos substantivos das políticas. Tal situação apenas confirma a
tendência anterior evidenciada no levantamento das avaliações no período até
2020, de preponderância de avaliações dos mesmos instrumentos de políticas
(notadamente, subvenção econômica, Lei do Bem e Lei de Informática).
Cabe ainda destacar as limitações em termos de indicadores e dados em-

pregados nas avaliações. Trata-se de ciclo vicioso em que a ausência de dados leva
ao uso recorrente das mesmas bases – pois são as disponíveis – e também ao uso
dos mesmos indicadores. Se, por um lado, o uso de indicadores tradicionais traz
possibilidades de comparação – com outros estudos no país e no exterior –, por
outro, limita as possibilidades de identificação de resultados e impactos mais abran-
gentes, tampouco esperados, das políticas. Assim, é preciso evoluir, para além da
institucionalização da avaliação de políticas de CT&I, na direção de construção de
teorias de mudança sólidas e também transparentes a estas associadas, no desenho
de indicadores mais diversos e complementares aos usualmente empregados e, final-
mente, na construção, disponibilização e integração de bases de dados relevantes.
Sob o ponto de vista da demanda, a análise das respostas do recorte do
survey para aqueles burocratas que atuam no programa governamental de CT&I
do PPA indicou perfil, atitudes e ambiente organizacional que, em grande me-
dida, diferem da amostra ampla da burocracia analisada em Koga et al. (2020).
São servidores pós-graduados e, portanto, egressos do mundo acadêmico, com
titulações predominantemente situadas no campo das ciências duras. Possuem
estabilidade de atuação na política, são na maior parte constituídos de cargos
da carreira de C&T e suas principais funções desempenhadas estão nos campos
de assessoramento e análise e de coordenação de equipes. Estes apontam, tanto
comparativa como absolutamente, para um intenso uso de evidências científicas
no trabalho. Os resultados analisados afastam, para essa burocracia de CT&I
ouvida no survey, a hipótese de distanciamento entre comunidades com lógicas
e racionais distintos.
No entanto, os dados obtidos suscitam algumas dúvidas sobre o conhecimento
efetivo desses burocratas sobre as condições existentes para o uso de evidências: 34%
dos respondentes afirmaram não existir uma unidade especializada na utilização
de pesquisas na estrutura do ministério, enquanto 42% afirmam o contrário. Há,
portanto, percepções diferenciadas sobre as atribuições das unidades organizacionais
da estrutura do ministério, o que indica a necessidade de tornar a prática do uso
de evidências mais explícita e institucionalizada.
Diante dos achados, vale ainda acrescentar outra dimensão de análise para
além da oferta e demanda de evidências. Trata-se da discussão sobre a forma de
uso das evidências e, em última instância, para a reflexão sobre em que medida
esse uso resulta em políticas mais efetivas. Parte significativa das respostas apon-
ta para o uso simbólico das evidências – ou seja, os burocratas são capazes de
identificar e acessar fontes e de se relacionar com a comunidade científica, mas
tendo como um desdobramento importante confirmar escolhas já feitas. Em-
bora também sejam reportados os usos conceitual e instrumental, é importante
reforçar que mudanças efetivas no desenho de políticas existentes ou até mesmo
sua descontinuidade dependem de outros aspectos que não apenas as evidências.

É preciso considerar a política na política (a politics na policy), uma vez que são
vários os atores e os grupos de interesse que se colocam na arena de discussão que
resulta nessas definições. Repetidas avaliações de uma mesma política no contexto
nacional e que apontam problemas em seu desenho e/ou implementação não
têm sido suficientes para alterações de rotas. Isto é, evidências são fundamentais,
mas não são garantia para reorientação de rumos, como a literatura e a prática
cotidiana revelam.
Algumas limitações deste trabalho precisam, entretanto, ser consideradas.
Primeiramente, a impossibilidade de afirmarmos que os respondentes do survey
são uma amostra representativa da burocracia envolvida nos processos de produção
de políticas públicas de CT&I, dado que inexiste, até onde temos conhecimento,
censo de servidores por área de atuação em políticas públicas. Adicionalmente,
é possível que o próprio tema da pesquisa e do questionário tenha atraído, no
universo de interesse, respondentes com perfil mais “acadêmico” e interessados
no tema de PPBEs.
Outro aspecto importante, e bastante central, é o aspecto não monolítico
dos diversos atores envolvidos na produção de políticas públicas: como destaca
Pinheiro (2020a), há, entre policy makers, burocratas, públicos-alvo, pesquisa-
dores acadêmicos e cidadãos, diferenciações acentuadas no que se refere ao uso
das evidências. As análises feitas neste trabalho contam com a perspectiva dos
burocratas, sem recorte específico para níveis decisores. Foi aplicado pela Diest/
Ipea e demais parceiros do projeto um survey para ocupantes de cargos comissio-
nados no Executivo federal em níveis mais altos, mas os dados resultantes dessa
coleta de dados ainda estavam sendo tratados por ocasião da elaboração deste
capítulo. Futuros trabalhos podem usar esse novo survey para novas análises,
complementares a este trabalho.
Sugere-se que investigações futuras considerem adotar a perspectiva não
apenas dos níveis decisores no Executivo, como, especialmente, dos policy makers
no Legislativo. A análise das exposições de motivos e justificativas dos diversos
atos legislativos ligados à política de CT&I também pode ser feita, com o objeti-
vo de avaliar o quanto as evidências disponíveis são aproveitadas como insumos
ao processo legislativo e em que medida os atos de iniciativa do Executivo e do
Legislativo diferem nessa dimensão.
REFERÊNCIAS
ARAÚJO, B. C. Políticas de apoio à inovação no Brasil: uma análise de sua
evolução recente. Brasília: Ipea, 2012. (Texto para Discussão, n. 1759).
BARKER, K. Strengthening the impact of R&D evaluation on policy making:

methodological and organisational considerations. Science and Public Policy,
v. 21, n. 6, p. 405-413, 1994. Disponível em: <https://is.gd/cPVSrQ>.
BEYER, J. M. Research utilization: bridging a cultural gap between communities.
Journal of Management Inquiry, v. 6, n. 1, p. 17-22, 1997. Disponível em:
<https://is.gd/N28A1a>.
BLAIR, P. D. Effective science and technology assessment advice for congress:
comparing options. Science and Public Policy, v. 48, n. 2, p. 164-176, Apr. 2021.
Disponível em: <https://is.gd/wCsrXa>.
BOSWELL, C.; SMITH, K. Rethinking policy ‘impact’: four models of research-
-policy relations. Palgrave Communications, v. 3, n. 1, p. 1-10, 2017. Disponível
em: <https://is.gd/SD4k7C>.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Ministério da Fazenda.
Portaria Interministerial no 102, de 7 de abril de 2016. Brasília: MP; MF, 2016a.
––––––. Emenda Constitucional no 95/2016, de 15 de dezembro de 2016. Diário
Oficial da União, 15 dez. 2016b.
––––––. Decreto no 9.203, de 22 de novembro de 2017. Diário Oficial da União,
23 nov. 2017.
––––––. Decreto no 10.534, de 28 de outubro de 2020. Diário Oficial da União,
p. 5, 29 out. 2020a. Seção 1.
––––––. Manual técnico do PPA 2020-23. Brasília: ME, 2020b. Disponível em:
<https://is.gd/3dGhJ3>.
CGEE – CENTRO DE GESTÃO E ESTUDOS ESTRATÉGICOS. Uma análise
dos resultados da Lei do Bem: com base nos dados do FormP&D – Resumo
executivo. Brasília: CGEE, 2018.
DE NEGRI, F. O Monitor de Políticas Públicas de C,T&I: a política de monitora-
mento e avaliação do MCTI. Revista Brasileira de Planejamento e Orçamento,
v. 3, n. 1, 65-79, 2013.
DE NEGRI, J. A. Investir em inovação é garantir o futuro. Radar: Tecnologia,
Produção e Comércio Exterior, n. 64, p. 27-30, dez. 2020.
DOSSO, M.; MARTIN, B. R.; MONCADA-PATERNÒ-CASTELLO, P. Towar-
ds evidence-based industrial research and innovation policy. Science and Public
Policy, v. 45, n. 2, p. 143-150, 2018. Disponível em: <https://is.gd/Le1Mua>.
EDLER, J. et al. Improving policy understanding by means of secondary analyses
of policy evaluation. Research Evaluation, v. 17, n. 3, p. 175-186, 2008.
––––––. The practice of evaluation in innovation policy in Europe. Research

Evaluation, v. 21, n. 3, p. 167-182, 2012.
FAPESP – FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO
PAULO. Bolsas de iniciação científica, mestrado e doutorado – Relatório. São
Paulo: Fapesp, 2019. Disponível em: <https://is.gd/LXpeN1>.
GUSENBAUER, M. Google Scholar to overshadow them all? Comparing the
sizes of 12 academic search engines and bibliographic databases. Scientometrics,
v. 118, n. 1, p. 177-214, 2019. Disponível em: <https://is.gd/GwlS3q>.
(Texto para Discussão, n. 2619). Disponível em: <https://is.gd/EolmU4>.
MAGRO, E.; WILSON, J. R. Complex innovation policy systems: towards an
evaluation mix. Research Policy, v. 42, n. 9, p. 1647-1656, 2013.
MATIAS-PEREIRA, J. Uma avaliação das políticas públicas de incentivo a
inovação tecnológica no Brasil: a Lei do Bem. Parcerias Estratégicas, v. 18.
n. 36, p. 221-250, 2013.
MILZOW, K. et al. Understanding the use and usability of research evaluation
studies. Research Evaluation, v. 28, n. 1, p. 94-107, 2019.
MOLAS-GALLART, J.; DAVIES, A. Toward theory-led evaluation: the experience
of European science, technology, and innovation policies. American Journal of
Evaluation, v. 27, n. 1, p. 64-82, 2006. Disponível em: <https://is.gd/QXASdn>.
delimitando o problema conceitual. Rio de Janeiro: Ipea, abr. 2020a. (Texto para
Discussão, n. 2554). Disponível em: <https://is.gd/UkPUXd>.
––––––. Políticas públicas baseadas em evidências: uma avaliação crítica. Boletim
de Análise Político-Institucional. Brasília, n. 24, p. 17-27, nov. 2020b. Disponível
em: <https://is.gd/jwbc0Z>. Acesso em: 18 abr. 2021.
PROCHNIK, V. et al. A política da política industrial: o caso da Lei de Informática.
Revista Brasileira de Inovação, Campinas, v. 14, 133-152, 2015.
RAUEN, A. T. Avaliação de políticas federais de inovação: desconexão e ausência.
In: COUTINHO, D. R.; FOSS, M. C.; MOUALLEM, S. B. (Org.). Inovação
no Brasil: avanços e desafios jurídicos e institucionais. 1. ed. São Paulo: Blucher,
2017a. p. 125-152.
––––––. (Org.). Políticas de inovação pelo lado da demanda no Brasil. Brasília:
Ipea, 2017b.
––––––. Compras públicas de inovações segundo o texto final do PL

no 4.253/2020. Brasília: Ipea, 2021. (Nota Técnica, n. 80). Disponível em:
<https://is.gd/UP1rjs>.
em: <https://is.gd/lknDBW>.
STREICHER, J. Evaluations, actors and institutions: the case of research, te-
chnology and innovation policy in Austria. 2017. Thesis (Doctorate) – University
of Vienna, Vienna, 2017.
WEISS, C. H. Evaluation: methods for studying programs and policies. 2nd ed.
Upper Saddle River: Prentice Hall, 1998a.
––––––. Have we learned anything new about the use of evaluation? The Ame-
rican Journal of Evaluation, v. 19, n. 1, p. 21-33, Dec. 1998b.
ZUCOLOTO, G. F. Lei do Bem: impactos nas atividades de P&D no Brasil.
Radar, n. 6, p. 14-20, fev. 2010.
BRASIL. Decreto no 9.834, de 12 de junho de 2019. Diário Oficial da União,
13 jun. 2019.
COZZENS, S. E. Frameworks for evaluating S&T policy in the United States. In:
SHAPIRA, P.; KUHLMANN, S. (Eds.). Learning from science and technology
policy evaluation: experiences from the United States and Europe. Cheltenham;
Northampton: Edward Elgar, 2003. p. 54-64.
WEISS, C. H.; GRAHAM, E. M.; BIRKELAND, S. An alternate route to policy
influence: how evaluations affect D.A.R.E. American Journal of Evaluation,
v. 26, n. 1, p. 12-30, 2005.
CAPÍTULO 26
E O NÍVEL SUBNACIONAL? OS (NÃO) USOS DAS POLÍTICAS

INFORMADAS POR EVIDÊNCIAS NA POLÍTICA EDUCACIONAL
ESTADUAL BRASILEIRA
Catarina Ianni Segatto1
Fernando Burgos Pimentel dos Santos2
Mario Aquino Alves3
Pedro Peria4
1 INTRODUÇÃO
A discussão sobre o uso de evidências nas políticas públicas ganhou centralidade
no debate político e acadêmico em diversos países, incluindo no Brasil, nas últimas
décadas. Em um primeiro momento, as evidências fizeram parte de mudanças que
buscavam fortalecer o foco no desempenho e nos resultados das políticas públicas
e, consequentemente, na adoção das “melhores” políticas (Cairney, 2016; Howlett
e Craft, 2013). No entanto, nos últimos anos, as evidências têm sido incorporadas
em discursos de resistência contra governos populistas e movimentos conservadores
e ganharam ainda mais visibilidade no mundo e no Brasil, especialmente desde o
início da pandemia da covid-19, a partir do crescimento de correntes políticas de
pós-verdade, se tornando uma estratégia de resistência de diversos grupos sociais.
Ainda que o uso de evidências seja chave para a construção das políticas, em
especial em momentos de luta na esfera pública, sua defesa está atrelada à ideia
de que os processos decisórios são racionais e lineares, o que contraria uma boa
parte da literatura de políticas públicas, sobretudo a recente literatura, calcada na
virada argumentativa da análise de políticas públicas (Fischer e Gottweiss, 2012;
Hansson e Hadorn, 2016).
A partir dessa reflexão, este capítulo busca compreender em maior profundidade
como as evidências são usadas no processo decisório a partir de uma análise da política de
1. Analista de informações no Núcleo de Informação e Coordenação do Ponto BR do Centro Regional de Estudos para
o Desenvolvimento da Sociedade da Informação (NIC.br/Cetic.br). E-mail: <catarina.segatto@gmail.com>.
2. Professor da Escola de Administração de Empresas de São Paulo da Fundação Getulio Vargas (EAESP/FGV); e pesqui-
sador do Centro de Estudos em Administração Pública (CEAPG). E-mail: <fernando.burgos@fgv.br>.
3. Coordenador do Programa de Mestrado e Doutorado em Administração Pública e Governo da EAESP/FGV. E-mail:
<mario.alves@fgv.br>.
4. Doutorando em administração pública e governo da EAESP/FGV. E-mail: <p.v.g.peria@gmail.com>.
educação nos estados brasileiros, com ênfase para a experiência do estado de São Paulo.
O caso de São Paulo foi analisado em maior profundidade, pois este é o único estado
em que houve a institucionalização do uso de evidências no processo decisório na Secre-
taria da Educação do Estado de São Paulo, que ocorreu a partir da criação de um órgão
específico para a produção e o uso de evidências nessa política, o chamado Escritório
de Evidências. A análise está dividida em três partes: i) análise documental, usando
os websites das 27 secretarias estaduais de educação; ii) análise documental dos planos
estaduais de educação; e iii) entrevistas semiestruturadas com gestores e ex-gestores da
Secretaria da Educação do Estado de São Paulo.
A premissa é que se o uso de evidências é um enorme desafio no governo
federal, a tendência é que seja maior ainda nos níveis estadual e municipal, onde
as capacidades e os recursos são menores. Considerando que a implementação da
educação depende dos níveis estadual e municipal, este capítulo também mostra
que há uma grande heterogeneidade no uso de evidências na esfera subnacional
brasileira. Se em alguns estados, como São Paulo, estruturas organizacionais
complexas foram implementadas, em outros, sequer este debate está presente no
cotidiano das equipes de governo. Neste sentido, em um país com tantas desi-
gualdades educacionais, o bom uso de evidências conectado com as condições
sociopolíticas locais poderia ser positivo, mas pode também ser um elemento de
aprofundamento das desigualdades.
Este capítulo está dividido em quatro seções, além desta introdução. Na seção 2,
é apresentada uma breve sistematização da literatura sobre o uso de evidências
e seu papel nas diferentes abordagens explicativas sobre o processo decisório.
Na seção 3, discutem-se as mudanças históricas em relação ao uso de evidências na
política de educação brasileira. Na seção 4, são apresentadas a descrição e a análise
dos estados brasileiros, incluindo o mapeamento do uso das evidências na política
educacional das 27 Unidades da Federação (UFs) e a análise em maior profundidade
do caso de São Paulo. Por fim, na seção 5, são apresentadas as considerações finais,
que mostram grandes heterogeneidades e desafios relacionados à institucionalização
do uso das evidências no processo decisório, aos tipos de evidências usadas e às
mudanças nesses processos ao longo do tempo.
2 PROCESSO DECISÓRIO E EVIDÊNCIAS NAS DIFERENTES ABORDAGENS

DE POLÍTICAS PÚBLICAS
A literatura tem chamado a atenção para a importância do uso de evidências nas
decisões governamentais a partir da noção de políticas públicas baseadas em evidências,
apontando a necessidade de seu uso na formulação e implementação de políticas
(Cairney, 2016; Howlett e Craft, 2013; Sanderson, 2002; Stoker e Evans, 2016).
Apesar disso, há uma enorme incompreensão do que efetivamente são evidências,
E o Nível Subnacional? Os (não) usos das políticas informadas por evidências na | 807
política educacional estadual brasileira
como são produzidas e, acima de tudo, como essas evidências são elementos
importantes, mas não únicos e isolados, para a construção de políticas públicas.
Em relação à imprecisão conceitual, Pinheiro (2021, p. 17-18) aponta que
“o conceito de evidência é intrinsecamente vago e multidimensional, não se
prestando a uma definição exata”. O início do debate sobre o uso de evidências
no processo decisório reflete uma visão positivista que caracterizou os campos de
ciência política e economia em diferentes países, especialmente, nos anglófonos.
Para esse debate, evidências são resultados de pesquisas sistemáticas conduzidas por
institutos de pesquisa, universidades e consultorias, que, portanto, são adotadas
por gestores no processo decisório.
Especificamente no caso brasileiro, o próprio uso da expressão evidências
aumenta a confusão em torno desse debate, visto que o termo evidence-based foi
traduzido para o português ao pé da letra como baseado em evidência. A tradução
caiu no problema do emprego de um falso cognato, uma vez que a palavra inglesa
evidence não significa algo que é evidente, para a qual não cabe a irrefutabilidade,
mas sim constitui uma prova, algo que se constrói a partir de indícios – alguns
mais fortes, outros mais fracos, para os quais cabe a refutabilidade. O uso dessa
tradução nos leva a desenvolver erroneamente a ideia de que há uma superioridade
ontológica em políticas baseadas em evidências, uma vez que estas seriam irrefutá-
veis, quando também dependem da capacidade de criação de um argumento que
retoricamente combine fatos e informações que levem ao processo de validação de
uma afirmação (Solesbury, 2002). O que dá força aos argumentos em políticas
baseadas em evidências não são os seus dados, mas o fato de serem produzidos
por um método científico. Entretanto, não há método científico que não permita
a refutação, sob pena de se tornar um dogma (Kuhn, 1963).
Essa presunção de superioridade ontológica promove um efeito sobre o debate
de políticas baseadas em evidências: governos que adotam políticas baseadas em
evidências são aqueles que implementam as melhores políticas e de que, conse-
quentemente, os processos de construção de políticas e de tomada de decisão são
sempre racionais (Cairney, 2016; Howlett e Craft, 2013). Isso porque uma parte
da produção sobre o tema defende que o uso das evidências produz políticas mais
eficientes, eficazes e efetivas, tendo em vista que seriam formuladas e implementadas
a partir da discussão sobre quais políticas funcionam, ou seja, produzem melhores
resultados em determinados contextos, indicando que “governos devem evitar
falhas nas políticas e aplicar novas técnicas, ou novas informações, para resolver da
melhor maneira os diferentes problemas públicos” (Howlett e Craft, 2013, p. 27).
Cairney (2016) aponta que evidências científicas são entendidas, nessa
corrente positivista, como informações produzidas de forma sistemática, usando
métodos reconhecidos, para as quais haveria, inclusive, uma hierarquia entre os
métodos mais consistentes, como abordagens mais quantitativas. No entanto, as

evidências passaram a ser entendidas como argumentos e afirmações baseadas em
informações, inclusive porque gestores usam vários tipos de informação para tomar
decisões (Solesbury, 2002). Assim, a incorporação de evidências produzidas por
outros atores, como implementadores e cidadãos, acomodou a noção de que as
evidências científicas não são superiores àquelas produzidas por políticos, burocratas,
especialistas e cidadãos (Howlett e Craft, 2013).
O uso de evidências produzidas fora da academia se torna especialmente rele-
vante quando há pouco conhecimento ou consenso sobre determinados problemas,
especialmente, problemas complexos (wicked problems) e as causalidades entre eles
e determinadas alternativas de ação e até multicausalidade entre eles (Bardach,
2012; Howlett e Craft, 2013; Innes e Booher, 2010; Stoker e Evans, 2016). Por
este motivo, Howlett e Craft (2013) defendem um modelo que inclua diferentes
tipos de evidências, como informação, conhecimento e recomendações, produzidas
por diferentes atores: tomadores de decisão (políticos e burocratas), produtores
de conhecimento (especialistas e acadêmicos) e atores que traduzem o dado e a
informação em alternativas de ação, chamados de knowledge brokers (burocratas,
especialistas e organizações da sociedade civil). Outros autores defendem que, em
alguns casos, as evidências podem ser produzidas por meio de processos botttom-up,
ou seja, a partir da ativa participação dos cidadãos e dos implementadores de
políticas, especialmente dos trabalhadores da linha de frente (Howlett e Craft,
2013; Innes e Booher, 2010; Spink, 2001).
Para além do problema da hierarquização das fontes de evidências, há outros
dois principais problemas nas abordagens positivistas e racionalistas. Em primeiro
lugar, a ideia de que há um processo decisório racional e linear, no qual a melhor
política é escolhida e desenhada para resolver um problema, já foi questionada por
diversos autores. Os estudos sobre processo decisório em organizações mostram
que a escolha de uma alternativa é caracterizada por uma racionalidade limitada
(Simon, 1947). Isso significa dizer que o processo decisório é permeado por infor-
mações limitadas que dificultam a compreensão dos problemas e das alternativas,
assimetrias de informação entre atores em situações posicionais diferentes dentro
das organizações e capacidade cognitiva limitada no processamento de toda a
informação disponível para compreender problemas públicos e escolher a melhor
alternativa para resolvê-los, considerando as incertezas, os conflitos e as ambigui-
dades que caracterizam os contextos nos quais as organizações estão inseridas.
As abordagens que explicam a formação da agenda governamental e a
formulação de políticas públicas também questionam a ideia de que esses processos
seguem lógicas lineares e racionais, ou seja, de que há uma ligação lógica entre
evidência, decisões e resultados (Cairney, 2016). Os mais conhecidos – os modelos do
Lindblom (1959), Kingdon (1995), Sabatier e Jekins-Smith (1993) e Baumgartner

e Jones (2009) –, a partir de construções teórico-analíticas diferentes, apontam
que alguns fatores são centrais para explicar esses processos. De um lado, modelos
mais incrementalistas, como o de Lindblom (1959), afirmam que os atores esco-
lhem alternativas que mudam apenas incrementalmente as decisões anteriores, na
medida em que estão imersos em contextos caracterizados por incertezas e, assim,
buscam evitar riscos. De outro lado, os modelos propostos por Kingdon (1995),
Sabatier e Jekins-Smith (1993) e Baumgartner e Jones (2009) dão centralidade a
ideias, atores e instituições e suas intersecções. Essas abordagens colocam o papel
da informação e do conhecimento como centrais nesses processos: informações são
chave para chamar a atenção de atores políticos que ocupam posições relevantes
dentro de governos sobre determinados problemas, enquanto o conhecimento é
base para a construção de soluções pelas comunidades de políticas. No entanto,
o processo de junção dos problemas às soluções não obedece uma lógica linear.5
Stoker e Evans (2016) apontam, portanto, que é ingênuo pensar que o
processo de construção da política é racional e linear; ao contrário, é um processo
dinâmico em que múltiplos elementos interagem e se sobrepõem ao longo do
tempo. Segundo eles, também é ingênuo pensar que é possível encontrar causas
verdadeiras de problemas e que os tomadores de decisão são capazes de imple-
mentar as alternativas de ação que a solucionam controlando condições e fatores
contextuais, bem como os agentes implementadores. As políticas seriam resultado
de crenças causais e de discursos que são mobilizados para legitimá-las (Béland e
Cox, 2010; Fisher e Gottweis, 2012; Schmidt, 2010).
Dente e Subirats (2014) também reforçam que, junto a outros elementos,
dados e informações disponíveis são mobilizados na tomada de decisões, mas
tanto o processo de coleta de dados como a produção de informações podem ter
interesses implicados. Ainda, os dados significam pouca coisa se não são interpre-
tados e enquadrados em teorias e modelos que dão sentido aos números. O fato
de existirem diferentes interpretações possíveis para um mesmo dado pode levar
o formulador da política a escolher direções que coincidem com os interesses e
objetivos de quem está a propondo. É neste momento que os chamados especialistas
concentram grande poder, pois trazem legitimidade para a escolha.
Há outros limites para o uso das evidências, principalmente relacionados à
complexidade de sua produção por meio de avaliações e pesquisas, às barreiras orga-
nizacionais, como valores dos formuladores, pressão social por soluções rápidas, falta
de integração dentro dos governos, cultura organizacional, memória institucional,
forte influência de grupos poderosos, cortes orçamentários e baixos incentivos,
entre outros (Stoker e Evans, 2016), bem como às incertezas dos contextos nos quais
5. A importância do uso de informações e conhecimento, no processo decisório, também aparece em outras análises,
como de ativismo institucional (Olsson e Hysing, 2012) e comunidades epistêmicas (Haas, 1992), por exemplo.
estão inseridos (Koga et al., 2020), especialmente em contextos de crises, que exigem
respostas imediatas (Howlett e Craft, 2013).
Sobre alguns deles, Cairney (2016) aponta que os tomadores de decisão são
influenciados, por sua vez, por valores sociais, julgamentos emotivos e morais que
podem reforçar determinados enquadramentos e categorizações do público-alvo, por
exemplo, e vieses cognitivos, como a superestimação da frequência e probabilidade
de determinados eventos, reforçar decisões anteriores, manutenção do status quo,
expectativas irreais e viés de confirmação. Neste sentido, Dente e Subirats (2014)
trazem um exemplo prático da área de educação. Segundo os autores, algumas
políticas educacionais da Grã-Bretanha previam a formação de classes escolares
com homogeneidade. As teorias que sustentavam esta ideia argumentavam que o
aprendizado de um aluno melhorava se ele estivesse em um contexto com colegas
nem muito mais e nem muito menos inteligentes que ele. Obviamente, eram
teorias controversas que favoreciam a segregação de estudantes oriundos de famílias
mais pobres, minorias étnicas ou contextos socioculturais desvantajosos. Somente
com novos estudos científicos, os quais mostravam que os estudos que embasaram
a teoria anterior eram completamente inconclusivos, e com uso de metodologias
estatísticas frágeis é que o modelo foi alterado.
Newman, Cherney e Head (2016) também chamam a atenção para a
manipulação das evidências ou tendências de usar evidências selecionadas
estrategicamente para dar suporte a decisões previamente tomadas, dificuldades em
adotar evidências quando há, ainda, interpretações conflitantes e diferenças entre
produtores e consumidores de evidências. No entanto, para os autores, além das
dinâmicas políticas, das diferenças culturais e dos diferentes frames interpretativos,
há diversidade nas capacidades de acessar, interpretar e usar diferentes formas
de conhecimento.
A partir desse debate, este capítulo se baseia nas abordagens mais construtivistas
sobre o processo decisório, compreendendo o uso de evidências como importante
para uma tomada de decisões mais bem informadas, buscando avançar na discussão
sobre o processo decisório nos governos subnacionais brasileiros e o uso de
evidências nesses processos; dois temas pouco explorados pela literatura nacional.
A análise desse tema nos governos subnacionais é central, não só porque eles são
responsáveis pela implementação de diversas políticas, mas também porque há
grandes heterogeneidades em suas capacidades fiscais e administrativas. Compre-
ender os processos decisórios no nível subnacional em contextos caracterizados
por capacidades diversas é fundamental para a discussão de como as políticas são
formuladas no Brasil.
3 AS ORIGENS DO DEBATE SOBRE EVIDÊNCIAS NA POLÍTICA

EDUCACIONAL NACIONAL
A discussão sobre o uso de evidências nas políticas públicas, ainda que já estivesse
presente em diversas abordagens explicativas, como supracitado, se intensificou
com o movimento da medicina baseada em evidências – MBE (Pinheiro, 2020).
Também foi usado como forma de “legitimação da plataforma do governo Tony
Blair frente ao eleitorado e um instrumento a mais nas lutas pelo poder político
de certos segmentos da burocracia pública britânica” (Pinheiro, 2020, p. 19).
O grande argumento era que os governos conservadores anteriores seguiam muito
mais crenças ideológicas do que políticas empiricamente e pragmaticamente
orientadas (Solesbury, 2002).
Outros processos foram importantes para dar centralidade ao uso de evidência
nesse contexto, principalmente as mudanças recentes na gestão pública, isto é, as
reformas administrativas inspiradas nas ideias do new public management, que foram
implementadas em diversos países a partir da década de 1980. Esse movimento
reformista teve início na Inglaterra durante o governo de Margaret Thatcher, em
alguns governos locais dos Estados Unidos e, em seguida, outros países anglo-saxões
se juntaram a esse movimento, como a Nova Zelândia e a Austrália, colocando
o desempenho na centralidade da discussão e das experiências (Bresser-Pereira e
Spink, 2006). Entre diversas propostas, o new public management buscava superar o
modelo burocrático weberiano a partir do deslocamento do controle por processos
para o controle por resultados, o que supunha maior autonomia e flexibilidade
para as organizações que executam a política e a adoção de: metas; mecanismos de
avaliação de desempenho e de instrumentos de incentivos e sanções; entre outros
(Pollitt e Bouckaert, 2000).
A reforma gerencialista, como ficou conhecida no Brasil, foi implementada
durante o primeiro governo Fernando Henrique Cardoso (1995-1998) a partir
da atuação do Ministério do Aparelho e Reforma do Estado (Mare). Ainda que as
mudanças gerenciais não tenham sido amplamente implementadas no nível fede-
ral, visto que a reforma ficou mais restrita às privatizações, diversas características
desse modelo foram disseminadas para estados e municípios nas décadas seguintes
(Abrucio, 2010; Abrucio e Gaetani, 2006). No caso da política de educação, o
foco nos resultados influenciou fortemente diversas mudanças recentes (Segatto
e Abrucio, 2017).
Antes de discutir em maior profundidade os efeitos da reforma gerencialista
na política de educação, é importante apontar que, em função das determinações
constitucionais, os esforços iniciais de mudança dessa política estavam direcionados
para a ampliação do acesso à educação. Isso porque a Constituição Federal de
1988 (CF/1988) havia determinado a universalização do ensino fundamental,
inclusive sobrepondo atribuições entre estados e municípios nessa etapa de ensino,

na tentativa de evitar lacunas na provisão. Buscando a ampliação da cobertura,
ou seja, a expansão das matrículas, um dos mecanismos aprovados foi o Fundo de
Desenvolvimento e Manutenção do Ensino Fundamental e Valorização do Magis-
tério (Fundef ) de 1996, que, ao transferir recursos segundo o número de alunos
matriculados, induziu os governos subnacionais, especialmente os municípios, a
ampliarem suas redes.
Ainda durante o governo Fernando Henrique Cardoso, a partir, principal-
mente, da gestão de Paulo Renato Souza no Ministério da Educação (MEC) e da
presidência de Maria Helena Guimarães de Castro no Instituto Nacional de Estudos
e Pesquisas Educacionais Anísio Teixeira (Inep), este instituto se tornou o órgão
responsável pelas avaliações nacionais e um disseminador dessa prática por meio de
uma reorganização do órgão, que havia sido desmontado durante o governo Collor.
Houve o fortalecimento do Censo Escolar e do Sistema de Avaliação da Educação
Básica (Saeb), que, nesse caso, tinha sido criado em 1990 como contrapartida de
um empréstimo do Banco Mundial. No entanto, só alguns estados participavam
da aplicação da prova e os resultados não eram divulgados e comparáveis ao longo
do tempo. Além disso, em 1998, o Inep conseguiu um financiamento do Banco
Mundial para apoiar a criação de centros de avaliação, o instituto, então, selecionou
e enviou vários especialistas de universidades brasileiras ao exterior, sendo alguns
deles pertencentes a grupos atuantes nesse debate e que, inclusive, apoiaram alguns
governos subnacionais (Segatto, 2011).
Essa orientação não foi modificada nos governos de Luiz Inácio Lula da
Silva (2003-2010) e de Dilma Rousseff (2011-2016), mas foi aprofundada com a
criação da Prova Brasil, do Índice de Desenvolvimento da Educação Básica (Ideb)
e da Avaliação Nacional da Alfabetização (ANA). Além disso, as transferências
voluntárias foram atreladas à elaboração do Plano de Ações Articuladas (PAR), ou
seja, foi combinada a concessão de apoio técnico e financeiro do governo federal à
realização de um diagnóstico da rede a partir de dados coletados no Censo Escolar
e ao acompanhamento e à melhoria do Ideb.
Em um primeiro momento, essas mudanças, somadas à onda internacional
que reforçou a importância das avaliações externas, como o Programa Internacional
de Avaliação de Alunos (Pisa), produziram uma disseminação das avaliações e
de outros mecanismos de controle por resultados atrelados a essas avaliações,
como instrumentos de bonificação por desempenho, pelos estados e municípios
brasileiros. Os resultados das avaliações nacionais e estaduais e a participação do
Brasil em provas internacionais foram centrais para colocar a aprendizagem dos
alunos no centro do debate e, portanto, o foco da política de educação passou a
ser a melhoria da qualidade da educação. Nesse contexto, as reformas orientadas
pelo desempenho, inspiradas em evidências difundidas pelo gerencialismo e pela

academia, foram adotadas como solução para esse problema.
Em um segundo momento, o uso mais sistemático das avaliações – principalmente
por meio Ideb, que facilitou a compreensão dos gestores e dos profissionais da
educação dos resultados educacionais – e do Censo Escolar passou a orientar
o processo decisório das secretarias estaduais e municipais de educação. Com o
aumento gradual desses dados pelos governos e a busca pela melhoria dos resultados
educacionais, ganhou força a ideia do uso de evidências na política de educação.
Estudos mostram que há graus diferentes de uso e apropriação dos dados pelos
gestores escolares. Há casos em que esse uso é mais superficial, e outros em que há
uma apropriação maior orientando as ações pedagógicas nas escolas. Ainda que
a produção dos dados e as políticas de responsabilização tenham possibilidade
desse uso e apropriação, há fatores ligados aos contextos institucionais nos quais
os gestores estão imersos, os quais influenciam o uso e a apropriação dos dados
por eles (Carrasqueira et al., 2015).
A limitação das reformas orientadas pelo desempenho para a melhoria efetiva
da qualidade da educação também incluiu uma reorientação do debate. Os gestores
passaram a incorporar a ideia de que a melhoria dos resultados passava necessariamente
pelo fortalecimento dos insumos e dos processos dentro dos sistemas educacionais,
como formação e seleção de professores e diretores. Na educação, já havia uma
extensa discussão sobre a influência dos fatores intraescolares no desempenho dos
alunos (Brooke e Soares, 2008), mas, nesse momento, os estudos sobre equidade
passaram a influenciar as mudanças na política, incorporando, portanto, a ideia de
uma distribuição mais justa de recursos financeiros e humanos, principalmente de
professores, que seria fundamental para a melhoria dos resultados educacionais (Carter
e Welner, 2013). Essa discussão influenciou mudanças recentes, como o desenho do
Novo Fundeb, aprovado em 2020.
4 O USO DE EVIDÊNCIAS PELAS SECRETARIAS ESTADUAIS DE EDUCAÇÃO

Considerando que no governo federal o uso de dados e estudos para basear a escolha
de alternativas de políticas para a área de educação é recente, e reconhecendo a
importância dos estados e municípios no processo de implementação das políticas
educacionais brasileiras, nesta seção analisamos como as secretarias estaduais estão
lidando com o tema das evidências.
4.1 Métodos do estudo

Para a construção desse panorama, a pesquisa foi dividida em duas etapas. Em
primeiro lugar, a partir de informações públicas existentes nos sítios digitais das
secretarias estaduais, o foco foi levantar a existência de setores responsáveis pela
produção e pelo uso de evidências na política educacional. Mesmo que, na maioria

dos casos, as informações disponibilizadas nos websites fossem suficientes, a pes-
quisa em documentos públicos, como portarias e decretos, fez-se necessária para
garantir a veracidade e a atualidade dos dados. Com isso, obtivemos a localização
institucional desses setores, fator que possibilita uma análise da sua influência no
processo decisório, ora mais operacional, ora mais estratégico.
Ainda com uma perspectiva panorâmica, a pesquisa documental foi direcionada
para a verificação de como os planos estaduais de educação atuais lidam com a
questão das evidências, dados e informações. Novamente, os websites das pastas
foram fontes de pesquisa fundamentais para o levantamento do documento base
dos planos e das respectivas legislações que os colocaram sob vigência. Com isso, foi
feita uma listagem das citações referentes ao uso de evidências, dados e informações,
procurando depreender como cada plano trazia essa discussão, tanto do ponto de
vista quantitativo quanto qualitativo.
A segunda etapa da pesquisa consistiu no estudo da experiência paulista
com o Escritório de Evidências, com o objetivo de aprofundar o entendimento
dessa iniciativa que se destacou entre o panorama elaborado pela primeira fase
da investigação. Além de pesquisa documental, a realização de entrevistas com
três gestores da Secretaria da Educação do Estado de São Paulo foi fundamental
para compreender: i) o contexto e o processo de criação do Escritório de
Evidências; ii) a estruturação da sua equipe e de suas atividades; iii) os resultados
esperados e alcançados; e iv) os avanços e desafios. As entrevistas foram realizadas
entre março e abril de 2021, e foram feitas com gestores diretamente ligados à
criação do Escritório de Evidências. Com participações em diferentes momentos,
as entrevistas permitiram a criação de uma narrativa bastante completa das
expectativas, das experiências e dos limites do escritório, aqui entendido como
uma importante referência no uso de evidências nas políticas públicas. Os nomes
e cargos dos entrevistados não foram mencionados a fim de manter a confiden-
cialidade sobre seus dados.
4.2 As estruturas organizacionais atuais

Das 27 secretarias estaduais, em apenas nove, foram encontradas as descrições das
atribuições de seus braços administrativos e, portanto, é sobre esses casos que esta
análise se debruça. Nelas, foi possível identificar algum setor com essas funções,
por exemplo: Departamento de Planejamento e Gestão Estratégica, no Paraná;
Gerência de Informação e Avaliação Educacional, no Espírito Santo; Superinten-
dência de Gestão Estratégica e Avaliação de Resultados, em Goiás; Gerência de
Estatística e Informações Educacionais, no Tocantins; e Gerência de Avaliação e
Monitoramento das Políticas Educacionais, em Pernambuco.
Procurando pelas atribuições desses diferentes departamentos nos respectivos

sítios na internet, pode-se notar certa convergência. No caso do Rio Grande do
Sul, a coordenadoria é responsável por:
viabilizar e acompanhar os processos de avaliação externa, realizar diagnósticos, estudos,
pesquisas e análises técnico-políticas vinculadas ao planejamento que contribuam
para a qualificação da oferta da educação e coordenar as atividades do Censo Escolar
em todas as redes de ensino.6
A Superintendência de Gestão da Informação Educacional da Bahia é respon-
sável por “coordenar, acompanhar, monitorar e avaliar os resultados de desempenho
das unidades e dos estudantes” (Bahia, 2014). De maneira semelhante, o Centro
de Pesquisas Educacionais do Amapá “programa, coordena, supervisiona, orienta
e inspeciona as atividades de pesquisa e estatísticas educacionais” (Amapá, 2017).
Por seu turno, a Gerência de Controle, Avaliação e Estatística do Estado de Rondônia
é “responsável pelo gerenciamento das ações, programas e projetos voltados ao
controle e avaliação do processo de ensino e aprendizagem por meio da aferição da
eficácia e da qualidade do ensino” (Rondônia, 2020, p. 13). A Coordenadoria de
Informação, Tecnologia, Evidência e Matrícula do Estado de São Paulo, que será
aprofundada no decorrer deste texto, tem como funções primordiais a “organização
e gerenciamento estratégico de sistemas de informações na área educacional”.7
Questões voltadas ao planejamento parecem ser outro foco das unidades
organizacionais aqui em foco, como visto nos casos da Subsecretaria de Planeja-
mento, Acompanhamento e Avaliação do Distrito Federal, que define “diretrizes
e orientações relacionadas ao planejamento estratégico, ao acompanhamento e à
avaliação”;8 da Gerência de Planejamento, Monitoramento e Avaliação do Piauí,
“responsável por orientar e supervisionar o processo de planejamento estratégico”;9
do Departamento de Planejamento e Gestão Financeira do Amazonas, que “coordena
o processo de elaboração de planos, programas e projetos necessários à execução e à
promoção da política educacional, avaliando continuamente sua efetividade”;10 e,
por fim, da Assessoria de Planejamento da Secretaria de Educação de Sergipe, que
“tem por finalidade assegurar o exercício das funções de planejamento, pesquisa,
acompanhamento, controle e avaliação”.11
6. Secretaria de Educação do Rio Grande do Sul. Disponível em: <https://bit.ly/3IZNzPg>. Acesso em: 13 fev. 2021.
7. Coordenadoria de Informação, Tecnologia, Evidências e Matrícula da Secretaria de Educação do Estado de São Paulo.
Disponível em: <https://bit.ly/30AMgFf>. Acesso em: 13 fev. 2021.
8. Subsecretaria de Planejamento, Acompanhamento e Avaliação da Secretaria de Estado de Educação do Distrito
Federal. Disponível em: <https://bit.ly/3e3fFLv>. Acesso em: 13 fev. 2021.
9. Estrutura organizacional da Secretaria de Estado da Educação do Piauí. Disponível em: <https://bit.ly/3F7nECX>.
Acesso em: 13 fev. 2021.
10. Departamento de Planejamento e Gestão Financeira (DPGF)/Secretaria de Estado de Educação do Amazonas.
Disponível em: <https://bit.ly/3sejqWw>. Acesso em: 13 fev. 2021.
11. Assessoria de Planejamento da Secretaria de Estado da Educação, do Esporte e da Cultura do Estado de Sergipe.
Disponível em: <https://bit.ly/3mdTvdY>. Acesso em: 13 fev. 2021.
Essas diferentes estruturas organizacionais também apresentam semelhanças no

tocante à sua localização institucional. Seis dos nove departamentos aqui analisados
(São Paulo, Distrito Federal, Amapá, Amazonas, Bahia e Sergipe) estão a apenas
um nível hierárquico do principal centro de decisões das suas respectivas secre-
tarias, respondendo diretamente à pessoa responsável pela pasta. Os outros casos
(Rio Grande do Sul, Rondônia e Piauí) localizam-se a dois níveis hierárquicos da
chefia da pasta, o que indica que as atribuições levadas por essas coordenadorias,
gerências e departamentos transitam entre questões operacionais e estratégicas do
ponto de vista da gestão da política educacional.
Em todos os estados, há a produção de dados sobre os resultados educacionais
a partir das avaliações externas. No entanto, isso não significa que as secretarias
usam esses dados para subsidiar as decisões da política. A ênfase dada a certas pala-
vras, como planejamento e avaliação, presentes em quase metade dos casos, indica
que se trata de departamentos mais estratégicos do que operacionais. A utilização
de conceitos como informação, estatística e pesquisa indica, por sua vez, a maneira
pela qual essa estratégia é levada a cabo: pela utilização de dados, o que é melhor
descrito nas atribuições dessas unidades.
Agrupando as funções dessas unidades em três grandes grupos, temos: coor-
denação, controle e produção. Na maioria dos casos, observamos que as unidades
organizacionais fazem, em maior ou menor grau, alguma dessas três funções.
Em casos específicos, uma função se sobressai às demais, por exemplo: nos casos
de Rondônia e Sergipe, as unidades parecem ser voltadas mais para a garantia do
bom funcionamento das políticas da secretaria, ofertando apoio técnico às demais
unidades. Possivelmente pela localização privilegiada nas estruturas organizacionais,
a função de coordenação figura em quase todos os casos, como visto exemplarmente
na descrição encontrada para o Amazonas: “coordenação do processo de elaboração
de planos, programas e projetos necessários à execução e à promoção da política
educacional do estado”;12 o Piauí: “responsável por orientar e supervisionar o
processo de planejamento estratégico das unidades”;13 e São Paulo: “o órgão é
responsável por organizar e gerenciar estrategicamente sistemas de informações
na área educacional”.14
O mais interessante reside nas descrições que indicam uma função de produção
e veiculação de informações no âmbito da política educacional. Em seis das nove uni-
dades sob análise (Rio Grande do Sul, São Paulo, Amapá, Amazonas, Bahia e Piauí),
há atribuições ligadas à criação de novos dados ou à aglutinação de informações
12. DPGF/Secretaria de Estado de Educação do Amazonas. Disponível em: <https://bit.ly/3sejqWw>. Acesso em: 13
fev. 2021.
14. Coordenadoria de Informação, Tecnologia, Evidências e Matrícula da Secretaria de Educação do Estado de São
Paulo. Disponível em: <https://bit.ly/30AMgFf>. Acesso em: 13 fev. 2021.
já existentes, por exemplo: “viabilizar e acompanhar os processos de avaliação

externa promovidos pelo Ministério da Educação, analisando e comparando os
dados”;15 “programar, coordenar, supervisionar, orientar e inspecionar as atividades
de pesquisa e estatísticas educacionais” (Amapá, 2017); e “realizando, ainda, estudos,
pesquisas, avaliação e análise de informações estatísticas”.16 Mais especificamente,
em três descrições, encontramos a indicação que esses dados serão usados para
subsidiar a melhora da gestão: “realizar diagnósticos, estudos, pesquisas e análises
técnico-políticas vinculadas ao planejamento que contribuam para a qualificação
da oferta da educação básica no estado”;17 “produzir e disseminar informações,
visando subsidiar as políticas educacionais que promovam a melhoria da gestão”
(Bahia, 2014); e “com vistas a sistematização de informações que orientem a to-
mada de decisões”.18
Observa-se, portanto, que as atribuições dessas unidades organizacionais
podem indicar um esforço de usar dados nas decisões. Nos demais casos, no
entanto, as funções dos braços administrativos analisados indicam que a utilização
de dados para a gestão da política educacional é, sim, uma preocupação. Todavia,
não é possível dizer se esses dados, tampouco evidências, são produzidos e geridos
com objetivos operacionais ou estratégicos para alterar os rumos das políticas.
4.3 A ausência de “evidências” nos planos estaduais de educação vigentes

Além da análise de estruturas institucionais, e em virtude dos poucos resultados
encontrados, optou-se por realizar uma análise dos planos estaduais de educação,
documento fundamental que norteia as ações educacionais de cada estado por
um período de tempo. A maioria dos planos vigentes tem abrangência do decênio
2015-2025. O primeiro resultado encontrado foi a completa ausência da palavra
“evidência” em todos os 25 planos estaduais de educação (o plano do estado de
Roraima foi encontrado apenas em formato não pesquisável) e do plano distrital.
Dessa forma, duas outras palavras-chave foram acrescentadas, seguindo a
literatura apresentada anteriormente: há 348 menções à palavra “informação(ões)”
e 799 à palavra “dado”. Na maioria dos planos (23 textos), encontrou-se alguma
meta direcionada especificamente para o uso ou à produção de dados para a política
educacional. Apenas os estados de São Paulo, Alagoas e Ceará apresentam apenas
uma meta direcionada a essa atividade, enquanto os planos estaduais de educação
de Rondônia e Pernambuco figuram com um total de sete metas direcionadas à
utilização de informações e banco de dados.
16. DPGF/Secretaria de Estado de Educação do Amazonas. Disponível em: <https://bit.ly/3sejqWw>. Acesso em: 13
fev. 2021.
Percebe-se que as metas direcionam-se ao levantamento de dados, à criação

de sistemas, à realização de parcerias e à divulgação de estatísticas. Para mostrar a
grande convergência entre as propostas colocadas por essas metas, alguns exemplos
podem ser citados. Em relação ao levantamento de dados, em 14 dos 23 documentos
encontramos, com apenas pequenas modificações, uma meta referente à articulação
com outras entidades para a obtenção de informações sobre a população infantil e
juvenil com deficiências ou transtornos; como na meta 4.15 do plano catarinense:
promover, por iniciativa da Secretaria de Estado da Educação, Fundação Catarinense
de Educação Especial e da Federação das Apaes de Santa Catarina, junto aos
órgãos de pesquisa, demografia e estatística competentes, a obtenção de informação
detalhada sobre o perfil das pessoas público da educação especial de 0 a 17 anos
(Santa Catarina, 2015, p. 12).
No que concerne à formulação de novos ou à melhoria dos sistemas de infor-
mação, apenas o plano alagoano não traz nenhuma menção. Nesse agrupamento,
encontram-se metas tanto de criação – como a 11.9 do Paraná: “Implantar o
Sistema Público Paranaense de Informações de Qualificação Profissional, Estágio
e Emprego” (Paraná, 2015, p. 83) – quanto de auxílio para fortalecimento de
sistemas já em funcionamento, como a presente no plano de Sergipe:
implantar e fortalecer, com a colaboração técnica e financeira da União, em articulação
com o sistema nacional de avaliação, o sistema estadual de avaliação da educação
básica, com participação, por adesão, das redes municipais de ensino, para orientar
as políticas públicas e as práticas pedagógicas, com o fornecimento das informações
às escolas e à sociedade (Sergipe, 2015, p. 80).
De forma muito semelhante, há menções ao fortalecimento de sistemas já
em funcionamento em outros cinco documentos (Santa Catarina, Espírito Santo,
Pará, Rondônia, e Rio Grande do Norte).
As metas relacionadas à transparência e à divulgação de resultados vêm
acompanhadas da anterior criação ou compilação desses dados, criados pelas
próprias secretarias estaduais ou por outros órgãos. A meta 7.9, presente no Plano
Estadual de Educação do Rio Grande do Sul:
acompanhar e divulgar bienalmente os resultados pedagógicos dos indicadores do
sistema nacional de avaliação da educação básica e do Ideb, relativos às escolas, às
redes públicas de educação básica e aos sistemas de ensino do estado e dos municípios,
assegurando a contextualização desses resultados (Rio Grande do Sul, 2015, p. 31).
Ainda no âmbito das metas relacionadas à transparência e divulgação de resul-
tados, a meta supracitada representa de forma exemplar esse agrupamento, tendo
em vista que, nos planos do Espírito Santo, de Rondônia, do Ceará, do Maranhão,
do Rio Grande do Norte e de Sergipe, há semelhança com o plano gaúcho.
Nesses três exemplos, fica evidente a presença das parcerias, como fonte
de dados e estatísticas, de forma transversal nos planos. Parte das informações a
serem utilizadas advém de outras fontes que não a própria instância estadual e,
para efetivar a divulgação e a atualização dos dados, a presença de outros atores
governamentais ou não também figura como central. Como pode ser visto em
trecho da meta 2.4 do Plano Estadual de Educação do Espírito Santo – “em
colaboração com as famílias e com órgãos públicos de assistência social, saúde e
proteção à infância, à adolescência e à juventude” (Espírito Santo, 2015, p. 3) –,
o acompanhamento dessas informações levantadas também se faz por meio dos
beneficiários da política educacional.
Nesse sentido, se há muita disparidade entre as estruturas organizacionais, em
relação à utilização de dados para subsidiar decisões, a análise dos planos estaduais
de educação mostra uma dominância da temática, colocando-a como estratégia
central e praticamente unânime. Nos anos 2014 e 2015, durante os quais a maioria
dos projetos base dos planos foram construídos, a questão da gestão da informação
parece ter sido bastante discutida, sendo incorporada de forma transversal nas
leis. Se os planos estaduais de educação estabeleceram diretrizes inequívocas sobre
o uso de dados para a melhoria da política educacional, o que a análise mostra
é que essas propostas não foram incorporadas de forma abrangente na estrutura
organizacional das secretarias. Se não restam dúvidas quanto à presença da busca
pelo uso de dados e evidências no campo da educação pública, não podemos ter
a mesma certeza sobre a institucionalização desse modelo.
4.4 A institucionalização do uso das evidências: o Escritório de Evidências

da Secretaria da Educação do Estado de São Paulo
Buscando aprofundar o estudo dessa questão, a análise do caso paulista se mostra
bastante frutífera. Apenas com as informações da estrutura organizacional e dos
planos estaduais, é impossível diferenciar a iniciativa inovadora levada a cabo no
interior da Coordenadoria de Informação, Tecnologia, Evidências e Matrícula
(Citem); que hoje se encontra em estado bastante embrionário, a realização de
entrevistas com gestores envolvidos na criação do Escritório de Evidências foi central
para a análise de uma tentativa de institucionalização maior que as encontradas na
pesquisa documental. Focando nas mesmas questões de posição institucional e de
atribuição, a estrutura criada na Secretaria da Educação do Estado de São Paulo,
que conta com a maior rede de ensino do país, é exemplar no sentido de oferecer
maiores contornos às questões levantadas neste capítulo.
O Plano Estratégico 2019-2022: Educação para o Século XXI, da Secretaria
da Educação do Estado de São Paulo, colocou o uso de evidências como um dos
valores norteadores da gestão educacional, admitindo essa prática como: “fazer uso
de evidências nos processos de tomada de decisão, formulação de políticas, pro-
gramas, projetos e ações em todos os âmbitos da secretaria, inclusive na sala de aula,
visando promover a aprendizagem de todos os estudantes” (São Paulo, 2019, p. 17).

Entre os projetos prioritários, o Novo Modelo de Gestão e Compliance está dire-
tamente relacionado à mudança na estrutura organizacional da secretaria e nos
seus padrões de gestão já consolidados. Para tanto, a estruturação de um escritório
de evidências foi colocada como uma das prioridades a serem implementadas.
Assim, foi nesse contexto que o Escritório de Evidências foi constituído.
A criação do Escritório de Evidências foi influenciada pela experiência an-
terior do atual secretário de Educação do Estado de São Paulo, Rossieli Soares,
enquanto chefiava o MEC, durante o governo do ex-presidente Michel Temer,
do Movimento Democrático Brasileiro (MDB). Em 2018, foi estruturada a
Assessoria Estratégica de Evidências (Aevi), como parte do Gabinete do Ministro
de Educação. O objetivo principal era trazer o debate sobre uso de evidências para
informar a tomada de decisões no governo – incorporando a crescente discussão
acadêmica sobre o tema –, para avaliação e inovação de políticas educacionais
federais específicas. Naquele momento, a equipe formada se inspirou em casos
de sucesso de outros países e procurou agregar pessoas com formação acadêmica
voltada para a avaliação de políticas públicas. Tendo maior capacidade interna do
que as secretarias subnacionais e já sendo voltado para o acompanhamento dos
resultados das diferentes redes, o objetivo da Aevi era disseminar boas práticas de
gestão para auxiliar estados e municípios.
Com a eleição do governador João Dória, do Partido da Social Democracia
Brasileira (PSDB), em 2019, Rossieli Soares foi nomeado secretário estadual
de Educação em São Paulo. Segundo os gestores e ex-gestores entrevistados, a
determinação no plano estratégico sobre a institucionalização de uma assessoria
estratégica na estrutura organizacional da Secretaria da Educação do Estado de
São Paulo havia sido inspirada na experiência federal, mas, somente em 2020, o
Escritório de Evidências foi criado.
Diferentemente da experiência no MEC, o Escritório de Evidências foi criado
no âmbito da Citem. Segundo relatado pelos entrevistados, sabendo das descon-
tinuidades políticas que o gabinete é sujeito, os gestores envolvidos acreditaram
que a garantia de certa distância do centro decisório seria fundamental para sua
permanência ao longo do tempo. Além disso, sendo envolto pelos núcleos da se-
cretaria mais diretamente envolvidos na gestão e análise de dados, o Escritório de
Evidências ganharia celeridade na aquisição dos dados necessários e na construção
de relações frutíferas com os donos dos dados. No tocante à localização institucional,
então, a experiência paulista buscou os benefícios de um equilíbrio entre a prox-
imidade e a distância em relação ao centro de poder: sem deixar de ser um projeto
prioritário e de estar próximo aos órgãos que já produziam dados, a equipe procurou
blindar o Escritório de Evidências em relação às mudanças repentinas de gestão.
Apesar disso, o Escritório de Evidências não existe formalmente e, portanto,

não é capaz de garantir continuidade a projetos e parcerias desenvolvidos e resulta
em um grande personalismo das ações feitas pelo escritório e uma dependência de
lideranças – atores internos que apoiam a sua existência e a atuação dos próprios
gestores que estão na coordenação do escritório. Isso significa que há, ainda, enormes
desafios relacionados à institucionalização e à continuidade de experiências como esta.
Na fala dos gestores entrevistados, o conceito de evidências e o papel do
Escritório de Evidências decorrente dessa definição figuraram como consensos,
mesmo que bastante amplos: entendendo evidências como o produto de um
processo no qual dados são selecionados e transformados em informação com o
objetivo de potencializar a tomada de decisão, sendo o Escritório de Evidências o
facilitador desse processo no interior da secretaria. Não se trata, portanto, apenas de
produzir conhecimento, mas de garantir que o conhecimento produzido influencie
positivamente a qualidade das políticas implementadas pelo governo. Trata-se de
traduzir informações pouco legíveis para gestores, levando-lhes exemplos de boas
práticas nacionais e internacionais e como aplicá-las na realidade daquela rede.
As atividades do Escritório de Evidências se voltaram à realização de seminários
formativos para os servidores, buscando aproximar os gestores da comunidade de
especialistas do campo da educação. De um lado, os seminários buscavam iniciar
uma familiarização dos gestores e servidores envolvidos na gestão de dados, bem
como na tomada de decisão com as pesquisas acadêmicas relacionadas a essa prática
e uma sensibilização deles em relação à importância ao uso de evidências – prática
reforçada pela veiculação de boletins informativos internos. De outro lado, a sua
inserção na rede da comunidade de especialistas aumentava a visibilidade externa
em relação à sociedade no geral e, particularmente, ao conjunto de institutos e
fundações empresariais e organismos internacionais, que seriam parceiros e po-
tenciais financiadores de pesquisas.
A questão central para os entrevistados é que a política educacional é uma
área em que há a produção de muitos dados brutos, mas a secretaria não tem
capacidade para analisar todos eles. E, em decorrência disso, a abertura das bases
de dados ganhou centralidade na agenda do Escritório de Evidências. Além da
ampliação da transparência, a ideia de dados abertos é importante para a ampliação
de conhecimento qualificado: outros atores podem utilizar os dados produzidos
pela secretaria para estudos que, por sua vez, podem produzir evidências a serem
usadas pela gestão pública para informar decisões.
Os entrevistados também apontam que o corpo técnico da secretaria não é
imbuído da noção de que o uso de dados, informações e evidências é essencial para
uma tomada de decisão qualificada. Com isso, uma outra função do Escritório de
Evidências é incorporar a ideia de políticas baseadas em evidências no cotidiano
da secretaria. Apesar disso, os entrevistados afirmam que os gestores e os servidores

reconhecem a importância de dados e informações para a tomada de decisões e,
em diferentes graus, aplicam algum tipo de análise em seu cotidiano, mas não
têm o conhecimento técnico para construir análises robustas. Assim, o papel do
Escritório de Evidências inclui a consolidação, por meio de processos formativos,
de um conhecimento mais especializado em análise de dados. Ainda que haja uma
contradição, o escritório tem buscado promover uma mudança na cultura orga-
nizacional da secretaria, a partir da formação de seu corpo técnico, da capilarização
do conhecimento técnico relacionado à política baseada em evidências e da criação
de capacidade administrativa.
Por fim, os entrevistados apontam que o Escritório de Evidências também é
responsável por atividades relacionadas à análise de dados e à produção de reco-
mendações sobre as melhores soluções para determinados problemas. No entanto,
consideram essa uma consequência indesejada de sua atuação e, em função de
recursos limitados e de uma equipe pequena, o escritório não teria capacidade de
responder a todas as demandas. Funcionando com apenas três pessoas alocadas
para o projeto, os desafios de recursos humanos foram temas presentes em todas
as entrevistas. A Secretaria da Educação do Estado de São Paulo conta com um
quadro de servidores com pouco perfil para a análise de dados; muitas funções
administrativas são realizadas por professores e professoras afastadas das salas de
aula. De maneira geral, há pouca atenção para a necessidade de estruturação de uma
carreira administrativa competente para sustentar a análise de informações que a
gestão da maior rede educacional do país necessita. Para os gestores entrevistados, o
uso de evidências nas decisões depende da atuação de alguns gestores e consultores
e a única maneira de produzir análises robustas e complexas é a partir de parcerias
com fundações privadas e academia, ou seja, seu papel seria articular esses atores.
Nesse sentido, as atividades do Escritório de Evidências voltam-se muito
mais à introdução do tema no cotidiano organizacional da secretaria e, a despeito
desses obstáculos e da fragilidade em sua institucionalização, o escritório traz
avanços não só no fortalecimento do uso de dados na política educacional e na
tomada de decisões informadas em evidências, mas, principalmente, na construção
de capacidade dentro da secretaria; o que é extremamente relevante, dado que há
uma ausência de carreiras específicas ligadas à gestão das secretarias estaduais de
educação em todo o país. Outro avanço refere-se ao fortalecimento da articulação
entre a secretaria e os atores externos, principalmente especialistas que produzem
evidências. Avanços futuros poderiam envolver a criação de espaços institucional-
izados e a expansão da participação de atores externos, incluindo representantes de
universidades, institutos de pesquisas, organizações da sociedade civil e comunidade
escolar, como sugerido pela literatura sobre o tema.
Nas últimas décadas, houve um movimento crescente de produção de dados e da
adoção de mecanismos de controle por resultados na política educacional brasileira.
Além da centralidade dos resultados das avaliações e do foco no desempenho, houve,
nos estados brasileiros, uma disseminação dessas ideias, influenciando a criação
de estruturas organizacionais que produzem informações às equipes gestoras e o
direcionamento da política a partir de metas relacionadas à produção e ao uso de
dados nas decisões.
No entanto, a realidade sobre o uso de evidências – encontrada em outras
áreas apresentadas neste livro e, especialmente no nível federal – ainda não está
presente no nível estadual, pelo menos na área educacional. Ainda que o uso de
dados tenha ocorrido em graus variados, tanto por gestores das secretarias quanto
por gestores escolares (Carrasqueira et al., 2015), a análise realizada neste capí-
tulo mostra que houve pouco avanço no uso mais sistemático desses dados – por
exemplo, comparando resultados educacionais para compreender os fatores que
afetam diferenças nos resultados com controle de variáveis socioeconômicas – e,
em menor medida ainda, no uso de evidências para a tomada de decisão. Ademais,
os tipos de dados e evidências utilizadas ainda estão muito relacionadas ao des-
empenho e à proficiência dos alunos, ou seja, ao resultado e impacto da política,
e pouco aos insumos e recursos necessários para a melhoria da qualidade, redução
de desigualdades e promoção de equidade.
Na análise, pudemos perceber três tipos de desafios. O primeiro deles está ligado
ao que a literatura de processo decisório chama atenção: processos decisórios não são
lineares e racionais e, portanto, o uso de dados e evidências não ocorre de maneira
imediata e simples. De um lado, ainda é um desafio produzir evidências dentro dos
governos e usá-las para informar decisões. De outro, há muito conhecimento sendo
produzido a partir dos dados e este conjunto de informações, muitas vezes externos
à estrutura organizacional estatal, é um elemento a mais a ser considerado na
formulação de políticas e alocação de recursos públicos. Reestabelecer essa ponte entre
agentes estatais e agentes externos é muito importante, mas requer que academia
e governo alinhem minimamente as suas agendas, e também a sociedade civil, que
realizam ou financiam estudos e pesquisas, reconheçam que as redes não são meros
objetos de pesquisa ou fornecedores de dados e que comecem a fazer uma coprodução
efetiva de políticas educacionais.
O segundo desafio é organizacional e está muito presente no nível subnacional.
O tratamento e a análise de dados, assim como a produção de evidências, é uma
tarefa de alta complexidade e que requer equipes qualificadas e capacitadas para tal.
No entanto, muitos dos servidores que ocupam cargos técnicos nas secretarias
de educação, seja no nível estadual, seja no municipal, são pessoas sem formação
específica para isso e que não estão preparadas tecnicamente para lidar com dados
quantitativos, e mesmo com softwares simples de análises estatísticas. Como o volume
de informações da área de educação é enorme, mesmo em municípios de pequeno
porte, essa ausência de capacidade impacta nas atividades de acesso, interpretação e
uso dos dados, assim como na produção de evidências. Além disso, mesmo no caso
da Secretaria da Educação do Estado de São Paulo, embora a criação do Escritório
de Evidências seja um passo importante, a equipe é muito pequena e os recursos
disponíveis são muito limitados. Outro ponto é a necessidade de institucionalizar
estas estruturas organizacionais criadas, evitando que elas sejam descontinuadas
facilmente a partir da troca de gestão. Por fim, há que reconhecer a dificuldade
de realização de mudanças na cultura organizacional das equipes de educação, de
maneira a atualizar práticas administrativas e pedagógicas, incorporando novas
ações cujas evidências parecem demonstrar que são promissoras.
O terceiro desafio é a desigualdade entre os estados brasileiros. Enquanto São
Paulo possui recursos para a criação de um Escritório de Evidências, outros estados,
com menor disponibilidade de recursos financeiros e humanos, talvez não tenham as
mesmas condições de criar este tipo de estrutura, mesmo que haja vontade política
do secretário. A desigualdade também é de acesso ao investimento social privado,
capaz de financiar estudos e pesquisas, mas que está concentrado em estados das
regiões Sudeste e Sul, além de alguns poucos estados das demais regiões do Brasil.
O esforço de redução das desigualdades educacionais, também no acesso às evi-
dências e no seu uso, deveria ser uma prioridade do MEC, assim como de outros
órgãos produtores de pesquisas e conhecimento no âmbito federal, com apoio de
organizações, como o Conselho Nacional de Secretários de Educação (Consed) e
a União Nacional dos Dirigentes Municipais de Educação (Undime), para que as
políticas informadas por evidências pudessem estar disponíveis nas 27 UFs e 5.570
municípios brasileiros.
Sem enfrentar esses três desafios de maneira consistente, a área educacional
brasileira tende a ficar refém de discursos negacionistas disseminados nos últimos
anos e de práticas retrógradas, enquanto ilhas de excelência e de resistência vão
sendo criadas em outra parte. Ou seja, o uso das evidências pode ser um mecanismo
importante de resistência a esses discursos negacionistas, mas não basta apenas
incorporar a noção de uso de evidências educacionais no nível local, é preciso de-
bater seriamente quais dados e evidências são usadas, quem participa – e em que
condições participa – desses processos de coleta de dados e quais conhecimentos
estão sendo gerados.
REFERÊNCIAS
ABRUCIO, F. L. A dinâmica federativa da educação brasileira: diagnóstico e
propostas de aperfeiçoamento. In: OLIVEIRA, R. P. de; SANTANA, W. (Org.).
Educação e federalismo no Brasil: combater as desigualdades, garantir a diver-
sidade. Brasilia: Unesco, 2010.
ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizão. In: CONSAD –
CONSELHO NACIONAL DE SECRETÁRIOS DE ADMINISTRAÇÃO;
FUNDAP – FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO
(Org.). Avanços e perspectivas da gestão públicas nos estados. Brasília: Consad;
São Paulo: Fundap, 2006.
AMAPÁ. Lei no 2.257, de 5 de dezembro de 2017. Dispõe sobre alterações na
estrutura organizacional da Secretaria de Estado da Educação e dá outras provi-
dências. Diário Oficial do Estado do Amapá, Macapá, 5 dez. 2017. Disponível
em: <https://bit.ly/3mbMIRU>.
BAHIA. Lei n o 13.204, de 11 de dezembro de 2014. Modifica a estrutura
organizacional da administração pública do Poder Executivo estadual e dá
outras providências. Diário Oficial do Estado da Bahia, Salvador, 11 dez. 2014.
Disponível em: <https://bit.ly/3E5gUnK>.
BARDACH, E. A practical guide for policy analysis: the eightfold path to more
effective problem solving. Thousand Oaks: Sage Publications, 2012.
BAUMGARTNER, F. R.; JONES, B. D. Agendas and instability in American
politics. Chicago: The University of Chigado Press, 2009.
BÉLAND, D.; COX, R. H. Introduction: ideas and politics. In: BÉLAND, D.;
COX, R. H. (Org.). Ideas and politics in Social Science research.New York:
BRESSER-PEREIRA, L. C.; SPINK, P. (Org.). Reforma do Estado e adminis-
tração pública gerencial. 7. ed. Rio de Janeiro: FGV, 2006.
BROOKE, N.; SOARES, J. F. (Org.). Pesquisa em eficácia escolar: origem e
trajetórias. Belo Horizonte: Editora UFMG, 2008.
CAIRNEY, P. The politics of evidence-based policy making. Stirling: University
of Stirling, 2016.
CARRASQUEIRA, K. et al. Políticas de responsabilização escolar: um estudo
exploratório sobre as estratégias de instâncias intermediárias na rede municipal do
Rio de Janeiro. Jornal de Políticas Educacionais, v. 9, n. 17 e 18, p. 75-89, 2015.
CARTER, P. L.; WELNER, K. G. Building opportunities to achieve. In: CARTER, P. L.;

WELNER, K. G. (Org.). Closing the opportunity gap: what America must do
to give every child an even chance. Oxford: Oxford University Press, 2013.
DENTE, B.; SUBIRATS, J. Decisiones públicas: análisis y estudio de los procesos
de decisión en políticas públicas. Barcelona: Editoral Ariel, 2014.
ESPÍRITO SANTO. Lei no 10.382, de 25 de junho de 2015. Aprova o Plano
Estadual de Educação do Espírito Santo, período 2015-2025. Diário Oficial do
Estado do Espírito Santo, Vitória, 25 jun. 2015.
FISCHER, F.; GOTTWEIS, H. (Org.). The argumentative turn revisited: public
policy as communicative practice. Durham: Duke University Press, 2012.
HAAS, P. M. Epistemic communities and international policy coordination.
International Organization, v. 46, n. 1, p. 1-35, 1992.
HANSSON, S. O.; HADORN, G. H. (Org.). The argumentative turn in policy
analysis: reasoning about uncertainty. Berlim: Springer, 2016.
HOWLETT, M.; CRAFT, J. Policy advisory systems and evidence-based policy:
the location and content of evidentiary policy advice. In: YOUNG, S. P. (Org.).
Evidence-based policy-making in Canada. Don Mills: Oxford University
Press, 2013.
INNES, J. E.; BOOHER, D. E. Planning with complexity: an introduction to
collaborative rationality for public policy. New York: Routledge, 2010.
KINGDON, J. Agendas, alternatives, and public policies. 2. ed. New York:
Harper Collins, 1995.
KOGA, N. M. et al. Análise de políticas públicas e uso de evidências pelas buro-
cracias: proposta de um modelo analítico para exploração das fontes que informam
as políticas públicas no caso brasileiro. Boletim de Análise Político-Institucional,
n. 24, p. 29-40, 2020.
KUHN, T. S. The function of dogma in scientific research. In: CROMBIE, A. C.
(Ed.). Scientific change: historical studies in the intellectual, social and technical
conditions for scientific discovery and technical invention, from antiquity to the
present. London: Basic Books and Heineman, 1963.
LINDBLOM, C. E. The science of muddling through. Public Administration
Review, v. 19, n. 2, p. 79-88, 1959.
NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Policy capacity and evidence-
based policy in the public service. Public Management Review, v. 19, n. 2,
p. 157-174, 2016.
OLSSON, J.; HYSING, E. Theorizing inside activism: understanding policymaking and

policy change from Below. Planning Theory & Practice, v. 13, n. 2, p. 257-273, 2012.
crítica. Boletim de Análise Político-Institucional, n. 24, p. 17-27, 2020.
POLLITT, C.; BOUCKAERT, G. Public management reform: a comparative
analysis. Oxford: Oxford University Press, 2000.
RONDÔNIA. Carta de Serviços da Secretaria de Educação. Porto Velho:
Secretaria do Estado de Educação, 2020. Disponível em: <https://bit.ly/3p4Hucy>.
SABATIER, P. A.; JEKINS-SMITH, H. C. Policy change and learning: an
advocacy coalition approach. Boulder: Westview, 1993.
SANTA CATARINA. Lei no 16.794, de 14 de dezembro de 2015. Aprova o Plano
Estadual de Educação para o decênio 2015-2024 e estabelece outras providências.
Diário Oficial do Estado de Santa Catarina, Florianópolis, 15 dez. 2015.
SÃO PAULO. Plano Estratégico 2019-2022: educação para o século XXI. São
Paulo: Secretaria da Educação do Estado de São Paulo, 2019.
SCHMIDT, V. Reconciling ideas and institutions through discursive institutionalism.
In: BÉLAND, D.; COX, R. (Org.). Ideas and politics in Social Science research.
New York: Oxford University Press, 2010.
SEGATTO, C. I. Como ideias se transformam em reformas: um estudo
comparativo das mudanças educacionais orientadas pelo desempenho nos estados
brasileiros. 2011. Dissertação (Mestrado) – Escola de Administração de Empresas
de São Paulo, FGV, São Paulo, 2011.
SEGATTO, C. I.; ABRUCIO, F. L. A gestão por resultados na educação em quatro
estados brasileiros. Revista do Serviço Público, v. 68, n. 1, p. 85-106, 2017.
SERGIPE. Lei no 8.025, de 4 de setembro de 2015. Dispõe sobre o Plano Estadual
de Educação, e dá providências correlatas. Diário Oficial do Estado de Sergipe,
Aracaju, 4 set. 2015.
SIMON, H. A. Administrative behavior: a study of decision-making processes
in administrative organization. New York: The Macmillan Company, 1947.
SOLESBURY, W. The ascendancy of evidence. Planning Theory & Practice,
v. 3, n. 1, p. 90-96, 2002.
SPINK, P. Avaliação democrática: propostas e práticas. Coleção Abia, Fundamentos

de Avaliação, n. 3, p. 238-264, 2001.
STOKER, G.; EVANS, M. Evidence-based policy making and social science.
In: STOKER, G.; EVANS, M. (Ed.). Evidence-based policy making in social
sciences: Methods that matter. Bristol: Policy Press, 2016.
CEARÁ. Lei no 16.025, 30 de maio de 2016. Dispõe sobre o Plano Estadual de
Educação (2016-2024). Diário Oficial do Estado do Ceará, Fortaleza, 1o jun. 2016.
MARANHÃO. Lei no 10.099, de 11 de junho de 2014. Aprova o Plano Estadual
de Educação do estado do Maranhão e dá outras providências. Diário Oficial do
Estado do Maranhão, São Luís, 11 jun. 2014.
PARANÁ. Lei no 18.492, de 25 de junho de 2015. Aprova o Plano Estadual de
Educação do Paraná. Diário Oficial do Estado do Paraná, Curitiba, 25 jun. 2015.
RIO GRANDE DO NORTE. Lei no 10.049, de 27 de janeiro de 2016. Aprova
o Plano Estadual de Educação do Rio Grande do Norte (2015-2025) e dá outras
providências. Diário Oficial do Estado do Rio Grande do Norte, Natal, 28 jan.
2016.
RIO GRANDE DO SUL. Lei no 14.705, de 25 de junho de 2015. Institui o Plano
Estadual de Educação, em cumprimento ao Plano Nacional de Educação (PNE),
aprovado pela Lei Federal no 13.005, de 25 de junho de 2014. Diário Oficial do
Estado do Rio Grande do Sul, Porto Alegre, 25 jun. 2015.
RONDÔNIA. Lei no 3.565, de 3 de junho de 2015. Instituiu o Plano Estadual
de Educação de Rondônia. Diário Oficial do Estado de Rondônia, Porto Velho,
4 jun. 2015.
STONE, D. A. Causal stories and the formation of policy agendas. Political
Science Quarterly, v. 104, n. 2, p. 281-300, 1989.
CAPÍTULO 27
AVALIAÇÃO ESCOLAR E USO DE DADOS E EVIDÊNCIAS NA

EDUCAÇÃO BRASILEIRA1
Ricardo Ceneviva2
Felipe Macedo de Andrade3
Mariane Campelo Koslinski4
Carolina Portela Núñez5
1 INTRODUÇÃO
Depois de mais de trinta anos das primeiras experiências de avaliação padronizada
em larga escala no Brasil, hoje o país dispõe de um sistema nacional de avaliação
da educação básica, além de iniciativas estaduais e municipais voltadas, principal-
mente, mas não apenas, para a avaliação do rendimento escolar das redes públicas
e privadas. No contexto latino-americano, o Brasil ocupa posição de destaque no
campo da avaliação escolar (Brooke, 2005).
Decisores políticos, burocratas, gestores escolares e professores dispõem de
uma miríade de informações administrativas, dados de contexto sociodemográfico
e índices de desempenho acadêmico de alunos, escolas e redes de ensino, com o
objetivo de monitorar resultados, informar sua decisão e lhes auxiliar no desenho
de programas e políticas pedagógicas nos estados e municípios brasileiros.
Contudo, cabe perguntar se esses dados vêm, de fato, sendo utilizados como
instrumento de gestão educacional pelos burocratas e decisores políticos para infor-
mar suas deliberações ou guiar suas escolhas relacionadas às políticas educacionais
nos estados e municípios? Ou pelas equipes escolares para informar e orientar a
aprendizagem dos alunos? Ou, pelo contrário, se as avaliações em larga escala se
1. Este capítulo contou com financiamento da Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro (Faperj), em seu
Edital Humanidades. As pesquisas aqui descritas foram realizadas sob acordos de uso de dados entre a Secretaria Municipal
de Educação do Rio de Janeiro (SME) e o Laboratório de Pesquisa em Oportunidades Educacionais da Universidade Federal
do Rio de Janeiro (LaPOpE/UFRJ). Agradecemos a secretaria e a seus funcionários por compartilharem os dados e cederem
seu tempo para atenderem às nossas solicitações.
2. Departamento de Ciência Política, do Instituto de Estudos Sociais e Políticos da Universidade do Estado do Rio de
Janeiro (Iesp/UERJ). E-mail: <ceneviva@iesp.uerj.br>.
3. Colégio de Aplicação da UFRJ. E-mail: <felipema8@gmail.com>.
4. Faculdade de Educação da UFRJ. E-mail: <mckoslinski@gmail.com>.
5. Doutora do Programa de Pós-Graduação em Educação da/UFRJ. E-mail: <carolinaportela13@gmail.com>.
tornaram simples instrumento para estabelecer metas de desempenho acadêmico

para pressionar professores, escolas e redes de ensino?6
Se alguns estudos já indicam maior apropriação e uso dos dados de avaliação
externa e indicadores por estados e municípios, ainda observamos um gargalo no
que diz respeito ao planejamento e à tomada de decisões baseadas em dados e
evidências por atores escolares.7 Neste capítulo, buscamos aprofundar o conheci-
mento sobre os usos dos dados e das informações geradas com base nos sistemas
de avaliação educacional dos governos federal e subnacionais, pelas secretarias de
educação dos estados e municípios brasileiros e pelas equipes escolares das redes
públicas de ensino.
Primeiro, fazemos um levantamento sobre os estudos já realizados no contexto
nacional sobre uso de dados pela burocracia educacional e pelas escolas em estados
e municípios brasileiros. A partir desse levantamento bibliográfico, foi selecionado
e examinado um caso específico, o programa Escolas em Foco, da Secretaria
Municipal de Educação do Rio de Janeiro, uma vez que esse programa estabeleceu
iniciativas deliberadas de capacitação das equipes escolares e dos gestores da
secretaria e das coordenadorias regionais de educação (CREs), que são unidades de
gestão intermediárias entre as escolas e a SME, para uso dos dados das avaliações
como instrumento de gestão educacional.
O objetivo principal do capítulo é avaliar o impacto escolar do programa
Escolas em Foco no desempenho acadêmico dos alunos da rede pública municipal
do Rio de janeiro. Mais especificamente, buscamos auferir se o programa exerceu
algum impacto nos resultados escolares em língua portuguesa (PL) e matemática
(MT) de alunos e turmas nas escolas que receberam o programa vis-à-vis os resul-
tados acadêmicos de alunos e turmas de escolas que não receberam o programa.
Secundariamente, avaliamos se – e como – a implementação do programa contribui
para os resultados encontrados. Mais especificamente, examinamos as condições
contextuais e os determinantes políticos que favorecem a apropriação dos dados
das avaliações pelas equipes escolares como instrumento de monitoramento da
aprendizagem e de orientação das práticas pedagógicas. Ou seja, analisamos ações
e percepções de gestores e professores da rede municipal do Rio de Janeiro com
base na implementação do Escolas em Foco e o incentivo que se estabeleceu a
partir do programa para o uso de dados educacionais nas escolas.
6. Brooke e Cunha (2011) fizeram um balanço dos usos da avaliação educacional nos estados brasileiros e identifica-
ram alguns programas das secretarias de educação que se valiam dos dados das avaliações para orientarem decisões
relacionadas às escolas, aos alunos e a seus familiares, bem como às equipes escolares. A classificação, embora não
seja exaustiva, serve de parâmetro para entendermos melhor como os dados das avaliações estão sendo aproveitados
pelos gestores educacionais nos estados: i) para avaliar e orientar a política educacional; ii) para informar as escolas
sobre a aprendizagem dos alunos e definir estratégias de formação continuada; ii) para informar o público; iv) para a
alocação de recursos; v) para políticas de incentivos salariais; vi) como componente da avaliação docente; e vii) para a
certificação dos alunos e das escolas. De acordo com o levantamento realizado pelos autores, o uso para políticas de
incentivos salariais foi mais frequentemente adotado pelos estados brasileiros.
7. Ver estudos do observatório realizados no município do Rio de Janeiro.
Avaliação Escolar e Uso de Dados e Evidências na Educação Brasileira | 831
A justificativa para estudar o impacto escolar e o funcionamento dos programas

de incentivo ao uso de dados e evidências na gestão escolar e, mais amplamente,
na educação no Brasil está duplamente alicerçada. Em primeiro lugar, ainda há
escassez de trabalhos sobre o tema, tanto no Brasil como na literatura internacional.
Em segundo lugar, a consolidação de um sistema de monitoramento e avaliação
da educação básica no Brasil, a partir de meados nos anos 1990, proporcionou o
desenvolvimento de ferramentas e metodologias empregadas para avaliar e diagnos-
ticar a qualidade da educação. Os sistemas de avaliação difundiram-se, também, por
estados e municípios com diferentes desenhos, segmentos e séries avaliadas, além de
disciplinas e periodicidade. Esse panorama permitiu a elaboração de diferentes indi-
cadores de qualidade e, por conseguinte, a implementação de uma série de políticas
educacionais que levam em consideração os resultados e os indicadores provenientes
das avaliações em larga escala. Contudo, como já mencionado, ainda pouco sabemos
sobre o uso formativo dos dados gerados pelas avaliações em escolas e redes públicas
de ensino. Nesse sentido, a tentativa de entender os possíveis mecanismos causais
que vinculam o uso de dados ao desempenho dos estudantes tem não apenas uma
justificativa teórico e metodológica, mas também relevância política, à medida que
pode subsidiar decisores políticos e gestores educacionais na alocação de recursos
financeiros, técnicos e humanos nos estados e municípios brasileiros.
O capítulo contribui para avançar nosso conhecimento sobre a implementação
e o impacto de programas de uso de dados provenientes dos sistemas de avaliação
escolar pelas redes públicas de ensino básico no Brasil. Por um lado, as análises
quantitativas indicam que os resultados do programa Escolas em Foco ficaram
aquém do que era esperado pela SME. Por outro lado, a análise qualitativa sugere
que falhas na implementação do programa, sobretudo a excessiva centralização da
gestão e do processo decisório nas instâncias superiores da secretaria, prejudicou
a adesão das equipes escolares ao programa. Professores e diretores tinham uma
compreensão imprecisa do programa e de seus objetivos e enfrentaram dificuldades
em se valer dos dados das avaliações para o planejamento educacional.
Além desta introdução, a segunda seção disserta a respeito de programas de
incentivo ao uso de dados e evidências em educação. A terceira seção detalha as
características do programa Escolas em Foco. A quarta seção metodológica descreve
com detalhes os dados empregados e as estratégias de análise empírica utilizadas
para estimar o efeito do programa no desempenho acadêmico dos alunos em MT
e LP e a análise qualitativa que buscou captar a percepção de professores e gestores
sobre a implementação e o funcionamento do programa. A quinta seção discute
os resultados das análises. Por último, há as considerações finais, que tentam
estabelecer hipóteses para explicar os resultados encontrados.
2 PROGRAMAS DE INCENTIVO AO USO DE DADOS E EVIDÊNCIAS EM EDUCAÇÃO

Antes de avançarmos na exegese da literatura acerca dos programas de incentivo ao
uso de dados e evidências nas políticas educacionais, cabe fazer um esclarecimento
sobre o que exatamente queremos dizer, quando nos referimos a dados e evidências
em educação, no escopo deste capítulo.
De acordo com a literatura de tomada de decisões baseadas em dados (em
inglês, data-driven decision making – DDDM), mais voltada para o uso de dados
pelas escolas, dados referem-se tanto a informações administrativas quanto a
avaliações (de insumos, processos e resultados escolares). Por sua vez, a bibliografia
sobre tomada de decisões baseadas em evidências (evidence-based decision making)
na área de educação, em geral, concerne ao uso de evidências científicas para a
tomada de decisão. A preocupação desses estudos é tanto discutir como incentivar
a realização de análises – seja no âmbito acadêmico ou em agências governamentais
de pesquisa –, para que produzam boas evidências e quais as melhores formas de
promover o uso de evidências científicas para os formuladores de políticas públicas
e as equipes escolares.
Um ótimo texto de referência, que trata de definições e uso de dados e
evidências em políticas educacionais é: What is the evidence on the best way to get
evidence into use in education? de Gorard, See e Sidiqqui (2020), no qual bebemos
para propor as seguintes definições, descritas a seguir.
1) Dados: ao longo deste capítulo, as discussões de dados educacionais ou
dados governamentais referem-se principalmente a dados administrativos
ou dados e informações oriundas de avaliações de insumos ou processos
escolares. Os dados administrativos são informações coletadas, usadas e
armazenadas principalmente para fins administrativos – ou seja, opera-
cionais – e pedagógicos, em vez de fins de pesquisa. Esses dados podem
ser usados para informar e melhorar a implementação, o direcionamento
e a prestação de serviços educacionais nas escolas e, também, podem ser
uma fonte de informação útil em avaliações de impacto ou estudos com
desenho experimental – isto é, estudos com aleatorização.
2) Evidências: ao longo deste capítulo, evidências referem-se, principalmente,
às informações provenientes de avaliações padronizadas em larga escala,
pesquisas descritivas, estudos qualitativos, feedback de cidadãos, estudan-
tes e seus familiares, dados de monitoramento sobre a implementação
de programas e avaliações de resultados escolares e de impacto. Neste
capítulo, portanto, quando nos referimos a evidências e ao uso crescente
destas, nos referimos, principalmente, a informações provenientes dos
sistemas de avaliação escolar e estudos de avaliação de impacto.
Em suma, enquanto dados referem-se a informações administrativas e infor-

mações de insumos e processos escolares, evidências concernem às informações
de resultados e impacto escolar. Feitos esses esclarecimentos, passamos agora a
discutir brevemente a teoria que suporta o uso de dados e evidências em políticas
e programas educacionais como caminho para o aprimoramento da qualidade da
educação pública.
A ideia de que as decisões pedagógicas e de gestão escolar devem ser tomadas
com base nos dados educacionais DDDM não é um conceito recente no campo
educacional. No entanto, esta se torna mais relevante após a disseminação, no con-
texto norte-americano, das chamadas standards-based reforms (SBRs). Essas reformas
ganharam destaque principalmente após a implementação da política No Child Left
Behind (NCLB), a partir de 2002. Até mesmo sem uma definição consensual sobre
as SBRs, grande parte do debate sobre tais reformas inclui as seguintes características:
expectativas acadêmicas sobre os estudantes – ou seja, o que os alunos devem saber
e o que devem ser capazes de fazer –; alinhamento dos elementos-chave do sistema
educacional para atender a essas expectativas; utilização de avaliações de desempenho
dos estudantes para monitorar a aprendizagem; descentralização de responsabilidades
para decisões relacionadas ao currículo e à formação nas escolas; suporte e assistência
técnica às escolas para melhorar serviços educacionais; e medidas de accountability,
isto é, de responsabilização escolar, para premiar ou sancionar escolas ou estudantes
com base em medidas de desempenho (Hamilton et al., 2008).
A crescente demanda pela melhoria dos resultados acadêmicos dos estudantes
aumentou a pressão sobre os sistemas educacionais e escolas. Isso possibilitou
que uma gama de iniciativas voltadas à utilização dos dados fosse implementada.
Os programas de incentivo ao uso de dados possuem relação estreita com as
políticas de responsabilização escolar, aperfeiçoadas a partir do avanço dos
sistemas de monitoramento e avaliação em larga escala. Em sistemas educacionais
que contam com políticas de responsabilização, o uso dos dados educacionais,
oriundos desses sistemas de monitoramento e avaliação, tornou-se um elemento-
-chave na elaboração de diagnósticos do desempenho de estudantes e escolas
(Kerr et al., 2006).
A premissa por trás do programa Escolas em Foco, como de todos os demais
programas de uso de dados educacionais, está baseada na perspectiva de que o uso
de dados educacionais por agentes escolares pode alavancar a aprendizagem dos
estudantes, ao permitir um diagnóstico mais detalhado sobre sua aprendizagem e
as desigualdades entre escolas e alunos; e, também, ao possibilitar que professores
e gestores realizem um planejamento pedagógico com foco no ajuste de suas
práticas escolares e na alocação de recursos materiais e humanos (Schildkamp e
Poortman, 2015).
Programas de incentivo de uso de dados nas escolas foram adotados com

diferentes desenhos e formatos, mas, principalmente, com foco nos professores e
nas equipes escolares. A expectativa é que os docentes passem a tomar decisões de
alta qualidade, o que requer que sejam baseadas não somente em sua experiência
e intuição, mas também em dados e evidências. Dessa forma, os professores podem
utilizar dados de avaliação para determinar necessidades de aprendizagem dos
estudantes e adaptar seu planejamento de acordo com tais necessidades.
No Brasil, a consolidação do sistema de avaliação nacional, em meados dos
anos 1990, proporcionou a ampliação e o aperfeiçoamento de instrumentos e
metodologias empregadas para avaliar e diagnosticar a qualidade da educação
básica. Com a finalidade de ampliar a quantidade de informação disponível sobre
o sistema educacional, inúmeros estados e municípios também adotaram seus
próprios sistemas de avaliação. Muitos desses sistemas possuem características
e desenhos distintos aos da Prova Brasil,8 com foco em outras séries do ensino
fundamental e médio, disciplinas e periodicidade de aplicação (Ceneviva, 2011;
Koslinski et al., 2015).
Vale notar que, por um lado, políticas de bonificação das equipes escolares
com base nos resultados acadêmicos de alunos e escolas nas avalições externas
foram amplamente disseminadas até mesmo sem evidências robustas do impacto
de tais políticas sobre o aprendizado dos estudantes e demais indicadores escolares.
Por outro lado, isso não ocorreu com a disseminação de iniciativas voltadas para o
incentivo do uso de dados, que demoraram para se disseminar, tanto no contexto
internacional como nacional (Brooke e Cunha, 2011; Sousa e Koslinski, 2017).
A literatura aponta uma crescente demanda pelo uso de dados oriundos dos
sistemas de avaliação para a gestão educacional das redes de ensino. Esse contexto
reclama que as gestões escolares também sejam capazes de utilizar os dados educa-
cionais em seu cotidiano. Alguns fatores contribuíram para a tendência crescente de
uso de dados nas escolas, tais como a diminuição da resistência dos profissionais, o
aumento do interesse pelos resultados escolares, bem como a pressão promovida por
políticas de responsabilização educacional (Lawn, 2013; Cerdeira e Almeida, 2013).
Apesar do progressivo foco em práticas e iniciativas para o uso de dados nas
escolas, as pesquisas nessa área têm investigado se e como essas estratégias podem
levar ao aumento na aprendizagem dos estudantes (Kerr et al., 2006). No Brasil,
mais especificamente, a literatura sobre o uso de dados e evidências pelas equipes
escolares é bastante escassa.
8. A Prova Brasil é um teste padronizado para estudantes do 5o e do 9o anos do ensino fundamental, que serve para
avaliar o rendimento das escolas públicas do país. Esta testa o conhecimento dos alunos em LP e MT. A partir de 2019,
passou a ter o nome de Sistema de Avaliação da Educação Básica (Saeb); sistema que existe desde os anos 1990 e
que, agora, nomeia o conjunto de avaliações da educação básica.
Para alguns autores, o uso de dados tem o objetivo de impulsionar o progresso

escolar em três principais frentes: a melhoria na aprendizagem dos estudantes; o
aumento da equidade intraescolar; e um senso de corresponsabilização mais forte
entre os formuladores de política, os gestores escolares, os professores, os pais e
responsáveis e os estudantes (Custer et al., 2018).
Há, também, inúmeros usos que podem ser empreendidos pelas escolas. Por
exemplo, para alguns autores, as escolas utilizam os dados para a tomada de decisões
educacionais, como o agrupamento ou individualização do ensino, o alinhamen-
to do ensino com as políticas educacionais, a identificação de alunos com baixo
desempenho e o monitoramento do progresso dos estudantes (Kerr et al., 2006).
Entretanto, como garantir que os agentes escolares elaborem um diagnóstico
adequado e adotem práticas e ações eficazes para lidarem com seus respectivos
problemas? A literatura destaca que a probabilidade de que os dados sejam efeti-
vamente usados no contexto escolar é altamente influenciada pela disponibilidade
dos dados acompanhada por uma cultura de comunicação ampla na escola ou
compartilhamento de informações, análise dos dados e responsabilização pelos
resultados (Custer et al., 2018). A questão sobre uso dos dados está fundamentada
em estudos que sinalizam que o desconhecimento dos dados das avaliações e de
quais práticas adotar levam a tomadas de decisão, geralmente baseadas na intuição
e em observações limitadas (Ingram, Louis e Shroeder, 2004; Rosistolato, Prado e
Fernandez, 2014).
Além disso, a bibliografia indica alguns fatores que influenciam o uso cotidiano
de dados educacionais, tais como: i) resistência/atitude em relação aos dados;
ii) percepção sobre qualidade dos dados; iii) formato a partir do qual os dados são
disponibilizados; iv) papel do diretor da escola; v) data literacy; e vi) pedagogical
literacy. Dessa forma, grande parte dos programas de incentivo ao data use costuma
adotar um caráter de formação para o uso de dados e, em geral, é de longa duração
(Marsh, Pane e Hamilton, 2006; Schildkamp e Poortman, 2015, Núñez, Koslinski
e Fernandez, 2019).
O uso de dados não se restringe somente às escolas, mas a todos os níveis da
administração no campo da educação, de níveis hierárquicos distintos. Por exemplo,
a SME pode usar os dados educacionais na formulação de políticas e planos estra-
tégicos, bem como na tomada de decisão. Além de diagnosticar os pontos fracos
do sistema, medir e garantir equidade na rede, monitorar a distribuição de recursos
e manter o sistema responsável por realizar progressos de acordo com os padrões e
os objetivos estabelecidos. As instâncias intermediárias de gestão podem usar os
dados na alocação de recursos, assim como na identificação e no fornecimento de
suporte para escolas de baixo desempenho, além de monitorar a implementação
de programas e realizar comparações entre escolas.
No Brasil, devido às avaliações externas terem se sedimentado recentemente

como política educacional, ainda são poucos os trabalhos que estudam os usos que
as secretarias de educação e as escolas fazem dos dados educacionais dos estudantes
(Brooke e Cunha, 2011; Sousa et al., 2015; Bauer, Horta Neto e Sousa, 2015).
Como consequência desse panorama, também são escassos os trabalhos que bus-
cam fazer uma avaliação sistemática dos programas de incentivo ao uso de dados
por agentes escolares. Nesse sentido, o capítulo pretende ser uma contribuição
original e relevante à literatura sobre o impacto dos sistemas de avaliação em massa
e, particularmente, do impacto do uso de dados e evidências nas escolas sobre o
desempenho acadêmico dos estudantes brasileiros.
Existe no país ampla gama de ações e mecanismos, governamentais e de
entidades do terceiro setor, que visam auxiliar as escolas na interpretação de seus
resultados educacionais – isto é, que procuram assessorar as escolas e suas equipes na
leitura e na interpretação dos dados gerados com base nas avaliações padronizadas
em larga escala, entre as quais se destaca a Prova Brasil. No entanto, este capítulo
não tem o objetivo de fazer um inventário exaustivo das inciativas de incentivo ao
data use no Brasil, mas, sim, de discutir algumas dessas iniciativas, como o objetivo
de ilustrar a grande quantidade de ações desenvolvidas no contexto brasileiro e,
mais especificamente, examinar a implementação e o impacto de um programa
de data use no desempenho acadêmico de alunos e das escolas.
Os materiais de auxílio às escolas podem ser elaborados por um corpo técnico
ligado às próprias secretarias de educação nos estados e municípios, pelo Instituto
Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)9 ou pelas
instituições responsáveis pelo desenvolvimento, pela aplicação e pela tabulação dos
dados das avaliações externas. Mais frequentemente, as secretarias de educação e o
Inep têm adotado materiais que buscam divulgar resultados das avaliações externas
de forma pedagógica para uso das escolas.
Esses materiais podem assumir a forma de boletins pedagógicos e relatórios.
O primeiro segue um formato próprio com foco no professor, disponibilizando
informações e resultados específicos da escola. Por sua vez, o segundo possui uma
configuração mais técnica dos resultados educacionais e tem como foco o diretor.
Além disso, os relatórios disponibilizam diversas estratégias de formação continuada
e práticas educacionais que podem elevar o desempenho dos estudantes (Brooke e
Cunha, 2011).
No caso do governo federal, o Inep lançou uma plataforma chamada
Devolutivas Pedagógicas.10 Essa plataforma tem como objetivos centrais promover
9. O Inep é uma autarquia federal vinculada ao Ministério da Educação (MEC), responsável por avaliações e exames,
por estatísticas e indicadores, bem como pela gestão do conhecimento e de estudos educacionais.
10. Disponível em: <https://is.gd/HT2W6t>. Acesso em: ago. 2021.
a melhoria do desempenho dos estudantes da educação básica, tornar explícito

para gestores e professores das redes de ensino quais conhecimentos e habilidades
são verificados pelo Saeb, viabilizar a apropriação pelos professores e pela equipe
gestora dos resultados das avaliações em larga escala e colaborar com professores
nas suas atividades de ensino.
Outro tipo de ferramenta que fornece informações mais detalhadas às escolas
é, por exemplo, o Sistema de Desempenho Escolar (Desesq),11 da SME, e a Gestão
Integrada da Escola (Gide),12 da Secretaria Estadual de Educação do Rio de Janeiro.
Esses dois sistemas de informações são restritos, em geral, aos gestores escolares e
permitem a identificação rápida de uma série de aspectos das escolas que impac-
tam no resultado dos estudantes. Além disso, apresentam exemplos de estratégias
e ações que as escolas podem implementar no seu cotidiano, como instrumento
para auxiliar diretores e professores na tarefa de elevar os indicadores educacionais.13
Há ainda sistemas de informações provenientes de organizações não gover-
namentais (ONGs), como o QEdu.14 Com foco na transparência de informações
aos atores envolvidos – por exemplo, stakeholders – na prática escolar, tais como:
agentes escolares; funcionários da educação; pesquisadores; pais de alunos; e
membros da sociedade civil organizada. Esse tipo de plataforma disponibiliza os
principais indicadores educacionais, além de artigos e textos que buscam facilitar
a interpretação dos dados por seus usuários. Tais iniciativas facilitam o acesso e a
interpretação dos dados. No entanto, não trazem informações sobre o uso de dados
e evidências educacionais disponíveis para escolas e, provavelmente, não teriam
impacto relevante nas habilidades dos atores escolares de utilizar os dados para
tomada de decisões pedagógicas ou de gestão das escolas.
Apesar de essas iniciativas atestarem para o aumento da quantidade de
informações que tem sido disponibilizada para as escolas, seguramente, o uso
de dados e evidências que ganhou mais relevo no Brasil está associado às políticas de
responsabilização escolar colocadas em prática por algumas secretarias estaduais
e municipais de educação nos últimos anos. Principalmente, as políticas de
bonificação de professores e escolas com base nos resultados acadêmicos das
avaliações padronizadas, ainda que as evidências que relacionam esse tipo de
política educacional com o aumento do aprendizado dos estudantes e outras
medidas de qualidade da educação ainda sejam muito tênues (Brooke e Cunha,
2011; Sousa e Koslinski, 2017).
11. Disponível em: <https://is.gd/FjeHtF>. Acesso em: ago. 2021.

12. Disponível em: <https://is.gd/qrtPpf>. Acesso em: ago. 2021
13. Por ser um sistema de informações restrito, não foi possível verificar e analisar que tipo de dados são utilizados,
além de estratégias e ações indicadas.
14. Disponível em: <https://is.gd/NDZoy4>. Acesso em: ago. 2021.
Há algumas evidências que apontam que os agentes escolares ainda têm

dificuldades para interpretar as informações oriundas dos sistemas de avaliação
e monitoramento da educação básica no Brasil. Por exemplo, Rosistolato, Prado
e Fernandez (2014) analisam as visões de gestores do nível central, de instâncias
intermediárias e das escolas da rede municipal do Rio de Janeiro sobre as avaliações
em larga escala e suas implicações no cotidiano escolar. Com base em informações
coletadas por meio de grupos focais realizados com gestores da rede pública de en-
sino, os autores concluem que os gestores públicos desconhecem inúmeros aspectos
técnicos das avaliações, o que dificulta a interpretação de resultados e informações
disponibilizadas e leva a visões equivocadas sobre desempenho das escolas. Esse
cenário, consequentemente, impede que gestores, diretores ou professores adotem
práticas escolares mais eficazes (op. cit.).
Cerdeira (2015) investigou a apropriação que os gestores escolares e agentes
das coordenadorias regionais de educação em dois municípios do estado do Rio
de Janeiro faziam dos resultados das avaliações externas. A autora observou uma
apropriação superficial dos dados nos dois níveis (escola e CRE), ao verificar que
agentes das instâncias intermediárias de gestão possuem pouco conhecimento dos
indicadores educacionais e sobre os sistemas de avaliação. Para Portela (2015), que
analisa apenas escolas da rede pública de ensino do Rio de Janeiro, conclui que o
acompanhamento mais próximo das escolas por parte da instância intermediária –
isto é, das CREs –, parece não ter impacto no conhecimento, na apropriação e no
uso dos dados das avaliações por parte dos gestores escolares e, consequentemente,
exerceu pouco impacto na prática docente.
Em outro trabalho, Cerdeira et al. (2017) analisam os dados de um survey
aplicado a uma amostra de gestores da rede pública de ensino do município do Rio
de Janeiro. Os achados são similares aos encontrados no trabalho anterior: a falta
de conhecimento sobre os sistemas de avaliação compromete o uso pedagógico
dos dados que são produzidos pelas avalições externas nas escolas, limitando-os
somente ao uso instrumental, com interesse de elevar artificialmente os indicadores
de qualidade (op. cit.).
Vale ressaltar que os estudos relatados anteriormente foram realizados no
município do Rio de Janeiro entre 2011 e 2014, período em que a SME adotou
uma política de responsabilização escolar com estabelecimento de metas, bonifi-
cação salarial e diversos mecanismos de pressão por resultados, em especial para os
diretores das escolas. Evidentemente, tais programas e suas consequências práticas
para as equipes escolares podem ter afetado a percepção que diretores e professores
tinham sobre os sistemas de avaliação e monitoramento da educação. No entanto,
esses programas são anteriores à implementação do Escolas em Foco, que incentivava
o uso dos dados para planejamento escolar, contexto que será descrito a seguir.
3 O PROGRAMA ESCOLAS EM FOCO

A partir de 2009, foi implementada uma série de políticas educacionais voltadas
para aferir com mais precisão os resultados das escolas e induzir a melhoria dos
indicadores de qualidade da educação da Secretaria Municipal da Educação do
Rio de Janeiro. O objetivo expresso dessas medidas era estabelecer um modelo de
gestão com enfoque em planejamento e metas claras.15 Nesse sentido, o foco central
seria a produção de incentivos por parte da SME, com o objetivo de que as escolas
alcançassem as metas e maior eficiência. Para tanto, foi implantado um sistema
de avaliação próprio de desempenho dos estudantes (Prova Rio) e dispositivos de
responsabilização aos agentes escolares. Seguindo o mesmo modelo de indicadores
elaborados com base no desempenho médio dos estudantes, mais o fluxo escolar, o
Índice de Desenvolvimento da Educação do Município do Rio de Janeiro (IDE-Rio)
tem como base a avaliação aplicada somente aos estudantes. Esse indicador foi
empregado para o cálculo da premiação de professores e funcionários nos anos
pares, porque nos anos ímpares o Índice de Desenvolvimento da Educação Básica
(Ideb) foi utilizado como base.
Outro dispositivo da política de responsabilização foi o Prêmio Anual de
Desempenho (PAD), programa que premia, em forma de um 14o salário, todos
os funcionários das escolas que alcançam as metas de desempenho. Essas metas
eram estabelecidas anualmente para as escolas a partir de medidas baseadas em
taxas de aumento do desempenho, com base nas avaliações de períodos anteriores.
Dessa forma, escolas que apresentassem menores desempenhos tinham metas mais
audaciosas, se comparadas com escolas que possuíssem indicadores de partida
mais altos (Koslinski et al., 2015).
No ano posterior, o sistema de responsabilização escolar com base em metas
foi estendido para a SME e as CREs. Outra política implementada pela SME foi o
Projeto Fênix, destinado às escolas com os piores desempenhos da rede de ensino.
As escolas incluídas nesse programa recebiam prioridade na alocação de recursos,
funcionários e projetos na rede municipal (Lopes et al., 2015). Apesar da grande
quantidade de informações sobre a rede de ensino, ainda não havia um programa
específico de incentivo ao uso desses dados. Portanto, em 2015, o município
implementou o programa Escolas em Foco, voltado para cerca de quatrocentas
unidades escolares que ofereciam os 3o e 5o anos do ensino fundamental com os
piores desempenhos acadêmicos ou altos índices de reprovação ou evasão escolar.
15. Grande parte dos programas e das políticas educacionais está intimamente ligada ao período de gestão de Eduardo
Paes como prefeito do Rio de Janeiro (2009-2016) e de Cláudia Costin como secretária de Educação (2009-2014).
Com a eleição do prefeito Marcelo Crivella, em 2017, parte considerável das políticas e dos programas educacionais
foi revogada gradativamente.
As escolas selecionadas para o programa foram auxiliadas pelos supervisores da

rede e por professores de acompanhamento escolar (PAEs) para a interpretação
das informações oriundas dos sistemas de avaliação e para a elaboração de diagnós-
ticos e planos de ação estratégica com o diretor e os demais professores da unidade
escolar. Esses planos deveriam levar ao aumento da aprendizagem dos estudantes,
bem como à redução da evasão escolar e da taxa de reprovação.
Sob a supervisão de vinte profissionais da rede, escolhidos pela coordenação
do projeto, cada PAE era responsável por quatro escolas, que eram visitadas uma
vez por semana. Entre suas funções estão: acompanhar as escolas com visitas
in loco; articular, com o diretor da unidade escolar, as ações de acompanhamento e
mediação pedagógica das turmas; realizar análise e diagnóstico do cenário escolar,
com vista a traçar objetivos e estratégias para a melhoria do desempenho, a redução
do abandono escolar e da reprovação, em parceria com o coordenador pedagógico
e o diretor; levantar e estudar dados das escolas acompanhadas e gerar informa-
ções semanais para definição dos protocolos objetivando o desenvolvimento das
ações de ensino; zelar pela organização e arquivamento dos documentos e termos
de acompanhamento; promover, com o professor-supervisor, encaminhamentos
necessários para solucionar demandas pedagógicas; participar das ações de forma-
ção continuada, ser proativo e ter conhecimento e domínio das regulamentações,
avaliações, indicadores, metas das escolas e do nível central, por meio dos sistemas
e ferramentas disponíveis para dar suporte a sua ação (Rio de Janeiro, 2015; 2016).
O programa Escolas em Foco não estabeleceu entre seus objetivos, consi-
derando-se a descrição do programa no documento publicado pela Secretaria
Municipal de Educação do Rio de Janeiro no Diário Oficial do município, que a
equipe escolar adotasse medidas e práticas eficazes que aumentassem o desempenho
dos estudantes e reduzissem as taxas de reprovação e fluxo. Seu foco central era,
principalmente, incentivar o corpo escolar na apropriação e na interpretação dos
dados educacionais gerados pelas avaliações em larga escala, com auxílio de um
agente externo designado pela SME.
4 DADOS E MÉTODOS
Na análise da implementação e do impacto do programa Escolas em Foco, nos
valemos de uma combinação de abordagens quantitativas e qualitativas, a fim de
aprofundar nosso conhecimento sobre os usos dos dados e das informações geradas
com base nos sistemas de avaliação educacional dos governos federal e da SME
pelas equipes escolares.
As políticas de avaliação e uso de dados na educação são, evidentemente,
políticas complexas, que não podem ser adequadamente compreendidas pela abor-
dagem qualitativa ou pela abordagem quantitativa de maneira isolada. Recorremos,
portanto, à utilização de técnicas que combinem a força descritiva e a capacidade

de inferência da análise estatística com a análise aprofundada de estudos de casos,
que nos possibilitem ilustrar com detalhes mais vivos os fenômenos descritos nos
grandes números.
Partimos da descrição estatística do programa Escolas em Foco e do desem-
penho acadêmico dos alunos do ensino público municipal do Rio de Janeiro, para
indicar que os resultados da política de uso de dados e evidências pelas equipes
escolares não tiveram os efeitos esperados pela Secretaria Municipal de Educação
do Rio de Janeiro. Em seguida, nos valemos de entrevistas em profundidade com
professores, diretores e gestores da SME e das CREs,16 com o objetivo de investigar
com mais detalhes a implementação do programa e as barreiras enfrentadas pela
SME na implementação deste.
Esta seção descreve as características da amostra, bem como os atributos me-
todológicos adotados para análise do impacto do programa sobre os desempenhos
de MT, LP e fluxo escolar.
Como apenas um conjunto específico de quatrocentas escolas da rede pública
municipal, selecionadas com base em critérios agnósticos e não aleatórios, participou
do programa, foi possível definir um grupo de controle, que não recebeu a inter-
venção – isto é, que não participou do programa de incentivo de uso de dados – e
outro grupo de tratamento, que recebeu a intervenção – ou seja, que foi escolhido
para participar do programa de incentivo ao uso de dados Escolas em Foco. Dessa
forma, a avaliação de impacto do programa no desempenho acadêmico e no fluxo
escolar baseia-se na comparação entre esses dois grupos de escolas. Para tanto, nos
valemos de um modelo estatístico de avaliação de programas denominado método
de diferenças em diferenças (DiD).
O modelo de DiD permite dividir nossa amostra em quatro grupos distintos:
o grupo de controle antes e depois da intervenção e o grupo de tratamento antes
e depois da intervenção. O pressuposto é que o grupo de controle não sofreu
qualquer impacto do programa; portanto, mudanças significativas nas variáveis
de interesse (desempenho acadêmico e fluxo escolar) estariam associadas a outras
características, que podem também influenciar o grupo de tratamento, mas não
aos efeitos do programa Escolas em Foco, que somente se fazem sentir sobre o
grupo de tratamento – isto é, sobre o grupo de escolas que foram selecionadas
para receber o programa.
16. Mais especificamente, foram entrevistados: os gestores de nível médio responsáveis pelas decisões de trabalho na
gestão educacional e no planejamento de trabalho das escolas; equipes escolares – isto é, diretores e professores; e
coordenadores pedagógicos, quando presentes.
TABELA 1
Número de escolas de 3o ano (2013-2016)
Ano 2013 2014 2015 2016
Escolas foco 384 376 374 373

Escolas não foco 343 328 309 301
A tabela 1 aponta o número de escolas que contavam com turmas de 3o ano

do ensino fundamental ao longo dos quatro anos analisados. Os números indicam
redução na quantidade de escolas com essas turmas durante os anos, em ambos
os grupos. É sabido que a rede municipal de ensino do Rio de Janeiro não possui
uma característica homogênea de oferta do ensino fundamental – ou seja, algumas
escolas oferecem turmas de 1o ao 3o ano, enquanto outras ofertam toda a primeira
etapa do ensino fundamental. Portanto, a redução no número de escolas, mas não
necessariamente no número de turmas, pode sugerir alguma reestruturação em
curso na rede municipal de ensino. A estimação por DiD baseia-se na comparação
das diferenças no desempenho médio nas avaliações escolares em MT e LP e no
fluxo escolar entre o grupo de tratamento e o grupo controle. Na tabela, os grupos
escolas foco e escolas não foco, respectivamente.
Intuitivamente, a estimação por DiD é a comparação das mudanças ao
longo do período 2013 a 2016 na proficiência média das escolas que receberam o
programa (escolas foco) com as mudanças ao longo desse período na proficiência
média das escolas que não receberam o programa (escolas não foco). Nesta análise,
o efeito do programa de incentivo ao uso de dados que se pretende estimar é exa-
tamente o efeito médio do grupo tratamento (escolas foco), em comparação com
o grupo controle (escolas não foco). Isto é, trata-se da comparação das diferenças
nas proficiências médias dos dois grupos de escolas antes e depois do programa
Escolas em Foco.
Como mencionado, os resultados das análises empíricas mostram que os
resultados do programa Escolas em Foco ficou aquém do esperado pela SME.
Como discutiremos com mais detalhes a seguir, apesar da melhoria nos indicadores
de qualidade das escolas, os resultados das análises estatísticas não nos permitem
atribuir essa melhoria no desempenho acadêmico das escolas exclusivamente aos
efeitos do programa. Logo, para investigar com mais detalhes por que o programa
não apresentou os efeitos esperados, nos valemos de estudo de campo qualitativo
que buscou captar as percepções de gestores, diretores e professores sobre a imple-
mentação e o funcionamento do programa.
Inicialmente, fizemos um trabalho de campo no qual foram realizadas entrevistas

semiestruturadas com parte do corpo docente (coordenadores, diretores e professores
do 1o e 3o ano do ensino fundamental) de nove escolas da rede municipal, participantes
do Escolas em Foco.17 Também foi entrevistada a coordenadora do programa na
Secretaria Municipal de Educação do Rio de Janeiro. Posteriormente, entrevistamos
uma funcionária do Núcleo de Informações Educacionais Estratégias (NIEE) da SME,
que participou da elaboração do programa.
Em cada escola, foram entrevistados a equipe de gestão escolar, composta por
direção, direção adjunta e coordenação pedagógica, e professores do 1o e 3o anos.
Os roteiros de entrevista utilizados apresentavam questões sobre a trajetória profissional
dos entrevistados – como tempo de experiência no cargo e na rede municipal –, as
percepções e o conhecimento sobre avaliações externas e metas de desempenho, as
impressões e o conhecimento sobre o programa Escolas em Foco, o relacionamento
com os PAEs e as possíveis mudanças em decisões e ações de gestores e docentes
geradas a partir do programa.
5 RESULTADOS
Como apenas um conjunto específico de escolas, baseado em critérios específicos e
não aleatórios – participou do programa –, é possível definir um grupo de controle
(que não recebeu a intervenção) e outro de tratamento (que recebeu a intervenção).
Dessa forma, por tratar-se de análise preliminar, investigamos a variação no desem-
penho e no fluxo escolar apresentado pelos dois grupos (controle versus tratamento)
ao longo dos anos.
GRÁFICO 1
Comparação dos grupos de tratamento e controle (2013-2016)

17. Selecionamos no total cinco escolas que apresentavam trajetória ascendente no Ideb e no IDE-Rio desde a imple-
mentação do programa e cinco escolas que apresentavam trajetória estagnada ou descendente para o mesmo período
(2013-2015). A intenção por trás dessa seleção era ter perfis diferentes de escolas que poderiam ser sugestivos de
recepção e execução diferentes do programa. No entanto, após inúmeras tentativas, não foi possível agendar as entre-
vistas com uma das escolas escolhidas. As entrevistas foram realizadas no segundo semestre de 2016.
A análise do gráfico 1 sugere que, apesar de os desempenhos de MT e

LP aumentarem ao longo dos anos, as diferenças entre os grupos de controle
e tratamento, nas três variáveis de interesse, permaneceu constante na linha
histórica observada. A análise visual desses resultados aponta que houve
impacto muito pequeno sobre os indicadores de qualidade analisados. Para
entender melhor os resultados referidos anteriormente, o passo seguinte foi
investigar a variação no desempenho e no fluxo escolar apresentado pelos
dois grupos (controle e tratamento). Para tanto, empregamos um modelo
quase-experimental de DiD.
O modelo de DiD foi estimado com uma série de variáveis contextuais
observáveis inseridas como controle. Foi estimado o impacto do programa
sobre as variáveis de desempenho em MT, LP e fluxo escolar para o período
2013-2016.
QUADRO 1
Descrição e fonte das variáveis utilizadas
Nome Tipo Descrição Fonte
Variáveis dependentes
Censo Escolar (2013, 2014,

Fluxo escolar Contínua Fluxo escolar do 3o ano do ensino fundamental
2014 e 2016)
Proficiência em LP Proficiência média por escola em MT e LP no Prova Rio1 (2013, 2014,

Contínua
e MT 3o ano 2014 e 2016)
Variáveis explicativas
Pré/pós Dicotômica 0 – indica 2013 e 2014; 1– indica 2015 e 2016
Termo interativo
DiD Dicotômica
(Pré/pós escola foco)
Complexidade da 0 – indica escolas menos complexas; 1– indica Indicadores educacionais do

Dicotômica
gestão2 escolas mais complexas Inep (2014)
Dados da SME (Sistema de

Fração de alunos não
Contínua Alunos não brancos por escola (%) Controle Acadêmico – SCA,
brancos
2014)
Sexo Contínua Alunos de sexo masculino por escola (%) Dados da SME (SCA, 2014)3
Máxima educação Alunos cujos pais completaram o ensino médio

Contínua Dados da SME (SCA, 2014)
dos pais ou mais (%)
Porcentagem de alunos inseridos em programas

Indicador de pobreza Contínua Dados da SME (SCA 2014)
de transferência de renda
(Continua)
(Continuação)
Nome Tipo Descrição Fonte
0 – indica escolas que não receberam o

Escolas em Foco Dicotômica programa; 1 – indica escolas que receberam Dados da SME (SCA 2014)4
o programa

Notas: 1 A Prova Rio é uma avaliação externa aplicada somente em escolas do município do Rio de Janeiro. Posta em prática
inicialmente em 2009 e com a mesma matriz de referência da Prova Brasil, é uma avaliação censitária que avalia, nos
anos pares, alunos do 3o, 4o, 7o e 8o anos do ensino fundamental nas disciplinas de LP e MT. Mais informações sobre
as características dessa avaliação podem ser encontradas em Koslinski et al. (2015). Esta análise está fazendo uso
dos dados da Prova Rio, e não da Prova Brasil, porque o foco do programa Escolas em Foco é no 3o ano do ensino
fundamental, série não contemplada pela Prova Brasil, e em razão de essa avaliação ser censitária – ou seja, todas as
escolas com essa série são participantes.
2
O Inep disponibiliza inúmeros indicadores educacionais calculados com base nos dados do Censo Escolar. Um destes
é o de complexidade da gestão, que busca distinguir, a partir de variável com seis categorias, escolas com gestão mais
complexas e menos complexas. Na construção do indicador, são levados em conta o número de alunos matriculados
na escola, o número de etapas, a complexidade da etapa e o número de turno de funcionamento. Para facilitar a in-
terpretação nos modelos, essa variável foi transformada em uma dicotômica, de forma que escolas com complexidade
até o nível 3 receberam o valor 0 e escolas com complexidade do nível 4 ao 6, o valor 1.
3
Foram empregadas as bases do SCA de 2014, porque não tivemos acesso às bases de 2013.
4
Os dados da SME utilizados neste trabalho correspondem às bases de dados do SCA, que são gerados anualmente
com informações sobre a escola, as turmas, a matrícula, os alunos e suas famílias, bem como o desempenho e o
rendimento anual dos estudantes. Essas bases são atualizadas anualmente, o que permite o acompanhamento dos
estudantes ao longo dos anos.
O quadro 1 apresenta as variáveis utilizadas em modelos e estatísticas des-

critivas, como tipo, descrição e base de dados de origem. As variáveis explicativas
correspondem às características das escolas da amostra, além de uma variável bi-
nária, que especifica àquelas que receberam ou não receberam a intervenção, uma
associada ao tempo, que indica o período anterior e posterior à implementação
da política, e um termo interativo que assinala as DiD – ou seja, a DiD entre os
grupos no período antes e depois da implementação do programa.
Em consonância com a bibliografia, essa análise parte do pressuposto de que
as variáveis explicativas podem impactar as variáveis dependentes, justificando sua
inserção neste estudo. Estas também são utilizadas como controles para verificar-
mos a magnitude da relação entre a intervenção e o fluxo escolar e o desempenho
de MT e LP.
O passo seguinte foi ajustar os modelos de DiD com as variáveis dependentes
de proficiência em MT, LP e fluxo, controladas (variáveis explicativas) apenas pelo
ano e por uma variável dicotômica, que indicava se a escola estava no programa
ou não.
TABELA 2
Comparação ano a ano dos grupos de controle e tratamento (resultados estimados
via ordinary least squares – OLS) (2014-2016)
Variáveis dependentes
Matemática Língua portuguesa Fluxo
(1) (2) (3)
9.703*** 23.740*** -1.197

Ano 2014
(1.451) (1.211) (0.735)
31.580*** 27.573*** 1.983***
Ano 2015
(1.474) (1.230) (0.753)
61.120*** 42.610*** 2.447***
Ano 2016
(1.484) (1.239) (0.751)
-10.576*** -9.659*** -6.916***
Foco
(1.396) (1.165) (0.708)
-1.341 -0.530 0.204
Ano 2014 * Foco
(1.991) (1.662) (1.008)
-0.760 -1.556 0.910
Ano 2015 * Foco
(2.009) (1.677) (1.023)
-1.516 -1.136 1.234
Ano 2016 * Foco
(2.017) (1.684) (1.022)
164.544*** 158.232*** 84.660***
Constante
(1.015) (0.847) (0.514)
Observações 2,788 2,788 2,772
R2 0.616 0.508 0.124
R ajustado
2
0.615 0.506 0.122
Residual std. error 18.793 (df = 2780) 15.684 (df = 2780) 9.507 (df = 2764)
F statistic 637.825 (df = 7; 2780) 409.398 (df = 7; 2780) 56.134 (df = 7; 2764)

Obs.: * p < 0,1; ** p < 0,05; e *** p < 0,01.
A primeira coluna da tabela 2 corresponde aos resultados de proficiência em MT.

Os resultados indicam que as escolas que não receberam a intervenção apresenta-
ram crescimento na proficiência média em MT estatisticamente significativo em
relação à categoria de referência; nesse caso, a proficiência em MT em 2013. Por
sua vez, para as escolas que receberam a intervenção (Ano*Foco), os resultados
são negativos no que concerne à categoria de referência, mas seus respectivos
efeitos não apresentam significância estatística. Apesar de o programa Escolas em
Foco ter início somente em 2015, essa variável indica que o desempenho médio
desse grupo de escolas antes da implementação do programa já era inferior ao
do grupo controle. Esse resultado era esperado, pois o programa buscava atender
às escolas de pior desempenho acadêmico. A variável foco indica o efeito médio

sobre a proficiência de MT ao longo dos quatro anos de análise para as escolas
que receberam a intervenção.
A segunda coluna corresponde aos efeitos comparativos dos grupos de
tratamento e controle sobre a proficiência de LP de 2013 a 2016. De maneira similar
à primeira coluna, as escolas que não participaram do programa aumentaram signi-
ficativamente seus desempenhos ao longo dos três anos seguintes. Os efeitos para as
escolas de tratamento também são negativos, mas não estatisticamente significativos.
Isso ocorreu com a variável foco, que sugere efeito negativo médio sobre as escolas
em foco durante os quatro anos.
A terceira coluna equivale aos resultados sobre o fluxo das escolas. Os efeitos
são distintos àqueles associados à proficiência, pois, para as escolas que não
receberam a intervenção, parece não haver um padrão ao longo dos anos, com
acréscimos e decréscimos. Por sua vez, para escolas que receberam a intervenção,
as taxas de fluxo são crescentes, em relação a 2013, ainda que somente 2016 seja
estatisticamente significativo. A variável foco apresenta efeito na mesma direção
da proficiência em MT e LP.
A análise apresentada na tabela 3 contou com um modelo de DiD para in-
vestigar o efeito do programa sobre as escolas participantes, em comparação com
as escolas que não participaram. Ou seja, a seguir, vamos não apenas comparar
as diferenças entre os grupos de escolas, mas também como essas diferenças se
comportaram ao longo do período analisado. Além disso, os modelos incluíram
as variáveis demográficas das escolas, como a proporção de alunos negros por es-
cola, alunos do sexo masculino, alunos com pais com alta escolaridade, estudantes
inseridos em programas de transferência de renda, bem como uma dummy que
diferencia escolas com gestões mais complexas das menos complexas.
TABELA 3
Resultados dos modelos de DiD (estimados via OLS)
Variáveis de dependentes

(1) (2) (3)
40.940*** 22.979*** 2659***

Pré/pós
-1167 (0.985) (0.503)
-6.208*** -4.834*** -4.141***

Foco
(1.156) (0.976) (0.497)
-0.0003 -0.839 1061

DiD
-1581 -1335 (0.681)
(Continua)
(Continuação)
Variáveis de dependentes

(1) (2) (3)
-0.241*** -0.287*** -0.042***

Cor
(0.053) (0.044) (0.023)
-0.570*** -0.476*** -0.374***

Sexo
(0.128) (0.108) (0.055)
0.300*** 0.288*** 0.197***

Máxima educação
(0.030) (0.026) (0.013)
-0.081** -0.094*** 0.037***

Indicador de pobreza
(0.033) (0.028) (0.014)
-3.847*** -2.796*** -2.967***

Complexidade escolar
(0.918) (0.775) (0.395)
200.996*** 200.245*** 95.221***

Constante
(7.416) (6.261) (3.193)
Observações 2,760 2,760 2,747
R 2
0.536 0.391 0.237
R2 ajustado 0.535 0.389 0.235
Residual std. error 20.676 (df = 2751) 17.454 (df = 2751) 8.884 (df = 2738)
F statistic 397.499 (df = 8; 2751) 220.525 (df = 8; 2751) 106.155 (df = 8; 2738)

Obs.: * p < 0,1; ** p < 0,05; e *** p < 0,01.
A primeira coluna da tabela 3 corresponde aos resultados da variável depen-

dente de proficiência em MT. A primeira variável (pré/pós) refere-se a uma dummy
que indica a diferença do efeito em 2015 e 2016, em comparação com 2013 e 2014.
Esta revela que as escolas de ambos os grupos (tratamento e controle) cresceram
em média 40 pontos na proficiência de MT em relação a 2013 e 2014. As variá-
veis que indicam a porcentagem de alunos não brancos e a de de alunos do sexo
masculino por escola apontam que quanto maior for a proporção desses grupos,
menor o desempenho médio da escola. Como esperado, as variáveis de indicador
de pobreza e complexidade escolar exibem efeitos significativos na mesma direção
que as variáveis anteriores. Por sua vez, escolas com maior proporção de alunos com
pais mais educados – ou seja, com ensino médio completo e/ou ensino superior –
tendem a apresentar proficiências mais elevadas. O termo que indica as DiD,
foco dessa análise, aponta que as diferenças entre as escolas do grupo de controle
e tratamento diminuíram após a implementação do programa, mas os resultados
mostram que o impacto é de baixa magnitude e não significativo estatisticamente.
A segunda coluna apresenta os efeitos das variáveis sobre a proficiência de

LP. Como esperado, os resultados das variáveis contextuais são análogos, tanto no
sentido dos efeitos como em relação à significância estatística daqueles verificados
sobre a proficiência de MT, o que nos dá mais segurança sobre a robustez dos
resultados estimados. Essa característica é verificada sobre o estimador de DiD
nessa coluna – ou seja, com redução da desigualdade de proficiência em LP, mas
com pouca relevância e significância.
Por sua vez, a terceira coluna, que se refere às taxas de fluxo das escolas, não
segue o mesmo padrão das colunas anteriores. Por exemplo, a variável pré/pós indica
que a taxa de fluxo média das escolas para o período 2015-2016 é inferior à com-
paração com os anos anteriores, embora os resultados não sejam estatisticamente
significantes. As variáveis contextuais exibiram efeitos similares aos verificados
para as proficiências de MT e LP. No entanto, nosso estimador de interesse (DiD)
aponta que as diferenças nas taxas de fluxos das escolas de tratamento e controle
aumentaram após o início da intervenção. Ou seja, houve diminuição nas diferenças
entre os grupos de escolas que receberam o programa e as que não receberam ao
longo do período analisado.
Em suma, a avaliação de impacto indica que as diferenças no desempenho
acadêmico entre os grupos de controle e tratamento, nas três variáveis de interesse,
têm um efeito pequeno e não são estatisticamente significantes, com exceção do
fluxo escolar, que, de fato, melhorou mais nas escolas que receberam o programa
que naquelas que não receberam. Tais resultados sugerem que houve impacto muito
pequeno sobre os indicadores de qualidade analisados, embora os parâmetros de
interesse apontem para o sentido esperado de melhoria no aprendizado em MT e LP.
Haja vista os resultados das análises quantitativas, que apontaram efeitos
muito tênues ou nulos do programa sobre o desempenho acadêmico e o fluxo das
escolas, foram realizadas entrevistas com funcionários da gestão central da SME
envolvidos com a coordenação do programa, diretores e professores de escolas
participantes. O material coletado trouxe algumas pistas sobre o funcionamento
do programa, bem como alguns entraves e gargalos para sua implementação, que
nos trazem algumas hipóteses sobre sua efetividade e ausência de impacto, tal
como esperado pela SME.
Em primeiro lugar, o desenho do programa Escolas em Foco centralizou as
decisões nos níveis superiores de gestão da SME. A implementação de programas
na rede pública de ensino carioca, usualmente, conta com a intermediação das
CREs. São onze coordenadorias que não somente implementam os programas da
secretaria, como também exercem certo poder discricionário, seja para estabelecer
regras locais (Rosistolato et al., 2019), seja para determinar critérios de seleção das
escolas participantes (Lopes et al., 2015). No entanto, de acordo com uma gestora
da SME entrevistada, no caso do Escolas em Foco, o desenho do programa buscou

centralizar as ações na secretaria:
E a gente entende (...) é o que a gente quer fazer, investir dinheiro, em criar uma
equipe, informar uma equipe e centralizar essa ação dentro da secretaria pra fazer o
efeito. Então, a gente modelou o Escolas em Foco calçado na experiência que já tinha
dado super certo. Mas o modelo nosso é bem (...), eu acho que é assim... customizado
mesmo pra cidade do Rio (coordenadora do programa Escolas em Foco na SME).
Para tanto, o NIEE, órgão da gestão central da SME, elaborou o desenho
do Escolas em Foco e as regras para seleção e inclusão de escolas no programa.
A gestão central da SME escolheu vinte supervisores do programa, entre funcioná-
rios “de confiança” e que eram favoráveis e/ou não tivessem resistência às avaliações
externas e indicadores educacionais, retirando o poder discricionário usualmente
exercido pelas CREs.
A ideia dos gestores do programa foi estabelecer um sistema de acompanha-
mento das escolas municipais por profissionais selecionados e treinados diretamente
pela SME. Esses profissionais, denominados professores de acompanhamento
estratégico, realizavam visitas semanais às escolas e atuavam como especialistas
externos, com o intuito de promover o uso de dados educacionais para planejamento
pedagógico por gestores e professores da rede. Cada supervisor era responsável por
acompanhar as ações de cinco PAEs.
Nesse sentido, o desenho do programa Escolas em Foco assemelha-se às
práticas de intervenção por meio de coaching (Knight, 2006) utilizadas no contexto
internacional, que consistem em enviar um ou mais profissionais especializados
para as escolas, com o objetivo de auxiliar professores e gestores no planejamento
pedagógico com o uso de dados educacionais e outros conteúdos escolares.
Em vez de um auxílio pontual, em apenas um momento, como seria em um
workshop, o trabalho com o especialista envolve encontros regulares, semanais no caso
do programa, com a equipe escolar para a análise de dados educacionais da escola.
A secretaria, até mesmo se excluindo as CREs do processo decisório do pro-
grama Escolas em Foco, buscou o auxílio das coordenadorias regionais de educação
para estabelecer comunicação com os corpos os diretivos das escolas. De acordo
com a coordenadora do programa na secretaria, embora as CREs não estivessem
diretamente envolvidas no programa, foi feita uma apresentação formal do pro-
jeto para os gestores destas, quando se solicitou que as coordenadorias regionais
de educação preparassem os diretores das escolas para um seminário organizado
pela secretaria, com o objetivo de realizar a apresentação do programa as escolas.
Um procedimento que, de acordo com a coordenadora do programa na SME, não
foi bem executado pelas CREs.
Então, a gente alugou o Sul América e fez uma espécie de seminário. A gente con-
tou essa história que eu estou te contando, foi contada para as CRES, e aí as CRES
receberam esse material e a listagem pra contar essa história para as escolas. E con-
tando essa história, a ideia é essa, contando essas histórias para a escola, elas seriam
convidadas a vir aqui pra gente apresentar essa história, mas é um pouco que tirar as
dúvidas, e um pouco que também tirar aquele “putz, que é isso”, né? No fim, é isso.
Então, o que aconteceu? Bota os quatrocentos [diretores de escola] aí...
Aí chegam os ônibus, né? Teve CRE que alugou ônibus pra mandar os diretores.
E olha qual é a nossa surpresa, né? A gente chega com algumas diretoras que não
sabiam nada do projeto (coordenadora do programa Escolas em Foco na SME).
A secretaria esperava que as CREs ajudassem no processo inicial, mas não
interferissem escolhendo as escolas que participariam do programa ou mediando
outras informações. Uma funcionária da gestão central declarou, também, que houve
resistência ao programa, tanto por parte de escolas como de algumas CREs. Ainda
segundo o relato da gestora da SME, algumas CREs chegaram a incentivar um
“boicote” ao programa, dizendo para as escolas não fornecerem informações aos PAEs.
Dessa forma, os diretores das escolas participantes chegaram à reunião promovida
pela secretaria com poucas informações sobre o programa, seus objetivos ou seu
funcionamento. Até mesmo depois da reunião, embora os diretores soubessem relatar os
critérios utilizados para a seleção das escolas, não demostravam conhecer os objetivos do
programa, ou as funções que deveriam ser exercidas pelos PAEs com as escolas escolhidas.
Os professores deveriam ser informados sobre o programa pelos diretores.
No entanto, os relatos dos professores indicam que eles permaneciam confusos e
desconheciam tanto os objetivos como o funcionamento do programa:
Olha, eu vou te falar que eu não entendo muito bem o que é o Escolas em Foco.
(...) Eu acho assim, eu acho que a escola em foco aqui tá muito mais na direção.
Ninguém veio me perguntar qual era a minha maior dificuldade, ninguém me deu
uma orientação (professora da escola A, 3o ano do ensino fundamental).
É pelo que parece, pelo que eu sei, nada foi me dito muito formal, mas eles escolhe-
ram algumas escolas que o índice ficou baixo no Ideb. Ou que tem..., é porque aqui
na escola I têm vários projetos, né? O que me afeta no terceiro ano, e eu tenho uma
professora, uma orientadora da Paulo Freire18 que vem uma vez por mês, duas vezes
por mês acompanhar o rendimento da turma e, enfim, traçar a meta de planejamento
pra essa turma. (...) E aí ela enfim trabalha junto comigo, mas eu não sei definir o
que é uma “escola em foco”, não sei, não. Eu sei que eu tenho um acompanhamento
do pessoal da Paulo Freire, mas o que é certinho eu também não sei, nunca foi dito
oficialmente: “olha escola I, é isso, isso e isso.” Eu cheguei chegando, entendeu? A gente
chega e entra na sala de aula (professora da escola I, 3o ano do ensino fundamental).
18. Referência à Escola de Formação de Professores Paulo Freire (EPF) da SME.

Aí o que é passado é que é uma escola que pode crescer mais. Entendeu? Por algum
motivo, né, ela não está crescendo tanto quanto deveria. Então, tem esse projeto aí
pra que a gente consiga desenvolver esse trabalho (professora da escola J, 3o ano do
ensino fundamental).
As falas dos professores entrevistados não indicam que eles tivessem uma
compreensão adequada sobre o objetivo do programa, sobre seu caráter formativo
para promover o uso de dados e evidências para tomada de decisões ou planeja-
mento pedagógico.
Ademais, a análise das entrevistas com os diretores de escolas indica que os
procedimentos seguidos pelos professores de acompanhamento escolar variavam
consideravelmente, o que se explica pela discricionariedade que foi atribuída a atuação
deles com as escolas do programa. Enquanto alguns diretores relataram que os PAEs
os auxiliavam diretamente na analise os dados das escolas e pouco acompanhavam
o trabalho dos professores, outros informaram que eles realizavam seu trabalho com
os diretores e os professores do 3o ano. Vale ser destacado, ainda, um terceiro grupo
de diretores de escola, que mencionou o fato de os PAEs realizarem seu trabalho
semanal somente com os professores, e em sala de aula, onde “tomavam leitura” dos
alunos, e até mesmo aplicavam simulados para as turmas; ações que não estavam
previstas nas diretrizes da SME para atuação dos PAEs com as escolas.
FIGURA 1
Quadro de ações previstas e não previstas dos PAEs
Projeto Escolas em Foco
Tipos de ações Professores de Acompanhamento Estratégico (PAE)
1. Apresentar/discutir relatórios (DESESC)

2. Tirar dúvidas sobre indicadores e avaliações
Gestores
3. Sugerir ações com base nos resultados da escola
4. Participar de e outras reuniões com a gestão
PAE
1. Apresentar/discutir relatórios (DESESC)
2. Tirar dúvidas sobre indicadores e avaliações
3. Sugerir ações com base nos resultados da turma
4. Participar de centro de estudos e reuniões de planejamento docente
Professores
5. Trazer materiais didáticos (livros, sugestões de atividades)
6. Tirar alunos de sala de aula (“tomar leitura” ou reforço)
7. Aplicar simulados
8. Auxiliar o professor em sala de aula
Ações recomendadas da SME-RJ Outras ações realizadas nas escolas

Cotejando-se as entrevistas realizadas com a coordenadora do programa na

SME, com os relatos dos diretores e dos professores das escolas, é possível diag-
nosticar algumas as ações realizadas pelos PAEs que divergem daquelas esperadas
pela coordenação do programa. A figura 1 sistematiza as ações previstas e não
previstas dos PAEs.
Em alguns casos, observamos um desvio das funções dos PAEs para suprir
ausências ou deficit de pessoal na escola. É interessante notar que tais desvios
parecem estar de acordo com as expectativas dos diretores, ao saberem que suas
escolas participariam do programa, bem como com suas avaliações subjetivas sobre
a utilidade do programa.
Por que, o que no final acontece? Quando você entra na escola, o primeiro movimento
da escola é achar que você vai dar a ela alguma coisa. E o primeiro movimento é
alguma coisa material que ela não tem. Então, por exemplo, se ela está sem carteira,
ela acha que, por estar num projeto, você vai arranjar as carteiras que ela está preci-
sando, ou então vai arranjar um dinheiro que ela não conseguiu. Aí quando você diz
não, então ela: “ah, porque isso aqui está quebrado, não sei o que...
Eu não ia dar pra eles [diretores de escola] um dinheiro a mais. Eu não ia dar pra eles
um projeto que ia botar alguma coisa... uma sala de robótica. Não estava oferecendo
nada a eles, a não ser um trabalho, um estudo, fazer uma gestão compartilhada.
Foi dali, da história da gestão compartilhada, que a gente partiu. Nós vamos fazer
uma gestão compartilhada. Então, cara, o cara [diretor de escola] começou: “mas eu
não tenho coordenador pedagógico, você pode arrumar coordenador pedagógico pra
mim?” Eu: “não”. Aí ele: “olha só, eu não tenho professor, está faltando professor.
Como é que vai ser? Essas escolas vão ser priorizadas? (coordenadora do programa
Escolas em Foco na SME).
Essa ideia de que as escolas entendem que a mão de obra é mais necessária
que atividades de formação também aparece na fala de diretores e professores, que
pediam que os PAEs visitassem mais vezes as escolas, ou trabalhassem como se
fossem um professor extra.
A escola ia melhorar com ou sem o programa. Não interfere no andamento da escola.
Ela ficou amiga da gente [a PAE], mas, como trabalho, ela como P2 [professora da
rede municipal] somaria mais (professora da escola F, 3o ano do ensino fundamental).
Gastam-se verbas com professores fora de sala de aula. Seria mais efetivo se eles esti-
vessem dando aula (professora da escola I, 3o ano do ensino fundamental).
Enfim, as entrevistas com professores, gestores das CREs e a coordenadora
do programa na Secretaria Municipal de Educação do Rio de Janeiro fornecem-
-nos evidências empíricas de que a excessiva centralização do processo decisório do
programa na SME, que não soube envolver os gestores de nível médio (ou optou
explicitamente por não envolvê-los), lotados nas CREs, que funcionam como elo
de comunicação entre a gestão central e as equipes escolares, acabou por prejudicar
a comunicação do programa, o que, por conseguinte, gerou falta de conhecimento

sobre seu funcionamento e seus objetivos entre as equipes escolares, que, em última
instância, não se sentiram comprometidas com o bom funcionamento deste.
Observamos, ademais, que a ação discricionária dos PAEs – seja na escolha das
agentes com as quais interagiam nas escolas, seja nas ações realizadas, seja, ainda, em
contexto de falta de pessoal nas escolas, exercendo até mesmo funções não relaciona-
das ao programa – parece ter contribuído para os resultados pouco satisfatórios do
programa no incentivo do uso de dados e de evidências pelos docentes e diretores
nas tarefas pedagógicas e atividades de gestão escolar. Cabe lembrar que a excessiva
autonomia dos PAEs pode ser atribuída, ao menos parcialmente, à ausência de su-
pervisão dos níveis médios de gestão educacional – isto é, da burocracia das CREs,
que foi afastada do processo decisório e da gestão do programa pela SME.
O programa Escolas em Foco estabeleceu iniciativas de capacitação das equipes
escolares, dos gestores da SME e das CREs, que são unidades de gestão intermedi-
árias, para uso dos dados das avaliações como instrumento de gestão educacional.
A análise do desempenho acadêmico dos alunos e das escolas indica que houve
impacto muito pequeno sobre os indicadores de qualidade analisados. A análise
qualitativa revela que as equipes escolares tinham uma compreensão imprecisa do
programa e de seus objetivos, bem como enfrentaram dificuldades em se valer dos
dados das avaliações para o planejamento educacional.
A partir da verificação dos resultados, é possível estabelecermos algumas hipó-
teses para o efeito tênue do programa sobre as escolas que receberam a intervenção.
A primeira dessas hipóteses refere-se à curta linha histórica analisada neste
trabalho. É possível que o pequeno período de análise não tenha sido suficiente
para captar o impacto do programa. Além disso, esse programa pretendia uma
mudança de comportamento das esquipes escolares. Considerando-se que, de
acordo com a bibliografia de DDDM, o uso efetivo dos dados requer diversas
habilidades, conhecimento e disposição dos professores – por exemplo, habilida-
des para a formulação de problemas; e capacidade de coletar, analisar, sintetizar
e interpretar dados e capacidade de agir e encontrar uma solução adequada – o
objetivo de mudança de comportamento (isto é, de mudança das práticas escolares)
talvez apenas possa ser alcançado por meio de intervenção e treinamento mais
prolongado dos agentes escolares (Mandinach e Gummer, 2016; Marsh, Bertrand
e Huguet, 2015; Schildkamp et al., 2017). Além disso, o efeito positivo pequeno,
porém significante, no fluxo escolar e a ausência de efeito significativo ou relevante
no desempenho em LP e MT sugerem que os esforços do programa não foram
capazes de promover maior pedagogical literacy entre os atores escolares.
Nossa segunda hipótese explicativa para o baixo impacto do programa concerne

à escassez de informações sobre as características e os protocolos do programa e sobre
a atuação dos PAEs nas escolas. Como as informações do programa, publicadas
no Diário Oficial da Prefeitura do Rio de Janeiro, foram genéricas, não é possível
aferir se o desempenho das escolas e de seus respectivos fluxos era realmente os
objetivos centrais do programa Escolas em Foco. Ainda que esses agentes tenham
recebido treinamento similar pela SME, haja vista o grau de discricionariedade
que gozavam nas escolas, é possível que eles tenham adotado estratégias diferen-
ciadas de acordo com o perfil das escolas e da gestão. A variação na ação desses
agentes pode dar-se, também, pela relação que eles estabeleceram com a gestão
das escolas. Algumas gestões podem ser mais receptivas às ações desses agentes e
à implementação de novas práticas e metodologias de ensino e aprendizagem.
Tal receptividade poderia significar, em última análise, ganhos no desempenho em
MT, LP ou no fluxo dos estudantes.
A terceira hipótese está vinculada à ação das coordenadorias regionais de
educação. Apesar de as entrevistas informarem que duas CREs atuavam como
instâncias reguladoras entre os agentes e as escolas, dificultando a intervenção
dos agentes, é possível que outras CREs também tenham desempenhado papel
similar com as escolas. Caso essa hipótese tenha se efetivado, o que significa uma
rejeição ao programa, não é esperado que este apresentasse qualquer efeito sobre
o desempenho e o fluxo das escolas participantes.
Os resultados aquém do esperado pela SME e os problemas de implementação
detectados no decorrer da pesquisa apontam para a necessidade de nos aprofun-
darmos mais na pesquisa, com o objetivo de examinarmos com mais detalhe a
verossimilhança de cada uma das hipóteses levantadas anteriormente, com base
nos resultados das análises quantitativas e na exegese das entrevistas.
REFERÊNCIAS
BAUER, A. P. C. O.; HORTA NETO, J. L.; SOUSA, S. Z. Avaliação em larga
escala em municípios brasileiros: o que dizem os números? Estudos em Avaliação
Educacional, v. 26, n. 62, p. 326-352, maio-ago. 2015.
BROOKE, N. Accountability educacional en Brasil, una visión general.
PREAL, 2005
BROOKE, N.; CUNHA, M. A. A. A avaliação externa como instrumento
de gestão educacional nos estados. Estudos & Pesquisas Educacionais, v. 2,
p. 3-64, 2011.
CENEVIVA, R. O nível de governo importa para a qualidade da política pública?

O caso da educação fundamental no Brasil. 2011. Tese (Doutorado) – Faculdade
de Filosofia, Letras e Ciências Humanas, Universidade de São Paulo, São Paulo,
2011. Disponível em: <https://is.gd/5R6shu>. Acesso em: 4 out. 2020.
CERDEIRA, D G. S. Apropriações e usos de políticas de avaliação e responsa-
bilização educacional pela gestão escolar. 2015. Tese (Doutorado) – Faculdade
de Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2015.
CERDEIRA, D. G. S.; ALMEIDA, A. B. Os efeitos da política de avaliação e
responsabilização educacional na rede pública do Rio de Janeiro. In: REUNIÃO
ANUAL DA ANPED, 36., 2013, Goiânia, Góias. Anais... Goiânia: Anped, 2013.
CERDEIRA, D. G. S. et al. Conhecimento e uso de indicadores educacionais no
município do Rio de Janeiro. Estudos em Avaliação Educacional (on-line), v.
28, n. 69, p. 926-968, set.-dez. 2017.
CUSTER, S. et al. Toward data-driven education systems: insights into using
information to measure results and manage change. Washington: Center for
Universal Education/Brookings Institution; Williamsburg: AidData, Feb. 2018.
GORARD, S.; SEE, B. H.; SIDIQQUI, N. What we know already about the
best ways to get evidence into use in education. In: GORARD, S. (Org.). Getting
evidence into education: evaluating the routes to policy and practice. Abingdon:
Routledge, 2020. p. 110-118.
HAMILTON, L. et al. Using student achievement data to support instructional
decision making. Washington: NCEE, 2008.
INGRAM, D.; LOUIS, K. S.; SHROEDER, R. G. Accountability policies and
teacher decision making: barriers to the use of data to improve practice. Teachers
College Record, v. 106, p. 1258-1287, June 2004.
KERR, K. et al. Strategies to promote data use for instructional improvement:
actions, outcomes, and lessons from three urban districts. American Journal of
Education, v. 112, n. 4, p. 496-520, Aug. 2006.
KNIGHT, J. Instructional coaching. School Administrator, v. 63, n. 4, p. 36-40, 2006.
KOSLINSKI, M. C. et al. Políticas de responsabilização educacional: modelos
possíveis e uma análise preliminar da política do município do Rio de Janeiro.
In: CAVALIERI, A. M.; SOARES, A. J. (Org.) Políticas educacionais no estado
do Rio de Janeiro. Rio de Janeiro: Mauad; Faperj, 2015.
LAWN, M. The internationalisation of education data: exhibitions, tests, standards
and associations. In: LAWN, M. (Org.). The rise of data in education systems:
collection, visualization and use. Providence: Symposium Books, 2013.
LOPES, K. C. et al. Políticas de responsabilização escolar: um estudo exploratório

sobre as estratégias intermediárias da rede municipal do Rio de Janeiro. Jornal de
Políticas Educacionais, v. 9, n. 17-18, p. 75-89, 2015.
MANDINACH, E. B.; GUMMER, E. What does it mean for teachers to be data
literate: laying out the skills, knowledge and dispositions. Teaching and Teacher
Education, v. 60, p. 366-376, Nov. 2016.
MARSH, J. A.; BERTRAND, M.; HUGUET, A. Using data to alter instructional
practice: the mediating role of coaches and professional learning communities.
Teachers College Record, v. 117, n. 4, p. 1-40, 2015.
MARSH, J. A.; PANE, J.; HAMILTON, L. Making sense of data driven decision
making in education: evidence from recent RAND Research. Santa Monica: RAND
Corporation, 2006. Disponível em: <https://is.gd/agzh2v>.
NÚÑEZ, C. P.; KOSLINSKI, M. C.; FERNANDEZ, S. Políticas de incentivo
ao uso de dados educacionais: experiências no contexto internacional e brasileiro.
Jornal de Políticas Educacionais, v. 13, n. 17, p. 1-19, 2019.
PORTELA, C. Práticas docentes sob pressão: ações e percepções de professores
sobre a política de responsabilização na rede municipal de ensino do Rio de Janeiro.
2015. Dissertação (Mestrado) – Universidade Federal do Rio de Janeiro, Rio de
Janeiro, 2015.
RIO DE JANEIRO. (Município). Diário Oficial do Rio de Janeiro, ano XXVIII,
n. 205, p. 42, 15 jan. 2015. Disponível em: <https://is.gd/gnsehj>.
______. Diário Oficial do Rio de Janeiro, ano XXIX, n.199, p. 91, quinta-feira,
7 jan. 2016. Disponível em: <https://is.gd/gnsehj>.
ROSISTOLATO, R.; PRADO, A.; FERNANDEZ, S. J. Cobranças, estratégias
e ‘jeitinhos’: avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação
Educacional, v. 25, n. 59, p. 78-107, set./dez. 2014.
ROSISTOLATO, R. et al. Burocracia educacional em interação com as famílias
nos processos de matrícula escolar na cidade do Rio de Janeiro. Jornal de Políticas
Educacionais, v. 13, n. 43, p. 1-28, 2019.
SCHILDKAMP, K.; POORTMAN, C. Factors influencing the functioning of
data teams. Teachers College Record, v. 117, n.4, p. 1-42, 2015.
SCHILDKAMP, K. et al. Factors promoting and hindering data-based decision
making in schools. School Effectiveness and School Improvement, v. 28, n. 2,
p. 242-258, 2017.
SOUSA, S. Z.; KOSLINSKI, M. C. Avaliação em larga escala, índices e premiação:

iniciativas de estados brasileiros e seus efeitos. In: SETTON, M. G. J. (Org.). Mérito,
desigualdades e diferenças: cenários da (in)justiça escolar – Brasil e Portugal. 1. ed.
São Paulo: Annablume Editora, 2017. v. 1, p. 77-100.
SOUSA, S. Z. et al. Uso de dados de avaliações externas por redes municipais de
educação paulistas. Revista Diálogo Educacional, v. 15, n. 44, p. 37-61, 2015.
MARSH, J. A. Interventions promoting educators’ use of data: research insights
and gaps. Teachers College Record, v. 114, n. 11, p. 1-48, Nov. 2012.
CAPÍTULO 28
O USO DE EVIDÊNCIAS CIENTÍFICAS NO ENFRENTAMENTO

À PANDEMIA DE COVID-19 NO BRASIL: UMA COMPARAÇÃO
DAS POLÍTICAS DOS GOVERNOS ESTADUAIS1,2
Rodrigo Fracalossi de Moraes3
1 INTRODUÇÃO
Decisões na área de saúde pública devem se basear em “evidências científicas sobre
a eficácia, a acurácia, a efetividade e a segurança do medicamento, produto ou
procedimento” (Brasil, 2011).4 Para tanto, é preciso reunir informações e conhe-
cimentos de fontes e disciplinas diversas (Donnelly et al., 2018), utilizando-se
“dados científicos da mais alta qualidade, obtidos de forma aberta e objetiva”
(CDC, 2019). Decisões não devem se basear, portanto, em trabalhos, pesquisadores
ou especialistas tomados individualmente, mas, sim, em um universo amplo de
conhecimento científico, a partir do qual se filtra, destila ou sintetiza o essencial
para se resolver um dado problema. E uma “síntese precisa, concisa e imparcial das
evidências disponíveis é indiscutivelmente uma das contribuições mais valiosas que
uma comunidade de pesquisa pode oferecer a tomadores de decisão” (Donnelly
et al., 2018).
Para que isso seja possível, é preciso um conjunto de pessoas e organizações
que sintetize conhecimentos científicos e os transformem em algo útil para os que
desejam utilizá-los. Estes são denominados na literatura como intermediários,
pontes ou knowledge brokers (Smith, 2013; Lomas, 2007; Ward, House e Hamer,
2009; Meyer, 2010). Eles prestam um serviço essencial à efetiva incorporação de
conhecimento científico em políticas públicas, traduzindo conhecimentos cientí-
ficos e, neste processo, adaptando-os para que possam ser diretamente utilizados
por não experts (Meyer, 2010).
1. Uma versão expandida deste capítulo será publicada como texto para discussão do Ipea com o título de Ciência
e pseudociência durante a pandemia de covid-19: o papel dos “intermediários do conhecimento” nas políticas dos
governos estaduais no Brasil.
2. O autor agradece a Adriano Matias da Silva, Carolina Miranda Futuro e Gabriela da Costa Silva pelo auxílio na coleta
de parte das informações e na revisão do texto.
3. Técnico de planejamento e pesquisa na Diretoria de Estudos e Relações Econômicas e Políticas Internacionais (Dinte)
do Ipea. E-mail: <rodrigo.moraes@ipea.gov.br>.
4. Evidências são consideradas neste trabalho como os resultados de “investigações sistemáticas voltadas ao aumento
do estoque de conhecimento” (Davies, Nutley e Smith, 2000).
Esses intermediários tiveram um papel central durante a pandemia de covid-19.

Por um lado, as respostas precisavam ser rápidas. Por outro, governos enfrentaram
problemas relacionados à escassez de informações (nos estágios iniciais da pande-
mia), ao alto volume de informações (em estágios posteriores da pandemia) e à
disseminação de informações pseudocientíficas (durante toda a epidemia). Como
forma de lidar com cada um destes problemas, gestores e políticos buscaram reduzir
o grau de incerteza – e, portanto, de risco – por meio da utilização de intermedi-
ários do conhecimento.
No Brasil, os três níveis de governo buscaram – em maior ou menor grau – evi-
dências científicas para orientar a tomada de decisão no enfrentamento da epidemia.
Evidências foram usadas para, entre outros objetivos, conter taxas de transmissão
(por exemplo, por meio de medidas de distanciamento social), ampliar a capacidade
dos sistemas de saúde (por exemplo, por meio da criação de hospitais de campanha)
e incentivar a produção de conhecimento relativo à doença (por exemplo, por meio
do financiamento de pesquisas). Contudo, as políticas de enfrentamento à pandemia
no Brasil foram bastante fragmentadas, sendo em grande medida elaboradas e imple-
mentadas por governos estaduais. Analisar políticas estaduais é, portanto, essencial
para se compreender a resposta do Estado à pandemia no Brasil.
Este trabalho compara como governos estaduais no Brasil filtraram evidências
da área de saúde e as incorporaram em políticas de enfrentamento à covid-19. O tex-
to compara, em particular, o trabalho realizado no âmbito de arranjos institucionais
de enfrentamento à pandemia criados pelos governos estaduais, com destaque para
os 69 comitês científicos, gabinetes de crise ou equivalentes. O trabalho expande
uma análise feita anteriormente em Palotti et al. (2021), os quais mediram o grau
de proximidade entre o governo e a comunidade acadêmica durante a pandemia.
Além dos objetivos de Palotti et al. (2021), analisa-se neste trabalho o escopo dos
arranjos institucionais de enfrentamento à pandemia, sua interdisciplinaridade, o
grau de transparência dos seus trabalhos e o seu grau de influência sobre políticas.
O texto inicialmente destaca a importância de mecanismos que filtrem e
sintetizem evidências científicas, tornando-as acessíveis para gestores e políticos.
Analisa também alguns dos obstáculos enfrentados por aqueles que buscaram
utilizar evidências científicas em políticas de enfrentamento à pandemia. Em
seguida, é feita uma análise comparativa de como os governos estaduais no Brasil
utilizaram tais mecanismos. Investigou-se ainda em que medida governos utiliza-
ram informações distorcidas ou pseudocientíficas – uma dimensão essencial em
um contexto de infodemia.
O Uso de Evidências Científicas no Enfrentamento à Pandemia de Covid-19 no | 861
Brasil: uma comparação das políticas dos governos estaduais
2 USO DE EVIDÊNCIAS CIENTÍFICAS EM UM CONTEXTO DE PRESSÃO DO

TEMPO, INCERTEZA E DESINFORMAÇÃO
A disponibilidade de conhecimento científico é uma condição necessária, mas
não suficiente para que se tenham políticas baseadas em evidências. Estas políticas
dependem também de organizações, sistemas e procedimentos (o que se denomina
neste capítulo como arranjos institucionais) capazes de processar evidências cientí-
ficas e incorporá-las em uma política. Estes filtros atuam como intermediários: seu
trabalho de sintetizar e destilar informações úteis e de qualidade é uma interface
essencial entre a comunidade científica e audiências específicas – autoridades de
governo, por exemplo (Smith, 2013; Lomas, 2007; Ward, House e Hamer, 2009;
Meyer, 2010).
A pandemia de covid-19 demonstrou a importância de mecanismos capazes
de filtrar evidências científicas e, a partir delas, elaborar sínteses úteis para gestores
e políticos. Durante a pandemia, este papel foi em grande medida desempenhado
por: organizações internacionais (por exemplo, Organização Mundial da Saú-
de – OMS e Organização Panamericana da Saúde – OPAS); órgãos nacionais
de saúde pública (por exemplo, Fundação Oswaldo Cruz – Fiocruz); grupos de
pesquisadores; institutos de pesquisa ou universidades (por exemplo, Imperial
College, Centre for Evidence-Based Medicine/University of Oxford); e revistas
científicas (por exemplo, Nature, Science, The Lancet). Todos estes produziram
revisões sistemáticas ou recomendações de políticas, em linguagem acessível a ges-
tores e políticos. Eles filtraram e sintetizaram estoques e fluxos de conhecimento
científico, apresentando a stakeholders possíveis caminhos a serem seguidos e as
consequências de não se fazê-lo.
Um esquema simples de como funciona um sistema de intermediação de evi-
dências científicas (e alguns dos resultados que podem ser produzidos a partir dele)
é apresentado na figura 1. Para além de filtros de resultados de pesquisas (universi-
dades, institutos de pesquisa ou empresas), são necessários intermediários adicionais
que transformem a produção científica em material útil para governos – adaptado
a situações específicas e com linguagem acessível para gestores e autoridades. Neste
processo, intermediários (ou filtros) não apenas divulgam ou reproduzem conhe-
cimentos, mas também geram um certo tipo de conhecimento – o conhecimento
intermediado (brokered knowledge) (Meyer, 2010). Diversos tipos de organizações
podem desempenhar este papel: comitês científicos, grupos de experts, organizações
da área de saúde (OMS, OPAS, Fiocruz, por exemplo) e grupos ou organizações
que façam revisões sistemáticas (como algumas revistas científicas). Alguns destes
podem desempenhar simultaneamente os papéis de filtro de produção científica e
filtro para governos, produzindo resultados diferentes para públicos diferentes, tal
como se observa em trabalhos de revistas científicas de alta qualidade.
FIGURA 1
Produção e filtros de evidências científicas
Elaboração do autor, com auxílio de Adriano Matias da Silva.

Os filtros para governos foram úteis durante a pandemia em função de ao menos

quatro fatores. Primeiro, conhecimentos específicos sobre a covid-19 foram limitados
durante os primeiros estágios da pandemia, o que levou gestores a trabalharem em
grande medida no escuro. Havia pouca informação sobre a gravidade da doença, as
taxas de transmissão, as formas de transmissão, as formas de tratamento e o perfil das
pessoas com risco mais elevado de desenvolver formas graves da doença. Trabalhos
baseados em estudos randomizados controlados (RCTs) são considerados como o
padrão-ouro em termos da produção de evidências, mas estes podem levar muito
tempo para serem planejados, implementados e analisados, o que pode inviabilizar
seu uso como referência no início de uma epidemia (Frieden, 2017). Embora seja
necessário um acúmulo de pesquisas de qualidade para a geração de consensos cien-
tíficos – e, em consequência, recomendações de políticas –, isto é possível apenas se
houver uma quantidade mínima de publicações de resultados de pesquisas. Tal pro-
cesso é geralmente lento, possuindo um tempo incompatível com as necessidades dos
que precisavam de informações para enfrentar a pandemia – especialmente nos seus
estágios iniciais. Assim, a importância do conhecimento intermediado não se limita
a situações nas quais há um amplo estoque de produção científica, estendendo-se
também àquelas nas quais o conhecimento é limitado. Em situações de ausência

ou de pequena quantidade de estudos revisados por pares, especialistas devem
buscar adaptar rapidamente o conhecimento existente de forma que este possa ser
imediatamente usado em políticas.
Nesse sentido, é útil pensar em uma epidemia como um processo dividido
em seis estágios: preparação, vigilância, resposta, tratamento, recuperação e apren-
dizagem (Yang, 2020). Nas fases de preparo e vigilância, é preferível cometer um
erro do tipo II (não rejeitar um sinal quando ele é falso) do que um erro do tipo I
(rejeitar um sinal quando ele é verdadeiro). Esperar a produção de conhecimento
novo pode ter como consequência a rápida disseminação de uma doença, e custos
econômicos e sociais altíssimos. Nestes estágios, é preferível manter altos níveis
de aversão ao risco e, assim, “pecar pelo exagero”. Como exemplo, ainda que não
houvesse evidência científica conclusiva de que uma epidemia perigosa se inicia-
va em Wuhan, teria sido preferível isolar imediatamente a cidade – o que talvez
implicasse um erro do tipo II. Contudo, cometeu-se um erro do tipo I, ou seja,
autoridades locais não foram suficientemente avessas ao risco (Yang, 2020). Um
outro problema se observou quanto ao uso de máscaras, cuja ampla recomendação
de uso – para todas as pessoas e em todos os espaços – foi feita pela OMS apenas em
junho de 2020. Contudo, não havia necessidade de esperar resultados de pesquisas
específicas quanto aos efeitos do uso de máscaras dada a existência de pesquisas
anteriores e o baixíssimo custo e risco das máscaras (Pearson, 2021).
Nos estágios iniciais, políticos e gestores precisavam sobretudo ouvir reco-
mendações de grupos de experts (selecionados de forma não enviesada, é claro).
Estes poderiam utilizar conhecimentos previamente acumulados para recomendar
as melhores formas de enfrentar uma doença até então desconhecida, ainda que o
conhecimento específico sobre a doença fosse limitado. A utilização de conheci-
mento previamente acumulado nos primeiros estágios da pandemia foi observada
em alguns eventos-chave: o primeiro sequenciamento genético do vírus foi fina-
lizado em 5 de janeiro de 2020 (Cohen, 2020); pesquisas relacionadas à vacina
foram iniciadas pouco depois do sequenciamento do vírus, com o Jenner Institute
e o Oxford Vaccine Group (ambos da Universidade de Oxford) tendo iniciado
o seu desenvolvimento em 10 de janeiro de 2020 (The Jenner Institute, 2020); e
governos adotaram com relativa rapidez diversas medidas de distanciamento social,
uma estratégia adotada há séculos para isolar pessoas doentes e prevenir o contágio.
Outras tecnologias previamente desenvolvidas também se mostraram de grande
utilidade, incluindo o RT-PCR (da sigla em inglês reverse transcription polymerase
chain reaction), telemedicina, smartphones e tecnologias de geolocalização.
Segundo, a utilização de conhecimentos científicos por governos, outros atores
e população em geral depende da compreensão acerca da natureza deste tipo de
conhecimento, bem como da legitimidade de especialistas e da ciência. Caso as
autoridades ou a população em geral não tenham tal compreensão, não aceitem a

validade do conhecimento científico, ou desconfiem da ciência (ou de cientistas),
a probabilidade de que evidências científicas sejam incorporadas em políticas
públicas – e na rotina das pessoas – diminui.
Terceiro, na ausência de tratamentos específicos contra a covid-19 e de vacinas,
o distanciamento social foi a principal recomendação para conter a epidemia – es-
pecialmente em seus estágios iniciais. No entanto, isto trouxe custos elevados e se
chocou com normas sociais prezadas por muitas pessoas, como o direito de ir e vir.
Tal fato demonstrou a importância de que se utilizassem informações científicas de
várias áreas, incorporadas em políticas com o auxílio de profissionais que compre-
endessem não apenas os vetores físicos, mas também os psicológicos e sociais que
influenciam a dinâmica de uma doença na sociedade.
Quarto, foi preciso minimizar a influência dos que punham em risco a saúde
pública por meio da produção e divulgação de informações falsas. A circulação
deste tipo de informação não apenas reduziu o impacto de políticas baseadas
em evidências. Ela também demandou recursos que poderiam ser utilizados em
outras áreas: governos precisaram alocar recursos para desmentir curas e medidas
preventivas de eficácia não comprovada ou combater os que negavam a gravida-
de da epidemia. Este problema foi agravado pelo fato de que a atual pandemia
ocorre em um contexto no qual mídias sociais são largamente utilizadas, criando
um espaço amplo para a circulação de informações falsas (a chamada infodemia)
e contribuindo para que crenças infundadas tenham uma aparente confirmação.
Tal situação ampliou a importância de intermediários do conhecimento, os quais
podem esclarecer políticos e gestores sobre as fontes que são de fato confiáveis e
informar a população acerca dos riscos trazidos por informações falsas.
Além disso, gestores, autoridades de governo e sociedade em geral precisaram
enfrentar um problema que resultou indiretamente da ausência de conhecimentos
específicos sobre a doença nos estágios iniciais da pandemia: os trabalhos científicos
cujos resultados foram divulgados logo no início da pandemia tiveram uma vanta-
gem desproporcional, independentemente de sua qualidade. Dois casos deste tipo
foram a recomendação do uso de hidroxicloroquina como tratamento para a doença,
sugerida no início da pandemia por Didier Raoult, e a recomendação para se buscar
imunidade de rebanho via transmissão da doença, feita por Patrick Vallance, e espe-
cialmente influente no Reino Unido e na Suécia nos primeiros estágios da pandemia.
A potencial eficácia da hidroxicloroquina levou a que ao menos 250 ensaios clínicos
fossem feitos, o que foi muito além do necessário para a geração de um consenso e
implicou um desperdício de recursos de pesquisa (Pearson, 2021). E, mesmo quando
as próprias fontes destas recomendações reconheceram sua ineficácia, elas continuaram
circulando na sociedade e em alguns governos, requerendo a alocação de recursos
para se limitar os efeitos da circulação de informações falsas.
3 MÉTODO E DADOS
O objetivo deste capítulo é estimar o quanto governos estaduais no Brasil incorpo-
raram evidências científicas em políticas de enfrentamento à covid-19 e entender
como isso ocorreu. Esta seção explica os critérios e as fontes usadas para se com-
parar as características dos arranjos institucionais criados e utilizados por governos
estaduais no enfrentamento da pandemia. Estes arranjos foram compostos por
secretarias de saúde, órgãos a elas subordinados, comitês científicos, gabinetes de
crise e conselhos de crise ou equivalentes, muitos dos quais criados especificamente
para enfrentar a pandemia. Estes foram criados e mantidos em todas as Unidades
da Federação (UFs), embora com características e formas de atuação variadas,
permitindo assim uma análise comparativa.
3.1 Critérios de avaliação dos arranjos institucionais de enfrentamento à

pandemia nos estados
Para Williams et al. (2020), comitês de enfrentamento à pandemia deveriam ter no
mínimo quatro características, as quais foram usadas como referência para a com-
paração feita neste trabalho. Primeiro, a participação de especialistas com carreiras
sólidas, experiência acumulada e capacidade de filtrar informações de qualidade (e
úteis) para a elaboração de políticas. Ou seja, em uma situação de crise, governos
devem manter ou buscar profissionais com conhecimento na área, de forma que estes
possam auxiliar – ou mesmo comandar – os esforços contra a pandemia. Segundo,
a participação de profissionais de disciplinas para além das áreas de epidemiologia,
infectologia e virologia é importante, pois trata-se de um problema multidimensional,
requerendo expertise de várias áreas. Profissionais da área de comunicação social, por
exemplo, são de grande importância para que a população seja informada acerca de
medidas preventivas e para que se minimizem os efeitos da disseminação de notícias
falsas ou informações pseudocientíficas. Especialistas em saúde mental são essenciais
para o acompanhamento dos efeitos da pandemia sobre a saúde mental de profis-
sionais da saúde e da população em geral. Pessoas da área de economia da saúde
podem contribuir para analisar mercados de produtos essenciais em uma pandemia,
incluindo os de produtos hospitalares, serviços médicos e vacinas. Como exemplo,
não houve em alguns casos compreensão acerca do funcionamento do mercado
de vacinas em situações de crescimento súbito da demanda. Em tais situações, a
posição de compradores era desfavorável, mas era irracional esperar que condições
contratuais ou preços melhorassem, pois os custos em termos da saúde da população
e posterior retomada das atividades sociais e econômicas seriam altíssimos. Terceiro,
políticas devem ser transparentes para que a comunidade científica – e a sociedade
em geral – avaliem o mérito e o fundamento científico das recomendações realizadas
por governos. Quarto, a proximidade com o processo político é importante, pois
pessoas ou instituições com pouca influência terão dificuldade para fazer com que
evidências científicas sejam incorporadas em políticas.
Cada uma destas quatro categorias foi adaptada para a análise feita neste
estudo, adotando-se as seguintes: i) expertise dos integrantes dos arranjos institu-
cionais; ii) grau de interdisciplinaridade; iii) grau de transparência dos trabalhos;
iv) grau de influência sobre as políticas de enfrentamento à pandemia. Foram ainda
adicionadas duas outras: v) data de criação ou mobilização de comitês ou grupos
de trabalho, o que indica a velocidade da resposta dos governos à pandemia; e vi)
escopo e grau de precisão das atribuições dos arranjos institucionais, ou seja, a
abrangência e clareza das suas funções.
Para cada uma destas seis dimensões da análise foram atribuídos valores de 2,
1 ou 0, conforme os critérios apresentados a seguir. O período avaliado se inicia em
1o de janeiro de 2020 e termina no dia 11 de março de 2021, quando se comple-
tou um ano da declaração pela OMS de que a covid-19 era uma pandemia. Caso
as características analisadas tenham sido observadas em apenas parte do período
analisado, foi feito um cálculo proporcional. Como exemplo, se um comitê teve
um escopo limitado e vago por cinco meses, mas abrangente e preciso pelo restante
do período analisado, atribuiu-se um valor de 1.
Os comitês (ou equivalentes) não necessariamente precisavam ser externos às
secretarias estaduais de saúde, podendo estar institucionalmente localizados dentro
das secretarias. Além disso, os conselhos estaduais de saúde foram considerados na
análise desde que tenham se envolvido na formulação de recomendações de políticas
de enfrentamento à pandemia. Em alguns casos, governos também mantiveram
espaços voltados à articulação com os municípios, seja com prefeitos, seja com
secretários municipais de saúde, os quais também foram considerados.
A avaliação feita neste capítulo abrange apenas políticas e práticas voltadas à con-
tenção da epidemia; arranjos voltados a minimizar danos econômicos (apoio a empresas,
por exemplo) não foram analisados. Todos os conhecimentos úteis à contenção da
epidemia foram considerados, ainda que não tivessem origem na área de saúde stricto
sensu. Por exemplo, conhecimentos das áreas de ciências comportamentais, ciências de
dados ou economia são fundamentais para o enfrentamento adequado da pandemia.
Durante a análise, encontrou-se uma característica dos arranjos institucionais
que dificultou a sua avaliação: enquanto alguns estados criaram apenas um comitê
(ou equivalente), a maior parte criou múltiplos comitês. Alguns destes comitês
foram compostos apenas por secretários estaduais, alguns por representantes do
setor privado e outros foram majoritariamente compostos por cientistas. Para lidar
com estes casos, foram considerados os trabalhos dos comitês dentro de um mesmo
estado em seu conjunto. Ou seja, caso tenham sido criados um comitê científico e
um gabinete de crise, por exemplo, um não “anulou” o outro na análise. A exceção
são os comitês com atribuições concorrentes, mas graus de influência distintos:
nestes casos, o comitê considerado na análise é o que possuía maior influência.
BOX 1
Critério 1: data de criação ou mobilização dos arranjos institucionais
Reações tempestivas por governos são essenciais. A criação ou mobilização de arranjos institucionais nos primeiros
dias ou semanas da pandemia aumentou a probabilidade de que governos e sociedade se preparassem de forma
adequada. Ou seja, ganhou-se tempo para que adaptações fossem feitas antes de que a epidemia se manifestasse
(potencialmente) de forma grave. Isto ampliou a probabilidade de que governos contribuíssem para a redução das
taxas de transmissão e para o tratamento adequado dos que porventura contraíssem a doença. Como a covid-19
foi declarada uma pandemia pela OMS em 11 de março de 2020, considerou-se que a criação ou mobilização
de arranjos institucionais para o seu enfrentamento deveria ter ocorrido até 18 de março de 2020 (uma semana
após a declaração).
Na maior parte dos casos, governos criaram mais de um espaço, ou seja, mais de um comitê, comissão, gabinete de
crise ou equivalente. Nestes casos, considerou-se a data de criação ou mobilização do primeiro comitê (ou equivalente).
Valor = 2: arranjos institucionais de enfrentamento à pandemia foram criados até 18 de março de 2020; ou, caso
a UF já possuísse um comitê (ou equivalente) voltado ao enfrentamento de emergências em saúde pública, este foi
mobilizado e adaptado para enfrentar a epidemia de covid-19 até esta data.
Valor = 1: arranjos institucionais de enfrentamento à pandemia foram criados entre 19 de março e o fim de abril de
2020; ou, caso a UF já possuísse um comitê (ou equivalente) voltado ao enfrentamento de emergências em saúde
pública, este foi mobilizado e adaptado para enfrentar a epidemia de covid-19 neste mesmo período.
Valor = 0: arranjos institucionais específicos não foram criados ou foram criados a partir de 1o de maio de 2020;
ou, caso a UF já possuísse um comitê (ou equivalente) voltado ao enfrentamento de emergências em saúde pública,
este não foi mobilizado e adaptado para enfrentar a epidemia de covid-19.
BOX 2
Critério 2: escopo dos arranjos institucionais e grau de precisão de suas atribuições
A influência de um comitê (ou equivalente) sobre a gestão da epidemia depende em parte do seu escopo e do
grau de precisão das suas atribuições. Um comitê que tenha como atribuição propor vários tipos de medidas de
contenção da epidemia (definidas de forma precisa) tende a ter – tudo o mais constante – um impacto maior do
que um comitê que possua objetivos vagos ou cujo escopo seja limitado.
Se consideraram as seguintes possíveis atribuições de um comitê: acompanhamento da evolução da pandemia;
acompanhamento da infraestrutura de saúde disponível; adoção de medidas não farmacológicas (por exemplo,
distanciamento social, uso de máscaras); protocolos para áreas, setores ou atividades específicas (como funerais,
escolas, estabelecimentos comerciais); acompanhamento da saúde mental de profissionais da saúde e da população
em geral; e comunicação com a sociedade (por exemplo, campanhas de incentivo ao uso de máscaras, combate
à desinformação). Outros temas observados durante a análise – e que não foram antecipados – também foram
considerados.
Dada a centralidade de políticas de distanciamento social como forma de prevenção, considerou-se que um comitê
deveria ter, necessariamente, a elaboração de tais políticas entre suas atribuições para que este critério fosse
plenamente atendido.
Valor = 2: os arranjos institucionais possuem atribuições claras em quatro ou mais temas, incluindo necessariamente
políticas de distanciamento social.
Valor = 1: os arranjos institucionais possuem atribuições claras em um, dois ou três temas, não necessariamente
incluindo políticas de distanciamento social.
Valor = 0: nenhum arranjo institucional foi criado ou mobilizado; ou, caso o tenha sido, suas atribuições são vagas.
BOX 3
Critério 3: participação de especialistas nos arranjos institucionais
Para que evidências sejam incorporadas em políticas, é preciso que existam especialistas capazes de filtrar evidências
científicas úteis e de qualidade, e sintetizá-las conforme as necessidades de uma dada situação. Muito embora
a seleção de integrantes dos arranjos institucionais de enfrentamento à pandemia não esteja isenta de possíveis
vieses (por exemplo, escolha apenas de cientistas que concordassem com a autoridade), especialistas são sempre
preferíveis a pessoas com pouca ou nenhuma experiência na área em questão.
Valor = 2: pelo menos metade dos participantes dos arranjos institucionais possui formação em pesquisa e experi-
ência em saúde pública, ou em outras áreas importantes para a contenção da epidemia (ciências comportamentais
ou economia da saúde, por exemplo).
Valor = 1: menos da metade dos participantes dos arranjos institucionais possui formação em pesquisa e experiência
em saúde pública, ou em outras áreas importantes para a contenção da epidemia.
Valor = 0: nenhum arranjo institucional foi criado ou mobilizado; ou, caso tenha sido, a participação de pessoas
com formação em pesquisa e experiência em saúde pública, ou em outras áreas importantes para a contenção da
epidemia, é inexistente ou apenas simbólica (um membro em um comitê com 25 pessoas, por exemplo).
BOX 4
Critério 4: interdisciplinaridade dos arranjos institucionais
Uma política efetiva requer a participação de especialistas de diversas áreas. Para além de profissionais das áreas de
epidemiologia, infectologia e virologia, a participação de especialistas de outras áreas é importante, pois questões
sociais, econômicas e comportamentais podem reduzir ou ampliar os impactos de políticas de saúde pública. Se
considerou que outras áreas importantes (além das de epidemiologia, infectologia, virologia ou áreas próximas a
estas) eram as seguintes: gestão da saúde pública, gestão de risco, logística, ciências comportamentais, ciência de
dados, e economia da saúde. Além destas, outras áreas observadas durante a análise – e que não foram antecipa-
das – também foram consideradas.
Valor = 2: os arranjos institucionais possuem pessoas de quatro ou mais disciplinas.
Valor = 1: os arranjos institucionais possuem pessoas de duas ou três disciplinas.
Valor = 0: nenhum arranjo institucional foi criado ou mobilizado; ou, caso o tenha sido, possui especialistas de
apenas uma disciplina.
BOX 5
Critério 5: transparência dos trabalhos dos arranjos institucionais
A transparência dos trabalhos do governo no enfrentamento à pandemia é importante para que políticas possam
ser submetidas ao escrutínio da comunidade científica e, assim, ser corrigidas caso necessário. Para este critério,
considerou-se o quanto os trabalhos dos comitês (ou equivalentes) foram divulgados ao público. A análise incluiu
tanto a disponibilidade de discussões internas (divulgação de atas de reunião, por exemplo) como dos resultados
dos trabalhos do comitê (notas técnicas, por exemplo).
Valor = 2: as discussões e os resultados dos trabalhos foram todos (ou quase todos) divulgados ao público.
Valor = 1: as discussões e os resultados dos trabalhos foram parcialmente divulgados ao público. Por exemplo: os
trabalhos de um comitê foram divulgados, mas não os de outros; ou decisões de uma área foram divulgadas, mas
não as de outras.
Valor = 0: as discussões e os resultados não foram divulgados ou o foram de forma vaga ou muito limitada (por
exemplo, apenas uma ata de reunião ao longo de um ano). Também se atribuiu o valor zero caso o comitê tenha
feito apenas trabalhos muito pontuais, ou não exista informação sobre o seu funcionamento.
BOX 6
Critério 6: influência dos arranjos institucionais
A existência de um comitê (ou equivalente) com especialistas capacitados e de várias áreas é de pouca valia se suas
recomendações não são seguidas. Para este critério, foi avaliado se – e em que medida – os trabalhos do comitê foram
incorporados em políticas. Alguns exemplos são: recomendações para medidas de distanciamento social, protocolos
setoriais (para escolas e unidades industriais, por exemplo), planos de comunicação para com a sociedade e recomen-
dações sobre como induzir mudanças no comportamento da população (uso de máscaras e higienização das mãos, por
exemplo). Caso decisões de governo tenham se baseado em recomendações oriundas dos comitês (ou equivalentes),
este critério foi atendido. Considerou-se que isto ocorreu quando documentos de governo ou declarações de autoridades
tenham explicitamente citado comitês científicos (ou equivalentes) como fonte para a decisão.
Casos nos quais ocorreram recomendações pseudocientíficas ou sem base em evidências científicas (como o chamado
“tratamento precoce”) não foram considerados no cálculo desta variável.
Valor = 2: o governo tomou decisões com base em recomendações feitas no âmbito do arranjo institucional de
enfrentamento à pandemia em quatro ou mais tópicos, necessariamente incluindo medidas de distanciamento social.
Valor = 1: o governo tomou decisões com base em recomendações do arranjo institucional de enfrentamento à
pandemia em um, dois ou três tópicos.
Valor = 0: um arranjo institucional não foi criado ou mobilizado, não há evidências de que suas recomendações foram
seguidas pelo governo, ou recomendações foram seguidas de forma muito limitada (em um caso apenas, por exemplo).
Este estudo utilizou como fonte documentos oficiais de governos estaduais:

decretos, portarias, notas técnicas e comunicados que contivessem informações
sobre as características dos arranjos institucionais de enfrentamento à pandemia,
suas atribuições, tipos de recomendações, e impacto sobre decisões de governo.
Estas fontes foram complementadas por informações veiculadas na imprensa ou
nas mídias sociais, desde que tenham sido feitas por autoridades estaduais ou in-
tegrantes de arranjos institucionais de enfrentamento à pandemia. Foram também
consultadas as páginas oficiais dos governos estaduais que divulgaram informações
sobre ações de enfrentamento à pandemia, as quais foram criadas em todas as UFs.
3.2 Pseudociência, desinformação e políticas públicas durante a pandemia

Quando recomendações de governos não tiveram como base evidências científicas,
atribuíram-se valores negativos. Isto se justifica pois tais recomendações podem
causar danos à saúde da população e à contenção da epidemia – sendo, portanto,
exemplos de um mal público. Danos ocorrem por meio de alguns mecanismos:
i) métodos supostamente preventivos podem transmitir uma falsa sensação de
segurança ou invulnerabilidade, aumentando a probabilidade de que pessoas ado-
tem comportamentos de risco (por exemplo, não usar máscaras); ii) tratamentos
pseudocientíficos podem levar pessoas a não buscarem tratamento médico ou a
buscá-lo tardiamente; e iii) tratamentos sem base em evidências científicas podem
causar danos diretos à saúde dos que os utilizam (por exemplo, um medicamento
cujo uso em excesso cause problemas renais). Recomendações deste tipo podem
se basear tanto na chamada medicina alternativa (homeopatia, naturopatia, ozo-
nioterapia, por exemplo) como na utilização de tratamentos que funcionam para
alguns tipos de doenças, mas não para outras.
Foram procurados três tipos de recomendações: i) “tratamento precoce” com
medicamentos cuja eficácia não era comprovada; ii) outros tratamentos ou métodos
preventivos não comprovados cientificamente; e iii) desincentivo ao distanciamento
social, combinado ou não com a defesa da obtenção de imunidade de rebanho
via transmissão da doença. Tais recomendações foram buscadas em documentos
oficiais ou declarações de governadores, secretários de saúde e representantes de
comitês científicos (ou equivalentes). Caso estas tenham sido observadas atribuiu-se
o valor de -2 para cada uma delas, totalizando assim um valor mínimo de até -6.
Para o caso de recomendações com base na medicina alternativa, considera-
ram-se as que foram feitas em qualquer momento da pandemia. Diferentemente,
recomendações com base em procedimentos válidos para outras doenças (e que,
em tese, poderiam ser válidos para a covid-19) e feitas antes de 1o de maio de 2020
receberam o valor de -1 (ao invés de -2). Isto se justifica pois estas foram feitas nos
estágios iniciais da pandemia, quando a informação científica disponível ainda
era limitada. Como exemplo, atribuiu-se um valor de -1 caso um governo tenha
recomendado o “tratamento precoce” em março de 2020 e -2 caso o tenha feito em
dezembro de 2020. Políticas voltadas ao uso compassivo, uso em estágios graves
da doença ou como parte de ensaios clínicos não foram consideradas.
O valor de -2 foi atribuído apenas quando se observaram políticas organiza-
das ou declarações frequentes de autoridades sem base em evidências científicas.
Atribuiu-se o valor de -1 nos casos de medidas ou declarações ocasionais, sem uma
política organizada do governo estadual. Por exemplo, se um governador declarou
em apenas uma ocasião que o “tratamento precoce” era importante, mas não criou
uma política para distribuir medicamentos e incentivar seu uso, atribuiu-se o valor
de -1. Um valor negativo nestas variáveis não implica que o governo tenha realizado
um trabalho deficiente em outras áreas de contenção da epidemia. Como exemplo,
um governo pode ter adotado uma política efetiva de distanciamento social ao
mesmo tempo em que recomendou o “tratamento precoce”.
3.3 Limitações do método e das informações coletadas

Este método e as informações coletadas possuem ao menos três limitações. Primeiro,
há um aspecto de grande importância que não pôde ser avaliado diretamente: a
qualidade das evidências utilizadas. Esta dimensão é importante, pois a qualidade
das políticas adotadas depende em grande medida da qualidade das evidências que
informam as políticas. Em um dos extremos, um governo que utilize evidências
científicas de mais alto nível para informar políticas provavelmente terá políticas
mais sólidas. No outro extremo, decisões baseadas em opiniões isoladas de experts
estão sujeitas a vários tipos de viés. No entanto, os documentos de governos ou
comitês científicos raramente explicitaram as fontes utilizadas, dificultando uma
avaliação de sua qualidade. Foi comum a inclusão de referências oriundas da OMS,
da OPAS, da Agência Nacional de Vigilância Sanitária (Anvisa), do Ministério da
Saúde (MS), do Conselho Nacional de Secretários de Estado da Saúde (Conass),
Conselho Nacional de Secretarias Municipais de Saúde (Conasems) e de outros
governos estaduais. Contudo, na maior parte dos casos não se detalharam os
relatórios, artigos ou documentos que foram especificamente utilizados. Apesar
de esta ser uma limitação deste estudo, a qualidade das evidências foi medida in-
diretamente pela qualidade dos arranjos institucionais. Um comitê cujo trabalho
foi realizado por uma equipe de profissionais da área e de forma transparente
teve uma probabilidade maior de incorporar evidências de qualidade do que um
comitê formado por pessoas estranhas à área e cujo trabalho não foi submetido ao
escrutínio público. De toda forma, a ausência desta dimensão na avaliação deve
ser considerada na interpretação dos dados aqui apresentados.
Segundo, este estudo não analisa as características e influência do Comitê
Científico de Combate ao Coronavírus do Consórcio Nordeste (C4NE). As suas
características são semelhantes aos dos comitês estaduais, mas com a diferença de
ter sido estabelecido a partir de um pool de recursos dos estados do Nordeste. Ainda
assim, como demonstrado neste capítulo, todos os estados do Nordeste tiveram
comitês científicos próprios, dos quais muitos foram capazes de filtrar conheci-
mento científico e transformá-lo em material útil para políticas de enfrentamento
à pandemia, como se observou na Paraíba, no Rio Grande do Norte, em Sergipe
e no Ceará – os quais tiveram alguns dos melhores comitês do país.
Terceiro, em função do número elevado de comitês (ou equivalentes) e da
utilização de nomenclaturas variadas, é possível que alguns comitês não tenham
sido identificados.
Por fim, deve-se considerar que os resultados dos trabalhos realizados pelos
comitês (ou equivalentes) foram sempre na forma de recomendações. Decisões
relacionadas a normas de distanciamento social, uso de máscaras e ampliação da
infraestrutura hospitalar, por exemplo, cabiam sempre ao governador do estado
ou ao secretário de saúde.
4 ANÁLISE COMPARATIVA DO USO DE EVIDÊNCIAS CIENTÍFICAS (E DE PSEU-

DOCIÊNCIA) POR GOVERNOS ESTADUAIS
O quadro 1 lista os principais arranjos utilizados por governos estaduais para en-
frentar a pandemia. Foram identificados 69 comitês (ou equivalentes). Não foram
incluídas neste quadro as secretarias e os conselhos estaduais de saúde, mas elas
foram consideradas na análise.
QUADRO 1
Arranjos institucionais de enfrentamento à pandemia criados ou mobilizados por
governos estaduais
UF Comitês científicos (ou equivalentes) Data de criação
Comitê de Acompanhamento Especial da Covid-19 16/3/2020

Acre
Grupo de Apoio ao Pacto Acre Sem Covid 22/6/2020
Alagoas Grupo Técnico Operacional de Emergência para Vigilância do Coronavírus 5/2/2020
Centro de Operações de Emergência em Saúde Pública (COE/Covid-19), coordenado

29/1/2020
pela FVS-AM
Comitê Interinstitucional de Gestão de Emergências em Saúde Pública para

3/2/2020
Amazonas Resposta Rápida aos Vírus Respiratórios
Comitê Intersetorial de Enfrentamento e Combate ao Covid-19 (Comitê de Crise) 16/3/2020
Comitê de Monitoramento de Emergência da Fundação de Vigilância em Saúde do

-
Amazonas (CME/FVS/AM)
Centro de Operações de Emergências em Saúde Pública (e respectivo Comitê Científico) 17/3/2020
Amapá Comitê Médico de Enfrentamento à Covid-19 28/3/2020
Comitê de Decisões Estratégicas 3/4/2020
Comitê Estadual de Emergência em Saúde Pública (ampliado e adaptado) 16/3/2020
Bahia Gabinete de Crise -
Centro de Operações de Emergência em Saúde (Coes) -
Ceará Comitê Estadual de Enfrentamento à Pandemia do Coronavírus 13/3/2020
Comitê Científico Operacional de Estratégias de Enfrentamento à Covid-19 20/4/2020

Distrito Federal Câmara Técnica de Diretrizes e Orientações para o Manejo da Covid-19 (interno à
8/5/2020
Secretaria de Estado de Saúde do Distrito Federal – SES/DF)
Centro de Operações de Emergências em Saúde Pública (ampliado e adaptado) 2/3/2020

Espírito Santo
Sala de Situação de Emergência em Saúde Pública 16/3/2020
(Continua)
(Continuação)
Centro de Operações de Emergências (COE) Coronavírus 29/1/2020

Goiás
Comitê Estadual Socioeconômico de Enfrentamento ao Coronavírus 6/4/2020
Comitê Científico de Prevenção e Combate ao Coronavírus 12/2/2020

Maranhão
Comitê Estadual de Prevenção e Combate à Covid-19 16/3/2020
Centro de Operações de Emergência para Contenção do Coronavírus 12/2/2020

Mato Grosso
Gabinete de Situação 16/3/2020
Mato Grosso Centro de Operações de Emergências 13/3/2020

do Sul Comitê Gestor do Programa de Saúde e Segurança da Economia (Prosseguir) 25/6/2020
Minas Gerais Comitê Gestor do Plano de Prevenção e Contingenciamento em Saúde da Covid-19 15/3/2020
Comitê Técnico Assessor de Informações Estratégicas e Respostas Rápidas à Emergência

29/1/2020
em Vigilância em Saúde Referentes ao Novo Coronavírus
Pará
Comitê Científico Assessor ao Enfrentamento da Pandemia da Covid-19 (Comitê
-
Extraordinário Covid-19)
Comitê de Gestão de Crise Covid-19 Março de 2020
Centro Estadual de Disseminação de Evidências em Saúde do Covid-19 (interno à

Paraíba Março de 2020
Secretaria de Saúde)
Centro Operacional de Emergências em Saúde Pública (ampliado e adaptado) 17/3/2020
Comitê de Gestão de Crise Interinstitucional 18/3/2020
Paraná Comitê de Monitoramento das Medidas para o Enfrentamento da Covid-19 26/10/2020
Comitê de Operações de Emergências em Saúde Pública (ampliado e adaptado) -
Comitê Especial Intermunicipal de Enfrentamento ao Coronavírus 16/3/2020
Comitê Estadual Socioeconômico de Enfrentamento ao Coronavírus 16/3/2020

Pernambuco
Comitê Técnico de Pesquisa, Desenvolvimento e Inovação para o Enfrentamento da
23/4/2020
Emergência de Saúde Pública Decorrente do Novo Coronavírus
Comitê de Gestão de Crise 16/3/2020
Piauí Comitê Técnico de Monitoramento do Pro Piauí 8/6/2020
Comitê de Operações Emergenciais Ampliado (coordenado pela Secretaria de Saúde) -
Gabinete de Crise 13/3/2020
Gabinete Ampliado de Crise 3/4/2020
Rio de Janeiro Comissão Ciência no Combate à Covid-19 5/5/2020
Secretaria Extraordinária de Acompanhamento das Ações Governamentais Integradas da

19/5/2020
Covid-19 (extinta em setembro de 2020, e então incorporada à Secretaria de Saúde)
Grupo Consultivo de Especialistas no Âmbito do Comitê de Enfrentamento às Emergên-

19/3/2020
Rio Grande do cias em Saúde Pública de Importância Estadual
Norte Comitê de Educação para Gestão das Ações de combate da Covid-19 no âmbito do
9/9/2020
Sistema Estadual de Ensino
(Continua)
(Continuação)
Centro de Operação de Emergência (COE) Covid-19 30/1/2020
Comitê Científico de Apoio ao Enfrentamento da Pandemia Covid-19 19/3/2020

Rio Grande
Gabinete de Crise 19/3/2020
do Sul
Conselho de Crise 19/3/2020
Comitê de Dados para o Combate à Covid-19 -
Gabinete de Integração de Acompanhamento e Enfrentamento ao Coronavírus 23/3/2020
Comitê Interinstitucional de Prevenção, Verificação e Monitoramento dos Impactos da

23/3/2020
Covid-19
Rondônia Comitê Técnico Científico (CTC-Covid-19) Março de 2020
Grupo de Trabalho Técnico Científico que apoia o Comitê Interinstitucional de Prevenção,

7/7/2020
Verificação e Monitoramento dos Impactos da Covid-19 (Todos por Rondônia)
Comitê de Crise para Enfrentamento da Emergência de Saúde Pública de Importância

Roraima 25/3/2020
Nacional e Internacional Decorrente do Coronavírus
Centro de Operações de Emergência em Saúde (ampliado e adaptado) 12/3/2020
Santa Catarina Comitê Técnico-Científico da Defesa Civil (ampliado e adaptado) -
Comitê Estratégico de Retorno às Aulas da Secretaria de Estado da Educação 9/9/2020
Centro de Operações de Emergências em Saúde Pública Estadual (COE/SP) 29/1/2020

São Paulo
Centro de Contingência do Coronavírus em São Paulo 16/2/2020
Comitê Gestor de Emergência 24/3/2020
Comitê de Crise -
Sergipe
Comitê Técnico-Científico e de Atividades Especiais -
Comitê Gestor de Retomada Econômica 1/6/2020
Comitê de Crise para a Prevenção, Monitoramento e Controle do Vírus Covid-19 12/3/2020
Centro de Informações Estratégicas de Vigilância em Saúde -

Tocantins
Câmara Técnica de Apoio ao Comitê de Crise para a Prevenção, Monitoramento e
6/4/2020
Controle do Vírus covid-19
Obs.: 1. Na última coluna, os traços indicam que o comitê (ou equivalente) era preexistente à pandemia ou que sua data de
criação não pôde ser identificada.
2. Secretarias estaduais de saúde e conselhos estaduais de saúde não estão incluídos.
Observa-se pelo quadro 1 que todos os governos estaduais tiveram ciência

da necessidade de criar ou mobilizar arranjos institucionais específicos para conter
a epidemia. Quase todas as UFs criaram comitês (ou equivalentes) até o final de
março de 2020, entre as quais oito os criaram antes de 11 de março de 2020, data
na qual a OMS declarou que havia uma pandemia de covid-19. Assim, quase to-
dos os governos tomaram as primeiras decisões de maneira tempestiva, formando
arranjos institucionais que tinham como objetivo propor ou implementar medidas
de enfrentamento à pandemia. Esta foi provavelmente uma das causas da rápida

adoção de medidas de distanciamento social na segunda metade de março de 2020
(Moraes, 2020).
Contudo, diferenças significativas foram observadas quanto aos demais aspec-
tos. A tabela 1 apresenta os resultados da avaliação feita neste capítulo, contendo
valores de 2, 1 ou 0 para cada uma das variáveis analisadas. Para maior clareza,
colocou-se em cada célula o que estes valores significam. Os valores das variáveis 1
a 6 foram somados e então ajustados para uma escala de 0 a 10 de forma a tornar
o valor total mais intuitivo. Sobre este resultado foi feita uma subtração quando
se observaram políticas, recomendações ou declarações sem base em evidências
científicas. A tabela 1 indica apenas o valor total das recomendações não científicas
(penúltima coluna, em uma escala de -6 a 0), com seus detalhes sendo apresentados
mais à frente. A última coluna apresenta o indicador que mede a qualidade dos
arranjos institucionais avaliados (em uma escala de -6 a 10).
TABELA 1
Avaliação do trabalho de arranjos institucionais para o enfrentamento da covid-19
nos governos estaduais
Interdis- Medidas
Tempesti- Especia- Transpa-
Escopo ciplinari- Influência não cien- Total
UF vidade listas rência
(0 a 2) dade (0 a 2) tíficas (-6 a 10)
(0 a 2) (0 a 2) (0 a 2)
(0 a 2) (-6 a 0)
Paraíba Rápida (2) Amplo (2) Sim (2) Sim (2) Alta (2) Alta (2) 0 10,0
Rio Grande do Sul Rápida (2) Amplo (2) Sim (2) Sim (2) Alta (2) Alta (2) 0 10,0
Santa Catarina Rápida (2) Amplo (2) Sim (2) Sim (2) Alta (2) Alta (2) 0 10,0
São Paulo Rápida (2) Amplo (2) Sim (2) Sim (2) Alta (2) Alta (2) 0 10,0
Espírito Santo Rápida (2) Amplo (2) Sim (2) Parcial (1) Alta (2) Alta (2) 0 9,2
Rio Grande do Norte Média (1) Amplo (2) Sim (2) Sim (2) Alta (2) Alta (2) 0 9,2
Ceará Rápida (2) Amplo (2) Parcial (1) Parcial (1) Alta (2) Alta (2) 0 8,3
Goiás Rápida (2) Amplo (2) Parcial (1) Parcial (1) Alta (2) Alta (2) 0 8,3
Paraná Rápida (2) Médio (1) Sim (2) Sim (2) Média (1) Alta (2) 0 8,3
Sergipe Média (1) Médio (1) Sim (2) Sim (2) Alta (2) Alta (2) 0 8,3
Piauí Rápida (2) Médio (1) Sim (2) Parcial (1) Média (1) Alta (2) 0 7,5
Tocantins Rápida (2) Médio (1) Sim (2) Sim (2) Média (1) Média (1) 0 7,5
Distrito Federal Média (1) Amplo (2) Sim (2) Parcial (1) Alta (2) Alta (2) -1 7,3
Amazonas Rápida (2) Amplo (2) Sim (2) Sim (2) Média (1) Alta (2) -2 7,2
Pernambuco Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Alta (2) 0 6,7
Bahia Rápida (2) Médio (1) Parcial (1) Parcial (1) Alta (2) Alta (2) -1 6,5
Pará Rápida (2) Amplo (2) Sim (2) Parcial (1) Média (1) Alta (2) -2 6,3
Minas Gerais Rápida (2) Médio (1) Parcial (1) Não (0) Alta (2) Alta (2) -1 5,7
Mato Grosso do Sul Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Alta (2) -1 5,7
(Continua)
(Continuação)
Interdis- Medidas
Tempesti- Especia- Transpa-
Escopo ciplinari- Influência não cien- Total
UF vidade listas rência
(0 a 2) dade (0 a 2) tíficas (-6 a 10)
(0 a 2) (0 a 2) (0 a 2)
(0 a 2) (-6 a 0)
Acre Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Média (1) -1 4,8
Rio de Janeiro Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Média (1) -1 4,8
Maranhão Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Alta (2) -2 4,7
Rondônia Rápida (2) Médio (1) Parcial (1) Parcial (1) Média (1) Alta (2) -2 4,7
Alagoas¹ Rápida (2) Baixo (0) Sim (2) Parcial (1) Baixa (0) Baixa (0) -1 3,2
Amapá Rápida (2) Médio (1) Sim (2) Parcial (1) Baixa (0) Baixa (0) -2 3,0
Roraima Média (1) Baixo (0) Parcial (1) Não (0) Baixa (0) Baixa (0) -1 0,7
Mato Grosso Rápida (2) Baixo (0) Não (0) Não (0) Baixa (0) Baixa (0) -2 -0,3
Média 1,9 1,3 1,6 1,2 1,3 1,6 -0,7 6,6
Fontes: Para o Acre, Acre (2020a; 2020c; 2020d; 2020e; 2020f; 2020g; 2021) e Portal de Informações sobre o Combate à
2
Covid-19 (disponível em: <https://bit.ly/3nVXWL>); para Alagoas, Alagoas (2020a; 2020c) e SAI (2020); para o Amapá,
Amapá (2020a; 2020b; 2020c) e MP-AP (2021); para o Amazonas, Amazonas (2020a; 2020b; 2021a; 2021c); para a
Bahia, Bahia (2020a; 2020b) e Portal do Governo da Bahia: Planos Estaduais e Comunicados (disponível em: <https://
bit.ly/3HXZIEb>); para o Ceará, Ceará (2020) e Portal do Governo do Ceará: Documentos Oficiais, Coronavírus Ceará
(disponível em: <https://bit.ly/3p63rH5); para o Distrito Federal, Distrito Federal (2020a; 2020b; 2020c; 2021); para o
Espírito Santo, Espírito Santo (2020a; 2020b; 2020c; 2020d); para o Goiás, Goiás (2020a; 2020b; 2021); para o Maranhão,
Maranhão (2020a); para Mato Grosso, Mato Grosso (2020) e Celestino (2020); para Mato Grosso do Sul, Mato Grosso
do Sul (2020a; 2020b; 2020d) e Centro de Operações de Emergências (disponível em: <https://bit.ly/3o4teAe>); para
Minas Gerais, Minas Gerais (2020) e Resoluções, Portarias, Deliberações e Outros: Comitês Extraordinários Covid-19
(disponível em: <https://bit.ly/3pgm9fk>); para o Pará, Pará (2020; 2021) e Portal da Transparência Covid-19 (disponível
em: <https://bit.ly/3o1d1eU>); para o Paraná, Paraná (2020a; 2020b; 2020c) e Portal Coronavírus (disponível em: <ht-
tps://bit.ly/3rfuuCt>); para Pernambuco, Pernambuco (2020a; 2020b; 2020c) e Tôrres (2021); para o Piauí, Piauí (2020a;
2020b; 2021) e Saiba... (2020); para o Rio de Janeiro, Estado do Rio de Janeiro (2020a; 2020b; 2020c; 2020d); para o
Rio Grande do Norte, Rio Grande do Norte (2020a; 2020b) e Comitê Científico do Rio Grande do Norte: Documentos
e Recomendações Publicados Sobre a Covid-19 (disponível em: <https://bit.ly/3D742x9>); para o Rio Grande do Sul,
Rio Grande do Sul (2020a; 2020b) e Portarias da SES/RGS (disponível em: <https://bit.ly/3ou5XHP>); para Rondônia,
Rondônia (2020a; 2020b; 2020c; 2020d; 2021) e Portal do Governo do Estado de Rondônia: Notas Técnicas (disponível
em: <https://bit.ly/3rlHhmR>); para Roraima, Roraima (2020); para a Paraíba, Paraíba (2020a; 2020b) e Evidências
Científicas (disponível em: <https://bit.ly/3E3jg7K>); para Santa Catarina, Santa Catarina (2020a; 2020b; 2020c),
Portarias Publicadas Covid-19 (disponível em: <https://bit.ly/3o4FCAa>) e Documentos e Notas para Profissionais da
Saúde (disponível em: <https://bit.ly/31cvQTu>); para São Paulo, Estado de São Paulo (2020a; 2020b; 2020c; 2020d);
para Sergipe, Sergipe (2020a; 2020b; 2020c; 2020d; 2020e), Decretos e Portarias Covid-19 (disponível em: <https://
bit.ly/3I7mqK8) e Sergipe Contra o Coronavírus: Estudos Técnicos (disponível em: <https://bit.ly/3FVJ1ak>); para o
Tocantins, Tocantins (2020a; 2020b; 2020c; 2020d) e Relatórios Situacionais (disponível em: <https://bit.ly/3D9YLF8).
Notas: 1 Embora não haja muita clareza sobre o papel do comitê de Alagoas, ele é interno à Secretaria de Saúde, a qual foi a
principal formuladora do Plano de Distanciamento Social do Estado. É possível que o comitê tenha tido uma participa-
ção importante neste processo, mas não se encontraram evidências e, portanto, atribuiu-se um valor de 0 às variáveis
transparência dos trabalhos e influência sobre políticas.
2
Exceto para medidas não científicas, as quais são detalhadas na tabela 2.
Obs.: 1. Em alguns estados (Bahia, Ceará e Distrito Federal, por exemplo), os governos criaram comitês voltados a lidar com a
pandemia, mas também criaram ou utilizaram grupos preexistentes para lidar com temas específicos (sistema prisional,
saúde mental etc.). Estes espaços foram considerados na atribuição de valores para as variáveis.
2. Foram consultados também os websites sobre a pandemia mantidos pelos governos estaduais e um website do Conass
que continha todas as normativas estaduais (https://bit.ly/3JvbJ3B). Os documentos consultados nestes websites não
são discriminados aqui dado seu número bastante extenso.
Observa-se que doze UFs tiveram valores iguais ou superiores a 7,5 e dezenove
tiveram valores superiores a 5. As UFs nas quais menos se observaram características
de um arranjo institucional capaz de processar evidências científicas de qualidade
foram Mato Grosso, Roraima, Alagoas, Amapá, Maranhão, Rio de Janeiro e Acre.
No caso do Rio de Janeiro, isto se deveu à desmobilização de arranjos criados no
início da pandemia, os quais se mantiveram em operação por poucos meses. Cada
um dos seis critérios avaliados é brevemente analisado a seguir, apresentando-se
também alguns exemplos do que foi observado.
Primeiro, todas as UFs criaram um arranjo institucional ou mobilizaram
arranjos preexistentes até o final de março de 2020, indicando uma resposta
relativamente rápida à pandemia. Assim, a falta de tempestividade na criação de
arranjos de enfrentamento à pandemia não foi observada. E, em vez de apenas
utilizarem o que já existia, governos criaram arranjos específicos ou adaptaram
arranjos pré-existentes.
Segundo, o escopo das atividades dos comitês (ou equivalentes) foi claro e
abrangente em onze UFs. Nestas, os arranjos trabalharam com pelo menos quatro
temas distintos, os quais foram definidos com precisão e incluíram políticas voltadas
ao distanciamento social. Isto não significa, é claro, que os resultados tenham sido
necessariamente satisfatórios. Por exemplo, um comitê pode ter tido a atribuição
de fazer recomendações em diversas áreas, mas, como o governador tomava as
decisões finais, o comitê poderia ser usado apenas para atribuir uma imagem
de cientificidade às políticas. Apesar de esta ser uma possibilidade, decisões que
contrariassem as recomendações do comitê teriam um custo político, reduzindo
a probabilidade de sua ocorrência. Alguns exemplos de atribuições precisas dos
comitês são listados a seguir.
1) “A avaliação sobre a necessidade de permanência ou progressão do ciclo
[de medidas de distanciamento social] deverá ocorrer semanalmente,
obedecendo à matriz de risco elaborada pela FVS/AM e outros” (Ama-
zonas, 2020b).
2) “Definir critérios epidemiológicos e relacionados à oferta de serviços de
saúde na Bahia que possam orientar com segurança e de forma regional
a adoção de estratégias de flexibilização das medidas de distanciamento
social” (Bahia, 2020b).
3) “Padronizar as informações repassadas aos estabelecimentos industriais,
comerciais e de prestadores de serviços que busquem a preservação da
saúde dos colaboradores envolvidos e seus familiares, a fim de mitigar a
propagação de contágio da covid-19” (Goiás, 2020b).
4) “Decidir sobre a confirmação ou alteração das atividades comerciais nas
respectivas fases, com critérios sanitários, econômicos e sociais, realizando
o enquadramento dos territórios de planejamento nas respectivas fases
de forma individualizada” (Sergipe, 2020e).
Em outras UFs não se encontraram atribuições claras para os arranjos institu-

cionais de enfrentamento à pandemia, predominando colocações vagas sobre suas
funções. Em outros casos, um ou alguns dos comitês dentro de uma mesma UF
tinham atribuições vagas enquanto outros possuíam atribuições precisas. Alguns
exemplos de pouca clareza nas atribuições de comitês são descritos abaixo.
1) “Monitoramento e adoção de medidas de enfrentamento de emergência
em saúde pública decorrente do coronavírus” (Mato Grosso, 2020).
2) “Viabilizar e coordenar o desenvolvimento de estudos, com fundamen-
tação científica, para a correta compreensão do referido fenômeno, in-
cluindo as causas da propagação, consequências e outros desdobramentos
específicos da nossa região” (Amapá, 2020b).
3) “Mobilizar, coordenar, articular, planejar, propor, estudar e fiscalizar as
atividades dos órgãos estaduais e entidades quanto às medidas a serem
adotadas para minimizar os impactos decorrentes da emergência em
saúde pública de importância estadual e internacional, decorrente do
coronavírus (covid-19)” (Roraima, 2020).
Terceiro, especialistas integraram os arranjos institucionais em quase todos os
casos, mas sua participação em termos proporcionais variou bastante. Em alguns
estados, a participação de profissionais da área de saúde e de outras áreas importantes
para o enfrentamento da epidemia foi dominante, como nos casos descritos a seguir.
1) Pernambuco (Comitê Técnico de Pesquisa, Desenvolvimento e Inovação
para o Enfrentamento da Emergência de Saúde Pública Decorrente do
Novo Coronavírus): nove integrantes, todos profissionais da área da saúde
ou de outras áreas úteis para o enfrentamento da pandemia.
2) Rio Grande do Sul (Comitê Científico de Apoio ao Enfrentamento da
Pandemia Covid-19): 57 membros, todos profissionais da área da saúde
ou de outras áreas úteis para o enfrentamento da pandemia.
3) São Paulo (Centro de Contingência do Coronavírus em São Paulo): sete
membros, todos profissionais da área da saúde.
Em outros estados, os comitês tiveram participação limitada de profissionais
da área de saúde – ou mesmo sua ausência. Estes espaços foram, em grande medida,
integrados por secretários estaduais de outras áreas ou representantes de órgãos
influentes (Poder Judiciário ou Ministério Público, por exemplo). Ainda que comi-
tês com estas características possam indicar que o enfrentamento da epidemia foi
central para um governo, eles dificilmente poderiam dar uma resposta satisfatória
a um contexto epidêmico. Dada a exigência de conhecimento especializado – e
que necessitava ser mobilizado rapidamente –, comitês com ampla participação
de especialistas foram essenciais. Em alguns casos, este problema foi solucionado

pela formação de comitês complementares, compostos majoritariamente por
especialistas da área de saúde e/ou de outras áreas importantes para a gestão de
uma epidemia. Contudo, em alguns casos isto não ocorreu. Em Rondônia, por
exemplo, o gabinete de crise foi complementado por um comitê interinstitucional
de enfrentamento à covid-19, mas, dos cinco integrantes deste comitê, apenas
um era da área de saúde. Um outro exemplo de comitê com pouca participação
de especialistas (e não complementado por outros) foi o do Mato Grosso do Sul,
onde, dos nove membros do Comitê Gestor do Programa de Saúde e Segurança
da Economia (Prosseguir), apenas um era da área da saúde ou de alguma outra
disciplina importante para o enfrentamento da epidemia.
Quarto, comitês interdisciplinares foram observados em alguns casos. Nestes,
houve a participação de integrantes de disciplinas de diferentes áreas da saúde e
mesmo de outras áreas, incluindo as de comunicação social, psicologia, serviço
social, entre outras. Isto ocorreu, por exemplo, nos casos do Rio Grande do Norte
e Rio Grande do Sul. No entanto, este foi o ponto mais deficiente nos arranjos
institucionais de enfrentamento à pandemia no país.
Quinto, alguns governos foram transparentes quanto aos trabalhos dos comi-
tês, divulgando atas de reuniões, deliberações e resultados das atividades. Alguns
também foram transparentes quanto às atividades de grupos de trabalho dedicados
a políticas específicas: por exemplo, políticas de distanciamento social, comuni-
cação com a sociedade, manutenção da saúde mental de profissionais de saúde e
protocolos para serviços funerários. Isto foi observado, por exemplo, nos casos de
Bahia, Goiás, Espírito Santo, Rio Grande do Sul e São Paulo. Alguns comitês,
contudo, divulgaram informações dos trabalhos de forma limitada. Não foram
encontradas atas de reuniões ou informações sobre as deliberações dos comitês de
Alagoas, Amapá, Mato Grosso e Roraima, por exemplo.
Sexto, alguns arranjos criados para o enfrentamento da pandemia impactaram
as políticas, o que se observou quando governos tomaram decisões com base em
recomendações dos comitês. Isto ocorreu quanto às políticas de distanciamento
social, protocolos de higienização, regras de distanciamento em estabelecimentos
comerciais, entre outros. Um papel influente do comitê (ou equivalente) foi
observado, por exemplo, nos estados do Ceará, do Rio Grande do Sul, de Santa
Catarina, de São Paulo e de Sergipe. Casos nos quais não se observou um papel
influente do comitê (ou equivalente) foram os de Alagoas, do Amapá, de Mato
Grosso e de Roraima.
Como dito anteriormente, e mencionado na tabela 1, observaram-se em
alguns estados recomendações de governos sem base em evidências científicas. A
tabela 2 apresenta mais detalhes.
TABELA 2
Recomendações sem base em evidências científicas para o enfrentamento à covid-19
Desincentivo ao distan-
“Tratamento precoce” com Métodos supostamente
ciamento ou busca da
UF um ou mais medicamentos preventivos ou outras formas Total
imunidade de rebanho via
do “kit-covid” de tratamento da doença
transmissão da doença
Amazonas Sim (-2) Não (0) Não (0) -2
Amapá Sim (-2) Não (0) Não (0) -2
Maranhão Sim (-2) Não (0) Não (0) -2
Mato Grosso Sim (-2) Não (0) Não (0) -2
Pará Sim (-2) Não (0) Não (0) -2
Rondônia Sim (-2) Não (0) Não (0) -2
Acre Em parte (-1) Não (0) Não (0) -1
Alagoas Em parte (-1) Não (0) Não (0) -1
Bahia Em parte (-1) Não (0) Não (0) -1
Distrito Federal Não (0) Não (0) Em parte (-1) -1
Minas Gerais Em parte (-1) Não (0) Não (0) -1
Mato Grosso do Sul Em parte (-1) Não (0) Não (0) -1
Piauí Em parte (-1) Não (0) Não (0) -1
Rio de Janeiro Em parte (-1) Não (0) Não (0) -1
Roraima Em parte (-1) Não (0) Não (0) -1
Ceará Não (0) Não (0) Não (0) 0
Espírito Santo Não (0) Não (0) Não (0) 0
Goiás Não (0) Não (0) Não (0) 0
Paraíba Não (0) Não (0) Não (0) 0
Pernambuco Não (0) Não (0) Não (0) 0
Paraná Não (0) Não (0) Não (0) 0
Rio Grande do Norte Não (0) Não (0) Não (0) 0
Rio Grande do Sul Não (0) Não (0) Não (0) 0
Santa Catarina Não (0) Não (0) Não (0) 0
Sergipe Não (0) Não (0) Não (0) 0
São Paulo Não (0) Não (0) Não (0) 0
Tocantins Não (0) Não (0) Não (0) 0
Fontes:1 Para o Acre, Acre (2020b); para Alagoas, Alagoas (2020b); para o Amapá, Cruz (2020), Borges (2020) e Amapá (2020d);
para o Amazonas, Amazonas (2021b); para a Bahia, Bahia autoriza... (2020); para o Distrito Federal, Ibaneis... (2020);
para o Maranhão, Maranhão (2020b); para Mato Grosso, Gabriel e Celestino (2020) e Rodrigues (2020); para Mato
Grosso do Sul, Mato Grosso do Sul (2020c); para Minas Gerais, Ronan (2021); para o Pará, Frias (2020) e Menezes
(2020); para o Piauí, Governador... (2020); para o Rio de Janeiro, Nunes (2020) e Maioria... (2021); para Rondônia,
Holanda (2020) e Moura (2021); para Roraima, Costa (2021).
Nota: 1 Medidas não científicas.
Entre as medidas ou recomendações não baseadas em evidências científicas, o

“tratamento precoce” por meio do uso de medicamentos foi a mais comum, sendo
observada em doze UFs. Como exemplo, o governo de Mato Grosso criou locais vol-
tados à distribuição do chamado “kit-covid”, o qual poderia ser retirado gratuitamente
mediante a apresentação de receituário médico (Gabriel e Celestino, 2020). O governo
de Mato Grosso também afirmou que sua principal meta era realizar o “diagnóstico
e o tratamento precoce” (Rodrigues, 2020). Nos estados do Amapá, do Maranhão,
de Mato Grosso do Sul e do Pará, o governo estadual distribuiu medicamentos para
unidades básicas de saúde ou recomendou seu uso na forma de “tratamento precoce”;
ou seja, a utilização não se limitava a casos graves (Cruz, 2020; Malta et al., 2014;
Maranhão, 2020b; Frias, 2020; Menezes, 2020; Mato Grosso do Sul, 2020c). Em
Minas Gerais, o governo declarou que o “tratamento precoce” havia prevenido uma
tragédia (Ronan, 2021). Em Roraima, o governo isentou de tributos medicamentos
para o “tratamento precoce” (Costa, 2021). Em Rondônia, o governo recomendou aos
prefeitos e à população não apenas o “tratamento precoce”, mas também o “tratamento
profilático”, o que ainda ocorria em março de 2021 (Moura, 2021).
Para além do “tratamento precoce”, não se observaram outros tipos de reco-
mendações de governos estaduais sem base em evidências científicas (por exemplo,
ingestão de vitamina C, homeopatia, ozonioterapia etc.). Também não se observa-
ram desincentivos ao distanciamento social ou a defesa da imunidade de rebanho
via transmissão da doença. O que mais se aproximou deste caso foi o governo
do Distrito Federal, que declarou, em setembro de 2020, que a imunidade de
rebanho havia sido atingida e que, por isso, era possível reduzir a quantidade de
leitos disponíveis para atender pacientes com covid-19 (Ibaneis..., 2020). Ou seja,
embora o governo não tenha adotado a imunidade de rebanho via transmissão da
doença como meta, o governo do Distrito Federal erroneamente indicou para a
população que tal imunidade havia sido atingida. Em função do impacto negativo
desta posição e declaração, atribuiu-se o valor de -1.
5 CONCLUSÕES E RECOMENDAÇÕES DE POLÍTICAS

Na ausência de um arranjo institucional robusto no governo federal para a incor-
poração de evidências científicas no enfrentamento da pandemia, surgiu no Brasil
um sistema descentralizado e fragmentado para desempenhar esta tarefa. Governos
estaduais tiveram um papel central, adotando – em sua maioria – evidências cien-
tíficas para nortear políticas contra a epidemia. O uso de evidências foi observado
em termos tanto de processos como de resultados: na criação de comitês cientí-
ficos, na adoção de planos organizados de distanciamento social, na elaboração
de protocolos para setores específicos (escolas, estabelecimentos comerciais, por
exemplo), entre outros. Dessa forma, governos estaduais preencheram um espaço
deixado em aberto pelo governo federal.
Todos os governos estaduais agiram de forma relativamente rápida no início

da pandemia, criando ou ampliando arranjos institucionais específicos para elabo-
rar políticas e adotando medidas obrigatórias de distanciamento social. Contudo,
houve variação substantiva quanto às demais características destes arranjos. Alguns
governos estaduais mobilizaram especialistas de referência em áreas importantes
para o enfrentamento da pandemia (infectologia, virologia, epidemiologia, ciência
de dados, economia da saúde, entre outras), como ocorreu na Paraíba, no Rio
Grande do Norte, no Rio Grande do Sul, em Santa Catarina e em São Paulo.
Outros, contudo, criaram comitês com formatos não adequados à gestão de uma
pandemia, compreendendo majoritariamente pessoas com pouca ou nenhuma
experiência na área, como ocorreu no Maranhão, em Mato Grosso do Sul, no Rio
de Janeiro (durante parte do período em análise) e em Roraima. A interdiscipli-
naridade nos comitês estaduais (ou equivalentes) foi em geral deficiente, havendo
algumas exceções (Rio Grande do Sul, por exemplo). Trata-se de um problema, pois
uma equipe multidisciplinar poderia oferecer métodos diversos para se enfrentar
o problema, combinando conhecimentos oriundos tanto da área de saúde pública
como de outras (ciência de dados, economia da saúde, ciências comportamentais,
por exemplo). A transparência dos trabalhos foi também um ponto deficiente
em muitos estados, havendo pouca informação divulgada ao público sobre como
os comitês trabalhavam e seus resultados. Um ponto comum à maior parte dos
estados foi a influência dos comitês. Embora alguns estados tenham comitês espe-
cialmente influentes (Bahia, Ceará, Rio Grande do Sul, São Paulo e Sergipe), em
poucos casos se observaram comitês sem influência. Situações como estas foram
observadas apenas no Amapá, em Mato Grosso e no Rio de Janeiro (em parte do
período analisado).
Com base nos dados gerados nesta pesquisa e em informações da literatura
secundária, tem-se, para governos (e cientistas), as sugestões a seguir descritas.
4) Grupos de cientistas de referência devem ter papel central no apoio
à elaboração de políticas de enfrentamento à pandemia. Eles prestam
um serviço essencial, qual seja, o de filtrar evidências de qualidade,
especialmente em um contexto de elevada produção científica e ampla
circulação de informações falsas, distorcidas, e de estudos que não aten-
dem aos requisitos de uma pesquisa rigorosa. Seja no formato de comitês
científicos, seja em outros formatos, estes espaços devem ser mantidos
até o final da pandemia (e de preferência por um tempo razoável após o
seu término), de forma que governos se mantenham a par da produção
científica relacionada à doença. Podem, assim, criar novas políticas,
corrigi-las ou mesmo eliminá-las conforme surjam novas evidências.
Estes espaços devem ter um escopo abrangente e preciso, e serem cons-
tituídos em sua maioria de especialistas em áreas importantes para o
enfrentamento da pandemia. Devem também ser interdisciplinares,

transparentes, e próximos ao processo político.
5) Caso ainda não o tenham feito, governos devem abandonar políticas
pseudocientíficas e esclarecer a população acerca dos seus perigos. Caso
recomendações não científicas tenham sido feitas anteriormente, deve-se
enfatizar os erros cometidos e corrigi-los por meio do esclarecimento da
questão junto à sociedade. Uma comunicação transparente e efetiva é
central para se evitar danos ainda maiores.
6) A pandemia de covid-19 demonstrou a importância não apenas da
utilização de evidências científicas, mas também da popularização da
ciência como instrumento de saúde pública. Quanto mais pessoas tiverem
conhecimento sobre o que é a ciência – e como ela deve ser utilizada –,
menor a probabilidade de influência de informações falsas ou distorcidas
e maior a probabilidade de que a população demande do Estado políticas
baseadas em evidências.
7) Ao se pensar na incorporação de evidências em políticas, é importante
que cientistas antecipem o quanto um governo está disposto a incorporar
evidências científicas em políticas. Neste sentido, governos podem ser de
três tipos: i) os que buscam incorporar evidências, mas têm dificuldade
em fazê-lo (por desconhecimento, falta de recursos ou falta de acesso a
informações de qualidade, por exemplo); ii) os interessados em incorporar
evidências, mas que valorizam mais outros critérios na tomada de decisão
(interesses de grupos de pressão, por exemplo); e iii) os governos sem
interesse em utilizar evidências e que tomam decisões baseadas em outros
critérios, tais como intuição das autoridades ou tradição. Na primeira
situação, o trabalho é relativamente fácil, tendo em vista que evidências
científicas estão sendo buscadas por gestores. Na segunda situação, é
necessário um processo de persuasão acerca da importância do uso de
evidências científicas e de como estas são vantajosas em relação a outros
critérios na tomada de decisão. Na terceira situação, é pouco provável
que cientistas consigam persuadir governantes. Nestes casos, sugere-se
uma abordagem de contenção de danos a fim de reduzir (ainda que
marginalmente) os impactos negativos decorrentes da baixa importância
atribuída à ciência.
8) Políticos e gestores devem manter arranjos permanentes de intermediação
do conhecimento (knowledge brokering). Em função da sua capacidade
de filtrar conhecimento útil para uma dada situação (a partir de um
vasto universo de conhecimento científico), estes intermediários trazem
evidências tanto para políticas voltadas a enfrentar crises como para
aquelas voltadas a questões já consolidadas. Ademais, a existência de uma

estrutura prévia aumenta a probabilidade de uma resposta ágil por parte
de governos em situações de crise, permitindo a mobilização rápida de
knowledge brokers. Em função do crescimento da produção científica, de
sua crescente complexidade e da magnitude da circulação de informações
falsas ou imprecisas, os knowledge brokers passam a ter um papel cada
vez mais central na incorporação de evidências em políticas. Eles podem,
ainda, contribuir para ampliar a confiança de governos em cientistas e
melhorar o entendimento daqueles a respeito da ciência, aumentando a
probabilidade de que evidências sejam incorporadas em políticas.
Em síntese, a pandemia demonstrou a importância não apenas da produção
de conhecimento científico, mas também de pessoas ou organizações que filtrem
e sintetizem conhecimento útil. A incorporação de evidências em políticas se
torna mais provável com a presença de intermediários do conhecimento, os quais
devem destilar o essencial para a resolução de um problema específico a partir de
um vasto universo de conhecimentos. A pandemia demonstrou também os pro-
blemas de políticas fragmentadas. Ainda que o enfrentamento à pandemia fosse
feito de forma descentralizada (refletindo assim a organização do Sistema Único
de Saúde – SUS), uma coordenação nacional era essencial para evitar duplicação
de esforços, auxiliar estados com menos recursos, utilizar canais internacionais no
enfrentamento à pandemia, ampliar o alcance das políticas, entre outros.
Para pesquisas futuras, sugere-se que se analisem em mais detalhes ao menos
três questões. Primeiro, as condições que aumentam (ou diminuem) a influência
de intermediários do conhecimento. Por exemplo, o quanto sua influência varia
conforme o tópico em questão (como um problema de saúde pública versus um
problema econômico; ou um tema de grande saliência política versus um tema de
baixa saliência política). E o quanto ela varia conforme as capacidades do gover-
no (por exemplo, um governo em uma região pobre versus um governo em uma
região rica).
Segundo, os múltiplos usos que políticos e gestores fazem do conhecimento
científico. Políticos e gestores frequentemente selecionam informações científi-
cas – e cientistas – de maneira enviesada, prestigiam somente aqueles percebidos
como politicamente ou ideologicamente próximos, ou alocam recursos apenas para
pesquisas percebidas como politicamente úteis. Há, portanto, processos políticos
que podem enviesar as conclusões e recomendações feitas por grupos de experts e,
por conseguinte, as políticas – como destacado em Parkhurst (2017).
Terceiro, como os formatos de comitês científicos ou equivalentes se di-
fundem no tempo e no espaço? Para o caso analisado neste capítulo, algumas
perguntas centrais são: em que medida governos emularam o comportamento
de outros governos ao adotarem arranjos institucionais de enfrentamento à pan-

demia? Houve comunicação direta entre diferentes governos ou tal emulação foi
baseada em uma interpretação do que outros faziam, sem contato direto entre
os mesmos? A difusão de políticas e práticas passa por um processo de adaptação
ou é feita de forma acrítica?
Por fim, gestores, políticos e cientistas devem sempre considerar que, na to-
mada de decisão, evidências científicas geralmente competem com outros fatores
ou critérios, incluindo a influência de grupos de pressão, a proximidade de eleições
ou a preocupação com a popularidade política. Assim, a incorporação (ou não) de
evidências científicas em políticas depende em grande medida da influência relativa
destes outros fatores ou critérios.
REFERÊNCIAS
ACRE. Plano de Contingência Estadual para a Infecção Humana pelo novo
coronavírus (covid-19). 5. ed. Rio Branco: Sesacre, 2020a. Disponível em: <ht-
tps://bit.ly/3laeduM>.
______. Recomendações para o manejo de pacientes no contexto covid-19.
Rio Branco: Sesacre, 2020b. Disponível em: <https://bit.ly/3cSOgvb>.
______. Decreto no 5.465, de 16 de março de 2020. Dispõe sobre medidas tem-
porárias a serem adotadas, no âmbito do estado do Acre, para enfrentamento da
emergência de saúde pública decorrente da doença covid-19, causada pelo coro-
navírus (Sars-COV-2). Diário Oficial do Estado do Acre, Rio Branco, 17 mar.
2020c. Disponível em: <https://bit.ly/3p5xYoa>.
______. Portaria no 33, de 17 de março de 2020. Dispõe sobre o Comitê de
Acompanhamento Especial da Covid-19, instituído pelo Decreto no 5.465, de 16
de março de 2020. Diário Oficial do Estado do Acre, Rio Branco, p. 3, 18 mar.
2020d. Disponível em: <https://bit.ly/3HXIIxR>.
______. Decreto no 6206, de 22 de junho de 2020. Dispõe sobre a criação do
Pacto Acre sem Covid e prorroga prazos previstos no Decreto no 5.496, de 20 de
março de 2020, que estabelece medidas para enfrentamento da emergência de saúde
pública decorrente da doença covid-19. Diário Oficial do Estado do Acre, Rio
Branco, p. 1, 22 jun. 2020e. Disponível em: <https://bit.ly/3138BLV>.
______. Pacto Acre Sem Covid: sociedade, economia e estado saudáveis. Rio
Branco: Sesacre, 2020f. Disponível em: <https://bit.ly/3CU8bo5>.
______. Resolução no 2, de 3 de julho de 2020. Rio Branco: Comitê de Acom-
panhamento Especial da Covid-19, 3 jul. 2020g. Disponível em: <https://bit.
ly/3CVzI8L>.
______. Decreto no 7.800, de 20 de janeiro de 2021. Dispõe sobre as regras de

organização e funcionamento do Comitê de Acompanhamento Especial da Co-
vid-19 (Caecovid), instituído pelo Decreto no 5.465, de 16 de março de 2020.
Diário Oficial do Estado do Acre, Rio Branco, p. 4-5, 21 jan. 2021. Disponível
em: <https://bit.ly/3nTgwUN>.
ALAGOAS. Portaria Sesau no 1.009, de 5 de fevereiro de 2020. Diário Oficial
do Estado de Alagoas, Maceió, p. 16, 7 fev. 2020a. Disponível em: <https://bit.
ly/3cMU0ql>.
______. Portaria Sesau no 3.264, de 14 de abril de 2020. Diário Oficial do
Estado de Alagoas, Maceió, p. 20, 15 abr. 2020b. Disponível em: <https://bit.
ly/3DXidWH>.
———. Decreto no 70.145. Institui o Plano de Distanciamento Social Contro-
lado no Âmbito do Estado de Alagoas, e dá outras providências. Diário Oficial
do Estado de Alagoas, Suplemento, Maceió, ano 108, n. 1358, 22 jun. 2020c.
Disponível em: <https://bit.ly/31oJa7b>.
AMAPÁ. Decreto no 1.497, de 3 de abril de 2020. Dispõe sobre novas medidas de
restrição de aglomeração de pessoas com a finalidade de reduzir os riscos de trans-
missão do novo coronavírus (covid-19), institui o Comitê de Decisões Estratégicas
e adota outras providências. Diário Oficial do Estado do Amapá, Macapá, 2 abr.
2020a. Disponível em: <https://bit.ly/317IHqe>.
______. Decreto no 1.376, de 17 de março de 2020. Institui no âmbito do estado
do Amapá o Centro de Operações de Emergências em Saúde Pública (Coesp) em
virtude do risco de epidemia causado pelo coronavírus (covid-19), para o fim que
específica e dá outras providências. Diário Oficial do Estado do Amapá, Macapá,
seção 1, n. 1725, 17 mar. 2020b. Disponível em: <https://bit.ly/3rblGh1>.
______. Decreto no 1.488, de 28 de março de 2020. Institui o Comitê Médico de
Enfrentamento ao Covid-19, vinculado ao Centro de Operações de Emergências
em Saúde Pública (Coesp) e adota outras providências. Diário Oficial do Estado
do Amapá, Macapá, n. 1733, p. 3, 30 mar. 2020c. Disponível em: <https://bit.
ly/3lbBSLg>.
______. Decreto no 878, de 12 de junho de 2020. Prorroga e altera o Decreto
no 1.497, de 3 de abril de 2020, alterado pelos Decretos nos 1.539, de 18 de abril
de 2020; 1.616, de 3 de maio de 2020; 1.726, de 15 de maio de 2020; 1.782, de
28 de maio de 2020 e 1809, de 2 de junho de 2020, para manter a quarentena e
estabelecer critérios de retomada responsável e gradual das atividades econômicas e
sociais constante do anexo deste decreto, obedecendo à realidade epidemiológica e a
rede assistencial dos municípios e do estado do Amapá, reforçando a continuidade
do enfrentamento ao novo coronavírus (covid-19), e adota outras providências.
Diário Oficial do Estado do Amapá, Macapá, 12 jun. 2020d. Disponível em:

https://bit.ly/3CYY950.
AMAZONAS. Decreto no 42.061, de 16 de março de 2020. Dispõe sobre a de-
claração de situação de emergência na saúde pública do estado do Amazonas, em
razão da disseminação do novo coronavírus (covid-19), e institui o Comitê Inter-
setorial de Enfrentamento e Combate à Covid-19. Diário Oficial do Estado do
Amazonas, Manaus, 16 mar. 2020a. Disponível em: <https://bit.ly/3cQbORu>.
______. Decreto no 42.440, de 26 de junho de 2020. Estabelece medidas adicio-
nais, relativas ao funcionamento das atividades que especifica, a partir de 29 de
junho de 2020, na cidade de Manaus. Diário Oficial do Estado do Amazonas,
Manaus, 6 jun. 2020b. Disponível em: <https://bit.ly/3GG2Qmp>.
______. Plano de Contingência Estadual do Amazonas para o Enfrentamento
da Pandemia da Covid-19. Manaus: SES/AM; Fvs; Opas, 2021a. Disponível em:
<https://bit.ly/3nRdKPS>.
______. SES-AM auxilia Prefeitura de Manaus com doação de medicamentos e
Epis. Portal da Secretaria de Saúde do Amazonas, 6 jan. 2021b. Disponível em:
<https://bit.ly/312bvk4>.
______. Decreto no 43.596, de 20 de março de 2021. Dispõe sobre a restrição
parcial e temporária de circulação de pessoas, em todos os municípios do estado do
Amazonas, na forma e período que especifica, como medida para enfrentamento
da emergência de saúde pública de importância internacional, decorrente do novo
coronavírus, e dá outras providências. Diário Oficial do Estado do Amazonas,
Manaus, 20 mar. 2021c. Disponível em: <https://bit.ly/3p5wI4w>.
BAHIA AUTORIZA tratamento que associa hidroxicloroquina e azitromicina para
pacientes com coronavírus”. Portal do Governo da Bahia, abr. 2020. Disponível
em: <https://bit.ly/3HZtOqW>.
BAHIA. Decreto no 19.529, de 16 de março de 2020. Regulamenta, no Estado
da Bahia, as medidas temporárias para enfrentamento da emergência de saúde
pública de importância internacional decorrente do coronavírus. Diário Oficial
do Estado da Bahia, Salvador, 17 mar. 2020a.
______. Estratégias para a flexibilização das medidas de distanciamento social
durante o enfrentamento da covid-19 no estado da Bahia em 2020. Salvador:
SES/BA, 2020b. Disponível em: <https://bit.ly/30pPgV1>.
BORGES, H. Waldez representa Amazônia Legal em audiência pública sobre
impactos econômicos da covid-19. Portal do Governo do Estado do Amapá, 25
jun. 2020. Disponível em: <https://bit.ly/3rcJBML>.
BRASIL. Lei no 12.401, de 28 de abril de 2011. Altera a Lei no 8.080, de 19 de

setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de
tecnologia em saúde no âmbito do Sistema Único de Saúde (SUS). Diário Oficial
da União, Brasília, 29 abr. 2011. Disponível em: <https://bit.ly/3CUeCr2>.
CDC – CENTERS FOR DISEASE CONTROL ANDE PREVENTION. Mis-
sion, role and pledge. [S.l.]: CDC, 2019. Disponível em: <https://bit.ly/3l7ttbx>.
CEARÁ. Decreto no 33.509, de 13 de março de 2020. Institui o Comitê Estadual
de Enfrentamento à Pandemia do Coronavírus, e dá outras providências. Diário
Oficial do Estado do Ceará, Fortaleza, série 3, ano 12, n. 52, 13 mar. 2020.
Disponível em: <https://bit.ly/3xpLOpm>.
CELESTINO, C. Estado ativa Centro de Operações de Emergência para contenção
do Coronavírus. Mato Grosso Notícias, 12 fev. 2020. Disponível em: <https://
bit.ly/3d1fFuM>.
COHEN, J. Chinese researchers reveal draft genome of virus implicated in Wuhan
pneumonia outbreak. Science Mag, 11 jan. 2020. Disponível em: <https://bit.
ly/32XyDkx>.
COSTA, G. Governo lança pacote para combater efeitos da pandemia. Portal do
Governo de Roraima, 22 fev. 2021. Disponível em: <https://bit.ly/32AHKr3>.
CRUZ, J. Governo distribui em Macapá medicamentos do protocolo terapêutico
para covid-19. Portal do Governo do Amapá, 3 nov. 2020.
DAVIES, H. T. O; NUTLEY, S. M.; SMITH, P. C. What works? Evidence-based
policy and practice in public services. Great Britain: University of Bristol, 2000.
DISTRITO FEDERAL. Portaria no 241, de 16 de abril de 2020. Cria o Comitê
Científico Operacional de Estratégias de Enfrentamento à Covid-19 e dá outras
providências. Diário Oficial do Distrito Federal, Brasília, ano XLIX, n. 74, p. 3,
20 abr. 2020a. Disponível em: <https://bit.ly/2ZqqzY1>.
______. Ordem de Serviço no 74, de 8 de maio de 2020. Diário Oficial do
Distrito Federal. Edição Extra, n. 70, p. 10, 11 maio 2020b. Disponível em:
<https://bit.ly/3lciMob>.
______. Diretrizes sobre o diagnóstico e manejo clínico-farmacológico da covid-19.
Brasília: SES/DF, 2020c. Disponível em: <https://bit.ly/314uytx>.
———. Principais orientações de covid-19 para profissionais de saúde. Portal da
Secretaria de Saúde do Distrito Federal, 31 jul. 2021. Disponível em: <https://
bit.ly/313CGem>.
DONNELLY, C. A. et al. Four principles to make evidence synthesis more useful
for policy. Nature, v. 558, n. 7710, p. 361-364, 2018.
ESTADO DE SÃO PAULO. Resolução SS-13, de 29 de janeiro de 2020. Institui

o Centro de Operações de Emergências em Saúde Pública Estadual (COE-SP) da
Secretaria de Estado da Saúde de São Paulo e dá providencias correlatas. Diário
Oficial do Estado de São Paulo, São Paulo, n. 20, seção 1, p. 50, 30 jan. 2020a.
Disponível em: <https://bit.ly/3o8q1zn>.
______. Decreto no 64.862, de 13 de março de 2020. Dispõe sobre a adoção,
no âmbito da administração pública direta e indireta, de medidas temporárias e
emergenciais de prevenção de contágio pelo covid-19 (novo coronavírus), bem
como sobre recomendações no setor privado estadual. Diário Oficial do Estado
de São Paulo, São Paulo, v. 130, n. 51, 14 mar. 2020b. Disponível em: <https://
bit.ly/3xGev1f>.
______. Resolução SS-27, de 13 de março de 2020. Dispõe sobre o Centro de
Operações do Coronavírus e dá providencias correlatas. Diário Oficial do Estado
de São Paulo, São Paulo, v. 130, n. 51, 14 mar. 2020c. Disponível em: <https://
bit.ly/3lmsJQ0>.
______. Plano de Contingência do Estado de São Paulo para a Infecção Hu-
mana pelo Novo Coronavírus (Sars-COV-2). São Paulo: SES/SP, abr. 2020d.
Disponível em: <https://bit.ly/3I4X5Ah>.
ESTADO DO RIO DE JANEIRO. Decreto no 46.969, de 12 de março de 2020.
Dispõe sobre a criação do Gabinete de Crise para Enfrentamento da Emergência
de Saúde Pública de Importância Internacional decorrente do coronavírus, e dá
outras providências. Diário Oficial do Estado do Rio de Janeiro, Rio de Janeiro,
ano XLVI, n. 47A, 13 mar. 2020a. Disponível em: <https://bit.ly/3D4b9X3>.
______. Decreto no 47.020, de 3 de abril de 2020. Estabelece a criação do Gabi-
nente Ampliado de Crise para assessoramento ao enfrentamento das novas etapas
da pandemia pelo coronavírus (covid-19). Diário Oficial do Estado do Rio de
Janeiro, Rio de Janeiro, ano XLVI, n. 62A, 3 abr. 2020b. Disponível em: <https://
bit.ly/3llDxxV>.
______. Decreto no 47.061, de 5 de maio de 2020. Dispõe sobre a criação de
comissão especial denominada Comissão Ciência RJ no Combate à Covid-19
(COMCIÊNCIARJCOVID). Diário Oficial do Estado do Rio de Janeiro,
Rio de Janeiro, ano XLVI, n. 79A, 6 maio 2020c. Disponível em: <https://bit.
ly/3xFm8Fy>.
______. Decreto no 47.088, de 19 de maio de 2020. Cria a Secretaria Extraordi-
nária de Acompanhamento das Ações Governamentais Integradas da Covid-19,
e dá outras providências. Diário Oficial do Estado do Rio de Janeiro, Rio de
Janeiro, ano XLVI, n. 89, 20 maio 2020d. Disponível em: <https://bit.ly/3rnlSK8>.
ESPÍRITO SANTO. Portaria no 028-R, de 2 de março de 2020. Dispõe sobre a

criação do Centro de Operações de Emergências em Saúde Pública (COE-covid-19)
no âmbito estadual para condução das ações em decorrência da infecção humana
pelo novo coronavírus (covid-19). Diário Oficial do Espírito Santo, Vitória, 3
mar. 2020a. Disponível em: <https://bit.ly/3D5oXjY>.
______. Decreto no 4593-R, de 13 de março de 2020. Decreta o estado de
emergência em saúde pública no estado do Espírito Santo e estabelece medidas
sanitárias e administrativas para prevenção, controle e contenção de riscos, danos
e agravos decorrentes do surto de coronavírus (covid-19) e dá outras providências.
Diário Oficial do Espírito Santo, 13 mar. 2020b. Disponível em: <https://bit.
ly/3o3vEPo>.
______. Plano de Contingência do Estado do Espírito Santo para a Infecção
Humana (Covid-19) pelo novo coronavírus (Sars-COV-2). Vitória: SES/ES,
2020c. Disponível em: <https://bit.ly/32J9oSM>.
______. Estratégia de mapeamento de risco e medidas qualificadas no Espírito
Santo para prevenção e controle do surto do novo coronavírus (covid-19).
Vitória: Sala de Situação de Emergência em Saúde Pública/ES. 1o maio 2020d.
(Nota Técnica). Disponível em: https://bit.ly/31c8hKX>.
FRIAS, R. Nota técnica da Sespa orienta sobre a utilização de medicamentos no
combate à covid-19. Agência Pará, 26 abr. 2020. Disponível em: <https://bit.
ly/3layMHA>.
FRIEDEN, T. R. Evidence for health decision making: beyond randomized, con-
trolled trials. New England Journal of Medicine, v. 377, n. 5, p. 465-475, 2017.
GABRIEL, I.; CELESTINO, C. Centro de triagem distribuiu mais de 12 mil
kits de medicamentos para tratamento da covid-19. Mato Grosso Notícias, 3 set.
2020. Disponível em: <https://bit.ly/3xz62gu>.
GOIÁS. Ata de reunião: ativação do Centro de Operações de Emergência (COE)
em saúde pública – coronavírus. Goiânia: SES/GO, 29 jan. 2020a. Disponível
em: <https://bit.ly/32vPcn9>.
______. Decreto no 9.647, de 6 de abril de 2020. Cria o Comitê Estadual So-
cioeconômico de Enfrentamento ao Coronavírus (covid-19) no estado de Goiás.
Diário Oficial do Estado do Goiás, 6 abr. 2020b. Disponível em: <https://bit.
ly/3o3xRdE>.
______. Centro de Operações de Emergências (COE). Goiânia: SES/GO, 2021.
Disponível em: <https://bit.ly/3ljofJV>.
GOVERNADOR do PI anuncia compra de cloroquina e hidroxicloroquina para tra-

tamento da covid-19. G1 PI, abr. 2020. Disponível em: <https://glo.bo/3I2BJnd>.
HOLANDA, D. Hidroxicloroquina será usada em pacientes com covid-19 em RO,
diz Sesau. G1 RO, 10 abr. 2020. Disponível em: <https://glo.bo/3HN4MLo>.
IBANEIS diz que DF já possui imunidade de rebanho contra coronavírus. Poder
360. 25 set. 2020. Disponível em: <https://bit.ly/3l1QY5W>.
LOMAS, J. The in-between world of knowledge brokering. The BMJ, v. 334,
n. 7585, p. 129-132, 2007.
MALTA, D. C. et al. A implementação das prioridades da Política Nacional de
Promoção da Saúde, um balanço, 2006 a 2014. Ciência & Saúde Coletiva, v. 19,
p. 4301-4312, 2014.
MAIORIA de comitê criado por Castro defende ‘tratamento precoce’ contra covid.
O Globo, 13 abr. 2021. Disponível em: <https://glo.bo/30VTy6U>.
MARANHÃO. Decreto no 35.660, de 16 de março de 2020. Dispõe sobre os pro-
cedimentos e as regras para fins de prevenção da transmissão da covid-19, institui
o Comitê Estadual de Prevenção e Combate à Covid-19 e dá outras providências.
Diário Oficial do Estado do Maranhão, São Luís, p. 3, 16 mar. 2020a. Disponível
em: <https://bit.ly/3CXb8Ek>.
______. Governo oferta cloroquina para tratamento de pacientes leves com
covid-19. São Luís: SES/MA, 17 maio 2020b. Disponível em: <https://bit.
ly/3dN7cvB>.
MATO GROSSO. Decreto no 407, de 16 de março de 2020. Dispõe sobre as
medidas para enfrentamento da emergência de saúde pública de importância in-
ternacional decorrente do coronavírus (2019-nCoV) a serem adotados pelo Poder
Executivo do estado de Mato Grosso, e dá outras providências. Diário Oficial
do Estado do Mato Grosso. Cuiabá, 16 mar. 2020. Disponível em: <https://bit.
ly/3cYH40r>.
MATO GROSSO DO SUL. Plano de Contingência para Resposta às Emer-
gências em Saúde Pública (Doença pelo Sars-COV-2). Campo Grande: SES/
MS, 2020a. Disponível em: <https://bit.ly/3HZiBXc>.
______. Decreto no 15.462, de 25 de junho de 2020. Cria o Programa de Saúde
e Segurança da Economia (Prosseguir), e institui o Comitê Gestor do Programa
de Saúde e Segurança da Economia, no âmbito do Estado de Mato Grosso do Sul,
nos termos que especifica. Diário Oficial do Estado do Mato Grosso do Sul,
Campo Grande, p. 2-5, 26 jun. 2020b. Disponível em: <https://bit.ly/32Jr5ld>.
______. Recomendações para tratamento farmacológico com cloroquina

150mg/hidroxicloroquina 400 mg na covid-19. Campo Grande: SES/MS,
2020c. Disponível em: <https://bit.ly/3FRf0bG>.
______. Portaria Agepen no 47, de 13 de julho de 2020. Diário Oficial do Es-
tado do Mato Grosso do Sul, Campo Grande, n. 10.223, p. 23, 14 jul. 2020d.
Disponível em: <https://bit.ly/3FVY4RE>.
MENEZES, C. Municípios do interior recebem do estado remédios para trata-
mento da covid-19. Agência Pará, 21 maio 2020. Disponível em: <https://bit.
ly/3cSHSUy>.
MEYER, M. The rise of the knowledge broker. Science communication, v. 32,
n. 1, p. 118-127, 2010.
MINAS GERAIS. Decreto no 47.886, de 15 de março de 2020. Dispõe sobre
medidas de prevenção ao contágio e de enfrentamento e contingenciamento, no
âmbito do Poder Executivo, da epidemia de doença infecciosa viral respiratória
causada pelo agente coronavírus (covid-19), institui o Comitê Gestor do Plano de
Prevenção e Contingenciamento em Saúde do covid-19 – Comitê Extraordinário
Covid-19 e dá outras providências. Diário Oficial do Estado de Minas Gerais,
Belo Horizonte, ano 28, n. 56, p. 1, 15 mar. 2020. Disponível em: <https://bit.
ly/3xyI7xz>.
MP-AP – MINISTÉRIO PÚBLICO DO AMAPÁ. Prevenção à covid-19: MP-AP
prorroga regime especial de teletrabalho até o dia 10 de maio de 2021. Macapá:
MP/AP, 2021. Disponível em: <https://bit.ly/3I5nvlF>.
MORAES, R. F. de. Medidas legais de incentivo ao distanciamento social:
comparação das políticas de governos estaduais e prefeituras das capitais no Brasil.
Brasília: Ipea, 2020. (Nota técnica, n. 16). Disponível em: <https://bit.ly/3CJemvb>.
MOURA, V. Governo de Rondônia reúne prefeitos em fórum on-line sobre tra-
tamento profilático da covid-19. Portal do Governo do Estado de Rondônia,
26 mar. 2021. Disponível em: <https://bit.ly/3xBfU9s>.
NUNES, M. Covid-19: infectologista da UFRJ defende tratamento nos primei-
ros sintomas. Correio Braziliense, 3 jun. 2020. Disponível em: <https://bit.
ly/30Wbs9i>.
PALOTTI, P. L. de M. et al. Mobilização da academia em instâncias colegiadas
durante crise da covid-19: mapeamento das experiências nos estados brasileiros.
Brasília: Ipea, 2021. (Nota Técnica, n. 47).
PARÁ. Portaria no 77, de 28 de janeiro de 2020. Institui o Comitê Técnico Assessor
de Informações Estratégicas e Respostas Rápidas à Emergência em Vigilância em
Saúde Referentes ao Novo Coronavírus (nCoV). Diário Oficial do Estado do Pará,

Belém, n. 34101, p. 4, 28 jan. 2020. Disponível em: <https://bit.ly/2ZCq90O>.
______. RetomaPará: projeto de retomada segura. Belém: Gepa, 2021. Disponível
em: <https://bit.ly/3lhjYXs>.
PARAÍBA. Decreto no 40.128, de 17 de março de 2020. Dispõe sobre a adoção,
no âmbito da administração pública direta e indireta, de medidas temporárias e
emergenciais de prevenção de contágio pelo covid-19 (novo coronavírus), bem
como sobre recomendações aos municípios e ao setor privado estadual. Diário
Oficial do Estado da Paraíba. João Pessoa, 19 mar. 2020a. Disponível em: <ht-
tps://bit.ly/3xxwlUn>.
______. Recomendações sobre transporte interhospitalar de pacientes suspeitos/
confirmados de covid-19. João Pessoa: Cedes, 20 mar. 2020b. Disponível em:
<https://bit.ly/3oaXObv>.
PARANÁ. Decreto no 4.259, de 18 de março de 2020. Institui o Comitê de Gestão
de Crise para o Covid-19 no estado do Paraná. Diário Oficial do Estado do Paraná,
Curitiba, n. 10648, 18 mar. 2020a. Disponível em: <https://bit.ly/3D2P37w>.
______. Resolução Sesa no 317, 19 mar. 2020. Curitiba: SES/PR, 2020b. Dispo-
nível em: <https://bit.ly/3I0nUpj>.
______. Decreto no 6.010, de 26 de outubro de 2020. Institui Comitê de Monito-
ramento das Medidas para o Enfrentamento da covid-19. Diário Oficial do Estado
do Paraná, Curitiba, 26 out. 2020c. Disponível em: <https://bit.ly/2Zx73ce>.
PARKHURST, J. The politics of evidence: from evidence-based policy to the good
governance of evidence. Taylor & Francis Group, 12 Oct. 2017. Disponível em:
<https://bit.ly/3xlTvN6>.
PEARSON, H. How covid broke the evidence pipeline: the pandemic stress-tested
the way the world produces evidence – and revealed all the flaws. Nature, 12 May
2021. Disponível em: <https://go.nature.com/3ltOXzz>.
PERNAMBUCO. Decreto no 48.810, de 16 de março de 2020. Altera o Decreto
no 48.809, de 14 de março de 2020, que regulamenta, no estado de Pernambu-
co, medidas temporárias para enfrentamento da emergência de saúde pública de
importância internacional decorrente do coronavírus responsável pelo surto de
2019, conforme previsto na Lei Federal no 13.979, de 6 de fevereiro de 2020.
Diário Oficial do Estado de Pernambuco, Recife, 23 mar. 2020a. Disponível
em: <https://bit.ly/3d5wjJM>.
______. Decreto no 48.970, de 23 de abril de 2020. Institui o Comitê Técnico
de Pesquisa, Desenvolvimento e Inovação para o enfrentamento da emergência
de saúde pública decorrente do novo coronavírus. Diário Oficial do Estado de

Pernambuco, Recife, 24 abr. 2020b. Disponível em: <https://bit.ly/3o7l9dX>.
______. Plano de convivência: atividades econômicas (covid-19). Recife: GEP,
2020c. Disponível em: <https://bit.ly/3rl7Mc4>.
PIAUÍ. Decreto no 18.884, de 16 de março de 2020. Regulamenta a Lei no 13.979,
de 6 de fevereiro de 2020, para dispor no âmbito do estado do Piauí, sobre as medi-
das de emergência de saúde pública de importância internacional e tendo em vista
a classificação da situação mundial do novo coronavírus como pandemia, institui
o Comitê de Gestão de Crise, e dá outras providências. Diário Oficial do Estado
do Piauí, Teresina, 16 mar. 2020a. Disponível em: <https://bit.ly/3xGvK2O>.
______. Decreto no 19.014, de 8 de junho de 2020. Institui o Pacto de Retomada
Organizada no Piauí (Pro Piauí), cria o Comitê Técnico de Monitoramento do
Pro Piauí, e dá outras providências. Diário Oficial do Estado do Piauí, Teresina,
ano LXXXIL, n. 103, 8 jun. 2020b. Disponível em: <https://bit.ly/3G0wSRD>.
______. Nota de esclarecimento. Teresina: COE/PI, 7 mar. 2021. Disponível
em: <https://bit.ly/3G10leo>.
RIO GRANDE DO NORTE. Decreto no 29.533, de 19 de março de 2020. Inclui
a Iniciativa 02189 - Enfrentamento de Práticas Abusivas à Economia Popular, no
Objetivo 00172 do Programa 3001 - Igualdade na Diversidade: Direitos Huma-
nos, do Plano Plurianual do Estado 2020-2023, instituído pela Lei Estadual no
10.695, de 14 de fevereiro de 2020. Diário Oficial do Estado do Rio Grande do
Norte, Natal, ano 87, n. 14.624, p. 1, 20 mar. 2020a. Disponível em: <https://
bit.ly/3djncpf>.
______. Decreto no 29.973, de 9 de setembro de 2020. Cria o Comitê de Educação
para Gestão das Ações de Combate da Covid-19 no âmbito do Sistema Estadual
de Ensino do Rio Grande do Norte e dá outras providências. Diário Oficial do
Estado do Rio Grande do Norte, Natal, ano 87, n. 14.755, 2020b. Disponível
em: <https://bit.ly/3xAOXCO>.
RIO GRANDE DO SUL. Plano de Contingência e Ação Estadual do Rio Grande
do Sul para Infecção Humana Covid-19. Natal: GERN, 2020a. Disponível em:
<https://bit.ly/3Dca3Zo>.
______. Decreto no 55.129, de 19 de março de 2020. Institui Gabinete de Crise
para o Enfrentamento da Epidemia Covid-19, Conselho de Crise para o Enfren-
tamento da Epidemia Covid-19, Grupo Interinstitucional de Monitoramento das
Ações de Prevenção e Mitigação dos Efeitos do Covid-19 no Sistema Prisional do
Estado do Rio Grande do Sul e Centro de Operação de Emergência - Covid-19
(COE/Covid-19) do estado do Rio Grande do Sul. Diário Oficial do Rio Grande

do Sul, Porto Alegre, 20 mar. 2020b. Disponível em: <https://bit.ly/3Ih7idc>.
RODRIGUES, L. Governador: “O grande objetivo é fazer o diagnóstico e trata-
mento precoce da doença”. Mato Grosso Notícias, 22 jul. 2020. Disponível em:
<https://bit.ly/3D7Kitc>.
RONAN, G. Zema: “se não fosse o tratamento precoce, o colapso já teria aconteci-
do”. O Estado de Minas, 18 mar. 2021. Disponível em: <https://bit.ly/3FEESrg>.
RONDÔNIA. Plano de Contingência do Estado de Rondônia para Medidas
de Prevenção e Controle da Infecção Humana pelo Coronavírus (Sars-COV-2).
Porto Velho: SES/RO, 2020a. Disponível em: <https://bit.ly/3FX6OH9>.
______. Decreto no 24.892, de 23 de março de 2020. Constitui o Gabinete
de Integração de Acompanhamento e Enfrentamento ao Coronavírus, que terá
como membros os chefes dos poderes e órgãos autônomos do estado para análise
de estratégia visando a erradicação da epidemia. Diário Oficial do Estado de
Rondônia, Edição Suplementar 56.1, Porto Velho, 25 mar. 2020b. Disponível
em: <https://bit.ly/3G0W6zj>.
______. Decreto no 24.893, de 23 de março de 2020. Institui o Comitê Interins-
titucionalde Prevenção, Verificação e Monitoramento dos Impactos da Covid-19.
Diário Oficial do Estado de Rondônia, Edição Suplementar 56.1, Porto Velho,
25 mar. 2020c. Disponível em: <https://bit.ly/3G0W6zj>.
______. Decreto no 25.198, de 7 de julho de 2020. Institui o Grupo de Trabalho
Técnico-Científico de enfrentamento à Covid-19, para analisar tendências, validar
cenários, realizar projeções e embasar as decisões do Comitê Interinstitucional de
Prevenção, Verificação e Monitoramento dos Impactos da Covid-19 e revoga o
Decreto no 25.102, de 1o de junho de 2020. Diário Oficial do Estado de Ron-
dônia, n. 130, 9 jul. 2020d. Disponível em: <https://bit.ly/3pel33x>.
______. Plano Estadual de Contingência. Porto Velho: SES/RO, 2021. Dispo-
nível em: <https://bit.ly/3xB31fu>.
RORAIMA. Decreto no 28.657-E, de 25 de março de 2020. Dispõe sobre a cria-
ção do Comitê de Crise para Enfrentamento da Emergência de Saúde Pública de
Importância Internacional e Nacional decorrente do Coronavírus (covid-19) no
âmbito do estado de Roraima, e dá outras providências. Diário Oficial do Estado
de Rondônia, n. 3689, 25 mar. 2020. Disponível em: <https://bit.ly/3ll64Ul>.
SAI – SOCIEDADE ALAGOANA DE INFECTOLOGIA. Recomendação da
Sociedade Alagoana de Infectologia (SAI) para manejo dos casos suspeitos e
confirmados de covid-19. Alagoas: SAI, 14 abr. 2020. Disponível em: <https://
bit.ly/32AjEfV>.
SAIBA as medidas adotadas pelo governo do Piauí no combate ao coronavírus.

Piauí Governo do Estado Imprensa, 31 mar. 2020. Disponível em: <https://bit.
ly/3I9oaSQ>.
SANTA CATARINA. Decreto no 506, de 12 de março de 2020. Dispõe sobre
as medidas para enfrentamento da emergência de saúde pública de importância
internacional decorrente do coronavírus e estabelece outras providências. Diário
Oficial do Estado de Santa Catarina, Florianópolis, 12 mar. 2020a. Disponível
em: <https://bit.ly/3D7o5vi>.
______. Portaria no 179, de 12 de março de 2020. Diário Oficial do Estado de
Santa Catarina, Florianópolis, n. 21220, p. 9, 12 mar. 2020b. Disponível em:
<https://bit.ly/3d0gwfv>.
______. Portaria no 311, de 11 de maio de 2020. Diário Oficial do Estado de
Santa Catarina, Florianópolis, n. 21267, 13 maio 2020c. Disponível em: <https://
bit.ly/3rmnDad>.
SERGIPE. Plano de Contingência Estadual para Infecção Humana pelo Novo
Coronavírus 2019-nCoV. Aracaju: SES/SE, 2020a. Disponível em: <https://bit.
ly/3xEsk0m>.
______. Decreto no 40.567, de 24 de março de 2020. Atualiza, consolida e es-
tabelece novas medidas de enfrentamento e prevenção à epidemia causada pelo
covid-19 (novo coronavírus) no estado de Sergipe, e dá outras providências. Diário
Oficial do Estado de Sergipe, Aracaju, 24 mar. 2020b. Disponível em: <https://
bit.ly/3liM0Ss>.
______. Ata de reunião (Comitê de Crise). Aracaju: SES/SE, 16 abr. 2020c.
Disponível em: <https://bit.ly/3FVtmIa>.
______. Decreto no 40.605, de 1o de junho de 2020. Altera o caput do art. 3o do
Decreto no 40.598, de 18 de maio de 2020, os incisos III e IV do art. 6o do Decreto
no 40.567, de 24 de março de 2020, cria o Comitê Gestor de Retomada Econômica
(Cogere), e dá outras providências. Diário Oficial do Estado de Sergipe, Aracaju,
2 jun. 2020d. Disponível em: <https://bit.ly/3D9km0f>.
______. Decreto no 40.615, de 15 de junho de 2020. Reitera a declaração de estado
de calamidade pública em todo o território estadual, institui o Sistema de Distan-
ciamento Social Responsável (SDSR), para fins de prevenção e de enfrentamento
à epidemia causada pelo novo coronavírus – covid-19, no âmbito do estado de
Sergipe, e dá outras providências. Diário Oficial do Estado de Sergipe, Aracaju,
15 jun. 2020e. Disponível em: <https://bit.ly/3E99P6N>.
SMITH, K. Beyond evidence based policy in public health: the interplay of
ideas. Springer. United Kingdom: University of Edinburgh, 2013.
THE JENNER INSTITUTE. Covid-19 Vaccine Development. Oxford: University

of Oxford, 18 Mar. 2020. Disponível em: <https://bit.ly/31izT0r>.
TOCANTINS. Plano de Contingência do Tocantins: novo coronavírus (2019-
nCov). Palmas: CIEVS, 3 fev. 2020a. Disponível em: <https://bit.ly/32RdWXr>.
______. Decreto no 6.064, de 12 de março de 2020. Instala o Comitê de Crise para
a Prevenção, Monitoramento e Controle do Vírus covid-19 (novo coronavírus).
Diário Oficial do Estado do Tocantins, ano XXXII, n. 5562, 12 mar. 2020b.
Disponível em: <https://bit.ly/3rs6OuD>.
______. Decreto no 6.080, de 6 de abril de 2020. Dispõe sobre a formação de
Câmara Técnica de Apoio ao Comitê de Crise para a Prevenção, Monitoramento
e Controle do Vírus covid-19 - novo Coronavírus, e adota outras providências.
Diário Oficial do Estado do Tocantins, ano XXXII, n. 5578, 6 abr. 2020c.
Disponível em: https://bit.ly/3lmOMpR.
______. Comitê Gestor. Palmas: SES/TO, 2020d. Disponível em: <https://bit.
ly/3E9eaa5>.
TÔRRES, L. Governo de PE não adotará recomendações do Conselho Estadual
de Saúde. Diário de Pernambuco, 6 maio 2021. Disponível em: <https://bit.
ly/317RbxW>.
WARD, V.; HOUSE, A.; HAMER, S. Knowledge brokering: the missing link
in the evidence to action chain? Evidence & policy: a Journal of Research,
v. 5, n. 3, p. 267-279, 2009.
WILLIAMS, G. A. et al. Translating evidence into politics during the covid-19
pandemic: bridging science and policy (and politics). Eurohealth, v. 26, n. 2,
p. 29, 2020.
YANG, K. What can covid-19 tell us about evidence-based management? The
American Review of Public Administration, v. 50, n. 6-7, p. 706-712, 2020.
Ipea – Instituto de Pesquisa Econômica Aplicada
EDITORIAL
Chefe do Editorial
Aeromilson Trajano de Mesquita
Assistentes da Chefia
Rafael Augusto Ferreira Cardoso
Samuel Elias de Souza
Supervisão
Camilla de Miranda Mariath Gomes
Everson da Silva Moura
Revisão
Alice Souza Lopes
Amanda Ramos Marques
Ana Clara Escórcio Xavier
Clícia Silveira Rodrigues
Luiz Gustavo Campos de Araújo Souza
Olavo Mesquita de Carvalho
Regina Marta de Aguiar
Reginaldo da Silva Domingos
Brena Rolim Peixoto da Silva (estagiária)
Nayane Santos Rodrigues (estagiária)
Editoração
Anderson Silva Reis
Cristiano Ferreira de Araújo
Danielle de Oliveira Ayres
Danilo Leite de Macedo Tavares
Leonardo Hideki Higa
Capa
Leonardo Hideki Higa
The manuscripts in languages other than Portuguese

published herein have not been proofread.
Composto em adobe garamond pro 11/13,2 (texto)
Frutiger 67 bold condensed (títulos, gráficos e tabelas)
Brasília-DF
Missão do Ipea
Aprimorar as políticas públicas essenciais ao desenvolvimento brasileiro por
meio da produção e disseminação de conhecimentos e da assessoria ao Estado
nas suas decisões estratégicas.

LV Politicas Publicas Web

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

LV Politicas Publicas Web

Enviado por

Direitos autorais:

Formatos disponíveis

POLÍTICAS PÚBLICAS E USOS

Fundação pública vinculada ao Ministério da Economia,

Políticas públicas e usos de evidências no Brasil : conceitos, métodos,

Ficha catalográfica elaborada por Andréa de Mello Sampaio CRB-1/1650

A Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia (Diest) agradece ao

Direito de reprodução gentilmente cedido por João Candido Portinari.

À Flávia de Holanda Schmidt e Janine Mello, enquanto diretora e diretora-adjunta,

IMPROVING EVIDENCE USE IN PUBLIC POLICY

1 INTRODUCTION: THE IMPORTANCE OF EVIDENCE

2. Available at: <https://bit.ly/3Ho1xtj>.

2 RECENT WORK ON THE USE OF EVIDENCE

3 IMPROVING EVIDENCE FOR POLICY

3.1 What should be considered good evidence for policymaking?

3.2 What does it mean to use evidence in a better way?

Thus, just as public administrative governance arrangements vary across

improving evidence use at a national level is a structural and institutional process

4 DISCUSSION OF THIS VOLUME

BORNMANN, L. Evaluations by peer review in science. Springer Science

LEWIS, J. M. Evidence-based policy: a technocratic wish in a political world. In:

PAWSON, R.; TILLEY, N. Realistic evaluation. London: Sage Publications, 1997.

STEWART, R.; LANGER, L.; ERASMUS, Y. An integrated model for increasing

com pesquisadores da Companhia de Planejamento do Distrito Federal (Code-

apresentação. Esperamos seguir em interlocução com esta rede de estudiosos e

2 O CONCEITO DE EVIDÊNCIAS É POLISSÊMICO E SE RELACIONA

O que são evidências em políticas públicas? Pinheiro, no capítulo 1, propõe

3 A PRODUÇÃO DE EVIDÊNCIAS É CARACTERIZADA PELA DIVERSIDADE

Um primeiro tipo de evidência empírica é a avaliação de impacto. Esta se

apresentadas pelos autores, citam-se: a modelagem baseada em agentes (ABM, sigla

6. De acordo com o capítulo 7 deste livro, de Bachtold e Robert.

não reúnem a totalidade de meios de produzir conhecimento relevante para as po-

Nesse sentido, a preocupação central para o aperfeiçoamento do uso de

4 HÁ DIVERSOS CONTEXTOS DE USO DE EVIDÊNCIAS NA PRODUÇÃO DE

(capítulos 7, 8, 15 e 17), educacionais (capítulos 26 e 27), de controle (capítulo 10),

entre os auditores da Controladoria-Geral da União (CGU), os quais produzem

8. Conforme Fiani no capítulo 22 deste livro.

funções de política pública, acumulados e em fluxo nos níveis individual, orga-

5 O ESTADO NÃO É APENAS USUÁRIO DE EVIDÊNCIAS E ATUA DIRETAMENTE

produzidas no interior do escopo estatal, e fontes experienciais, atreladas às traje-

sobre um conjunto robusto de dados provenientes tanto de estatísticas públicas

A despeito do potencial das fontes estatais como evidências capazes de apri-

6 O PARADOXO DA UTILIZAÇÃO DO CONHECIMENTO: DIVERSIDADE DE USOS

crescente de produção de dados e conhecimento científico, trabalhos empíricos

a acompanhamento, monitoramento, fiscalização contínuos, pode gerar um con-

capacidade interacional que garanta ao Estado a permeabilidade do conhecimento

trata de um exercício contínuo e cumulativo. Portanto, analisar áreas de políticas

Science Communication, v. 26, n. 1, p. 75-106, Sept. 2004. Disponível em:

MOUFFE, C. On the political – thinking in action. London: Routledge, 2008.

POLÍTICAS PÚBLICAS BASEADAS EM EVIDÊNCIAS: UM MODELO

A seção 4 apresenta o modelo moderado, situando-o na literatura e explicitando

3 A VISÃO TRADICIONAL EM RELAÇÃO ÀS PPBEs

apenas resultados de conhecimentos produzidos a partir de processos rigorosos,

6. Latham, M. Myths of the welfare state. Policy, v. 17, n. 3, p. 40-43, 2001.

4 PRESSUPOSTOS EPISTEMOLÓGICOS E DELIMITAÇÕES DO MODELO MODERADO

4.1 A complexidade do processo social

entendimento racional desses sistemas. Ora, a busca desse melhor entendimento,

4.2 A diversidade dos conhecimentos, dos discursos, das racionalidades e...

ii) conhecimento de política (o que é útil para reduzir a reincidência criminal);

4.3 O status epistemológico das disciplinas associadas às áreas

os critérios de escolha de ontologias – isto é, decidir sobre quais objetos há no

da maioria das políticas públicas (educação, assistência social, segurança pública,

4.4 Os limites do uso dos conhecimentos e das evidências

4.5 A relevância de análises conceituais, metodologias e abordagens teóricas

4.6 Ouvir os atores interessados

2 O CONCEITO DE EVIDÊNCIAS É POLISSÊMICO E SE RELACIONA

3 A PRODUÇÃO DE EVIDÊNCIAS É CARACTERIZADA PELA DIVERSIDADE

4 HÁ DIVERSOS CONTEXTOS DE USO DE EVIDÊNCIAS NA PRODUÇÃO DE

5 O ESTADO NÃO É APENAS USUÁRIO DE EVIDÊNCIAS E ATUA DIRETAMENTE

6 O PARADOXO DA UTILIZAÇÃO DO CONHECIMENTO: DIVERSIDADE DE USOS

4.2 A diversidade dos conhecimentos, dos discursos, das racionalidades e...

4.3 O status epistemológico das disciplinas associadas às áreas

5 A DIMENSÃO PRAGMÁTICA E SUAS CONSEQUÊNCIAS PARA A ELUCIDAÇÃO