Panorama Da Produção Intelectual Sobre A Medição de Desempenho Na Gestão Pública

Panorama da produo intelectual sobre a medio de
desempenho na gesto pblica

rica Kushihara Akim
Universidade Federal de So Carlos (UFSCar)
Ricardo Coser Mergulho
Universidade Federal de So Carlos (UFSCar)
No contexto das mudanas na administrao pblica que visam promover a melhoria do desempenho
governamental, este artigo tem como objetivo apresentar um panorama da produo intelectual no
campo da medio de desempenho na gesto pblica entre 1980 e fevereiro de 2013. Para tanto, foi
realizada uma anlise bibliomtrica de citao e cocitao com apoio dos softwares Sitkis, Netdraw e
CiteSpace II. As bases de dados utilizadas foram a ISI Web of Science (WoS) que reflete a pesquisa
internacional e a SciELO que reflete a pesquisa brasileira. O estudo na WoS identificou os autores,
peridicos, pares de documentos e instituies de pesquisas mais importantes. Alm disso, o estudo na
base da SciELO apontou que a literatura sobre o campo estudado dispersa. De forma geral, os resultados obtidos revelam que a medio de desempenho na gesto pblica um campo emergente.
P a l av r a s - c h av e : medio de desempenho; gesto pblica; anlise bibliomtrica.
Panorama de la produccin intelectual de medicin del desempeo en la gestin pblica
En el contexto de los cambios en la administracin pblica para mejorar el desempeo del gobierno,
este trabajo tiene como objetivo presentar un panorama de la produccin intelectual en el campo de
la medicin del desempeo en la gestin pblica entre 1980 y febrero de 2013. En este sentido, fue
realizado un levantamiento de datos, con base en anlisis bibliomtrico de citas e co-citacin, e mediante la utilizacin de los softwares Sitkis, Netdraw y CiteSpace II. Las bases de datos empleadas en
este anlisis fueron la ISI Web of Science (WoS) referida a investigacin internacional y SciELO
que refleja la investigacin brasilea. El estudio sobre la WoS revel los autores, revistas, pares de
documentos y las instituciones de investigacin ms importantes. Adems, el estudio sobre SciELO
indico que la literatura en este campo est todava dispersa. Por ltimo, los resultados muestran que
la medicin del desempeo en la gestin pblica es un campo emergente.
Palabras
c l av e :
medicin del desempeo; gestin pblica; anlisis bibliomtrico.
DOI: http://dx.doi.org/10.1590/0034-7612126126
Artigo recebido em 5 nov. 2013 e aceito em 6 out. 2014.
Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015
338
rica Kushihara Akim Ricardo Coser Mergulho
Overview of the intellectual production of performance measurement in public management

In the context of changes in the public administration that aim to enhance government performance,
this paper has the goal to present an overview from intellectual production on the field of performance
measurement in public management between 1980 and February of 2013. In order to do it, it was
applied a citation/co-citation bibliometric analysis using Sitkis, Netdraw and CiteSpace II softwares.
The databases used in this analysis were ISI Web of Science (WoS) that reflects international research and SciELO that reflects Brazilian research. The study in WoS revealed the most important
authors, journals, pairs of documents and research institutions. Moreover, the study based on SciELO
identified that the literature about this field is dispersal. In general terms, the results show that performance measurement in public management is an emerging field.
K e y w o r d s : performance measurement; public management; bibliometric analysis.
1. Introduo
A administrao pblica deve atender s demandas sociais pelo uso eficiente de recursos e
transparncia de seus atos e, para que isso ocorra, os cidados devem ser continuamente
informados, pelos meios de comunicao, sobre os impactos dos planos, das polticas, dos
oramentos, dos dficits e supervits dos governos na qualidade de vida de cada membro e
setor da sociedade (Catelli e Santos, 2004; Motta, 2013).
Diante disso, um elemento importante para que a administrao pblica possa cumprir
seu papel a medio de desempenho. Inicialmente, a medio de desempenho possua um enfoque unidimensional legado da contabilidade tradicional com apenas medidas financeiras, mas
a partir do final dos anos 1980, o enfoque passou a ser multidimensional com equilbrio entre
medidas financeiras e no financeiras (Bourne et al., 2000; Nudurapati et al., 2011). Essa mudana de enfoque reforou-a como um pr-requisito importante para a melhoria organizacional.
De fato, estudos como o de Franco-Santos e colaboradores (2012) apontam que a medio de
desempenho contempornea afeta significativamente o comportamento das pessoas, as capabilidades organizacionais e o desempenho organizacional. Esse resultado comprovado em parte,
no mbito do setor pblico, por Spekl e Verbeeten (2014), que realizaram uma survey em organizaes do setor pblico e encontraram que o uso exploratrio da medio de desempenho
aumenta o desempenho organizacional na medida em que fornece uma comunicao mais clara
dos objetivos e metas e tambm possibilita o ajuste dos objetivos e polticas.
De forma ampla, a medio de desempenho, segundo Franco-Santos e colaboradores
(2007), pode ser entendida como um conjunto de processos que uma organizao necessita
para gerenciar a implementao da estratgia, comunicar o cumprimento de regulamentos
bem como sua posio e progresso, influenciar o comportamento dos funcionrios, servindo
de base para a melhoria do desempenho.
A mensurao dos elementos associados ao desempenho constitui um tema com ampla
literatura voltada ao ambiente corporativo (Tezza et al., 2010). Bititci e colaboradores (2012)
destacam que as prticas de gesto baseadas na medio de desempenho so comuns em to-
Panorama da produo intelectual sobre a medio de desempenho na gesto pblica
339
dos os setores da indstria e do comrcio, incluindo o setor pblico. No entanto, Motta (2013)
pondera que algumas caractersticas que distinguem as empresas privadas e organizaes pblicas podem ser camufladas nas formas institucionais, mas emergem rapidamente no cotidiano administrativo. Isso indica que a medio de desempenho na gesto pblica necessita ser
pesquisada considerando seu contexto. Essa necessidade corroborada por pesquisas como
a de Taylor e Taylor (2009), que afirmam que as aplicaes da gesto de operaes como
o estudo da medio de desempenho em novos contextos, como o setor no lucrativo, so
potenciais temas de pesquisas.
Nesse contexto, torna-se relevante fazer um levantamento da produo cientfica sobre
a medio de desempenho na gesto pblica, de modo a responder s seguintes questes.
Como tem evoludo o campo de pesquisa da medio de desempenho na gesto pblica?
Quais so as referncias, autores e peridicos mais destacados no campo da medio de desempenho na gesto pblica? Qual a conexo existente entre essas referncias?
Em face dessas questes, o presente artigo tem como objetivo analisar a literatura sobre
medio de desempenho na gesto pblica, fornecendo um mapeamento dos trabalhos sobre
o tema, identificando comportamentos da literatura e sua evoluo. Para isso, o mtodo a ser
utilizado consiste na anlise bibliomtrica com uma amostra de artigos da base de dados da
Web of Science (WoS) no perodo de 1980 a fevereiro de 2013. Complementarmente, efetuouse uma comparao com a produo nacional publicada na base SciELO.
2. Delineamento da pesquisa
Esta seo apresenta o delineamento da presente pesquisa destacando as caractersticas da
bibliometria bem como os parmetros e etapas utilizados na organizao do conhecimento do
tema medio de desempenho na gesto pblica.
A anlise bibliomtrica o estudo dos aspectos quantitativos da produo, disseminao e uso da informao registrada com emprego de mtodos matemticos e estatsticos,
utilizada na identificao de comportamento da literatura e sua evoluo em contexto e poca
determinados (Spinak, 1996; Tague-Sutckiffe, 1992; Bufrem e Prates, 2005). A seguir, so
apresentadas as anlises de citao e de cocitao, que so amplamente utilizadas em anlises
bibliomtricas.
A anlise de citaes parte da premissa de que autores citam artigos que consideram
importantes no desenvolvimento de suas pesquisas e, segundo Bufrem e Prates (2005), qualquer ato de citar o autor de artigo anterior sempre significativo. Logo, os trabalhos mais
citados teriam maior influncia sobre a rea do que aqueles menos citados (Tahai e Meyer,
1999). Essa anlise pode ainda ser estendida contagem das referncias arroladas no final
do texto, o que possibilita identificar e mapear caractersticas da comunicao cientfica, medir o impacto e a visibilidade de determinados autores dentro de uma comunidade cientfica
e tambm verificar quais escolas do pensamento vigoram dentro das mesmas (Vanz e Caregnato, 2003).
340
J a anlise de cocitao indica a relao e frequncia dos pares de documentos que so

citados por outros documentos. A premissa fundamental dessa anlise que, quanto mais dois
documentos so cocitados conjuntamente, maior a probabilidade de que tenham contedos
relacionados (Spinak, 1996).
Convm destacar que, segundo Garfield (1979), a anlise de citaes no tem como
princpio medir o nmero de vezes que um determinado autor est certo ou errado, mas, sim,
medir o nvel de contribuio de um pesquisador ou uma instituio cincia.
Neste artigo as anlises de citao e de cocitao so utilizadas em conjunto com elementos grficos advindos da representao das redes sociais, que tratam do conjunto de atores e as ligaes entre eles. O conceito das redes sociais foi desenvolvido a partir da confluncia da teoria social com a metodologia matemtica, estatstica e computacional (Wasserman
e Faust, 1994).
A partir dessa viso geral sobre a bibliometria, a seguir so apresentadas as etapas utilizadas para conduo da pesquisa (figura 1).
Figura 1
Etapas da anlise bibliomtrica
Fonte: Elaborao prpria a partir do software Bizagi Processo Modeler.
A base de dados utilizada para a busca dos artigos foi a WoS (Web of Science) Institute for
Scientific Information (ISI), que amplamente utilizada para divulgao de pesquisas cientficas
em 12.311 ttulos, que, segundo Chadegani e colaboradores (2013), abrange revistas com maior
fator de impacto se comparada com bases como a da Scopus. Alm disso, mesmo sem cobrir
bases como a da Scopus, a anlise das referncias dos artigos da amostra permite expandir a
anlise a livros, relatrios e artigos de outras bases e tambm anteriores a 1980.
Para a seleo das referncias sobre medio de desempenho foram identificadas as
palavras-chave nos trabalhos de Gonzlez e Toledo (2012) e Lacerda e colaboradores (2012),
sendo elas: performance measurement, performance measure, performance evaluation, perforRev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015
341
mance assessment, performance appraisal, associadas s palavras-chave da rea de gesto pblica: public sector, public service, public organization, public management.
A busca utilizando esses termos foi realizada em 28 de fevereiro de 2013 na base Web of
Science por artigos, publicados no perodo de 1980 a 2013, selecionando-se apenas os artigos
(document types) pertencentes s reas temticas (subject area) public administration, management, political science, economics, operation research management science, planning development, industrial relations labor, business, business finance, social science and interdisciplinary,
environmental studies, engineering civil, engineering industrial, utilizando-se das palavras-chave anteriormente definidas, resultou na amostra de 268 artigos.
Aps a definio dessa amostra procedeu-se importao dos metadados (ttulo, resumo, autores, palavras-chave, peridico, referncias e nmero de citaes) dos 268 artigos
da base WoS.
A etapa seguinte consistiu na validao, organizao e sistematizao dos dados coletados,
utilizando-se de planilha eletrnica para padronizar os metadados dos artigos da amostra. Essa
etapa de padronizao importante, pois, segundo Mugnaini e colaboradores (2004), a transformao da informao bibliogrfica em indicadores bibliomtricos exige cautela em cada passo e
reprocessamento, porque nem sempre a informao se encontra perfeitamente padronizada.
A seguir foi utilizado o software CiteSpace II (Chen, 2006) para gerar as redes de cocitao. Segundo Chen (2006), esse software permite mapear e visualizar novas tendncias na
literatura cientfica, detectando pontos de viragem intelectual, quando o conhecimento abre
espao para novidades cientficas e exploses, que so os momentos em que h um aumento
significativo de publicao de trabalhos sobre o mesmo tema.
As referncias processadas no CiteSpace II tambm exigiram padronizao para a eliminao de possveis duplicidades que interferem no mapeamento da rede e no levantamento de
indicadores como os de frequncia, centralidade e densidade. O indicador de centralidade
utilizado na anlise de redes de cocitaes e, segundo Marteleto (2001), representa os atores
que mais se relacionam com os demais; logo, um ator com grande centralidade est em contato
direto e adjacente com muitos outros atores da rede, sendo reconhecido como um grande canal
de informaes, trazendo a ideia de poder. J o indicador de densidade, segundo Hanneman e
Riddle (2005), exprime o grau de conectividade de uma rede de modo que, quanto mais densa
ela for, maior a possibilidade de fluxo de informaes. Esse indicador calculado tendo como
numerador o nmero de relaes existentes e denominador o nmero de relaes possveis.
Complementarmente, foram utilizados o Sitkis (Schildt, 2002) no gerenciamento das
referncias mais citadas e o Netdraw (Borgatti, 2002) para o mapeamento dos relacionamentos entre os trabalhos mais relevantes que suportaram as pesquisas sobre medio de desempenho na gesto pblica. O Netdraw permite a visualizao detalhada das coocorrncias de
citaes de forma a identificar os documentos mais influentes.
A etapa final consistiu nas anlises de citao e de cocitao exploradas por suas mtricas comuns e pelas representaes grficas das redes sociais.
Para fins de comparao, foi levantada e analisada a produo nacional sobre o tema
medio de desempenho na base SciELO Brasil com os termos medio de desempenho ou
avaliao de desempenho combinados com pblico ou pblica.
342
3. Dados obtidos na base Web of Science

Esta seo apresenta e discute os resultados obtidos da anlise das publicaes da amostra de
268 artigos do Web of Science, cuja abordagem obedecer a seguinte ordem: anlise das publicaes, anlise de cocitaes de autores e, por fim, a anlise de cocitaes de referncias.
3.1 Anlise das publicaes

A anlise da amostra dos 268 artigos apontou que eles receberam um total de 1.644 citaes
at fevereiro de 2013. Do total da amostra, 68 (25%) artigos no receberam citaes e 48
(18%) concentram 68% do total das citaes recebidas.
A evoluo temporal dessas citaes pode ser observada no grfico 1, em que a linha
slida representa a evoluo das publicaes, e a tracejada, das citaes. A partir do grfico 1,
pode-se observar que o nmero de publicaes tem aumentado ao longo dos anos. Como pode
ser notado, at 2005, o nmero de publicaes por ano era inferior a 10. Crescendo fortemente a partir de 2006, chegando ao patamar de 36 publicaes em 2011, essa evoluo parece
colaborar para o aumento no nmero de citaes de artigos sobre o assunto. Esse aumento
nas publicaes pode ter sido impulsionado pelo surgimento, na ltima dcada do sculo XX,
da Nova Gesto Pblica (New Public Management), cuja preocupao central, segundo Sano
e Abrucio (2008), pode ser resumida como a combinao entre a flexibilizao da gesto e o
aumento da responsabilizao da administrao pblica.
Grfico 1
Publicaes e citaes entre 1980 e fevereiro de 2013
Fonte: Elaborao prpria.
343
J em relao s citaes, observa-se que a partir de 1997 houve um aumento no nmero de citaes mais acentuado do que o aumento no nmero de publicaes, evidenciando que
o tema medio de desempenho na gesto pblica passou a ser de interesse para a academia.
A seguir, efetua-se uma anlise temporal e temtica sobre os 10 artigos mais citados da
amostra, que esto listados na tabela 1.
Ta b e l a 1
Artigos mais citados, no perodo de 1980 a 2013 (at fevereiro)

Artigo
Ttulo
Peridico
Citaes
Hefetz e
Warner (2004)
Privatization and its reverse: explaining the

dynamics of the government contracting
process
Journal of Public Administration

Research and Theory
84
Fernandez e
Rainey (2006)
Managing successful organizational change

in the public sector
Public Administration Review
66
Heinrich (2002)
Outcomes-based performance management Public Administration Review

in the public sector: Implications for
government accountability and effectiveness
53
Kravchuk e
Schack (1996)
Designing effective performancemeasurement systems under the

Government Performance and Results Act
of 1993
52
Sanderson (2001)
Performance management, evaluation and

learning in modern local government
Public Administration
51
Townley
e colaboradores (2003)
Performance measures and the

rationalization of organizations
Organization Studies
48
Moon e colaboradores (2001)
Municipal reinvention: managerial values

and diffusion among municipalities
TheJournal of Public
Administration Research and
Theory
42
Townley (1997)
The institutional logic of performance

appraisal
Organization Studies
38
Moynihan (2006)
Managing for results in state government:

evaluating a decade of reform
36
Pratchett (1999)
New technologies and the modernization of

local government: an analysis of biases and
constraints
35
A dinmica do processo de contratao o tema central de Hefetz e Warner (2004).

Na viso dos autores, a adoo de sistemas formais de monitoramento fundamental para
garantir o sucesso da contratao de bens e servios pblicos, que exige especificaes e critrios claros para a avaliao do seu desempenho. A principal crtica em relao medio de
desempenho consiste em falhas relacionadas com negligncia voz do cidado (Hefetz e War-
344
ner, 2004). A pesquisa evidencia como desafios impostos ao gestor pblico: a complexidade
da prestao de servios pblicos, as limitaes das abordagens de mercado e a necessidade
de envolver o cidado.
A pesquisa de Fernandez e Rainey (2006) trata da gesto da mudana organizacional.
Os autores identificaram na literatura sete fatores sobre mudana organizacional, que so
considerados pontos consensuais e oferecem proposies adequadas para testes e refinamentos em pesquisas futuras. Para os autores, a mensurao e avaliao de desempenho integram
o fator de institucionalizao das mudanas organizacionais, que devem ser incorporadas
rotina dos seus membros. preciso que os gestores acompanhem, por meio da mensurao de
desempenho, a extenso da adoo das mudanas, assegurando que no se retorne a velhos
padres e comportamentos (Fernandez e Rainey, 2006).
O trabalho emprico de Heinrich (2002) aborda as implicaes da gesto de desempenho na gesto pblica. A autora pondera que a avaliao de desempenho de programas pblicos sofre a influncia da estrutura organizacional nas escolhas polticas, nas restries e nas
prticas de prestao de servios. No contexto pblico devem ser consideradas as mudanas
frequentes de prioridades polticas; administrativas e profissionais; os conflitos partidrios
dentro das burocracias e a integrao s vezes precria entre nveis de governo e autoridades
formais e informais (Heinrich, 2002).
A pesquisa de Kravchuk e Schack (1996) foca o design de sistema de medio de desempenho no mbito do Government Performance and Results Act (GPRA), que consiste na
adoo da administrao gerencial pela administrao pblica federal americana, a partir
de 1993. Os autores ressaltam que, ao final dos anos 1980, em todos os setores econmicos
tornou-se evidente o interesse na prtica de um ambiente de gesto eficaz. Para que isso
ocorra, preciso incorporar um sistema de medio de desempenho com controle de medidas
apropriado, que assegure o alinhamento das atividades com o objetivo maior da organizao
(Kravchuck e Schack, 1996).
A gesto do desempenho, a avaliao e a aprendizagem nos governos locais modernos
so o foco do artigo de Sanderson (2001). Para o autor, no Reino Unido, o desenvolvimento
da gesto de desempenho no contexto do New Public Management (NPM) teria sido basicamente top-down, com o predomnio da preocupao pelo accountability (responsabilizao)
em detrimento da promoo da aprendizagem e da adoo como um mecanismo de mudana.
O autor assevera que as autoridades locais precisam desenvolver a capacidade de produzir
mudanas, consistentes com as metas e objetivos desejados, a partir das evidncias produzidas pela medio de desempenho. Alm disso, preciso mudar a cultura organizacional,
assegurando que a avaliao seja incorporada rotina (Sanderson, 2001).
Townley e colaboradores (2003) abordam em seu artigo a medio de desempenho
e a racionalizao das organizaes, analisando a introduo de medidas de desempenho
na provncia de Alberta, no Canad. Para os autores, a operacionalizao da reinveno do
governo (Osborne e Gaebler, 1992) por meio de medidas de planejamento e medio de
desempenho envolve a racionalidade instrumental, ou seja, pela relao meios-fins, e a ao
comunicativa, isto , com princpios validados pelo grupo. Os autores relatam o predomnio
345
da racionalidade instrumental na introduo dos sistemas formais de medio de desempenho na provncia de Alberta.
Um estudo exploratrio sobre a reinveno em 1.200 municpios dos Estados Unidos
o foco do artigo de Moon e colaboradores (2001). Os autores sugerem que a adoo da reinveno municipal associada condio, dimenso econmica e aos fatores institucionais,
como sindicato e tipo de governo. O termo reinveno uma aluso ao termo cunhado por
Osborne e Gaebler (1992) na obra Reinventing government, que ressalta a necessidade urgente
de mudanas nos setores pblicos do mundo inteiro.
O artigo de Townley (1997) tem como enfoque a lgica institucional da avaliao de
desempenho de acadmicos em universidades do Reino Unido. A pesquisa ilustra o jogo de
presses por isomorfismo e as fontes de resistncia nas universidades a essa presso. Para a
autora, as universidades, em face da sua dependncia por recursos pblicos e da legitimidade
do modelo de eficincia do setor privado, so particularmente vulnerveis s presses por
isomorfismo. A avaliao de desempenho, para Townley (1997), um poderoso mito institucional, constituindo parte daquilo que a organizao necessita para legitimar-se.
A pesquisa de Moynihan (2006) avalia a implementao da reforma da gesto pblica
nos Estados Unidos. O autor afirma que a gesto por resultados foi parcialmente adotada no
caso estudado; considera ainda que os governos estaduais dos Estados Unidos enfatizaram o
planejamento estratgico e a avaliao de desempenho, mas foram menos bem-sucedidos na
implementao de reformas que aumentam a autoridade gerencial.
O texto de Pratchett (1999) trata do uso de tecnologia de informao e comunicao
(TIC) ou e-government na administrao pblica contempornea. Para o autor, as novas tecnologias de informao podem fornecer informaes geradas externamente s organizaes
pblicas, que facilitem a compresso de contextos sociais e econmicos. Pratchett (1999)
ainda afirma que o estudo realizado no governo do Reino Unido sugere uma nfase exagerada
na medio de desempenho.
Grfico 2
Distribuio temporal das citaes aos 10 artigos mais citados na base WoS
346
A distribuio temporal dos 10 artigos mais citados (grfico 2) revela que 70% foram
publicados no perodo de 2001 a 2006 e que as primeiras citaes comearam em 1997,
intensificando-se em 2003, com um pico em 2001, atingindo o patamar de 78 citaes.
Os artigos coletados tiveram suas publicaes concentradas em 105 peridicos. A tabela
2 apresenta os 14 peridicos que mais publicaram no tema medio de desempenho na gesto
pblica, e juntos eles acumulam 137 (51%) dos 268 artigos da amostra. Destaca-se que 67
peridicos continham um nico artigo.
possvel verificar, pelos dados da tabela 2, que h uma concentrao das publicaes
124 (91%) em peridicos da temtica da administrao pblica, destacando-se os peridicos International Review of Administrative Sciences, Public Administration Review e Public
Money & Management.
No perodo de 2000 a 2009, 72 artigos foram publicados nos peridicos da tabela 2,
representando um aumento expressivo, comparado aos 21 publicados na dcada anterior. J
no perodo de 2010 a 2013 (at fevereiro), foram publicados 42 trabalhos cientficos, com
destaque para o aumento no nmero de artigos publicados no peridico Review of Public Personnel Administration, de dois (de 2000 a 2009) para seis (de 2010 a 2013).
Ta b e l a 2
Publicaes nos peridicos que mais publicaram sobre medio

de desempenho na gesto pblica
1980
a
1989
1990
a
1999
2000
a
2009
2010
a
2013*
International Review of Administrative Sciences
12
17
16
Public Money & Management
16
Public Management Review
13
Australian Journal of Public Administration
10
The Journal of Public Administration Research and Theory
10
The International Journal of Human Resource Management
Review of Public Personnel Administration
American Review of Public Administration
Public Personnel Management
Public Administration and Development
International Journal of Operations & Production Management
Local Government Studies
Total
21
72
42
137
Peridico
Total

Nota: * indica que o ano de 2013 compreende at fevereiro.
347
Tambm observa-se que a partir de 2000 surgiram artigos sobre medio de desempenho na gesto pblica em peridicos de outras reas como o The International Journal of
Human Resource Management, que voltado para a rea de gesto de pessoas, e tambm no
International Journal of Operations & Production Management, que um peridico europeu
voltado para gesto de operaes.
Outra anlise importante est sobre a rede de colaborao entre os coautores dos
artigos da amostra, considerando o pas de origem da instituio de pesquisa de filiao do
autor. A figura 2 ilustra o mapa de distribuio geogrfica da rede de colaborao dos pases
mais influentes quanto publicao de artigos sobre o tema medio de desempenho na
gesto pblica, em que as linhas representam as parcerias existentes. Observa-se no mapa,
gerado por meio do Google Earth e o CiteSpace II, que as conexes existentes compreendem parcerias entre autores de instituies de pesquisa concentradas nos Estados Unidos,
Canad, Europa e Austrlia.
Uma visualizao mais detalhada sobre a rede de colaborao est ilustrada na figura
3, que foi traada utilizando-se do software CiteSpace II para o perodo de 1983 a 2013 (at
fevereiro) e restringindo-se os pases com frequncia de artigos maior ou igual a dois.
Figura 2
Mapa de distribuio geogrfica da rede de

colaborao de coautoria
Fonte: Elaborao prpria a partir do CiteSpace II e Google Earth Maps (KML 2.0).
A rede constituda por 49 pases (ns) e o valor da densidade da rede 0,0272,

indicando que apenas 2,72% de todas as conexes possveis foram estabelecidas. Os tamanhos dos ns indicam o nmero de publicaes, sendo um anel para cada segmento
de tempo a partir da primeira publicao, e as cores representam o ano de publicao do
artigo, em que as escuras representam as publicaes mais antigas e as claras as mais recentes, conforme o mapeamento que associa cores a segmento de tempo apresentado na
parte superior da figura 3.
348
Figura 3
Rede de coautoria por pas
Fonte: Elaborao prpria a partir do CiteSpace II.

Nota: Os tamanhos dos ns representam a quantidade de publicaes.
Nota-se que a rede de colaborao de coautoria por pas constituda de um componente principal que conecta os pases mais representativos na literatura sobre medio de
desempenho na gesto pblica. Nesse caso, a rede indica que a maior parcela (18% com 68
artigos) dos trabalhos oriunda dos Estados Unidos e da Inglaterra (5% com 48 artigos).
Destacam-se tambm a Austrlia com 14 artigos, o Canad com 12, a Itlia e Holanda com 11
publicaes cada um.
Quanto s conexes, representadas pelas linhas que ligam os ns (pases), elas apontam as parcerias de coautoria entre instituies estrangeiras. Alm da rede principal, nota-se
a existncia de pases onde as publicaes aparecem isoladas, como a Grcia, a Alemanha, a
Turquia e a ndia, demonstrando uma ausncia de parcerias com pesquisadores de instituies estrangeiras.
J os anis escuros na parte externa (figura 3) diferenciam os pases com maior centralidade, sendo a Inglaterra com 0,32, seguida pelos Estados Unidos com 0,26. Para Marteleto
(2001), quanto mais central um indivduo, mais bem posicionado ele em relao troca e
comunicao, o que aumenta seu poder na rede.
As conexes representadas pelas linhas que ligam os ns (pases) demonstram as parcerias de coautoria entre instituies estrangeiras.
O Canad e os Estados Unidos apresentam parcerias desde 1999, com o artigo The relationship between performance appraisal and indulgence in the evaluation process de autoria dos
pesquisadores Denis Morin, pesquisador da Universidade de Quebec (Canad), Kevin R Murphy, da Universidade de Colorado (Estados Unidos) e Alain Larocque, da Universidade Laval
(Canad). Enquanto a colaborao entre Inglaterra e Irlanda teve origem em 2000 com o artigo Coping with ambiguity: reconciling external legitimacy and organizational implementation
349
in performance measurement, de autoria dos pesquisadores Alan Lawton, da Open University

Business School (Inglaterra), David McKevitt, da University of Limerick (Irlanda), e Michelle
Millarc, da National University of Ireland (Irlanda).
Outra anlise sobre os pases permite a identificao de suas instituies de pesquisas
que se destacam. A tabela 3 lista as 10 instituies de pesquisa com maior nmero de publicao sobre a medio de desempenho na gesto pblica.
Ta b e l a 3
Instituies de pequisa que mais publicaram artigos sobre medio de desempenho na

gesto pblica, no perodo de 1980 a 2013 (at fevereiro)
Instituio de pesquisa
Pas
Ano
predominante
Frequncia
Universidade de Manchester
Inglaterra
2007
Universidade de Wisconsin
EUA
2006
Universidade de Groningen
Holanda
2008
Universidade de Kansas
EUA
2009
Universidade de Carolina do Norte
EUA
1999
Universidade de Turin
Itlia
2007
Escola de Economia de Londres
Inglaterra
2010
Universidade Victoria Wellington
Nova Zelndia
2007
Universidade Nottingham Trent
Inglaterra
2005
Universidade de Melbourne
Austrlia
2007
Fonte: Elaborao prpria com resultados do CiteSpace II.
A Universidade de Manchester, na Inglaterra, a que apresenta o maior nmero de artigos. Dessa universidade destacam-se os seguintes pesquisadores e temas: Claire Moxham com
pesquisas sobre medio de desempenho em organizaes sem fins lucrativos; Paul Clarkson
com a avaliao e implementao de sistemas de medio de desempenho no servio de sade
pblico ingls; e Sven Modell com a gesto da contabilidade e controle na gesto pblica.
A Universidade de Wisconsin, nos Estados Unidos, ocupa a segunda posio em relao
ao nmero de artigos e tem como representantes autores como Donald Moynihan e Carolyn
Heinrich, que possuem artigos listados entre os 10 mais citados da amostra.
As anlises das publicaes permitiram identificar algumas caractersticas da literatura
sobre medio de desempenho na gesto pblica, tais como: perodos de destaque no nmero
de publicaes e citaes; peridicos mais citados; colaborao entre pases e instituies de
pesquisa; e artigos mais citados.
A seo seguinte apresenta a anlise das cocitaes de autores mais frequentes e influentes nos artigos da amostra.
350
3.2 Anlise das cocitaes de autores

Alm dos trabalhos mais citados, foram analisadas as relaes de cocitao dos autores das referncias em trabalhos de terceiros. Inicialmente, foi gerada a rede de cocitao entre os autores,
por meio da abordagem Author Co-citation Analysis (ACA), considerando todas as referncias da
amostra, no CiteSpace II (Chen, 2006). Os autores presentes em cada artigo foram cruzados entre si. Em seguida, essas cocitaes foram agrupadas em conglomerados denominados clusters.
A figura 4 apresenta a rede de cocitao de autores processada a partir de 12.162 referncias (93,89% do total), sendo formada por 902 ns (autores) e 4.107 links (conexes),
que resultaram em 15 clusters. O resultado da pesquisa indica uma baixa densidade (0,01)
que implica uma baixa conectividade entre os autores.
Figura 4
Rede completa de autores cocitados e componente principal cluster 9

Nota: Os crculos (ns) representam os autores. Os nmeros na figura esquerda identificam os 5 maiores clusters. Os rtulos da figura
do lado direto identificam os autores com citao superior a 20.
A anlise da rede de cocitao aponta o cluster 9 como componente principal. Ele possui 782 autores e concentra 87% dos autores cocitados pelos artigos da amostra. A partir dos
anos das citaes dos pares de autores, observa-se uma grande amplitude entre os anos das
publicaes, sendo a mais antiga publicada em 1914 por Morris Llewellyn Cooke e as mais
recentes em 2011, como o relatrio de auditoria do National Audit Office of Estonia, o artigo
da pesquisadora Jasmijn Bol que aborda a medio de desempenho individual, alm do artigo
sobre redes de pesquisa sobre governana da australiana Jenny Lewis.
351
Uma anlise complementar a partir dos resultados do CiteSpace II revela que os autores
mais influentes e centrais esto concentrados no componente principal (cluster 9). O grfico 3
apresenta os 15 autores mais cocitados, que pertencem ao cluster 9 (figura 4).
O autor mais citado e central Christopher Pollitt, autor de vrios livros de referncia
na rea da administrao pblica. Alm dos autores convencionais, destacam-se tambm os
relatrios de auditoria da Comisso de Auditoria para a Inglaterra e Pas de Gales, que inclui
os governos municipais, a polcia e o Servio Nacional de Sade.
A presena da literatura no convencional ou literatura cinzenta (grey literature) demonstra a importncia dos relatrios como referncias para os artigos sobre medio de desempenho na gesto pblica. Segundo Crtes (2006), frequente o uso de relatrios tcnicos,
balanos contbeis, informes governamentais e boletins tcnicos na fundamentao de procedimentos, anlise de desempenho e avaliao da competitividade de determinados setores. Neste
sentido, Crtes (2006) afirma que a literatura cinzenta disponvel em sites de rgos oficiais e
instituies no governamentais constitui fontes primordiais de informaes setoriais.
Grfico 3
Relao dos 15 autores mais citados e/ou influentes identificados nos artigos da amostra

352
A anlise das cocitaes permitiu identificar os autores mais citados, os mais centrais, e
ainda revelou que a literatura cinzenta exerce grande influncia no tema medio de desempenho na gesto pblica.
A seo seguinte analisa as cocitaes das referncias mais importantes considerando
citao e centralidade e os pares de documentos mais importantes.
3.3 Anlise das cocitaes de referncias

Essa ltima anlise est sobre as relaes de coocorrncia das citaes em trabalhos de terceiros a partir da abordagem de similaridade entre referncias DCA (Document Co-citation
Analysis) pelo CiteSpace II (Chen, 2006).
Com o objetivo de eliminar as referncias duplicadas, considerando todas as referncias
da amostra, procedeu-se ao refinamento dos dados, que envolveu a gerao da rede, seguido
pela conferncia das referncias em uma planilha eletrnica, o que permitiu padroniz-las.
O refinamento foi realizado trs vezes, at a gerao de uma rede de cocitaes figura 5
composta por 1.087 ns (referncias), 4.209 links (conexes), 72 clusters de cocitaes,
totalizando 12.162 referncias (93,89% do total).
A densidade da rede de 0,71%, o que indica uma baixa conectividade. Na parte central da rede observa-se o principal cluster (48), constitudo por 228 membros, tendo 1998
como principal ano de publicao. Esto identificados na figura os clusters 44, 19, 71 e 53, que
formam, juntamente com o 48, os cinco principais clusters de cocitaes de referncias. Os rtulos da ilustrao do lado direito identificam as referncias com citao maior ou igual a 10.
Figura 5
Rede completa de documentos cocitados pelos artigos da

amostra e componente principal cluster 48

353
No principal componente (cluster 48), com maior nmero de documentos cocitados, a

citao mais atual o captulo de livro The UK Research Assessment Exercise (RAE) de Martin e
Whitley (2010) em Reconfiguring knowledge production: changing authority relationships in the
sciences and their consequences for intellectual. O captulo trata da avaliao da pesquisa nas
universidades vinculada a dotaes financeiras. A referncia mais antiga presente no principal cluster o artigo de Flanagan, publicado em 1954 no peridico Psychological Bulletin, que
aborda os requisitos comportamentais para medidas de desempenho.
O cluster 44 apresenta 49 membros em sua composio, com publicaes predominantes em 1984. A referncia mais recente a de Ezzamel (1994), que analisa o sistema de
oramentao no processo de mudana organizacional em uma Universidade do Reino Unido,
em um contexto de reduo de financiamento estatal. J a referncia mais antiga no cluster
o artigo de Gouldner (1957), que estuda os papis sociais analisando o vnculo do indivduo
no contexto do trabalho. A referncia com maior grau de centralidade o artigo de Freidson
(1984) que aborda a sociologia da sade.
O cluster 19 est isolado em relao aos demais, sendo constitudo por 39 referncias
publicadas predominantemente em 1974. Dentre os cinco maiores clusters, o 19 o que possui
as publicaes mais antigas, como o livro Politics, economics and welfare de Dahl e Lindblom
(1953) sobre organizaes e economia poltica, que tambm apresenta a maior frequncia no
mbito do cluster. No cluster 19, no foram observadas referncias centrais ao se considerar o
total de referncias.
No cluster 53, as 34 referncias agrupadas foram publicadas predominantemente em
1993, sendo a referncia mais recente a de Adair e colaboradores (2003), que trata de uma
reviso da literatura sobre medio de desempenho no sistema de sade e servios de sade
mental. Esse cluster apresenta referncias com alto grau de citao, considerando o total da
amostra, como Pollitt (1993) e Carter e colaboradores (1992), sendo o artigo de Neil Carter
o mais influente no grupo, pois possui a maior centralidade (0,08).
As 28 referncias do cluster 71 foram publicadas no perodo de 1980 a 1990, e os mais
recentes so os artigos de DellOmo (1990) e Couper (1990). J o mais antigo Goodwin
(1979).
Na identificao das referncias mais importantes dos artigos da amostra, foram consideradas a frequncia de citao e a centralidade. A partir desses dois indicadores bibliomtricos, as 10 cocitaes mais frequentes e as 10 mais centrais dispostas no grfico 4, resultando
em 15 referncias (figura 5), constituindo-se por nove artigos e seis livros.
A referncia mais frequente o livro de Osborne e Gaebler (1992), seguido pelo artigo
de Hood (1995) e o artigo de Poister e Streib (1999). J as referncias mais centrais so as
de Brignall e Modell (2000), o artigo de Dimaggio e Powell (1983) e o livro de Carter e colaboradores (1992).
A partir dos dados do grfico 4, foi gerada uma rede de cocitaes no NetDraw (figura
6), considerando as 15 referncias mais influentes. A rede apresenta os artigos citados conjuntamente, considerando as referncias mais citadas na amostra. O tamanho do n representa a
frequncia da referncia e a espessura da linha representa a frequncia da parceria.
354
Grfico 4
Referncias mais citadas e centrais identificadas nos artigos da amostra

Nota: O nmero entre colchetes representa o cluster da referncia.
Os pares de documentos com maior nmero de cocitao so os trabalhos de Kaplan e

Norton (artigo de 1992 e livro de 1996); os artigos de Melkers e Willoughby (2005) e Julnes
e Holzer (2001); e os artigos de Melkers e Willoughby (2005) e Poister e Streib (1999).
Como resultado, pode-se argumentar que as referncias clssicas da administrao pblica que tratam da questo da reforma da gesto pblica constituem uma base importante
para a pesquisa em medio de desempenho na gesto pblica, como o livro dos consultores
americanos Osborne e Gaebler (1992), Reinventing government, que destaca a ideia de governo empreendedor com nfase nos resultados da gesto pblica. Outro clssico presente
o artigo de Christopher Hood publicado em 1995 no peridico Accounting Organizations and
Society, com enfoque na discusso sobre o New Public Management (NPM) como alternativa
355
para a administrao pblica tradicional. O NPM tambm tema do livro de Christopher

Pollitt e Geert Bouckaert (2004), pesquisadores da Universidade de Oxford.
Figura 6
Rede de cocitaes das 15 referncias mais frequentes/influentes
Fonte: Elaborao prpria a partir do Sitkis.

Nota: Retirou-se a citao de Freidson (1984) por no apresentar coocorrncia com os documentos mais cocitados.
Tambm merece destaque a presena do artigo de Paul Dimaggio e Walter Powell

(1983), que aborda a homogeneizao das formas e prticas organizacionais.
Quanto s referncias que tratam especificamente da medio de desempenho, destacam-se na formao do corpo terico os trabalhos de Kaplan e Norton (artigo de 1992 e livro
de 1996). O modelo de medio de desempenho Balanced Scorecard (BSC) proposto por
Kaplan e Norton (1992) o modelo de medio de desempenho mais difundido do mundo
(Tezza et al., 2010).
Foi possvel identificar, por meio das cocitaes mais frequentes e tambm as com maior
grau de centralidade, um grupo de artigos e livros que abordam especificamente a medio
de desempenho no contexto da gesto pblica, sendo eles: Poister e Streib (1999), Melkers e
Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e
colaboradores (1992) e Radin (2006).
A anlise das cocitaes de referncias evidenciou que existe uma baixa conectividade
entre os autores citados na rede, que apresentou quatro agrupamentos (clusters) que se destaRev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015
356
cam. Essa anlise tambm possibilitou identificar as referncias mais importantes considerando citao e centralidade e tambm os pares de documentos mais importantes.
4. Dados obtidos na base SciELO

Com a finalidade de levantar a produo nacional sobre o tema medio de desempenho na
gesto pblica, foi realizada uma busca na base de dados SciELO Brasil. Essa base foi escolhida em funo do acesso aberto, qualidade e prestgio atribudo aos peridicos no cenrio
cientfico brasileiro (Santos e Noronha, 2013).
Os termos utilizados na busca da base SciELO foram medio de desempenho ou
avaliao de desempenho combinados com pblico ou pblica. A busca resultou em 12
artigos publicados no perodo de 2002 a 2013, que so apresentados na Tabela 4.
Ta b e l a 4
A amostra de artigos da SciELO

Autoria
Ttulo
Peridico
Citaes
SciELO
Szwarcwald e
colaboradores (2005)
Desigualdades socioeconmicas em sade no Brasil:

resultados da Pesquisa Mundial de Sade, 2003
Revista Brasileira de Sade

Materno Infantil
16
Sancho e colaboradores
(2011)
Avaliao da efetividade da rede municipal pblica

de apoio diagnstico em patologia clnica: o caso de
Belo Horizonte (MG)
Cincias & Sade Coletiva
Bonacim e Araujo
(2011)
Avaliao de desempenho econmico-financeiro

dos servios de sade: os reflexos das polticas
operacionais no setor hospitalar
Ubeda e Santos (2008)
Os principais desafios da gesto de competncias

humanas em um instituto pblico de pesquisa
Gesto & Produo
Pierantoni e
colaboradores (2011)
Avaliao de desempenho: discutindo a tecnologia

para o planejamento e gesto de recursos humanos
em sade
Revista da Escola de
Enfermagem da USP
Lotta (2002)
Avaliao de desempenho na rea pblica:

perspectivas e propostas frente a dois casos prticos
RAE Eletrnica
Bonacim e Araujo
(2010)
Influncia do capital intelectual na avaliao de

desempenho aplicada ao setor hospitalar
Fonseca e Vieira (2011)
Anlise pluridisciplinar das situaes de trabalho: para

alm da avaliao de desempenho dos trabalhadores
do setor de sade pblica no estado de Minas Gerais
Sade e Sociedade
Varela e colaboradores
(2012)
Desempenho dos municpios paulistas: uma

avaliao de eficincia da ateno bsica sade
Revista de Administrao
(So Paulo) RAUSP
Mota e colaboradores
(2012)
Avaliao do Sistema de Vigilncia Sanitria do

Sangue em mbito federal, Brasil, 2007
0
Continua
357
Autoria
Ttulo
Peridico
Citaes
SciELO
Braz e colaboradores
(2013)
Avaliao da completude da varivel raa/cor nos

sistemas nacionais de informao em sade para
aferio da equidade tnico-racial em indicadores
usados pelo ndice de Desempenho do Sistema
nico de Sade
Sade em Debate
Moraes e Iguti (2013)
Avaliao do desempenho do trabalhador como

forma peculiar de prescrio do trabalho: uma
anlise do PMAQ-AB
Sade em Debate
0
21
A evoluo temporal das publicaes, bem como das citaes concedidas por publicaes da base SciELO, pode ser observada no grfico 5. A linha slida representa a evoluo
das publicaes e a tracejada a das citaes. Pode-se observar que o nmero de publicaes
e citaes crescente, com pico de publicaes em 2011 (total de quatro) e de citaes em
2012 (total de sete).
Grfico 5
Publicaes e citaes na base SciELO
A anlise dos 12 artigos apontou que o total de 21 citaes recebidas por artigos da base
SciELO est concentrado em quatro artigos, 33% do total.
Por meio da anlise dos artigos da amostra SciELO foram identificados sete trabalhos
voltados avaliao de desempenho organizacional do setor da sade e cinco relacionados
358
com o desempenho do indivduo. Dos artigos voltados ao desempenho do trabalhador, trs

tm como foco a rea da sade e, com um cada, tem-se como local de pesquisa o instituto de
pesquisa pblico e as prefeituras municipais.
Quanto aos artigos relacionados com a avaliao do desempenho da organizao,
o artigo de Szwarcwald e colaboradores (2005) o que recebeu o maior nmero de citaes na base SciELO. Os autores, por meio de informaes coletadas na Pesquisa Mundial
de Sade (PMS), abordam a avaliao de desempenho do sistema de sade brasileiro,
apresentando evidncias de desigualdades socioeconmicas que devem ser consideradas
nas polticas pblicas do sistema de sade. J o artigo de Varela e colaboradores (2012)
prope uma metodologia de avaliao de desempenho dos municpios paulistas em aes
de ateno sade.
O artigo de Mota e colaboradores (2012) aborda a avaliao de desempenho do Sistema de Vigilncia Sanitria de Sangue em mbito federal, enquanto o artigo de Sancho e
colaboradores (2011) enfoca a avaliao da rede municipal pblica de apoio diagnstico em
patologia clnica em Belo Horizonte (MG). J a avaliao econmica de hospital universitrio
pblico tema dos artigos de Bonacim e Araujo (2010, 2011).
O artigo de Braz e colaboradores (2013) aborda a qualidade da informao, especificamente a varivel raa/cor, no mbito do ndice de Desempenho do Sistema nico de Sade
institudo pelo Ministrio da Sade.
No tocante aos trabalhos voltados avaliao de desempenho do indivduo tambm h
um predomnio dos artigos voltados rea da sade, como Fonseca e Vieira (2011), Pierantoni e colaboradores (2011) e Moraes e Iguti (2013).
O artigo de Ubeda e Santos (2008) aborda a avaliao de desempenho como forma
de identificar as competncias individuais em um instituto pblico de pesquisa, enquanto a
pesquisa de Lotta (2002) trata da avaliao de desempenho de trabalhadores em duas prefeituras, So Paulo (Brasil) e Sonthofen (Alemanha).
Os artigos coletados tiveram suas publicaes concentradas em oito peridicos (tabela
5). Observa-se uma concentrao das publicaes nove (75%) em peridicos da rea da
sade, destacando-se o peridico Cincias & Sade Coletiva com quatro artigos (33% do total
da amostra).
Nota-se tambm a presena de artigos sobre medio de desempenho na gesto pblica
em peridicos de outras reas como Cincias Sociais Aplicadas, RAE Eletrnica, Revista de Administrao (So Paulo) RAUSP e Gesto & Produo na rea de Engenharias.
No perodo de 2010 a 2013, foram publicados nove trabalhos cientficos, o triplo da
quantidade de artigos publicados na dcada anterior.
Analisando as referncias, observa-se uma pulverizao das citaes, com apenas cinco
(1,48%) do total de referncias (337) recebendo mais de uma citao pelos artigos da amostra. Dessa forma, no foi possvel evidenciar uma referncia e autor de destaque. Nas referncias dos artigos analisados na base SciELO no foram observadas convergncias significativas
com as referncias identificadas na base do WoS.
359
Ta b e l a 5
Publicaes nos peridicos que publicaram sobre medio de desempenho

na gesto pblica na base SciELO
2000
a
2009
2010
a
2013
Total
Gesto & Produo
RAE Eletrnica
Revista de Administrao (So Paulo) RAUSP
Revista Brasileira de Sade Materno Infantil
Revista da Escola de Enfermagem da USP
Sade em Debate
Sade e Sociedade
Total
12
Peridico
5. Consideraes finais
A partir desta pesquisa foi possvel apresentar um panorama da produo intelectual no campo da medio de desempenho na gesto pblica na Web of Science, por meio da anlise
bibliomtrica. Para fins de comparao com a produo nacional tambm foram analisados
artigos da base SciELO.
A pesquisa efetuada permitiu constatar que na WoS tanto as publicaes quanto as
citaes relacionadas com a medio de desempenho na gesto pblica tiveram um aumento
expressivo a partir de 1997, poca em que surgiu a Nova Gesto Pblica (New Public Management).
As publicaes sobre medio de desempenho na gesto pblica surgiram em sua maioria a partir de 2008 e os 10 artigos mais citados tm suas publicaes entre os perodos de
1996 e 2006. Isso demonstra que o campo de pesquisa recente e emergente.
Os journals que mais se destacaram em relao temtica em estudo foram cinco:
International Review of Administrative Sciences, Public Administration Review, Public Money &
Management, The International Journal of Human Resource Management, Review of Public Personnel Administration e International Journal of Operations & Production Management. Os trs
primeiros esto relacionados com a administrao pblica e os dois ltimos relacionam-se s
reas de gesto de pessoas e de gesto de operaes.
Outra evidncia dessa pesquisa indica que as parcerias de pesquisa esto concentradas
nos Estados Unidos, Canad, Europa e Austrlia, com destaque para Estados Unidos e InglaRev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015
360
terra. No que tange instituio de pesquisa, a Universidade de Manchester, na Inglaterra,

a que apresenta o maior nmero de artigos, com destaque para os pesquisadores Claire Moxham, Paul Clarkson e Sven Modell.
A pesquisa tambm revela o autor Christopher Pollitt como de maior destaque, sendo
referncia na rea da administrao pblica devido publicao de vrios livros.
Outro destaque est para a literatura no convencional ou literatura cinzenta (grey
literature, em ingls), demonstrando a relevncia para o tema de medio de desempenho na
gesto pblica como os relatrios de auditoria da Comisso de Auditoria para a Inglaterra e
Pas de Gales.
A pesquisa tambm permitiu identificar os pares de documentos com maior nmero de
cocitaes, que so: Kaplan e Norton (artigo de 1992 e livro de 1996); os artigos de Melkers
e Willoughby (2005) e Julnes e Holzer (2001); e os artigos de Melkers e Willoughby (2005)
e Poister e Streib (1999). Ao lado disso, pde-se perceber que os trabalhos de Kaplan e Norton, tanto no artigo de 1992 quanto no livro de 1996, so utilizados para a insero do tema
medio de desempenho na gesto pblica. J os trabalhos que fazem mediao dos temas
medio de desempenho e gesto pblica so os seguintes: Poister e Streib (1999), Melkers e
Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e
colaboradores (1992) e Radin (2006).
Quanto produo nacional, o tema medio de desempenho no setor pblico revelou-se como emergente na base SciELO com pico de publicaes em 2011 e de citaes em
2012. Observa-se uma concentrao de artigos em peridicos da rea da sade, com destaque para o Cincias & Sade Coletiva e o Sade em Debate. O achado da literatura cinzenta
tambm foi identificado na pesquisa da base SciELO, com destaque para os instrumentos
legais e normativos como do Ministrio da Sade e da Agncia Nacional de Vigilncia Sanitria (Anvisa). Dadas a limitao do tamanho da amostra nacional e a pulverizao das
citaes concedidas no foi possvel destacar um autor ou uma referncia dos dados provenientes da base SciELO.
Outra contribuio deste artigo est no prprio mtodo de anlise dos dados da WoS,
na medida em que apresenta a integrao entre softwares de anlises bibliomtricas e acrescenta a etapa de validao e padronizao das referncias. A integrao dos softwares Sitkis,
Netdraw e CiteSpace II possibilitou que a rede fosse refinada, isolando os pares de documentos mais cocitados. J a validao e padronizao concederam maior confiabilidade dos
indicadores de centralidade e frequncia de autores e documentos ao eliminar as referncias
duplicadas e corrigir erros de importao dos dados dos softwares.
Finalmente, pode-se concluir que a literatura sobre medio de desempenho na gesto
pblica emergente, sendo composta por livros, relatrios tcnicos e artigos cientficos. Isso
abre muitas possibilidades de pesquisa, como a de estudar os autores mais citados ou cocitados, alm da anlise bibliomtrica, para identificar suas caractersticas, o porqu de eles
serem to populares, e assim por diante. Tambm seria interessante estudar, por meio de
anlise de contedo, os autores que servem de ligao entre os demais autores e, ainda, os
peridicos apontados como mais importantes.
361
Uma limitao imposta pela abordagem metodolgica refere-se delimitao da amostra extrada da base de dados internacional (Web of Science) e nacional (SciELO). Por isso,
possvel que alguns artigos aderentes ao tema possam no ter sido selecionados.
Referncias
ADAIR, Carol E. et al. History and measurement of continuity of care in mental health services and
evidence of its role in outcomes. Psychiatric Services, v. 54, n. 10, p. 1351-1356, 2003.
BEHN, Robert D. Why measure performance? Different purposes require different measures. Public
Administration Review, v. 63, n. 5, p. 586-606, 2003.
BITITCI, Umit et al. Performance measurement: challenges for tomorrow. International Journal of
Management Reviews, v. 14, n. 3, p. 305-327, 2012.
BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Avaliao de desempenho econmico-financeiro
dos servios de sade: os reflexos das polticas operacionais no setor hospitalar. Cinc. Sade Coletiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1055-1069, 2011.
BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Influncia do capital intelectual na avaliao
de desempenho aplicada ao setor hospitalar. Cinc. Sade Coletiva, Rio de Janeiro, v. 15, n. supl.
1, p. 1249-1261, jun. 2010.
BORGATTI, Stephen P. NetDraw: graph visualization software. Harvard: Analytic Technologies,
2002.
BOURNE, M. et al. Designing, implementing and updating performance measurement systems.
International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000.
BRAZ, Rui M. et al. Avaliao da completude da varivel raa/cor nos sistemas nacionais de informao em sade para aferio da equidade tnico-racial em indicadores usados pelo ndice de
Desempenho do Sistema nico de Sade. Sade Debate, Rio de Janeiro, v. 37, n. 99, p. 554-562,
dez. 2013.
BRIGNALL, Stan; MODELL, Sven. An institutional perspective on performance measurement and
management in the new public sector. Management Accounting Research, v. 11, n. 3, p. 281-306,
2000.
BUFREM, Leilah; PRATES, Yara. O saber cientfico registrado e as prticas de medio da informao. Cincia da Informao, Braslia, v. 34, n. 2, p. 9-25, mar. 2005.
CARTER, Neil; DAY, Patricia; KLEIN, Rudolf. How organisations measure success: the use of performance indicators in government. Londres: Routledge, 1992.
CATELLI, Armando; SANTOS, Edilene S. Mensurando a criao de valor na gesto pblica. Rev.
Adm. Pblica, Rio de Janeiro, v. 38, n. 3, p. 423-449, ago. 2004.
362
CHADEGANI, Arif C. et al. A comparison between two main academic literature collections: Web
of Science and Scopus databases. Asian Social Science, v. 9, n. 5, p. 18-26, 2013.
Chen, Chaomei. CiteSpace II: detecting and visualizing emerging trends and transient patterns in
scientific literature. Journal of the American Society for Information Science and Technology, v. 57,
n. 3, p. 359-377, 2006.
CRTES, Pedro L. A importncia da literatura cinzenta disponvel na internet para as reas de
Cincias Contbeis e Administrao de Empresas. Revista Brasileira de Gesto de Negcios, v. 8,
n. 20, p. 13-22, 2006.
COUPER, David C. Police department learns 10 hard quality lessons. Quality Progress, v. 23, n. 10,
p. 37-40, 1990.
DAHL, Robert A.; LINDBLOM, Charles E. Politics, economics, and welfare. Piscataway: Transaction
Publishers, 1953.
DELLOMO, Gregory G. Capturing arbitrator decision policies under a public sector interest arbitration statute. Review of Public Personnel Administration, v. 10, n. 2, p. 19-38, 1990.
DIMAGGIO, Paul J.; POWELL, Walter W. The iron cage revisited: institutional isomorphism and collective rationality in organizational fields. American Sociological Review, v. 48, n. 2, p. 147-160, 1983.
EZZAMEL, Mahmoud. Organizational change and accounting: understanding the budgeting system
in its organizational context. Organization Studies, v. 15, n. 2, p. 213-240, 1994.
FERNANDEZ, Sergio; RAINEY, Hal G. Managing successful organizational change in the public
sector. Public Administration Review, v. 66, n. 2, p. 168-176, 2006.
FLANAGAN, John C. The critical incident technique. Psychological Bulletin, v. 51, n. 4, p. 327,
1954.
FONSECA, Joo C. de F.; VIEIRA, Carlos E. C. Anlise pluridisciplinar das situaes de trabalho:
para alm da avaliao de desempenho dos trabalhadores do setor de sade pblica no estado de
Minas Gerais. Sade Soc., So Paulo, v. 20, n. 2, p. 390-397, jun. 2011.
FRANCO-SANTOS, Monica et al. Contemporary performance measurement systems: a review of
their consequences and a framework for research. Management Accounting Research, v. 23, n. 2,
p. 79-119, 2012.
FRANCO-SANTOS, Monica et al. Towards a definition of a business performance measurement system. International Journal of Operations & Production Management, v. 27, n. 8, p. 784-801, 2007.
FREIDSON, Eliot. The changing nature of professional control. Annual Review of Sociology, v. 10,
p. 1-20, 1984.
GARFIELD, Eugene. Is citation analysis a legitimate evaluation tool? Scientometrics, Amsterd,
v. 1, n. 4, p. 359-375, 1979.
363
GONZLEZ, Mario O. A.; TOLEDO, Jos Carlos de. A integrao do cliente no processo de desenvolvimento de produto: reviso bibliogrfica sistemtica e temas para pesquisa. Produo, So Paulo,
v. 22, n. 1, p. 14-26, 2012.
GOODWIN, Van Allyn. Federal sector arbitration under the civil service reform act of 1978. San
Diego L. Rev., v. 17, n. 4, p. 857-894, 1979.
GOULDNER, A. W. Cosmopolitans and locals: toward an analysis of latent social rotes I. Administrative Science Quarterly, v. 2, n. 3, p. 281-306, 1957.
Hanneman, Robert A.; Riddle, Mark. Introduction to social network methods. Riverside, CA:
University of California, 2005.
HEFETZ, Amir; WARNER, Mildred. Privatization and its reverse: explaining the dynamics of the
government contracting process. Journal of Public Administration Research and Theory, v. 14, n. 2,
p. 171-190, 2004.
HEINRICH, Carolyn J. Outcomes-based performance management in the public sector: implications for government accountability and effectiveness. Public Administration Review, v. 62, n. 6, p.
712-725, 2002.
HOOD, Christopher. The New Public Management in the 1980s: variations on a theme. Accounting, organizations and society, v. 20, n. 2, p. 93-109, 1995.
JULNES, Patria de L.; HOLZER, Marc. Promoting the utilization of performance measures in public
organizations: An empirical study of factors affecting adoption and implementation. Public Administration Review, v. 61, n. 6, p. 693-708, 2001.
KAPLAN, Robert S.; NORTON, David P. The balanced scorecard measures that drive performance.
Harvard Business Review, v. 70, n. 1, p. 71-79, jan./fev. 1992.
KAPLAN, Robert S.; NORTON, David P. The balanced scorecard: translating strategy into action.
Nova York: Harvard Business Review Press, 1996.
KRAVCHUK, Robert S.; SCHACK, Ronald W. Designing effective performance-measurement systems
under the Government Performance and Results Act of 1993. Public Administration Review, v. 56,
n. 4, p. 348-358, 1996.
Lacerda, Rogrio T. O. et al. Uma anlise bibliomtrica da literatura sobre estratgia e avaliao
de desempenho. Gesto & Produo, v. 19, n. 1, p. 59-78, 2012.
LOTTA, Gabriela S. Avaliao de desempenho na rea pblica: perspectivas e propostas frente a
dois casos prticos. RAE electron., So Paulo, v. 1, n. 2, p. 1-12, dez. 2002. Disponvel em: <www.
scielo.br/scielo.php?script=sci_arttext&pid=S1676-56482002000200012&lng=pt&nrm=iso>.
Acesso em: 15 jul. 2014.
MARTELETO, Regina M. Anlise de redes sociais aplicao nos estudos de transferncia da informao. Cincia da Informao, Braslia, v. 30, n. 1, p. 71-81, jan./abr. 2001.
364
MARTIN, Ben; WHITLEY, Richard. The UK research assessment exercise: a case of regulatory capture? In: Whitley, Richard; Glaeser, Jochen; Engwall, Lars (Ed.). Reconfiguring knowledge
production changing authority relationships in the sciences and their consequences for intellectual
innovation. Oxford: Oxford University Press, 2010. p. 51-80.
MELKERS, Julia; WILLOUGHBY, Katherine. Models of performance-measurement use in local
governments: understanding budgeting, communication, and lasting effects. Public Administration
Review, v. 65, n. 2, p. 180-190, 2005.
MOON, M. Jae et al. Municipal reinvention: managerial values and diffusion among municipalities.
Journal of Public Administration Research and Theory, v. 11, n. 3, p. 327-352, 2001.
MORAES, Paulo N. de; IGUTI, Aparecida M. Avaliao do desempenho do trabalhador como forma
peculiar de prescrio do trabalho: uma anlise do PMAQ-AB. Sade Debate, Rio de Janeiro, v. 37,
n. 98, p. 416-426, set. 2013.
MOTA, Daniel M. et al. Avaliao do Sistema de Vigilncia Sanitria do Sangue em mbito federal,
Brasil, 2007. Cinc. Sade Coletiva, Rio de Janeiro, v. 17, n. 1, p. 191-202, jan. 2012.
MOTTA, Paulo Roberto de M. O estado da arte da Gesto Pblica. RAE-Revista de Administrao de
Empresas, v. 53, n. 1, p. 82-90, 2013.
MOYNIHAN, Donald P. Managing for results in state government: evaluating a decade of reform.
Public Administration Review, v. 66, n. 1, p. 77-89, 2006.
MUGNAINI, Rogrio et al. Indicadores bibliomtricos da produo cientca brasileira: uma anlise
a partir da base Pascal. Cincia da Informao, Braslia, v. 33, n. 2, p. 123-131, 2004.
NUDURUPATI, S. S. et al. State of the art literature review on performance measurement. Computers & Industrial Engineering, v. 60, n. 2, p. 279-290, 2011.
OSBORNE, David; GAEBLER, Ted. Reinventing government: how the entrepreneurial spirit is transforming the public sector. Reading, MA: Addison-Wesley, 1992.
PIERANTONI, Celia Regina et al. Avaliao de desempenho: discutindo a tecnologia para o planejamento e gesto de recursos humanos em sade. Rev. Esc. Enferm. USP, So Paulo, v. 45, n. spe,
p. 1627-1631, dez. 2011.
POISTER, Theodore H.; STREIB, Gregory D. Strategic management in the public sector: concepts,
models, and processes. Public Productivity & Management Review, v. 22, n. 3, p. 308-325, 1999.
POLLITT, Christopher. Managerialism and the public services: cuts or cultural change in the 1990s?
Oxford: Blackwell, 1993.
POLLITT, Christopher; BOUCKAERT, Geert. Reforma managementului public: analiz comparat.
Status: Published, 2004.
PRATCHETT, Lawrence. New technologies and the modernization of local government: an analysis
of biases and constraints. Public Administration, v. 77, n. 4, p. 731-751, 1999.
365
RADIN, Beryl. Challenging the performance movement: accountability, complexity, and democratic
values. Washington, DC: Georgetown University Press, 2006.
SANCHO, Leyla G.; VARGENS, Jos M. da C.; SANCHO, Rafael G. Avaliao da efetividade da rede
municipal pblica de apoio diagnstico em patologia clnica: o caso de Belo Horizonte (MG). Cinc.
Sade Coletiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1135-1144, 2011.
SANDERSON, Ian. Performance management, evaluation and learning in modern local government. Public Administration, v. 79, n. 2, p. 297-313, 2001.
SANO, Hironobu; ABRUCIO, Fernando Luiz. Promessas e resultados da Nova Gesto Pblica no
Brasil: o caso das organizaes sociais de sade em So Paulo. Revista de Administrao de Empresas,
v. 48, n. 3, p. 64-80, 2008.
SANTOS, Solange M. dos; NORONHA, Daisy P. Peridicos brasileiros de cincias sociais e humanidades indexados na base SciELO: caractersticas formais. Perspect. Cinc. Inf., Belo Horizonte, v.
18, n. 2, p. 2-16, jun. 2013.
Schildt, H. A. SITKIS: software for bibliometric data management and analysis v0.6.1. Helsinki:
Institute of Strategy and International Business, 2002.
SPEKL, Roland F.; VERBEETEN, Frank H. M. The use of performance measurement systems in the
public sector: effects on performance. Management Accounting Research, v. 25, n. 2, p. 131-146, 2014.
SPINAK, Ernesto. Diccionrio enciclopdico de bibliometra, cienciometra e informetra. Montevidu:
Unesco, 1996.
SZWARCWALD, Clia L. et al. Desigualdades socioeconmicas em sade no Brasil: resultados da
Pesquisa Mundial de Sade, 2003. Rev. Bras. Sade Mater. Infant., Recife, v. 5, supl. 1, p. S11-S22,
dez. 2005.
TAGUE-SUTCKIFFE, Jean. An introduction to informetrics. Information Processing & Management,
v. 28, n. 1, p. 1-3, 1992.
TAHAI, Alireza; MEYER Meyer J. A revealed preference study of management journals direct influences. Strategic Management Journal, v. 20, n. 3, p. 279-296, 1999.
TAYLOR, Andrew; TAYLOR, Margaret. Operations management research: contemporary themes,
trends and potential future directions. International Journal of Operations & Production Management,
v. 29, n. 12, p. 1316-1340, 2009.
TEZZA, Rafael et al. Sistemas de medio de desempenho: uma reviso e classificao da literatura.
Gesto & Produo, So Carlos, v. 17, n. 1, p. 75-93, jan./mar. 2010.
TOWNLEY, Barbara. The institutional logic of performance appraisal. Organization Studies, v. 18,
n. 2, p. 261-285, 1997.
TOWNLEY, Barbara et al. Performance measures and the rationalization of organizations. Organization Studies, v. 24, n. 7, p. 1045-1071, 2003.
366
UBEDA, Cristina L.; SANTOS, Fernando C. A. Os principais desafios da gesto de competncias

humanas em um instituto pblico de pesquisa. Gest. Prod., So Carlos, v. 15, n. 1, p. 189-199, abr.
2008.
VANZ, Samile A. de S.; CAREGNATO, Snia E. Estudos de citao: uma ferramenta para entender
a comunicao cientfica. Em Questo, Porto Alegre, v. 9, n. 2, p. 295-307, jul./dez. 2003.
VARELA, Patrcia S. et al. Desempenho dos municpios paulistas: uma avaliao de eficincia da
ateno bsica sade. Rev. Adm. (So Paulo), So Paulo, v. 47, n. 4, p. 624-637, dez. 2012.
WASSERMAN, Stanly; FAUST, Katherine. Social network analysis: methods and applications. Cambridge: University Press, 1994.
rica Kushihara Akim especialista em gesto pblica pela Universidade Federal de So Carlos (UFSCar).
E-mail: ericakim@ufscar.br.
Ricardo Coser Mergulho professor do Programa de Ps-Graduao em Engenharia de Produo da
Universidade Federal de So Carlos Sorocaba (UFSCar). E-mail: mergulhao@ufscar.br.

Panorama Da Produção Intelectual Sobre A Medição de Desempenho Na Gestão Pública

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Panorama Da Produção Intelectual Sobre A Medição de Desempenho Na Gestão Pública

Enviado por

Direitos autorais:

Formatos disponíveis

Panorama da produo intelectual sobre a medio de

desempenho na gesto pblica

Universidade Federal de So Carlos (UFSCar)

Ricardo Coser Mergulho

Universidade Federal de So Carlos (UFSCar)

medicin del desempeo; gestin pblica; anlisis bibliomtrico.

rica Kushihara Akim Ricardo Coser Mergulho

Overview of the intellectual production of performance measurement in public management

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica

rica Kushihara Akim Ricardo Coser Mergulho

J a anlise de cocitao indica a relao e frequncia dos pares de documentos que so

Etapas da anlise bibliomtrica

Fonte: Elaborao prpria a partir do software Bizagi Processo Modeler.

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica

rica Kushihara Akim Ricardo Coser Mergulho

3. Dados obtidos na base Web of Science

3.1 Anlise das publicaes

Publicaes e citaes entre 1980 e fevereiro de 2013

Fonte: Elaborao prpria.

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica

Artigos mais citados, no perodo de 1980 a 2013 (at fevereiro)

Privatization and its reverse: explaining the

Journal of Public Administration

Managing successful organizational change

Public Administration Review

Outcomes-based performance management Public Administration Review

Designing effective performancemeasurement systems under the

Public Administration Review

Performance management, evaluation and

Performance measures and the

Moon e colaboradores (2001)

Municipal reinvention: managerial values

The institutional logic of performance

Managing for results in state government:

Public Administration Review

New technologies and the modernization of

Fonte: Elaborao prpria.

A dinmica do processo de contratao o tema central de Hefetz e Warner (2004).

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

rica Kushihara Akim Ricardo Coser Mergulho

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica

Fonte: Elaborao prpria.

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

rica Kushihara Akim Ricardo Coser Mergulho

Publicaes nos peridicos que mais publicaram sobre medio

International Review of Administrative Sciences

Public Administration Review

Public Money & Management

Public Management Review

Australian Journal of Public Administration

The Journal of Public Administration Research and Theory

The International Journal of Human Resource Management

Review of Public Personnel Administration

American Review of Public Administration

Public Personnel Management

Public Administration and Development

International Journal of Operations & Production Management

Local Government Studies

Fonte: Elaborao prpria.

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica