1898 7306 1 PB PDF

Indicadores cientomtricos normalizados: um estudo na Maria Cludia Cabrini Grcio;
produo cientfica brasileira internacional (1996 a 2011) Ely Francina Tannuri de Oliveira
Indicadores cientomtricos
normalizados: um estudo na produo
cientfica brasileira internacional
(1996 a 2011)
Maria Cludia Cabrini Grcio
Docente do Programa de Ps-Graduao em

Cincia da Informao da UNESP - Marlia.
Ely Francina Tannuri de Oliveira
Livre-Docente em Estudos Bibliomtricos em

Cincia da Informao do Programa de Ps-
Graduao e do Departamento de Cincia da
Informao da UNESP - Marlia.
http://dx.doi.org/10.1590/1981-5344/1898
Nesta pesquisa, objetiva-se: analisar comparativamente

os indicadores cientomtricos normalizados de produo e
de citao da pesquisa brasileira, nas 27 reas do
conhecimento, a partir dos dados apresentados no
portal SCImago Journal & Country Rank, no perodo de
1996 a 2011; avaliar a correlao entre esses
indicadores, a fim de se verificar se a insero e o
impacto apresentam-se associados no desempenho
brasileiro; e agrupar as reas por meio das similaridades
dos indicadores analisados. Como procedimento, para
cada rea, calcularam-se a porcentagem de peridicos
brasileiros, a partir da opo Journal Rankings, e o ndice
normalizado brasileiro para os indicadores em anlise, a
partir da opo Country Rankings. A seguir, calcularam-se
as correlaes de Pearson entre os indicadores e realizou-
se a anlise de cluster, a fim de se agrupar as 27 reas
em funo das similaridades nos indicadores. Como
resultados, constatou-se que o Brasil ocupa posio acima
da mdia dos pases produtores, para todos os ndices
normalizados. Com exceo da mdia de citao, todos
os demais indicadores apresentam correlaes positivas.
Constituram-se quatroclusters para a atuao brasileira.
Os resultados apontam que a anlise conjunta e
articulada dos ndices normalizados possibilita uma
visualizao mais consistente da cincia brasileira.
Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 118

Palavras-chave: Indicadores cientomtricos

normalizados; Produo cientfica brasileira;
Internacionalizao da pesquisa brasileira.
International Brazilian scientific

production: a scientometric study by
normalized indicators (1996-2011)
In this research, we aim at comparatively analyzing the

normalized scientometric indicators of production and
citation of the Brazilian research, in the 27 areas of
knowledge, from the data presented in the Scimago
Journal & Country Rank gate, in the period between 1996
and 2011. Besides, we aim at assessing the correlation
among these indicators in order to verify if the insertion
and the impact are associated within the Brazilian
performance. Eventually, we aim at grouping the areas by
means of the similarities of the indicators analyzed. As
our procedure, we calculated the percentage of Brazilian
journals, from the Journal Rankings option, and the
normalized Brazilian index for the indicators under
analysis, from the Country Rankings option. Next, we
calculated the Pearson correlations among the indicators
and we achieved the cluster analysis, in order to group
the 27 areas, according to their similarities in the
indicators. As results, Brazil ranks above average among
the producing countries, in all the normalized indexes.
Except from the citation average, all the other indicators
present positive correlations. 4 clusters were constituted
for the Brazilian performance. The results show that the
grouped and articulated analysis of normalized indexes
enables a more consistent view of the Brazilian science
Key-words: Normalized scientometric indicators;

Brazilian scientific production; Internationalization of
Brazilian research.
Recebido em 14.10.2013 Aceito em 18.12.2013
1 Introduo
A cincia brasileira tem crescido de modo significativo nas ltimas
dcadas, com consequente aumento da participao do pas na produo
cientfica e no conhecimento mainstream, que pode ser visualizado por
meio dos dados das bases internacionais (LEITE; MUGNAINI; LETA, 2011).

Nesse contexto, a taxa de crescimento da produo cientfica do Brasil, de

forma geral, superou a mdia internacional, com um aumento de seis
vezes nas duas ltimas dcadas do sculo XX, uma vez que no ano de
2002 ocupava a 17a posio no ranking de produo cientfica (ZANOTTO,
2002) e em 2011 passou a ocupar a 13a posio (SCImago, 2012).
O aumento expressivo da produo cientfica brasileira proporcionou
maior insero do pas em mbito internacional, passando a ser visvel e
necessitando de metodologias para mostrar, de forma comparativa, o
desempenho brasileiro nas diferentes reas do conhecimento.
Dentre os mtodos para a anlise e avaliao da produo cientfica,
destacam-se os estudos cientomtricos, que, por meio de seus
indicadores absolutos e normalizados (dentre eles, os de produo e
citao), contribuem para a visualizao do comportamento da cincia
nas diferentes reas do conhecimento. Os indicadores normalizados
identificam, de forma comparativa, questes relativas produo e ao
impacto cientfico atinentes s diferentes reas do conhecimento, na
medida em que padronizam as unidades de medida (GLNZEL et al,
2009).
Considerando a problemtica apresentada, esta pesquisa objetiva,
de forma geral, realizar um estudo da contribuio dos indicadores
normalizados para os estudos cientomtricos que buscam visualizar, de
forma comparativa, o desenvolvimento cientfico de diferentes reas do
conhecimento, destacando a presena brasileira nas 27 reas do
conhecimento apresentadas pelo Portal SCImago Journal & Country Rank,
no perodo de 1996 a 2011.
De forma mais especfica, prope-se a analisar a porcentagem
relativa das revistas brasileiras indexadas internacionalmente e os
indicadores cientomtricos normalizados de produo e de citao da
pesquisa brasileira, nas 27 reas do conhecimento, a partir dos dados
apresentados no SCImagoJR. Ainda, avaliar a correlao entre os
seguintes indicadores: porcentagem de revistas brasileiras indexadas na
base, ndice normalizado de produo, de total de citaes, de citaes
por documento, de autocitao e do ndice h, a fim de se verificar se a
insero e impacto apresentam-se associados no desempenho brasileiro
nas reas avaliadas. Por ltimo, agrupar as reas do conhecimento por
meio das similaridades dos ndices normalizados cientomtricos e da
porcentagem de revistas brasileiras indexadas na baseSCImagoJr.
Este trabalho se justifica em razo da escassez de estudos
existentes, em especial no Brasil, referentes aos indicadores
normalizados, e pela contribuio, de forma analtica, para o
desenvolvimento da temtica em estudo, ao oferecer subsdios tericos e
metodolgicos, fortalecendo sua compreenso e uso, bem como pela
necessidade de estudos eminentemente brasileiros sobre o tema.
Justifica-se a escolha da cincia brasileira mainstream como universo de
aplicao dos indicadores normalizados por contribuir para a visualizao,
de forma comparativa, do desenvolvimento das vrias reas cientficas do
pas, identificando aquelas que se destacam em produo e impacto.

2 Indicadores cientomtricos absolutos e normalizados

de produo e citao
Em decorrncia dos aspectos apontados, a cincia brasileira tem
crescido de forma expressiva, particularmente nos ltimos 25 anos
(ZANOTTO, 2002; LETA; CHAIMOVICH, 2002; LETA; GLNZEL; THIJS,
2006; LEITE; MUGNAINI; LETA, 2011). Neste perodo, o desenvolvimento
cientfico levou o Brasil posio de liderana no contexto da comunidade
cientfica latino-americana, com intensa colaborao cientfica
internacional, tanto regional como com a Amrica do Norte e Europa
(GLNZEL; LETA; THIJS, 2006).
Nesse contexto, os estudos bibliomtricos constituem uma
abordagem objetiva que, associada s anlises contextuais, contribui para
a avaliao da produo cientfica e tecnolgica de uma rea, de um grupo
de instituies ou pases.
A anlise da produo cientfica envolve um grupo de indicadores
bibliomtricos, absolutos e relativos ou normalizados, que podem ser
agrupados em indicadores de produo, citao e ligao (OKUBO, 1997;
SPINAK, 1998; NARIN et al, 1994; CALLON et al., 1993). Entre os
diversos aspectos analisados, esses indicadores evidenciam os
esquisadores, as temticas, as instituies, as reas do conhecimento e os
pases mais produtivos e de maior impacto, assim como as linhas de
pesquisa de uma rea do conhecimento, as redes de colaborao
cientfica, de citao e cocitao entre pesquisadores, instituies ou
pases. Nesta pesquisa, enfocam-se os indicadores de produo e de
citao.
O indicador absoluto de produo constitudo pelo nmero de
publicaes de um autor, instituio ou pas, com o objetivo de evidenciar
sua insero junto comunidade cientfica a qual pertence, dando
visibilidade queles mais produtivos e s temticas mais relevantes de
uma rea do conhecimento (OLIVEIRA; GRCIO, 2009).
Os indicadores absolutos de citao permitem identificar a
visibilidade e o impacto de um pesquisador ou pas dentro de uma
comunidade cientfica. Entre eles, destacam-se: o total de citaes, o
nmero de citaes por documento, a autocitao e o ndice h de um
pesquisador ou pas.
O total de citaes considerado indicador simples, expresso por
uma quantidade absoluta, independente da grandeza do universo
estudado. O nmero de citaes por documento, calculado pela mdia de
citaes, um indicador que contextualiza o impacto de um pesquisador,
instituio ou pas ao relativizar as citaes em funo do nmero de
documentos produzidos. Os indicadores de autocitao tm por objetivo
avaliar o comportamento auto-referente dos pesquisadores, instituies
ou pases. Glnzel (2003) argumenta que as autocitaes constituem
parte essencial da comunicao cientfica e que, em geral, no h razo
para conden-las. Indicadores baseados em autocitaes so medidas

complementares valiosas aos indicadores clssicos (total de citaes e

citaes por documento) para a avaliao bibliomtrica.
Ainda entre os indicadores de citao, Hirsch (2005) props o ndice
h para caracterizar a produo cientfica acumulada de um pesquisador,
instituio ou pas, e o define como: um cientista tem ndice h se h de
seus Np artigos tem pelo menos h citaes cada e os outros (Np-h)
artigos tem menos que h citaes cada (HIRSCH, 2005, p. 1), em que Np
o total de artigos publicados. O ndice h est associado com a
distribuio das citaes dos documentos, e o valor depende da natureza
da rea de pesquisa. Pesquisadores e pases vindos de reas que no
esto na cinciamainstream no obtero valores altos de ndice h, mesmo
se trabalharem em reas mais significativas da cincia (OLIVEIRA;
GRCIO, 2011).
Hirsch (2005) destaca que um nico valor nunca ser suficiente para
descrever amplamente o perfil multifacetado de um pesquisador,
instituio ou pas, tornando necessria a combinao de vrios
indicadores em sua avaliao.
Apesar da importncia dos indicadores absolutos de produo e
citao para anlise e compreenso da contribuio, insero e impacto
de um pesquisador ou pas dentro de uma rea do conhecimento, esses
indicadores tm diversas limitaes quando usados para comparar o
desempenho entre diferentes reas do conhecimento. Essa questo
decorre das especificidades e peculiaridades das reas, uma vez que as
disciplinas cientficas diferem fortemente na prtica de citao, tendo
como consequncia o fato de o nmero tpico de citaes, que um artigo
em uma dada rea recebe, poder diferir fortemente do nmero de
citaes tpico de outra rea.
Consequentemente, os indicadores absolutos levam a procedimentos
de avaliao injustos quando se realizam anlises comparativas das reas,
podendo resultar em anlises distorcidas da insero e impacto das
diferentes reas do conhecimento. Nessa direo, Persson, Glnzel e
Danell (2004) apontam que o uso indiscriminado desses indicadores pode
levar muitas vezes a concluses equivocadas e recomendam o uso de
medidas de normalizao e indicadores relativos a fim de fortalecer a
validade das concluses. Isso posto, h uma crescente tendncia no
sentido de formular e debater procedimentos de normalizao, que
possibilitem eliminar a dependncia do contexto da rea e, assim,
oferecer critrios mais fidedignos na comparao entre disciplinas, reas,
instituies ou em nvel macro de agrupamento, uma vez que padronizam
as unidades de medida (GLNZEL et al, 2009, LI; RADICCHI;
CASTELLANO; RUIZ-CASTILHO, 2013).
Para superar as questes apontadas, dentre os procedimentos de
normalizao propostos, Li, Radicchi, Castellano e Ruiz-Castilho (2013)
destacam a normalizao pela mdia da rea, pela mediana da rea, pelo
mtodo de normalizao de dois parmetros reversos, normalizao de
Glnzel e pela taxa de permuta. Os autores destacam, entre os
procedimentos que conduzem a bons resultados, a normalizao pela
mdia da rea. Autores como Moed (2009) e Herranz e Ruiz-Castillo

(2012) trabalham com formulaes de ndices normalizados em que h

combinaes de diferentes categorias, seja de tema, de rea ou tipo de
documento.
Para estudos comparativos entre reas, um indicador normalizado
pela mdia pode ser definido como o quociente entre o valor do indicador
obtido para o indivduo (seja uma instituio ou pas) dividido pela mdia
da rea (MOED, 2009). Como resultado, esse indicador padroniza o
comportamento de um indivduo, de forma a situ-lo em relao
tendncia global (mdia) observada na rea. Nesta pesquisa, os
indivduos se referem aos pases.
O indicador normalizado calculado pela frmula:
em que:
INj = ndice normalizado para o pas j;
Ij = valor do indicador absoluto para o pas j;
MIg = mdia do indicador da rea em estudo, calculada por:
em que:
n = quantidade de pases que publicaram na rea em estudo;
Ii = valor do indicador para o pas i, com 1 i n.
O valor 1 (um) obtido para o ndice normalizado (IN) indica que, em
relao ao indicador em estudo, o desempenho do pas (nesta pesquisa,
Brasil) igual ao comportamento mdio do grupo (nesta pesquisa, pases)
de produtores na rea. Ainda, valores abaixo de 1 significam que o pas
est abaixo do que esperado para o grupo de pases, na rea em
estudo; valores acima de 1 apontam que o pas apresenta um
desempenho acima do comportamento mdio do grupo.
3 Procedimentos metodolgicos
Inicialmente, em novembro de 2012, os dados foram levantados no
portal SCImago Journal & Country Rankings, por meio dos seguintes
procedimentos: na opo Journal Rankings, para cada uma das 27 reas
do conhecimento, tomou-se o total de peridicos existentes e de
peridicos brasileiros. A partir destes dados, calculou-se o percentual de
peridicos do Brasil em relao ao total indexado na rea, apresentados
na primeira coluna de valores (%) na Tabela 1.
Em seguida, ainda no portal SCImago Journal & Country
Rankings, na opo Country Rankings, para cada uma das 27 reas,
recuperou-se a planilha Excel com o conjunto de pases produtores, com
os seguintes indicadores: documentos citveis, total de citaes,
autocitaes, citaes por documentos e ndice h. Para cada uma das 27
reas, calcularam-se as mdias dos indicadores em anlise, relativa aos
pases. Destaque-se que documentos citveis est sendo utilizado, nesta
pesquisa, como total de documentos produzidos.

A seguir, para cada rea, calculou-se o ndice normalizado do Brasil

para cada indicador arrolado acima, em relao s mdias obtidas,
apresentados na Tabela 1.
Para cada coluna de ndice normalizado, presente na Tabela 1,
calcularam-se mdia, desvio padro, mnimo, mximo e coeficiente de
variao, em relao ao conjunto de 27 reas.
Em continuidade, calcularam-se as correlaes de Pearson entre os
seguintes indicadores: porcentagem de peridicos brasileiros, ndice
normalizado de total de documentos, de total de citaes, de
autocitaes, de citaes por documento e de ndice h.
Por fim, realizou-se a anlise de cluster hierrquico, pelo mtodo
Ward, com medida de similaridade de Distncia Euclidiana Quadrtica e
dados normalizados pelas variveis, a fim de se agrupar as 27 reas
analisadas, em funo de suas semelhanas em relao aos indicadores
normalizados, considerados de forma conjunta e simultnea. A
visualizao dos clusters foi feita por meio do dendograma.
A fim de estabelecer o perfil e as caractersticas dos grupos
constitudos, a partir da anlise de clusters, foram calculadas as mdias,
desvios padro e coeficientes de variao, para cada indicador, por grupo,
e realizadas as anlises comparativas intergrupos.
4 Apresentao e anlises de dados

A Tabela 1 apresenta o desempenho da cincia brasileira nas
diferentes reas do conhecimento presentes no
portal SCImagoJR. Inicialmente, destaca-se que, para todos os ndices
normalizados, a mdia para as 27 reas se encontra acima de 1,
indicando que, em mdia, em todos esses ndices, o Brasil ocupa posio
acima do comportamento mdio do grupo de pases produtores. Observa-
se ainda, que, para o ndice normalizado do total de documentos, em
todas as 27 reas, o Brasil se encontra acima da mdia, isto , apresenta
ndice normalizado de total de documentos produzidos acima de 1.
Complemente-se que o ndice h normalizado aquele indicador com
menor variao no desempenho brasileiro. Por outro lado, o ndice
normalizado de autocitao aquele com maior variao no desempenho
brasileiro nas 27 reas, confirmando a pesquisa de Glnzel e Thijs (2004),
segundo a qual a autocitao varia muito entre as reas do conhecimento.
Quanto porcentagem de peridicos brasileiros indexados
na Scopus, observa-se que, em mdia, a participao brasileira de 1,5%
do total de peridicos indexados. As reas de Odontologia, Veterinria e
Agricultura e Cincias Biolgicas so aquelas que, nesta ordem,
apresentam maior participao de peridicos brasileiros. Por outro lado, as
reas de Energia, Cincia da Computao e Matemtica apresentam as
menores porcentagens de peridicos brasileiros indexados. Assim, h
reas da cincia brasileira que se diferenciam das demais, algumas por
uma presena mais significativa de peridicos brasileiros e outras de
menor insero.

Em relao ao ndice normalizado de total de documentos,

em mdia, a produo cientfica brasileira est 3,2 vezes acima da mdia
dos pases produtores. Destaca-se que as reas de Veterinria,
Agricultura e Cincias Biolgicas e Imunologia e Microbiologia so
aquelas que apresentam os maiores ndices normalizados, com a primeira
delas apresentando total de documentos produzidos 10,4 vezes acima da
mdia dos pases produtores. Por outro lado, as reas Negcios, Gesto e
Contabilidade, Economia, Econometria e Finanas e Multidisciplinar so
aquelas com menores ndices normalizados de total de documentos
produzidos, embora tambm estejam acima da mdia (acima de 1) para
as respectivas reas.
Tabela 1 - Percentual de peridicos brasileiros e ndices normalizados de
produo e de citao do Brasil nas 27 reas
% Total Total Autocitaes* Citaes indice
rea documentos* citaes* por doc.* h*
Agricultura e Cincias Biolgicas 3.5 7.6 3.7 5.2 0.9 2.9
Artes and Humanidades 0.8 2.1 1.6 0.6 1.1 2
Bioqumica, Gentica e Biol. 0.8 2.9 1.4 1.4 1 2.5
Molecular
Cincia da Computao 0.2 2.1 1.2 1.2 0.9 2.6
Cincias Ambientais 1.8 3.4 2.5 2.6 1.3 3.1
Cincias da Deciso 0.6 2 1.5 1.6 1.3 2.3
Cincias da Sade 2.0 2.6 0.8 0.7 1.2 2.1
Cincias dos Materiais 1.3 2.3 1.7 1.6 1.1 2.3
Cincias Planetrias e da Terra 1.5 2.6 1.8 1.5 1.1 2.7
Cincias Sociais 1.8 2.9 0.9 0.8 1.2 2.3
Economia, Econometria e Finanas 1.2 1.5 0.6 0.3 1.9 2
Energia 0.0 2.3 1.9 1.8 0.9 2.5

Enfermagem 1.9 4.3 1.2 1.2 1.9 2.9
Engenharia 0.8 1.9 1.5 1.2 1 2.8
Engenharia Qumica 1.2 2.8 2.5 2.5 1.2 2.7
Farmacologia, Toxic. e Farmcia 0.9 3.8 2.5 3.3 1.1 2.7
Fsica e Astronomia 0.4 2.8 2 1.8 1.1 2.8
Imunologia e Microbiologia 1.1 4.9 2.7 3.1 1 2.6
Matemtica 0.3 2.9 2.4 2.6 1.3 2.7
Medicina 1.3 3.9 1.8 1.7 0.9 2.8
Multidisciplinar 1.4 1.8 0.7 0.4 0.7 2.5
Negcio, Gesto e Contabilidade 0.5 1.2 0.5 0.3 1.5 1.9
Neurocincia 1.6 3.5 1.5 1.5 0.4 2.9
Odontologia 5.7 2.3 7.6 12 1.4 3.9
Psicologia 2.5 2.3 0.6 0.4 1.3 2.5
Qumica 1.1 2.8 2 2.3 1.1 2.6
Veterinria 4.7 10.4 5 8.4 0.9 3
Mdia 1.5 3.2 2.0 2.3 1.1 2.6
Desvio padro 1.3 1.9 1.5 2.6 0.3 0.4
Coeficiente de variao 37% 25% 40% 49% 35% 14%
Mnimo 0 1.2 0.5 0.3 0.4 1.9
Mximo 5.7 10.4 7.6 12 1.9 3.9
*ndice normalizado
Fonte: elaborao dos autores, a partir dos dados do SCImagoJR em novembro de 2012.

Em relao ao ndice normalizado do total de citaes recebidas, a

mdia obtida para as 27 reas est duas vezes acima da mdia das
respectivas reas, com destaque para Odontologia, Veterinria e
Agricultura e Cincias Biolgicas, em que os ndices normalizados de
total de citao so os maiores observados para a cincia brasileira. Tal
tendncia est alinhada com as maiores porcentagens de peridicos
brasileiros nas respectivas reas. Para as reas de Veterinria e
Agricultura e Cincias Biolgicas, os altos ndices normalizados de total
de citao esto tambm alinhados com os altos ndices normalizados de
documentos produzidos. Por outro lado, as reas Negcios, Gesto e
Contabilidade, Economia, Econometria e Finanas e Psicologia so
aquelas com os menores ndices normalizados de total de citao, com
valores menores que 1, indicando que o impacto das citaes est abaixo
da mdia dos pases participantes destas reas.
Quanto ao ndice normalizado de autocitao, obteve-se a mdia de
2,3 para o conjunto das reas, com as reas de Odontologia, Veterinria e
Agricultura e Cincias Biolgicas apresentando os maiores ndices
normalizados para esse indicador. As duas ltimas reas tambm esto
contempladas com as maiores porcentagens de peridicos brasileiros na
cincia mainstream e os maiores ndices normalizados de total de
documentos e de total de citaes, sugerindo que nestas reas o Brasil j
constitui referncia cientfica. Entre as hipteses para esse desempenho,
apontam-se a consolidao e a tradio das pesquisas nestas reas
(LETA; GLNZEL; THJIS, 2006), favorecidas pela caracterstica geogrfica
do pas, que potencializa as possibilidades de pesquisa. Neste contexto,
destaca-se o papel fundamental da Empresa Brasileira de Pesquisa
Agropecuria (EMBRAPA) no crescimento da produo cientfica agrcola
brasileira (LANDIM, 2010). Ainda, destaca-se a interdisciplinaridade entre
as duas reas Veterinria e Agricultura e Cincias Biolgicas, produzindo
pesquisas de interesse comum.
Por outro lado, com os menores ndices normalizados de
autocitao, aparecem as reas de Negcio, Gesto e Contabilidade,
Economia, Econometria e Finanas e Psicologia, compatibilizando-se com
o ndice normalizado de total de citaes. Para as duas primeiras reas, a
posio de menor ndice alinhada com o ndice normalizado de total de
documentos produzidos.
Em relao ao ndice normalizado de citaes por documento,
obteve-se a mdia 1,1, valor este muito prximo da mdia das
respectivas reas. Alm disso, esta mdia a menor obtida entre
indicadores analisados para o Brasil, alinhando-se com os resultados
encontrados por Glnzel, Leta e Thijs (2006), que apontam uma
visibilidade da pesquisa brasileira mais baixa que a mdia e um impacto
relativamente baixo da citao, acompanhado por altos valores de
autocitao. Destaca-se que as reas de Economia, Econometria e
Finanas, Enfermagem e Negcio, Gesto e Contabilidade apresentam
os maiores ndices normalizados de citao por documento, entre as 27
reas analisadas. Observa-se, porm, que as reas Economia,
Econometria e Finanas e Negcio, Gesto e Contabilidade foram

destacadas como aquelas que apresentaram os menores valores para os

indicadores normalizados j analisados, a saber: total de documentos
produzidos, total de citaes recebidas e autocitaes, sugerindo que,
embora essas reas no se destaquem em volume de produo, seu
impacto, refletido pelas citaes por documento junto comunidade
cientfica internacional, significativo, dada a baixa autocitao. Por outro
lado, as reas de Neurocincias e Multidisciplinar apresentam-se com os
menores ndices normalizados de citaes por documento.
Entre todos os indicadores normalizados, o ndice h normalizado
aquele que se apresenta mais homogneo entre as 27 reas analisadas,
com mdia igual a 2,6 vezes acima da mdia global, das respectivas
reas. Destacam-se as reas de Odontologia, Cincias Ambientais e
Veterinria com os maiores ndices normalizados; por outro lado, as reas
de Negcio, Gesto e Contabilidade, Economia, Econometria e
Finanas e Artes e Humanidades apresentam-se com os menores
ndices. As reas de Negcio, Gesto e Contabilidade, Economia,
Econometria e Finanas esto em concordncia com a afirmao de
Glnzel (2006) e Vieira e Gomes (2010), de que o ndice h depende do
nmero de documentos publicados, uma vez que so aquelas com os
menores ndices normalizados de produo e de ndice h. Todavia, essa
afirmao no se ratifica nas reas de Odontologia e Cincias
ambientais, com altos ndices h normalizados e volume de produo no
destacado, em relao s demais reas.
A fim de se verificar se a insero e o impacto da cincia brasileira
apresentam-se associados nas 27 reas, calculou-se a correlao de
Pearson entre os ndices analisados, a saber: porcentagem de revistas
brasileiras indexadas na Scopus, ndice normalizado de produo, de total
de citaes, de autocitaes, de citaes por documento e de ndice h. Os
resultados so apresentados na Tabela 2.
A partir da anlise da Tabela 2, observa-se que, com exceo do
ndice normalizado de citaes por documento, todos os demais
indicadores em estudo apresentam correlaes positivas estatisticamente
significantes entre si, com maior ou menor intensidade. Destacam-se as
correlaes mais fortes entre o ndice normalizado de total de citao e de
autocitaes (0,99**) e entre ndice normalizado de autocitaes e
porcentagem de peridicos brasileiros indexados na rea (0,81**),
significando que o total de citaes est fortemente associado e
dependente da autocitaes no pas, nas reas em estudo, e este ltimo
cresce medida que cresce a porcentagem de peridicos brasileiros
indexados nas diferentes reas.
Tabela 2 - Valores da correlao de Pearson entre porcentagem de
peridicos brasileiros (%) e os ndices normalizados de produo e citao
total total Cit.
ndice de de por
% doc. cit. autocit doc.. indice h
% 1 0.56** 0.75** 0.81** 0.05 0.62**
total de doc. 0.56** 1 0.50** 0.54** -0.24 0.38*
** ** **
total de 0.75 0.50 1 0.99 -0.07 0.79**
citaes

autocitaes 0.81** 0.54** 0.99** 1 -0.05 0.77**

Cit. por doc. 0.05 -0.24 -0.07 -0.05 1 -0.16
** * ** **
ndice h 0.62 0.38 0.79 0.77 -0.16 1
* significante a = 0.05. ** significante a = 0.01 Fonte:Elaborado pelas autoras
Em relao ao ndice normalizado de citaes por documento, a
ausncia de correlao com os demais ndices sugere que os valores de
citaes por documento no esto associados ao aumento da
porcentagem de peridicos brasileiros e nem ao incremento da produo
brasileira nas reas do conhecimento. Assim, reas com menor
participao brasileira na produo cientfica e/ou com menor insero de
peridicos brasileiros podem apresentar um maior impacto, por
documento, na cinciamainstream, como acontece com as reas de
Negcio, Gesto e Contabilidade e Economia, Econometria e Finanas.
Contrapondo-se a esse comportamento, as reas de Veterinria e
Agricultura e Cincias Biolgicas apresentam altos ndices de
porcentagem de peridicos indexados e de total de documentos, porm o
ndice normalizado de citaes por documento apresenta-se abaixo da
mdia global dos pases produtores.
Apresenta-se, na Figura 1, o cluster das 27 reas apresentadas na
base Scopus, agrupadas segundo as similaridades dos ndices da cincia
brasileira, em que se destacam 4 grupos, a saber: o primeiro grupo,
constitudo por 14 reas, iniciando-se com Qumica at Neurocincias; o
segundo grupo, constitudo por 10 reas, iniciando-se em Cincias da
Sade at Enfermagem; o terceiro grupo, composto por 2 reas -
Agricultura e Cincias Biolgicas e Veterinria; e o ltimo grupo,
constitudo por uma nica rea Odontologia.
Figura 1 - Cluster das 27 reas segundo similaridades nos indicadores

analisados

Apresenta-se a Tabela 3 com os valores de mdia, desvio padro e

coeficiente de variao para os ndices normalizados utilizados na anlise
de cluster, para os quatro grupos constitudos.
O primeiro grupo, composto pela maioria (14) das 27 reas em
estudo, apresenta em relao porcentagem de peridicos indexados a
menor mdia entre os grupos constitudos, embora seja o indicador com
maior disperso dentro deste grupo, representado pelo alto valor do
coeficiente de variao. Em relao a todos os ndices normalizados,
observa-se que as respectivas mdias no se apresentam destacadas em
relao s mdias dos outros trs grupos, seja por altos ou baixos valores
mdios normalizados. Apesar de ser o maior agrupamento de reas, com
exceo da autocitao, os demais ndices normalizados apresentam-se
com baixa variabilidade dentro do grupo, explicitado pelos coeficientes de
variao abaixo de 30%.
O grupo 2, apesar de apresentar um volume de produo menos
significativo, bem como os peridicos brasileiros pouco inseridos na
cincia internacional, tem impacto destacado em relao aos outros trs
grupos, dada a alta mdia dos ndices normalizados de citaes por
documento, porm com baixo comportamento auto-referente.
Complemente-se que neste grupo o ndice normalizado de autocitao,
porcentagem de peridicos indexados e de total de citaes so aqueles
com maior variao no grupo. Por outro lado, o ndice h normalizado
apresenta-se como o mais homogneo dentro do grupo
Tabela 3 - Estatsticas descritivas da porcentagem de peridicos
brasileiros e indicadores normalizados para os quatro agrupamentos
total total de
Estatsticas descritivas
Grupo % documentos citaes autocit Cit. por doc. indice h
Mdia 1.0 3.0 1.9 2.0 1.0 2.7
Desvio Padro 0.6 0.9 0.6 0.8 0.2 0.2
Grupo 1
Coef. de variao 57% 29% 30% 41% 24% 6%
Mdia 1.3 2.4 1.1 0.9 1.4 2.3
Desvio Padro 0.7 0.9 0.5 0.5 0.3 0.3
Grupo 2
Coef. de variao 50% 36% 42% 58% 24% 13%
Mdia 4.1 9.0 4.4 6.8 0.9 3.0
Desvio Padro 0.9 2.0 0.9 2.3 0.0 0.1
Grupo 3
Coef. de variao 21% 22% 21% 33% 0% 2%
Grupo 4 Mdia 5.7 2.3 7.6 12.0 1.4 3.9
O terceiro grupo, composto pelas reas de Agricultura e Cincias
Biolgicas e Veterinria, apresenta altos valores em cinco dos seis ndices
analisados, a saber: 2 e 3 maiores porcentagens de peridicos
indexados na base Scopus, os maiores ndices normalizados de total de
documentos produzidos, bem como os 2 e 3 mais altos ndices
normalizados de total de citao, de autocitaes e de ndice h. Por outro
lado, esse grupo aquele que apresenta a menor mdia de ndice
normalizado de citaes por documento.
Como mencionado, o ltimo grupo constitudo por uma nica rea,
Odontologia. Dentre as 27 reas analisadas, esta se destaca das demais
por apresentar valores bastante acima daqueles observados para as

outras reas em quatro dos seis ndices analisados, a saber: maior

porcentagem de peridicos indexados e os mais altos ndices normalizados
de total de citao, de autocitao e de ndice h. Destaque-se que esses
ndices esto alinhados com o estudo de Grcio et al. (2012), o qual
aponta que o impacto e a visibilidade da Odontologia do Brasil na cincia
internacional decorrem do maior acesso s bases de dados internacionais,
bem como a internacionalizao dos programas de ps-graduao
brasileiros, entre outras razes.
Com exceo do ndice normalizado de documentos produzidos, os
grupos 3 e 4 apresentam ndices com valores aproximados, visualizados
pela sua proximidade de posio no dendograma, apresentado na Figura 3
5 Consideraes Finais
Considerando que esta pesquisa se props a analisar, de forma
comparativa, os indicadores cientomtricos normalizados de produo e
de citao da pesquisa brasileira, nas 27 reas do conhecimento
apresentadas pelo SCImagoJR, destaca-se que o Brasil ocupa posio
acima da mdia do grupo de pases produtores, para todos os ndices
normalizados em anlise.
Em relao porcentagem de peridicos brasileiros indexados na
base Scopus, destacam-se as reas de Odontologia, Veterinria,
Agricultura e Cincias Biolgicas, com as presenas mais significativas
na cincia mainstream.
Observa-se que para o ndice normalizado do total de documentos,
em todas as 27 reas, o Brasil apresenta produo acima da mdia global
das respectivas reas. Quanto ao ndice normalizado do total de citaes
recebidas, destacam-se as reas de Odontologia, Veterinria e
Agricultura e Cincias Biolgicas, em que os valores so os maiores
observados para a cincia brasileira. O ndice normalizado de autocitao
o indicador com a maior variao no comportamento brasileiro nas 27
reas. O ndice normalizado de citaes por documento o indicador com
menores valores observados nas diferentes reas, com muitas reas
apresentando valores normalizados abaixo da mdia do conjunto de
pases produtores. Alm disso, este ndice apresentou a menor mdia
entre os ndices analisados para o Brasil. Complete-se, ainda, que o
ndice h normalizado aquele indicador com menor variao no
desempenho brasileiro.
Com exceo do ndice normalizado de citaes por documento,
todos os demais indicadores em estudo apresentam correlaes positivas
estatisticamente significantes entre si, com maior ou menor intensidade.
A atuao brasileira nas 27 reas do conhecimento foi agrupada
segundo as similaridades dos ndices analisados, destacando-se 4 grupos.
O primeiro grupo, composto pela maioria das reas em estudo, apresenta
tendncia de baixa porcentagem de peridicos brasileiros indexados e
todos os ndices normalizados sem destaque. O grupo 2, apesar de
apresentar um volume de produo menos significativo, bem como os
peridicos brasileiros pouco inseridos na cincia internacional, tem

impacto significativo em suas respectivas reas. O terceiro grupo,

composto pelas reas de Agricultura e Cincias Biolgicas e Veterinria,
com exceo do ndice normalizado de citao por documento, apresenta
altos valores nos indicadores analisados. O ltimo grupo, constitudo
unicamente pela rea de Odontologia, se destaca por apresentar os
maiores ndices normalizados em relao s 27 reas, com exceo do
ndice normalizado de total de documentos e de citao por documento.
Assim, com exceo do ndice normalizado de documentos
produzidos, as reas de Agricultura e Cincias Biolgicas, Veterinria e
Odontologia, representadas pelos grupos 3 e 4, apresentam ndices com
valores aproximados.
Em sntese, analisaram-se os ndices normalizados que descrevem a
produo e o impacto da cincia brasileira, de forma comparativa entre as
27 reas do conhecimento. Considerando que o Brasil apresentou
desempenho diferente nestes ndices, nas diferentes reas, aponta-se a
necessidade da anlise conjunta e articulada de diferentes ndices
normalizados a fim de se descrever diferentes caractersticas da cincia
brasileira e possibilitar uma visualizao mais ampla e consistente do
universo estudado.
Finalizando, dadas as limitaes dos indicadores absolutos de
produo e de citao para anlise comparativa da insero e do impacto
das diferentes reas do conhecimento de um pas, pelas suas
especificidades, decorrentes das prticas de produo e de citao, esta
pesquisa contribuiu para a compreenso dos indicadores normalizados,
que possibilitam a comparao entre as diversas reas, ao padronizarem
as unidades de medida, eliminando a dependncia do contexto em que o
conhecimento foi produzido
Referncias
CALLON, M.; COURTIAL, J. P.; PENAN, H. Cienciometra: la medicin de la
atividad cientfica: de la bibliometra a la vigilancia tecnolgica. Astrias:
Trea, 1995.
GLNZEL, W. Bibliometrics as a research field: a course on theory and
application of bibliometric indicators. Belgium. 2003. Available
from: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.97.5311&rep=rep1&
type=pdff . Accesss in: Nov. 8th 2010.
Glnzel, W. On the h-index A mathematical approach to a new measure
of publication activity and citation impact. Scientometrics, Budapeste, v.
67, n.2, p.315-321, 2006.
GLNZEL, W.; THIJS, B. The influence of self-citations on bibliomterics
macro citations.Scientometrics, Budapeste, v. 59, p. 281310, 2004.
GLNZEL, W.; LETA, J.; THIJS, B. Science in Brazil. Part 1: A macro-level
comparative study. Scientometrics, Budapeste, v. 67, n. 1, p. 67-86,
2006.

GLNZEL, W.; THIJS, B.; SCHUBERT, A.; DEBACKERE, K. Subfield-specific

normalized relative indicators and a new generation of relational charts:
Methodological foundations illustrated on the assessment of institutional
research performance.Scientometrics, Budapeste, v. 78, n. 1, p. 165-188,
2009.
GRCIO, M.C.C.; OLIVEIRA, E. F. T.; GURGEL, J. A.; ESCALONA, M. I.;
GUERRERO, A. P. Dentistry scientometric analysis: a comparative study
between Brazil and other most productive countries in the
area. Scientometrics, Budapeste, v. 92, p. 1-17, 2012.
Herranz, N. & Ruiz-Castillo, J. Sub-field normalization in the multiplicative
case: Average-based citation indicators. Journal of
Informetrics, Amsterdam, v. 6, p.543-556, 2012.
HIRSCH. J. E. An index to quantify an individuals scientific research
output. ArXiv:physics/0508025v5 [physics.soc-ph. September 2005.
Available from: <http://arxiv.org/abs/physics/0508025 . Access in: Apr. 18th
2009.
LANDIM, R. Brasil j o terceiro maior exportador agrcola do mundo. O
Estado de S. Paulo, So Paulo, 2010. Disponvel
em: http://www.estadao.com.br/noticias/ economia,brasil-ja-e-o-terceiro-maior-
exportador-agricola-do-mundo,520500,0.htm . Acesso em: 14 dez. 2012.
LEITE, P.; MUGNAINI, R.; LETA, J. A new indicator for international
visibility: exploring Brazilian scientific
community. Scientometrics, Budapeste, v. 88, p. 11-319, 2011.
LETA, J.; CHAIMOVICH, H. (Recognition and international collaboration:
the Brazilian case. Scientometrics, Budapeste, v.53, n. 3, p. 325-335,
2002.
LETA, J.; GLNZEL, W.; THIJS, B. Science in Brazil. Part 2: Sectoral and
institutional research profiles. Scientometrics, Budapeste, v. 67, n. 1, p.
87 -105, 2006.
LI, Y.; RADICCHI, F.; CASTELLANO, C.; RUIZ-CASTILHO, J. Quantitative
evaluation of altenative field normalization procedures. In:
INTERNATIONAL SOCIETY OF SCIENTOMETRICS AND INFORMETRICS
CONFERENCE, 14., 2013, Viena.Proceedings Viena: ISSI, 2013. p.
1431-1441.
MOED, H.F. New developments in the use of citation analysis in research
evaluation. Scientometrics, Budapeste, v. 57, p. 13-18, 2009.
Narin, F.; Olivastro, D.; Stevens, K. S. Bibliometric theory. practice and
problem.Evaluation Review, Thousand Oaks (EUA), v. 18, p. 65-76, 1994.
OKUBO, Y. Bibliometric indicators and analysis of research systems:
methods and examples. Paris: OECD, 1997
Oliveira, E. F. T.; Grcio, M. C. C. A produo cientfica em organizao e
representao do conhecimento no Brasil: uma anlise bibliomtrica do

GT-2 da Ancib.In: ENCONTRO NACIONAL DE PESQUISA DA ANCIB-

ENANCIB, 10., 2009 Joo Pessoa. Anais..... Joo Pessoa: ANCIB, 2009.
OLIVEIRA, E.F.T.; GRCIO, M.C.C. indicadores bibliomtricos em cincia
da informao: anlise dos pesquisadores mais produtivos no tema
estudos mtricos na base scopus. Perspectivas em Cincia da Informao,
Belo Horizonte, v. 16, p. 16 28, 2011.
Persson, O.; Glnzel, W.; Danell, R. Inflationary bibliometric values:The
role of scientific collaboration and the need for relative indicators in
evaluative studies. Scientometrics, Budapeste, v. 60, n.3, p. 421-432,
2004.
SCImago SJR - SCImago Journal & Country Rank. 2012. Available
from:www.SCImagojr.com, 2012. Access: Dec. 18th 2012.
SPINAK, E. Indicadores cienciomtricos. Cincia da Informao, Braslia,
DF, v. 27, n. 2, p.141-148, 1998.
Vieira, E. S.; Gomes, J. A. N. F. A research impact indicator for
institutions. Journal of Informetrics, Amsterdam, v. 4, n. 4, p. 581-590,
2010.
ZANOTTO. E.D. Scientific and technological development in Brazil. The
widening gap. Scientometrics, Budapeste, v. 55, n. 3, p. 411-419, 2002.

1898 7306 1 PB PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

1898 7306 1 PB PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Indicadores cientomtricos normalizados: um estudo na Maria Cludia Cabrini Grcio;

Maria Cludia Cabrini Grcio

Docente do Programa de Ps-Graduao em

Ely Francina Tannuri de Oliveira

Livre-Docente em Estudos Bibliomtricos em

Nesta pesquisa, objetiva-se: analisar comparativamente

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 118

Palavras-chave: Indicadores cientomtricos

International Brazilian scientific

In this research, we aim at comparatively analyzing the

Key-words: Normalized scientometric indicators;

Recebido em 14.10.2013 Aceito em 18.12.2013

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 119

Nesse contexto, a taxa de crescimento da produo cientfica do Brasil, de

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 120

2 Indicadores cientomtricos absolutos e normalizados

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 121

complementares valiosas aos indicadores clssicos (total de citaes e

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 122

(2012) trabalham com formulaes de ndices normalizados em que h

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 123

A seguir, para cada rea, calculou-se o ndice normalizado do Brasil

4 Apresentao e anlises de dados

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 124

Em relao ao ndice normalizado de total de documentos,

Economia, Econometria e Finanas 1.2 1.5 0.6 0.3 1.9 2

Energia 0.0 2.3 1.9 1.8 0.9 2.5

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 125

Em relao ao ndice normalizado do total de citaes recebidas, a

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 126

destacadas como aquelas que apresentaram os menores valores para os

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 127

autocitaes 0.81** 0.54** 0.99** 1 -0.05 0.77**

Figura 1 - Cluster das 27 reas segundo similaridades nos indicadores

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 128

Apresenta-se a Tabela 3 com os valores de mdia, desvio padro e

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 129

outras reas em quatro dos seis ndices analisados, a saber: maior

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 130

impacto significativo em suas respectivas reas. O terceiro grupo,

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 131

GLNZEL, W.; THIJS, B.; SCHUBERT, A.; DEBACKERE, K. Subfield-specific

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 132

GT-2 da Ancib.In: ENCONTRO NACIONAL DE PESQUISA DA ANCIB-

Perspectivas em Cincia da Informao, v.19, n.3, p.118-133, jul./set. 2014 133

Você também pode gostar

autocitaes 0.81 0.54 0.99 1 -0.05 0.77