Bibliometria e "Avaliação" Da Atividade Científica

Bibliometria e avaliao da atividade cientfica: um estudo
sobre o ndice h
Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Velho; Leando Innocentini Lopes de Faria
Bibliometria e avaliao da atividade

cientfica: um estudo sobre o ndice
Ricardo Arcanjo de Lima
Analista de Gesto da Informao na Embrapa
Solos e Doutorando do Programa de Psgraduao em Poltica Cientfica e Tecnolgica,
Instituto de Geocincias da Universidade Estadual
de Campinas
Lea Maria Leme Strini Velho
Professora Titular no Departamento de Poltica
Cientfica e Tecnolgica, Instituto de Geocincias
da Universidade Estadual de Campinas
Leandro Innocentini Lopes de Faria
Professor Adjunto no Departamento de Cincia da
Informao, Centro de Educao e Cincias
Humanas da Universidade Federal de So Carlos
Avaliar a atividade cientfica um fator crucial para

agncias de fomento e institutos de pesquisa, razo pela
qual um novo indicador bibliomtrico vem ganhando
espao na comunidade cientfica o ndice h. O presente
estudo observa a variabilidade/persistncia do valor do
ndice em diferentes reas do conhecimento e sua
aplicao como ferramenta de poltica cientfica e
tecnolgica.
Palavras-chave:
cientfica.
ndice
H;
Bibliometria;
Poltica
Bibliometrics and "evaluation" of

scientific activity: a study of the hindex
Assessing scientific activity is a crucial factor for
development agencies and research institutes. That is
why a new bibliometric indicator has been gaining
grounds in the scientific community - the h-index. This
study analyzes the variability/persistence of the index
value in different areas of knowledge and its application
as a tool for science and technology policy.
Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

sobre o ndice h

Keywords: H-index; Bibliometrics; Scientific Policy.

Recebido em 13.08.2010 Aceito em 02.07.2012
1 Introduo
A pesquisa cientfica uma atividade de extrema importncia e
consome somas considerveis de recursos pblicos e privados, razo pela
qual importante analisar os resultados que gera, assim como seu
impacto em diferentes dimenses cientfica, econmica, social. Vrias
so as maneiras pensadas e desenhadas para examinar cada uma destas
dimenses. A literatura cientfica tem sido, historicamente, a fonte de
dados mais utilizada para gerar indicadores que permitam analisar os
resultados e a qualidade da produo cientfica e, ainda, estimar o
impacto cientfico. Em anos recentes, destaca-se, entre tais indicadores de
impacto, o ndice h, que, baseado em citaes recebidas, analisa e
compara a atividade cientfica dos pesquisadores de forma individual
(COSTAS; BORDONS, 2007).
O ndice h tem sido adotado por diversos rgos financiadores de
pesquisa, com destaque para agncias na Austrlia, Nova Zelndia, Reino
Unido1 e Espanha (IMPERIAL; RODRIGUEZ-NAVARRO, 2007), alm de
universidades e centros de pesquisa que, tambm, o utilizam como
critrio para a promoo funcional de pesquisadores e avano dos
mesmos na carreira cientfica. No Brasil, o ndice h tem sido, paulatina,
mas sistematicamente, apropriado por algumas fundaes estaduais de
amparo pesquisa (FAPs), pelo Conselho Nacional de Desenvolvimento
Cientfico e Tecnolgico (CNPq) e Coordenao de Aperfeioamento de
Pessoal de Nvel Superior (CAPES), como critrio para alocao de
recursos e benefcios, tais como as bolsas de produtividade cientfica
concedidas pelo CNPq.
Apesar da tendncia de ampliao de seu uso, muitas limitaes e
problemas associados ao conceito, metodologia e interpretao do ndice h
tm sido apontados (BORNMANN; HANS-DIETER, 2007; ROUSSEAU,
2008). Entre esses problemas, destaca-se a tendncia crescente de
comparar o ndice h de pesquisadores de reas diferentes do
conhecimento, levando a concluses equivocadas sobre a superioridade
cientfica de instituies, grupos de pesquisa e, at mesmo, pesquisadores
individuais, construindo e destruindo reputaes.
Com base no exposto, este artigo desenvolve o argumento de que,
sendo o ndice h baseado nas citaes recebidas, e sendo a prtica de
citao bastante variada entre as reas do conhecimento, o ndice h varia,
substantivamente, entre reas e no pode ser usado como indicador de
comparao de desempenho cientfico entre elas. Alm disso, as prticas
de publicao dos pesquisadores, assim como as citaes que tais
publicaes recebem, so, reconhecidamente, afetadas pelas condies de
1
RESEARCH Performace Measurement: introducing the Scopus h index. [New York]: Elsevier, 2007.

sobre o ndice h

trabalho dos pesquisadores, pelo estgio da carreira profissional, pelo

nmero de orientandos de doutorado, alm de outros fatores.
Para desenvolver esse argumento, este artigo tem como objetivo
ilustrar, empiricamente, a variao nas prticas de publicao e citao
entre reas do conhecimento e, consequentemente, no ndice h. Optou-se,
como base emprica para essa ilustrao, fazer uma anlise comparada
entre a produo cientfica declarada pelos bolsistas de produtividade do
CNPq dos nveis 1-A e 1-B, de algumas reas diferentes. Os bolsistas de
produtividade cientfica do CNPq, de quaisquer que sejam as reas,
conforme se explica na seo de metodologia abaixo, j tiveram sua
qualidade cientfica analisada e julgada pelos comits assessores de suas
respectivas reas, em processos altamente competitivos. Portanto, so
uma amostra extremamente adequada para selecionar, de maneira no
aleatria, pesquisadores de alta reputao em suas respectivas reas do
conhecimento e que tenham ndice h compatvel com a qualidade que o
sistema de avaliao praticado lhes atribui e reconhece. Por outro lado,
visando eliminar da anlise a influncia de fatores que possam ser
atribudos s condies de trabalho dos pesquisadores, decidiu-se por
cientistas vinculados a instituies de ensino e pesquisa do estado de So
Paulo. Isso se deve ao fato de que este estado conta com condies
excepcionais de financiamento para pesquisa, graas FAPESP,
respondendo por aproximadamente 72% do dispndio estadual de
pesquisa2, alm de contar com um contingente enorme de estudantes de
doutorado e de pesquisadores ps-doutores que, sem dvida, contribuem
para a produo cientfica dos pesquisadores.
O artigo est estruturado em cinco sees, como se segue: uma
breve caracterizao a respeito da citao como instrumento de avaliao
da atividade cientfica; consideraes conceituais, metodolgicas e
interpretativas sobre o ndice h; uma descrio do mtodo empregado e
das fontes de informao para esse estudo; apresentao dos resultados e
discusso dos mesmos; e consideraes finais.
2 A citao como instrumento de avaliao da atividade

cientfica
No campo cientfico, diversas prticas so quase universais, entre
elas a citao, que pode ser vista como um dos imperativos do mtodo
cientfico (JOB; ALVARENGA, 2008). De um modo geral, as citaes
refletem os processos de desenvolvimento das cincias, reconhecem a
contribuio prvia dos pesquisadores por seus pares, ao mesmo tempo
em que so importantes sinalizaes, que indicam no apenas o
ambiente terico em que se processam as interpretaes acadmicas,
mas, tambm, os circuitos acadmicos que as legitimam (SILVA, 2000).
CRUZ, C. H. de B. Os Estados, a Unio e o apoio pesquisa. Estado de So Paulo, So Paulo, 2 maio 2012.
Disponvel em: <http://www.estadao.com.br/noticias/impresso,os-estados-a-uniao--e-o-apoio-a-pesquisa,867726,0.htm?reload=y>. Acesso em: 10 maio 2012.

sobre o ndice h

Ainda que a citao seja comum a todas as reas do conhecimento,

a prtica da citao est sujeita aos modos particulares de organizao da
produo de conhecimento de cada rea, subrea ou especialidade. Uma
vez que as comunidades e seus conhecimentos esto interligados
(SKILTON, 2006), a citao se tornou um instrumento que permite
analisar as diferentes prticas entre as reas e a razo destas diferenas.
Ao permitir evidenciar elos existentes entre indivduos, instituies e
reas de pesquisa, a anlise de citaes pode ser considerada a
ferramenta mais importante da bibliometria (ARAJO, 2006). Spinak
(1998) apresenta diversos indicadores que podem ser confeccionados a
partir da citao: ndice de atividade, afinidade, atrao, imediatez,
popularidade, isolamento, abertura e, finalmente, o de impacto.
Entender o comportamento da citao uma tarefa complexa,
estudada tanto pela Cincia da Informao quanto pela Sociologia da
Cincia (GLANZEL et al., 2006). Enquanto a primeira se refere s citaes
como sinais deixados para trs aps a informao ter sido utilizada, a
ltima v a citao como uma representao do comportamento social da
comunidade de determinada rea.
Desta forma, para que se possa compreender a funo da citao,
preciso consider-la, tambm, como parte do comportamento da
comunidade cientfica, pela qual pode ser observada a confiana, a
autoridade, a credibilidade ou o papel do conhecimento j acumulado
(SKILTON, 2006; NORONHA, 1998).
Para Weinstock (1971) apud Glanzel et al. (2006), existe apenas
trs razes pelas quais a citao ocorre:
a) citao positiva: na qual ocorre o acolhimento da
ideia/estudo pela comunidade cientfica, passando, assim, a
integrar o corpo terico da disciplina;
b) citao neutra: que visa apenas contextualizar o estudo ou
reconhecer os pioneiros da rea; e
c) citao negativa: na qual a ideia/estudo no acolhida e a
citao indica repdio ou reivindicaes.
As razes ou motivaes que levam um autor a citar ou no
determinada fonte bibliogrfica, conforme sugeridas pelos autores acima,
indicam que as citaes no tm o mesmo peso e nem a mesma funo
em um texto acadmico. Esta constatao, entretanto, no
necessariamente invalida o uso das citaes para fins de poltica cientfica,
pois toda classe de citaes, mesmo as negativas, podem ser entendidas
como pertinentes ao expressar o uso/impacto da informao.
O uso de citaes, como instrumento de avaliao cientfica, tm
sido, at agora, muito mais comum nas Cincias Naturais. Entretanto,
como apontam Archambault et al. (2006), isso est mudando com a
ampla adoo dos instrumentos bibliomtricos para avaliao cientfica,
por parte das agncias de fomento pesquisa. A expanso deste tipo de
processo de avaliao para as Cincias Sociais e Humanas pode ser um
motivo de preocupao, uma vez que elas apresentam uma atividade

sobre o ndice h

cientfica mais fragmentada, o que dificulta a formao de ncleos

slidos de peridicos, alm das diferenas em suas prticas de
comunicao cientfica (HICKS, 1999). Acrescenta-se, ainda, a deficiente
cobertura de publicaes em outros idiomas que no o ingls, pelas bases
de dados cientficas internacionais, alm do fato de que prtica comum
nas cincias sociais a publicao de artigos de interesse local (RAAN,
2005a).
Apesar dos diferentes pesos e das limitaes inerentes citao,
inclusive metodolgicos, que acarretam em perdas de citaes, como:
variaes em nomes de autores, dados bibliogrficos com erros ou
incompletos e de afiliao institucional de difcil determinao (RAAN,
2005b), a contagem e anlise das mesmas so um marcador importante
na aferio de mrito de um pesquisador no campo cientfico (LILLQUIST;
GREEN, 2010). Tal reconhecimento a principal razo pela qual um novo
indicador vem ganhando espao: o ndice h.
3 O ndice h: indicador bibliomtrico combinado de

produo e citao cientfica
A avaliao individual do pesquisador para fins de reconhecimento,
progresso acadmica e de fomento para suas atividades de pesquisa,
uma atividade crtica para as agncias de financiamento e para os
institutos de pesquisa e universidades em seus processos de contratao e
promoo de pessoal altamente qualificado. Valendo-se desta necessidade
e do argumento de que o impacto de um peridico torna-se menos
importante, medida que os artigos esto disponveis em ambiente
eletrnico, o ndice h vem se destacando, transferindo o foco da avaliao
do impacto do peridico para o impacto do pesquisador (WOHLIN, 2009).
O ndice, proposto pelo fsico Jorge Hirsch, tem como objetivo
quantificar a atividade cientfica e mensurar o impacto de pesquisadores,
baseando-se nos seus papers mais citados. Para Hirsch (2007), o ndice h
de um pesquisador o nmero de documentos publicados com pelo
menos h citaes cada, ou seja, como podemos observar na fgura 1, o
valor de h o maior nmero de artigos de um autor especfico que possui,
pelo menos, o mesmo nmero de citaes.
Figura 1 Curva Indice h
Fonte: HIRSCH (2005).

sobre o ndice h

O ndice visa a caracterizar a produo cientfica acumulada de um

pesquisador e apresenta algumas caractersticas importantes: o ndice h
um valor que nunca decresce no decorrer da trajetria de um
pesquisador, porm, medida que se avana no valor do ndice, requer
dele maior esforo; seu aumento no linear, pois o indicador no
totalmente influenciado pelo nmero de trabalhos publicados, mas est
fortemente associado ao nmero de citaes; e seu valor depende da
natureza da rea do pesquisador (OLIVEIRA; GRACIO, 2011).
Para Dorta-Gonzlez e Dorta-Gonzlez (2010), trata-se de um
indicador vigoroso, que concentra aspectos quantitativos e qualitativos
(visibilidade), uma vez que se pode traar uma relao entre o valor de h
e a reputao de um pesquisador, segundo a avaliao por seus pares.
O ndice um indicador que tende a valorar o esforo cientfico e,
segundo Hirsch (2005), prefervel a outros indicadores tradicionalmente
utilizados para avaliar a atividade cientfica de um pesquisador: nmero
total de artigos, nmero total de citaes e mdia de citaes por artigo.
Por ser um valor simples de calcular e permitir sua utilizao em
diversas reas do conhecimento, o ndice vem se destacando como
ferramenta de avaliao cientfica, levando em conta tanto a
produtividade quanto a qualidade dos artigos, uma vez que o mtodo
baseado nas citaes recebidas (HASELEN, 2007). Alm disso, apresenta
vrias vantagens ao combinar dados da trajetria do pesquisador
(produtividade com citao), usar dados de fcil acesso nas bases
cientficas (Web of Science e Scopus) e no ser sensvel a valores
extremos, como o fator de impacto, resultando em valores difceis de
serem corrompidos (BOULD et al., 2011; BATISTA; CAMPITELI;
KINOUCHI, 2006).
Alguns autores consideram o ndice h como o nmero ureo da
avaliao de pesquisadores, argumentando que este se baseia em um
mtodo quantitativo vlido para todas as cincias e disciplinas (GLVEZ;
AMEZCUA, 2006). Contudo, a validade de sua aplicao universal causa
controvrsia entre analistas de Poltica Cientfica e Tecnolgica (PC&T),
uma vez que o ndice h, como ponderam Franceschini e Maisano (2010),
est sujeito a um conjunto de crticas, entre as quais se destacam as
seguintes:
a) no leva em conta autocitaes, taxa que no pequena
entre os pesquisadores mais jovens, sendo justamente, nessa
fase da carreira, que o ndice h mais frequentemente
utilizado para avaliao, promoo ou comparao entre pares
(SCHREIBER, 2007);
b) no leva em conta as caractersticas das publicaes - uma
vez que no possvel uniformizar os canais de comunicao
cientfica - o que pode interferir no seu valor final
(SIDIROPOULOS; KATSAROS; MANOLOPOULOS, 2007);
c) o valor do ndice h pode ser alterado por citaes feitas de
forma incorreta. Apesar dos esforos recentes das principais

sobre o ndice h

bases cientficas, a padronizao na entrada dos dados de

autoria ainda uma questo que pode interferir nos dados de
citao; e
d) por apresentar frmula simplista, o ndice h descarta muitos
dados do registro do artigo, detalhes que poderiam revelar
fatos latentes da rede de citao e levar a avaliaes mais
equilibradas (SIDIROPOULOS; KATSAROS; MANOLOPOULOS,
2007).
Outra crtica importante so os problemas existentes na comparao
entre diferentes reas do conhecimento. Por essa razo, o uso do ndice h
tem gerado desconfiana na comunidade cientfica, j que se sabe que
existem grandes diferenas entre as reas de conhecimento, no que tange
aos mecanismos de divulgao do resultado de suas atividades de
pesquisa. O exemplo mais claro a diferena existente nos padres de
publicao e prticas de citao entre as Cincias Naturais e as Sociais,
que, como aponta o estudo de Archambault et al. (2006), apresentam,
respectivamente,
maior
produo
de
papers
com
orientao
internacional/universal e livros com orientao local/regional.
Esta
preferncia de uma e outra rea por canais particulares de publicao de
resultados de pesquisa, gera diferenas marcantes nas taxas de citao
em bases de dados internacionais (GUERRERO-BOTE et al., 2007), tendo
em conta que parte importante dessa produo est excluda das bases.
Em vistas disso, Antonakis e Lalive (2008) ressaltam que, dadas s
especificidades de cada rea do conhecimento, as taxas de citao variam
muito entre as reas, resultando em um valor de h muito acentuado em
algumas disciplinas e drasticamente atenuado em outras.
Estas diferentes prticas, como aponta Meadows (1999), esto
intimamente ligadas ao desenvolvimento histrico das vrias reas do
conhecimento e das disciplinas que compem cada uma delas, razo pela
qual no possvel, atravs da aplicao de um indicador, uniformizar os
indicadores de anlise das diferentes reas. No entanto, o prprio
Meadows (1999) aponta para a existncia de similaridades nas prticas de
algumas reas, e o estudo de Batista, Campiteli e Kinouchi (2006) v,
apesar das diferenas marcantes entre as reas do conhecimento, a
possibilidade do uso do ndice h para comparar pesquisadores de
disciplinas com prticas semelhantes.
Tendo em conta as limitaes apresentadas e, conforme j apontado
acima, este estudo busca explorar diferenas e semelhanas entre reas
do conhecimento, calculando o ndice h para os pesquisadores paulistas,
que so beneficiados com bolsas de produtividade nvel 1-A e 1-B do CNPq
em quatro reas do conhecimento - Fsica, Gentica, Agronomia e
Sociologia.
Procura-se,
alm
disso,
analisar
o
grau
de
variabilidade/persistncia do ndice h, em cada uma destas reas.

sobre o ndice h

4 Procedimentos metodolgicos
As bolsas de produtividade em Pesquisa do CNPq so concedidas a
pesquisadores com alto desempenho cientfico, com o objetivo de
distinguir seu trabalho e valorizar sua produo. Os pesquisadores
detentores dessas bolas so considerados a elite da comunidade em sua
respectiva rea do conhecimento, sendo a bolsa um critrio para permitir
o acesso a diversos canais de fomento, coordenao de institutos
nacionais de pesquisa (INCTs) e para avaliar os programas de psgraduao pela CAPES.
Entre os critrios para concesso esto a produo cientfica, a
participao na formao de recursos humanos e itens especficos
estabelecidos pelos Comits de Assessoramento (CAs) de cada rea do
CNPq3. Portanto, ao selecionar os bolsistas produtividade 1-A e 1-B,
automaticamente se selecionaram os pesquisadores com maior reputao
em suas respectivas reas do conhecimento.
A escolha por pesquisadores afiliados a centros de pesquisa do
estado de So Paulo teve como foco uniformizar as condies de pesquisa
da amostra, o importante papel dos centros de pesquisas paulistas no
contexto nacional e a necessidade de restringir o universo de
pesquisadores, visando a otimizar a coleta de dados.
A seleo das reas de conhecimento obedeceu diviso tradicional
de trs grandes blocos: Cincias Exatas e Engenharias, Cincias da Vida e
Cincias Humanas e Sociais. Foi analisado o comportamento do ndice h
de pesquisadores de, pelo menos, uma disciplina representativa de cada
um destes blocos: Fsica, Gentica, Agronomia e Sociologia.
Apenas para Cincias da Vida, rea com maior nmero de
pesquisadores no Brasil e, certamente, a de maior tradio em pesquisa
que remonta ao sculo XIX, optou-se por uma disciplina bsica (Gentica)
e uma aplicada (Agronomia), visando identificar se a orientao mais
bsica ou mais aplicada se manifesta no comportamento diferenciado de
publicao e citao, como indica a literatura (VELHO, 2008a).
A lista de pesquisadores bolsistas 1-A e 1-B de cada rea foi obtida
do cadastro do CNPq, atravs dos comits de Fsica, Gentica, Agronomia
e Sociologia.
O universo da amostra composto por 154 pesquisadores. A Tabela
1 apresenta a distribuio de bolsistas 1-A e 1-B nas reas abrangidas
pelo estudo, podendo ser observado um acmulo de bolsas de
produtividade na Fsica e Agronomia, reas que possuem muitas
interfaces de estudo e abrangem um grande nmero de subdisciplinas.
Disponvel em: <http://www.cnpq.br/view/-/journal_content/56_INSTANCE_0oED/10157/100343>. Acesso

em: 10 jul. 2010.
10

sobre o ndice h

Tabela 1 Bolsistas produtividade CNPq (So Paulo) por disciplina

Disciplinas
Pesquisadores 1-A
Pesquisadores 1-B
N. Bolsistas
Fsica
38
31
69
Gentica
11
12
23
Agronomia
16
22
38
Sociologia
14
10
24
Fonte: CNPq (2009).
A fonte de informao empregada para a coleta de dados sobre o

ndice h dos pesquisadores foi a base de dados Scopus. A escolha da
Scopus deve-se sua abrangncia: 16.000 ttulos de 4.000 editoras,
sendo a base de dados com maior cobertura de publicaes internacionais
e brasileiras ocorridas a partir de 19964, e sua atuao pioneira na
implementao do indice h, como ferramenta bibliomtrica de sua
plataforma.
A coleta dos dados relativos publicao, citao e ao ndice h foi
realizada isoladamente para cada pesquisador, atravs da ferramenta
Author Search da base Scopus. Os dados dos diversos pesquisadores
foram consolidados em planilha do software Excel, a partir da qual, foram
realizados os clculos de mdia de publicaes, de citaes e de ndice h.
5 Resultados e discusso
A partir dos dados coletados na base Scopus, foi produzida tabela
que visa a apresentar elementos que indiquem as diferentes prticas de
publicao e citao nas reas estudadas, alm de permitir estabelecer
valores de referncia do ndice h.
A seguir, exploram-se os valores obtidos atravs da mdia
aritmtica das publicaes, citaes e ndice h por disciplina, com o
objetivo de encontrar padres dentro das reas e explorar as
possibilidades de uma anlise comparativa.
A Tabela 2 apresenta os valores de ndice h, de publicao e de
citao encontrados para as reas de Fsica, Gentica, Agronomia e
Sociologia.
Tabela 2 Mdia de ndice h, citao e publicao
Disciplinas
Pesquisadores 1-A
h ndex(1)
Publicao(2)
Pesquisadores 1-B
Citao(3)
h ndex
Publicao
Citao
Fsica
13
136
1143
11
91
605
Gentica
15
114
1342
11
56
646
Agronomia
50
358
37
248
Sociologia
0,5
Fonte: SCOPUS (2009).

Legenda:
4
Disponvel em: <http://www.info.scopus.com>. Acesso em: 2 abr. 2010.
11

sobre o ndice h

Mdia aproximada do ndice h;

Mdia aproximada de publicao; e
Mdia aproximada de citao.
Para a rea de Fsica, pode-se notar que a diferena dos valores de

h entre os pesquisadores 1-A e 1-B de dois pontos; j os valores
encontrados para publicao e citao so bem diferentes, chegando a
quase 50% menos de citaes recebidas pelos bolsistas 1-B.
Apesar de fortemente influenciado pelo elevado nmero de citaes,
o ndice h no uma mdia das citaes dos autores, mas um valor
encontrado a partir da concentrao de citaes em um conjunto de
artigos, o que pode explicar a pouca diferena encontrada no ndice h de
pesquisadores 1-A e 1-B. Os valores prximos de ndice h para estas duas
categorias de pesquisadores indica que o nmero de artigos de grande
impacto dos dois grupos de pesquisadores bastante prximo.
Em Gentica, os dados encontrados mostram que a disciplina
apresenta valores de ndice h prximos aos de Fsica, sendo o ndice para
pesquisadores 1-A superior ao de seus pares da Fsica e o de
pesquisadores 1-B em Gentica equivalente ao dos fsicos. Este resultado
refora a ideia apresentada por Gigch (2002), de que Fsica e Biologia
(Gentica), enquadradas no mbito das Cincias Naturais, compartilham
as mesmas prticas e dinmica de produo de conhecimento.
O que chama ateno a mdia menor do nmero de publicaes
da rea de Gentica, mas com nmero de citao superior ao da disciplina
de Fsica. Para Vieira e Gomes (2010), a maior distribuio de citaes
para a rea de Cincias da Vida, em detrimento das Cincias Naturais,
est relacionada cultura de publicao das duas reas, a exemplo do
nmero mdio de referncias por documento, que mais elevado em
disciplinas biolgicas.
Na rea de Agronomia, a diferena do ndice h entre pesquisadores
1- A e 1-B de um ponto, menos acentuada que na rea de Fsica. A
diferena tambm mais tnue no nmero de publicaes e citaes,
indicando que os pesquisadores dos dois nveis apresentam produo
cientfica mais homognea.
Comparando-se com as disciplinas de Fsica e Gentica, os valores
de h, publicao e citao em Agronomia apresentam diferenas
significativas das disciplinas citadas.
A disciplina de Sociologia, que representa a rea de humanidades no
estudo, um caso a parte. Com valores de ndice h quase nulos, a
disciplina, hoje, no pode ser avaliada por suas prticas de publicao em
bases de dados internacionais, pois possui uma cultura acadmica distinta
das apresentadas pelas reas de Fsica, Gentica e Agronomia que
acompanham o mainstream internacional.
Analisar essas prticas, no mbito de qualquer disciplina, algo
complexo que exige a coleta de dados qualitativos, para que se tenha um
panorama mais completo; no entanto, os dados encontrados na base
Scopus permitiram observar a diferena existente entre as disciplinas
estudadas e a validade e viabilidade do uso do ndice h.
12

sobre o ndice h

No caso das disciplinas Fsica e Gentica, que apresentaram valores

de h muito prximos, pode-se dizer que so disciplinas que atendem
demandas globais por conhecimento, contando com um ncleo de
peridicos bem definido, como apontam Larivire et al. (2006) e
Archambault et al. (2006), resultando em ndices positivos nas bases
internacionais. Outro dado a ser considerado que a rea de pesquisa
bsica, com alto grau de consolidao paradigmtica, tende a publicar em
um nmero mais restrito de peridicos esse conjunto restrito concentra
as publicaes e citaes (VELHO, 2008a).
Assim, a maturidade destas disciplinas e a sofisticao de seus
mtodos de pesquisa reforam a ideia de Batista, Campiteli e Kinouchi
(2006), de que possvel analisar diferentes reas com prticas
semelhantes. Porm, a mdia de citao de ambas as disciplinas indica
que cada uma apresenta suas especificidades e que suas prticas de
citao so influenciadas por sua cultura acadmica e mesmo por fatores
intrnsecos publicao, tais como nmero de co-autores, nmero de
endereos, nmero de pginas, nmero de referncias e pelo impacto do
peridico (VIEIRA; GOMES, 2010). Para Glanzel e Thijs (2004), a taxa
mdia de citao entre artigos de pesquisadores da rea de Cincia da
Vida e Cincias Naturais cresce com o numero de coautores e, segundo
Peters e van Raan (1994), o impacto, o tamanho do artigo e o nmero de
referncias so fatores relacionados.
O que torna comparaes transdisciplinares do ndice h algo
delicado, uma vez que indicador muito dependente da produo e da
disciplina cientfica (ANTONAKIS; LALIVE, 2008).
No caso de Agronomia, ainda que o ndice h guarde correlao com
os nveis de bolsa produtividade, pode-se notar que o nmero mdio de
trabalhos publicados e de citaes recebidas por cada pesquisador de
agronomia muito menor do que o valor encontrado para as reas de
pesquisa bsica e mais internacionalizada (Fsica e Gentica). Esses dados
refletem a realidade da disciplina que, como afirma Velho (2008b), se
concentra em problemas que tendem a ser geograficamente localizados, e
a simples transferncia de resultados de um pas para outro, ou de uma
regio para outra no mesmo pas, na maioria das vezes, no se aplica. Em
consequncia, boa parte dos resultados publicada em peridicos de
menor impacto - com visibilidade nacional e regional, ou em outros canais
de divulgao. Tendo em vista esta realidade, a base de dados Scopus
reflete apenas parte da produo cientfica dos pesquisadores da
Agronomia, aquela publicada em peridicos internacionais indexados.
Soma-se a isso o carter aplicado de boa parte da pesquisa em
Cincias Agrrias que, segundo Imperial e Rodriguez-Navarro (2007),
apresentam citao inferior a das reas bsicas.
Na rea de Sociologia, os valores quase nulos indicam que,
atualmente, o uso do ndice h invivel para a rea, uma vez que, para
Soares, Souza e Moura (2010), a estratgia de promover a visibilidade da
Sociologia por meio de publicaes tem falhado, sendo evidenciado pela
vida curta de peridicos da rea e a importncia dada pelas Cincias
Humanas e Sociais para os livros e outros documentos no processo de
13

sobre o ndice h

comunicao cientfica (LARIVIRE et al., 2006). No entanto, o estudo

identificou dados superiores para os pesquisadores 1-B em relao aos 1A, o que poderia indicar mudanas nas prticas da disciplina no Brasil,
tradicionalmente alinhada escola francesa mais filosfica, menos
experimental (SOARES; SOUZA; MOURA, 2010) e, por isso, no to
propensa a divulgar seus trabalhos por meio de peridicos indexados.
6 Consideraes finais
Parece existir uma convergncia entre os valores de ndice h e nvel
de bolsa de produtividades nas reas de Fsica, Gentica e Agronomia. Ou
seja, os valores mais altos de ndice h, em cada uma destas trs reas,
correspondem aos pesquisadores de nvel 1-A, decrescendo para os
pesquisadores 1-B. Portanto, pode-se inferir que o ndice h, nestas reas,
convergente com o julgamento dos pares. Na rea de Sociologia,
entretanto, isso no ocorre, e o fato de ter-se encontrado dados
ligeiramente superiores para os pesquisadores 1-B em relao aos 1-A de
Sociologia, pode indicar o incio de mudanas nas prticas de publicao
da disciplina no Brasil e a influncia de polticas indutoras de C&T.
Apesar dos indcios de possveis mudanas na disciplina, torna-se
premente que as agncias de fomento e outros rgos de avaliao
encontrem medidas adequadas para quantificar e agregar valor
produo brasileira em Sociologia.
Os dados do estudo tambm demonstram que o valor de h pode
sofrer grande variao, dependendo da rea de aplicao, o que ressalta a
importncia de se conhecer as prticas de publicao, de forma a
compreender suas diferenas e estabelecer um valor padro de h para
cada disciplina.
Apesar desta diferena de valores encontrados para o ndice h,
ilustra-se sua empregabilidade em disciplinas que tenham como prtica
divulgar seus resultados atravs da publicao de papers em revistas
indexadas, como o caso da Fsica, Gentica e, em parte, a Agronomia.
Isto, importante ressaltar, desde que sejam observadas as especificidades
de cada disciplina, os valores padro de h refletiro as distintas
caractersticas de cada rea do conhecimento.
No se deve esquecer que, como destaca Alonso et al. (2009), os
problemas apresentados pelo ndice h so igualmente notados em
qualquer indicador bibliomtrico baseado na citao, o que refora o
desafio para que os gestores de poltica em Cincia e Tecnologia
viabilizem novas metodologias que representem os processos cientficos
das mais diversas disciplinas, principalmente as que ainda no so
medidas de forma satisfatria pelos indicadores j existentes.
Referncias
ALONSO, S. et al. H-index: a review focused in its variants, computation
and standardization for different scientific fields. Journal of Informetrics,
v. 2, p. 273-289, 2009.
14

sobre o ndice h

ANTONAKIS, J.; LALIVE, R. Quantifying scholarly impact: IQp versus the

hirsch h. Journal of the American Society for Information Science and
Technology, v. 59, n. 6, p. 956-969, 2008.
ARAJO, C. A. Bibliometria: evoluo histrica e questes atuais. Em
Questo, Porto Alegre, v. 12, n. 1, p. 11-32, 2006.
ARCHAMBAULT, E. et al. Benchmarking scientific output in the social
sciences and humanities: The limits of existing databases. Scientometrics,
Budapest, v. 68, n. 3, p. 329-342, 2006
BATISTA, P. D.; CAMPITELI, M. G.; KINOUCHI, O. Is it possible to
compare researchers with different scientific interests? Scientometrics,
Budapest, v. 68, n. 1, p. 179-189, 2006.
BORNMANN, L.; HANS-DIETER, D. What do we know about the h index?
Journal of the American Society for Information Science and Technology,
v. 58, n. 9, p. 1381-1385, 2007.
BOULD, M. D. et al. H-indices in a university department of anaesthesia:
an evaluation of their feasibility, reliability, and validity as an assessment
of academic performance. British Journal of Anaesthesia, v. 106, n. 3, p.
325-30, 2011.
CONSELHO
NACIONAL
DE
DESENVOLVIMENTO
CIENTFICO
E
TECNOLGICO
(CNPq).
Bolsas
em
curso.
Disponvel
em:
<http://plsql1.cnpq.br/divulg/RESULTADO_PQ_102003.curso>.
Acesso
em: 10 nov. 2009.
COSTAS, R.; BORDONS, M. The h-index: Advantages, limitations and its
relation with other bibliometric indicators at the micro level. Journal of
Informetrics, Amsterdam, v. 1, p. 193-203, 2007.
DORTA-GONZLEZ, P.; DORTA-GONZLEZ, M. I. Indicador bibliomtrico
basado en el ndice h. Revista Espaola de Documentacin Cientfica, v.
33, n. 2, p. 225-245, 2010.
FRANCESCHINI, F.; MAISANO, D. A. Analysis of the Hirsch indexs
operational properties. European Journal of Operational Research, v. 203,
p. 494-504, 2010.
GLVEZ TORO, A.; AMEZCUA, M. El factor h de Hirsch: the h-index. Una
actualizacin sobre los mtodos de evaluacin de los autores y sus
aportaciones en publicaciones cientficas. Index Enferm, Granada, v. 15,
n. 55, p. 38-43, 2006.
GIGCH, J. P. van. Comparing the Epistemologies of Scientific Disciplines in
Two Distinct Domains: Modern Physics versus Social Sciences. Systems
Research and Behavavioral Science, v. 19, p. 199-209, 2002.
GLANZEL, W.; THIJS, B. Does co-authorship inflate the share of selfcitation? Scientometrics, v. 61, n. 3, p. 395-404, 2004.
15

sobre o ndice h

GLANZEL, W. et al. A concise review on the role of author self-citations in

information science, bibliometrics and science policy. Scientometrics,
Budapest, v. 67, n. 2, p. 263-277, 2006.
GUERRERO-BOTE, V. P. et al. Import-export of knowledge between
scientificsubject categories: The iceberg hypothesis. Scientometrics,
Budapest, v. 71, n. 3, p. 423-441, 2007.
HASELEN, R. van. The h-index: A new way of assessing the scientific
impact of individual CAM authors. Complementary Therapies in Medicine,
v. 15, p. 223-227, 2007.
HICKS, D. The difficulty of achieving full coverage of international social
science literature and the bibliometric consequences. Scientometrics,
Budapest, v. 44, n. 2, p. 193-215, 1999.
HIRSCH, J. E. An index to quantify an individuals scientific research
output. Proceedings of the National Academy of Sciences of the United
States of America, v. 102, n. 46, p. 16569-16572, 2005.
HIRSCH, J. E. Does the h index have predictive power? Proceedings of the
National Academy of Sciences of the United States of America, v. 104, n.
49, p. 19193-19198, 2007.
IMPERIAL, J.; RODRIGUEZ-NAVARRO, A. Usefulness of hirschs h-index to
evaluate scientific research in Spain. Scientometrics, v. 71, n. 2, p. 271282, 2007.
JOB, I.; ALVARENGA, L. Citaes presentes em teses e perfis de
pesquisadores: fonte de indcios para se estudar a rea da educao
fsica. Perspectivas em Cincia da Informao, v.13, n.3, p. 151-166,
2008.
LARIVIRE, V. et al. The place of serials in referencing practices:
comparing natural sciences and engineering with social sciences and
humanities. Journal of the American Society for Information Science and
Technology, v. 57, n. 8, p. 997-1004, 2006.
LILLQUIST, E.; GREEN, S. The discipline dependence of citation statistics.
Scientometrics, v. 84, n. 3, p. 749-762, 2010.
MEADOWS, A. J. Tradies da Pesquisa. In: MEADOWS, A.
comunicaco cientfica. Brasilia: Briquet de Lemos, 1999. p. 39-78.
J. A
NORONHA, D. P. Anlise das citaes das dissertaes de mestrado e

teses de doutorado em sade pblica (1990-1994): estudo exploratrio.
Cincia da Informao, Braslia, v. 27, n. 1, p. 66-75, 1998.
OLIVEIRA, E. F. T. de; GRACIO, M. C. C. Indicadores bibliomtricos em
cincia da informao: anlise dos pesquisadores mais produtivos no tema
estudos mtricos na base Scopus. Perspectivas em Cincia da Informao,
v. 16, n. 4, p. 16-28, 2011.
16

sobre o ndice h

PETERS, H. P. F.; RAAN, A, F. J. van. On determinabts of citations scores:

a case study in chemical engineering. Journal of the American Society for
Information Science, v. 45, n. 1, p. 39-49, 1994.
RAAN, A. F. J. van. Measurement of Central Aspects of Scientific
Research: Performance, Interdisciplinarity, Structure. Measurement, v. 3,
n. 1, p. 1-19, 2005a.
RAAN, A. F. J. van. For your citations only? Hot topics in bibliometric
analysis. Measurement, v. 3, n. 1, p. 50-62, 2005b.
ROUSSEAU, R. Reflections on recent developments of the h-index and htype indices. Collnet journal of Scientometrics and Information
Management, v. 2, n. 1, p. 1-9, june. 2008.
SCHREIBER, M. Self-citation corrections for the Hirsh index. EPL Journal,
v. 78, p. 1-6, may. 2007.
SCOPUS.
Author
Search.
Disponvel
http://www.scopus.com/search/form.url. Acesso em: 2 dez. 2009.
em:
SIDIROPOULOS, A.; KATSAROS, D.; MANOLOPOULOS, Y. Generalized

hirsch h-index for disclosing latent facts in citation networks.
SILVA, V. G. da. Antroplogo e sua magia. So Paulo: Edusp, 2000.
SKILTON, P. F. A comparative study of communal practice: Assessing the
effects of taken-for-granted-ness on citation practice in scientific
communities. Scientometrics, Budapest, v. 68, n. 1, p. 73-96, 2006.
SOARES, G. A. D; SOUZA, C. P. E de; MOURA, T. W. de. Colaborao na
produo cientfica na Cincia Poltica e na Sociologia brasileiras.
Sociedade & Estado, v. 25, n. 3, p. 525-538, 2010.
SPINAK, E. Indicadores cienciomtricos. Cincia da Informao, Braslia,
v. 27, n. 2, p. 141-148, 1998.
VELHO, L. Cincias, publicaes e avaliao. In: HOFFMANN, W. A. M.;
FURNIVAL, A. C. (Org.). Olhar: cincia, tecnologia e sociedade. So
Carlos: Pedro e Joo Editores: CECH - UFSCar, 2008a. p. 9-21.
VELHO, L. Publicao cientfica e avaliao nas Cincias Agrrias: pontos
para discusso. Boletim Informativo da Sociedade Brasileira de Cincia do
Solo, Viosa, set./out. 2008b.
VIEIRA, E . S.; GOMES, J. A. N. F. Citations to scientific articles: Its
distribution and dependence on the article features. Journal of
Informetrics, v. 4, n. 1, p. 1-13, 2010.
WHOLIN, C. A new index for the citation curve
of researchers.
17

Bibliometria e "Avaliação" Da Atividade Científica

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Bibliometria e "Avaliação" Da Atividade Científica

Enviado por

Direitos autorais:

Formatos disponíveis

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Bibliometria e avaliao da atividade

Avaliar a atividade cientfica um fator crucial para

Bibliometrics and "evaluation" of

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Keywords: H-index; Bibliometrics; Scientific Policy.

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

trabalho dos pesquisadores, pelo estgio da carreira profissional, pelo

2 A citao como instrumento de avaliao da atividade

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Ainda que a citao seja comum a todas as reas do conhecimento,

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

cientfica mais fragmentada, o que dificulta a formao de ncleos

3 O ndice h: indicador bibliomtrico combinado de

Fonte: HIRSCH (2005).

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

O ndice visa a caracterizar a produo cientfica acumulada de um

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

bases cientficas, a padronizao na entrada dos dados de

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Disponvel em: <http://www.cnpq.br/view/-/journal_content/56_INSTANCE_0oED/10157/100343>. Acesso

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Tabela 1 Bolsistas produtividade CNPq (So Paulo) por disciplina

Fonte: CNPq (2009).

A fonte de informao empregada para a coleta de dados sobre o

Fonte: SCOPUS (2009).

Disponvel em: <http://www.info.scopus.com>. Acesso em: 2 abr. 2010.

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

Mdia aproximada do ndice h;

Para a rea de Fsica, pode-se notar que a diferena dos valores de

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

No caso das disciplinas Fsica e Gentica, que apresentaram valores

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

comunicao cientfica (LARIVIRE et al., 2006). No entanto, o estudo

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini

ANTONAKIS, J.; LALIVE, R. Quantifying scholarly impact: IQp versus the

Perspectivas em Cincia da Informao, v.17, n.3, p.3-17, jul./set. 2012

Bibliometria e avaliao da atividade cientfica: um estudo

Ricardo Arcanjo de Lima; Lea Maria Leme Strini