Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
Explorando a relação entre as práticas de referência e o
impacto da citação: um estudo em larga escala baseado em
dados da Web of Science

Por Ahlgren
Escola de Educação e Comunicação em Ciências da Engenharia (ECE), KTH Royal Institute of Technology,
Suécia. E-mail: perahl@kth.se

Cristian Colliander
Departamento de Sociologia, Inforsk, Universidade de Umeå, Umeå, Suécia

Biblioteca Universitária, Universidade de Umeå, Umeå, Suécia. E-mail: cristian.colliander@umu.se

Peter Sjo€jardim
Escola de Educação e Comunicação em Ciências da Engenharia (ECE), KTH Royal Institute of Technology,
Suécia

Departamento de ALM, Uppsala University, Uppsala, Suécia. E-mail: peter.sjogarde@abm.uu.se

Nesta contribuição em grande escala, lidamos com a relação Introdução

entre as propriedades das referências citadas de artigos da
Web of Science e a taxa de citação normalizada de campo
desses artigos. Usando quase 1 milhão de artigos e três
sistemas de classificação com diferentes níveis de
granularidade, estudamos os efeitos do número de referências
citadas, parcela de referências cobertas pelo Web of Science,
idade média das referências e taxa média de citação de
referências na taxa de citação normalizada de campo . Para
expor a relação entre as variáveis preditoras e a variável de
resposta, usamos a regressão quantílica. Descobrimos que um
número maior de referências, uma parcela maior de referências
a publicações no Web of Science e referências a publicações
mais recentes se correlacionam com o impacto da citação. Uma
correlação foi observada mesmo quando a normalização foi
feita com um sistema de classificação refinado. As variáveis
preditoras afetaram o impacto da citação em maior extensão
em níveis de quantis mais altos. Em relação à importância
relativa das variáveis preditoras, o impacto da citação das
referências citadas foi, em geral, a variável menos importante.
O número de referências citadas carregava a maior importância
para os níveis de quantil baixo e médio, mas essa importância
era diminuída no nível considerado mais alto.
Recebido em 27 de março de 2017; revisado em 23 de outubro de 2017; aceito em 24 de outubro de
2017
VC2017 ASIS&T - Publicado online em 8 de dezembro de 2017 na Wiley Online
Library (wileyonlinelibrary.com). DOI: 10.1002/asi.23986
As taxas de citação são normalmente usadas na avaliação
bibliométrica do impacto científico. No entanto, campos de pesquisa que
atraem muitas citações de áreas adjacentes, tendem a se referir a
publicações recentes e têm longas listas de referências receberão, em
média, mais citações por publicação do que campos de pesquisa que
atraem poucas citações de áreas adjacentes, tendem a se referir a
publicações mais antigas e ter listas de referência curtas. Além disso, a
cobertura da base de dados e o tipo de documento estão relacionados
ao número médio de citações recebidas por publicação dentro de um
campo de pesquisa.
Pode-se distinguir entre duas abordagens para a normalização
de campo das taxas de citação. (a)Normalização baseada em
sistema de classificação.Esta abordagem requer um sistema de
classificação prévia. Cada publicação é atribuída a uma ou mais
classes (campos) do sistema. (b)Normalização baseada na fonte.Essa
abordagem é baseada na ideia de que as citações de publicações
devem ser normalizadas com base no tamanho das listas de
referência das publicações citantes (por exemplo, Gl€anzel,
Schubert, Thijs, & Debackere, 2011; Leydesdorff & Bornmann, 2011;
Zitt, 2010; Zitt & Small, 2008). Os indicadores de citação normalizada
da fonte levam apenasreferências ativasem conta: uma referência a
uma publicação que é publicada em um determinado período de
tempo e que apareceu em uma fonte coberta pela base de dados
utilizada (Zitt & Small, 2008). Nesta abordagem, as publicações

JORNAL DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO, 69(5):728–743, 2018


que citam uma unidade são assumidas como semelhantes à unidade em
relação ao conteúdo do assunto.
Em nosso trabalho diário, onde usamos as categorias de
assuntos de periódicos da Web of Science (WoS) para normalização,
observamos que o número de referências citadas (e a parcela de
referências citadas cobertas pela WoS) está correlacionada com a
taxa de citação normalizada de campo.1Duas explicações
alternativas possíveis para essa observação vêm à mente. Primeiro,
a normalização empregada corrige mal as diferenças entre os
campos de pesquisa, por exemplo, agrupando áreas de pesquisa
com diferentes práticas de referência no mesmo campo (por
exemplo, Adams, Gurney, & Jackson, 2008; Neuhaus & Daniel, 2009;
van Eck, Waltman, van Raan, Klautz e Peul, 2013; van Leeuwen e
Medina, 2012; Zitt, Ramanana-Rahary e Bassecoulard, 2005). Em
segundo lugar, o número de referências citadas tem relação com o
impacto da citação da publicação, e talvez com sua qualidade, além
daquela causada por diferenças de campo quanto às práticas de
referência. Se esta variável tiver tal relação com o impacto, isso teria
implicações para a abordagem de normalização baseada na fonte
descrita acima. A abordagem tem a propriedade de que uma
publicação cujas publicações citantes tenham, em média, um
grande número de referências ativas citadas terá um desempenho
pior do que uma publicação cujas publicações citantes tenham, em
média, um pequeno número de referências ativas, mantendo todas
as outras coisas constantes. Sob esta segunda explicação, o
problema seria que a abordagem de normalização baseada na fonte
daria (implicitamente) mais peso para citar publicações com menos
impacto.
Neste estudo, para esclarecer qual das duas explicações
alternativas é mais plausível, usamos três sistemas de
classificação diferentes, com diferentes níveis de granularidade.
Se uma normalização conduzida pelo uso de um sistema
grosseiro daria origem a uma relação entre propriedades de
referências citadas e taxa de citação normalizada de campo,
enquanto a relação correspondente para uma normalização
baseada em um sistema refinado estaria ausente, isso sugeriria
que a primeira normalização agrupa áreas de pesquisa com
diferentes práticas de referenciação em um mesmo campo. Se,
por outro lado, ambas as normalizações dessem origem a
relações semelhantes, a hipótese de que as propriedades das
referências citadas têm relação com o impacto da citação para
além da relação causada por diferenças de campo quanto às
práticas de referenciação seria sustentada.
Neste trabalho, abordamos a relação entre as
propriedades das referências citadas das publicações da
WoS e a taxa de citação normalizada de campo dessas
publicações. Conforme indicado acima, a relação tem
implicações em relação à escolha da abordagem de
normalização de citações. Também é interessante porque o
conhecimento do relacionamento pode ser usado para
avaliar as próprias práticas de referência.
1Uma observação desse tipo seria esperada se fossem usadas taxas de citação, e
não taxas de citação normalizadas por campo.
REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
Estudos anteriores relevantes para a relação entre
as propriedades das referências citadas e a taxa
de citação
Nesta seção, revisamos estudos anteriores e relacionados que fornecem
evidências de que as propriedades das referências citadas estão relacionadas
à taxa de citação.
Usando publicações em engenharia química, Peters e van Raan
(1994) descobriram que o número de referências citadas, mas não a
atualidade das referências citadas (medida pelo Índice de Preços),
correlacionava-se com a taxa de citação.
Boyack e Klavans (2005) examinaram quão bem a taxa de citação
pode ser prevista a partir da importância do periódico, reputação do
autor e importância da referência. O exame foi realizado para todo
o conjunto de dados, bem como para 24 classes de disciplinas de
Indicadores de Ciências Essenciais (ESI) (Clarivate Analytics/
Thomson Reuters). A variável importância da referência, medida
pela soma das citações às referências citadas de uma publicação, foi
significativa na previsão da taxa de citação, mas sua contribuição
para a capacidade preditiva foi relativamente modesta.
Walters (2006) tratou da previsão de taxas de citação no
campo da psicologia do crime. Exatamente uma variável
preditora que diz respeito às propriedades das referências
citadas foi examinada. A variável número de referências citadas
teve capacidade preditiva relativamente fraca. Uma correlação
entre número de referências citadas e taxa de citação foi
observada por Kostoff (2007), que utilizou publicações em
medicina. Tal correlação foi observada também por Vieira e
Gomes (2010) e Webster, Jonason e Schember (2009). O
primeiro estudo usou quatro classes de assuntos ESI, as últimas
publicações em psicologia evolutiva. Em Lokker, McKibbon,
McKinlay, Wilczynski e Haynes (2008), as taxas de citação mais
altas foram previstas pelo número de referências citadas em
relação às publicações na revista médicaA Lanceta.
Haslam et ai. (2008) trataram, entre outras variáveis preditoras,
do número de referências citadas e da idade média das referências
em relação à taxa de citação. Os campos de interesse eram a
psicologia social e da personalidade, e as duas variáveis tiveram
efeitos significativos na taxa de citações.
O estudo de Lancho-Barrantes, Guerrero-Bote e Moya-Anegon
(2010) é o único estudo que encontramos onde cada variável
preditora diz respeito às propriedades das referências citadas e a
variável de resposta diz respeito ao impacto da citação. Os autores
usaram 27 categorias de assuntos Scopus (Elsevier) para estudar a
relação entre tais propriedades e quatro indicadores de impacto de
periódicos (não normalizados) (entre eles o conhecido Journal
Impact Factor). De acordo com a análise de correlação do estudo, as
variáveis que combinaram a cobertura Scopus de referências
citadas com sua atualidade, em relação ao ano de publicação de sua
publicação anfitriã, tiveram a correlação mais forte com o impacto
do periódico. Para o número de referências citadas, entretanto,
apenas uma correlação modesta foi observada.
Em Bornmann, Schier, Marx e Daniel (2012), onde os autores
tratam da área de química, foram estudados os efeitos de um
conjunto de variáveis assumidas como relevantes para a taxa de
citação. Entre elas, uma diz respeito à importância de referência (e
729
DOI: 10.1002/asi

volume da lista de referência), ou seja, oh-índice de referências citadas,
que teve uma correlação significativa com a taxa de citação.
Chen (2012), que usou quatro tópicos e análise de cocitação,
observou que as taxas de citação foram previstas pelo número de
referências citadas. No entanto, o cluster linkage, que pressupõe
uma partição de uma rede e que mede a mudança estrutural geral
introduzida por uma publicação em termos de novos links
(representando cocitações) adicionados entre os clusters,
demonstrou uma capacidade preditiva mais forte.
Didegah e Thelwall (2013), usando publicações em nanociência e
nanotecnologia, observaram que a taxa média de citação das
referências citadas, a internacionalidade das referências citadas,
bem como o número de referências citadas, tiveram efeitos
significativos na taxa de citação. Os mesmos autores, em Didegah e
Thelwall (2013b), descobriram que a taxa média de citação das
referências citadas e o número de referências citadas se
correlacionam com o aumento da taxa de citação nas três classes de
assuntos do ESIBiologia e Bioquímica, QuímicaeCiências Sociais,
Considerando que Didegah (2014) observou que o número de
referências citadas, sua internacionalidade e seu impacto de citação
– examinado em 22 áreas de assunto diferentes ao longo de 10
anos – foram associados com taxas de citação aumentadas.
Antonakis, Bastardoz, Liu e Schriesheim (2014) estudaram
publicações que aparecem na revista de ciências sociaisA liderança
trimestrale descobriu que ter mais referências citadas, mais autores e
uma classificação universitária mais alta previu uma taxa de citação mais
alta. O fato de referências mais citadas se correlacionarem com taxas de
citação mais altas foi um dos resultados de um estudo de Yu, Yu, Li e
Wang (2014), no qual a biblioteconomia e a ciência da informação foram
o campo de interesse. A mesma observação foi feita por Bornmann,
Leydesdorff e Wang (2014), em um estudo em que as categorias de
assunto da WoS foram utilizadas para obter conjuntos de referência,
bem como por Hanssen e Jorgensen, (2014), em um estudo sobre taxas
de citação em pesquisa de transporte.
Onodera e Yoshikane (2015) descobriram, em um estudo
envolvendo cinco ciências naturais e um campo de engenharia, que
a atualidade das referências citadas (medida pelo Índice de Preços)
foi o preditor mais forte da taxa de citação, seguido pelo número de
referências citadas.
Os trabalhos descritos acima, apesar de relatarem pesquisas
interessantes, usaram conjuntos de publicações relativamente
pequenos, não usaram variáveis normalizadas de campo e, com uma
exceção (Lancho-Barrantes et al., 2010), não focaram em práticas de
referência. Por outro lado, nosso estudo usa um conjunto de publicações
muito grande, faz uso de variáveis normalizadas de campo e se
concentra em práticas de referência com relação ao seu conjunto de
variáveis preditoras.
Dados e Métodos
Nesta seção, descrevemos o processo de coleta de
dados, os métodos do estudo e apresentamos definições.
Dados
A fonte de dados do estudo foi o Bibmet: a versão
bibliométrica do WoS no KTH Royal Institute of Technology
(Suécia). O Bibmet contém cerca de 51 milhões de publicações,
730 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
com o ano de publicação mais antigo igual a 1980 e é atualizado
trimestralmente. Na segunda quinzena do ano de outubro de
2016, todas as publicações publicadas do ano de 2009, do tipo
documento Artigoe incluídos nos três índices de periódicos da
WoS (SCI-EXPANDED, SSCI e A&HC) foram recuperados do
Bibmet, 1.139.024 artigos.
Além disso, excluímos 166.750 artigos que aparecem em periódicos,
que não são classificados como principais periódicos no CWTS Leiden
Ranking 2015. Para ser classificado como um periódico principal neste
ranking, um periódico deve ter um escopo internacional e um número
suficientemente grande de referências citadas para outros periódicos
principais (sugerindo que o periódico pertence a um campo adequado
para análise de citações). Muitos periódicos de artes e humanidades,
assim como muitos periódicos comerciais e revistas populares, não
satisfazem essas duas condições.2Uma das propriedades das referências
citadas que nos interessa em relação ao seu efeito na taxa de citação é a
cobertura WoS. Suponha que periódicos não essenciais sejam incluídos
em um estudo como o nosso e que um efeito independente da cobertura
da WoS na taxa de citação seja observado no estudo. Esse resultado
pode ser explicado em grande parte pelos artigos nos periódicos não
essenciais, porque esses artigos citam em menor escala publicações
cobertas pela WoS e recebem comparativamente poucas citações.
Aplicamos a normalização de campo às variáveis de resposta e
preditoras. Três sistemas de classificação de campo foram usados:
categoria de assunto WoS, cluster de nível micro CWTS e cluster de
nível 1 KTH. Esses sistemas são descritos na próxima seção. Para
que uma publicação seja incluída no cluster de nível micro do CWTS
e no cluster de nível 1 do KTH, ela deve ter um número suficiente de
relações de citação (diretas ou indiretas) com outras publicações
(Waltman & van Eck, 2012). Para ter o mesmo número de artigos
entre os sistemas de classificação, mantivemos apenas os artigos
que estão presentes nos três; 491 artigos não atenderam a esse
critério e, portanto, foram removidos.
Descobriu-se que 16.120 dos artigos restantes carecem de
referências citadas e esses artigos também foram excluídos do
estudo. Finalmente chegamos a 955.663 artigos, número de
publicações do estudo. DeixarPseja o conjunto desses artigos.
Os Sistemas de Classificação do Estudo
O sistema de classificação WoS categoria de assunto, que
consiste em cerca de 260 categorias, difere dos outros dois sistemas
em três aspectos importantes: (a) os periódicos, e não as
publicações que aparecem neles, são atribuídos a categorias de
assunto (comoNanociência e Nanotecnologia), (b) as atribuições são
feitas manualmente, e (c) uma publicação, por meio de seu
periódico, pode ser atribuída a mais de uma categoria de assunto. O
número de categorias de assunto WoS com pelo menos um artigo
emPé 239.
O sistema de classificação de cluster de nível micro CWTS
consiste em 3.822 clusters de publicações WoS, onde os clusters são
separados em pares. Este sistema é obtido algoritmicamente por
meio de uma metodologia proposta por Waltman
2http://www.leidenranking.com/Content/CWTS%20Leiden%20Ranking
%202015.pdf

e Van Eck (2012). As publicações (cada publicação é do tipo
documentoArtigoouAnálise)são agrupados com base em links
de citação direta entre eles, e a técnica de agrupamento usada
é semelhante ao agrupamento baseado em modularidade
(Newman 2004a,b). Os 3.822 clusters são o ponto de partida
para atribuir publicações a campos no CWTS Leiden Ranking
2015.3O número de clusters de nível micro CWTS com pelo
menos um artigo emPé 3.814.
O terceiro e mais refinado sistema de classificação é o
cluster de nível 1 do KTH. O grupo bibliométrico do KTH
implementou um sistema de classificação baseado na
metodologia de Waltman e van Eck mencionada no parágrafo
anterior. O sistema é hierárquico e possui quatro níveis de
clusters, onde, para cada nível, os clusters são disjuntos
pairwise. O nível mais refinado, cluster de nível 1 KTH, inclui
cerca de 28 milhões de publicações Bibmet (cada publicação é
do tipo de documentoArtigoouAnálise)e tem 35.192 clusters. O
número de clusters de nível 1 KTH com pelo menos um artigo
emPé 31.879. O cluster de nível 1 do KTH é extremamente
refinado e o usamos aqui como um meio de testar se a relação
investigada entre as propriedades das referências citadas e a
taxa de citação normalizada de campo desaparece quando a
normalização é levada ao extremo, em vez de sugerir que é
uma prática sistema de normalização a ser empregado no
trabalho cotidiano. As distribuições de artigos por turmas dadas
pelos três sistemas são apresentadas no apêndice.
Regressão Quantílica
Para expor a relação entre as propriedades das referências
citadas e a taxa de citação, usamos a regressão quantílica (Koenker
& Hallock, 2001). Uma alternativa para isso seria usar a regressão de
mínimos quadrados ordinários (OLS). No entanto, estávamos
interessados em examinar os efeitos das variáveis preditoras em
diferentes locais das distribuições das variáveis de resposta. Em
particular, estávamos interessados nos efeitos em quantis mais
altos, pois geralmente são as partes mais interessantes da
distribuição em um contexto avaliativo (ou seja, pesquisa de alto
impacto). Em tal situação, a regressão OLS, com seu foco na média
(condicional) da variável de resposta, é menos adequada. Além
disso, é bem conhecido que as distribuições de citações são
tipicamente assimétricas altamente positivas. Para distribuições
deste tipo, a média, que é substancialmente influenciado por
outliers, pode ser uma medida enganosa de tendência central. Até
onde sabemos, a regressão quantílica não foi aplicada em estudos
anteriores sobre a relação entre as propriedades das referências
citadas e a taxa de citação. No entanto, encontramos alguns
estudos que usam regressão quantílica e em que as variáveis de
resposta envolvem taxas de citação (Birks et al., 2014; Hinnant et al.,
2012; Stegehuis, Litvak, & Waltman, 2015).
Quatro análises de regressão quantílica, onde as observações
correspondem a artigos emP,fomos conduzidos. Para cada uma das
quatro análises, 18 níveis de quantis foram usados:s50,1, 0,15, . . .,
0,95. Basicamente, as quatro análises diferem apenas com
3http://www.leidenranking.com/Content/CWTS%20Leiden%20Ranking
%202015.pdf
REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
em relação à abordagem para normalização de campo de variáveis
de resposta e preditoras. Na lista abaixo, as quatro análises são
descritas (o item 3 da lista descreve duas das análises).
1. QR-P. Nãocamponormalização de variáveis. Variável de resposta
e variáveis preditoras normalizadas para todos os artigos em
P.
a. Variável de resposta: taxa de citação do artigo dividida pela
média correspondente em todos os artigos emP (cP).
b. Variáveis preditoras
eu. Número de referências citadas do artigo dividido pela
média correspondente em todos os artigos emP
(Nr_CitadoRef_P).
ii. Parcela (em %) de referências citadas cobertas pela WoS
do artigo dividida pela média correspondente em todos
os artigos em P (Perc_CitedRef_P).
iii. Idade média das referências citadas do artigo dividida
pela média correspondente em todos os artigos em P
(RefAgeMean_P).
4. Taxa média de citação das referências citadas abrangidas
pela WoS do artigo dividida pela média correspondente
em todos os artigos em P (RefCitMean_P).
2. QR-WoS. Normalização de campo de variáveis de resposta e
preditoras em relação à categoria de assunto WoS.
a. Variável resposta: taxa de citação do artigo dividida pela
média correspondente entre todos os artigos
pertencentes aPe a categoria (ou categorias) de assunto
WoS do artigo (cf_WoS).
b. Variáveis preditoras
eu. Número de referências citadas do artigo dividido
pela média correspondente entre todos os artigos
pertencentes aPe a categoria (ou categorias) de
assunto WoS do artigo (Nr_CitedRef_WoS).
ii. Parcela (%) de referências citadas cobertas por WoS
do artigo dividido pela média correspondente em
todos os artigos que pertencem a P e à categoria de
assunto WoS (ou categorias) do artigo
(Perc_CitedRef_WoS).
iii. Idade média das referências citadas do artigo dividida
pela média correspondente em todos os artigos que
pertencem a P e à categoria (ou categorias) de assunto
WoS do artigo (RefAgeMean_WoS).
4. Taxa média de citação das referências citadas
abrangidas pela WoS do artigo dividida pela média
correspondente entre todos os artigos que
pertencem a P e à categoria de assunto WoS (ou
categorias) do artigo (RefCitMean_WoS).
3. QR-CWTSML; QR-KTHL1. Normalização de campo de
variáveis de resposta e preditoras em relação ao cluster
de nível micro CWTS (cluster de nível 1 KTH).
a. Variável resposta: taxa de citação do artigo
dividida pela média correspondente entre todos
os artigos pertencentes aPe o cluster do artigo
(cf_CWTSML; cf_KTHL1).
b. Variáveis preditoras
eu. Número de referências citadas do artigo
dividido pela média correspondente entre todos
os artigos pertencentes aPe o cluster do artigo
(Nr_CitedRef_CWTSML; Nr_CitedRef_KTHL1).
ii. Parcela (em %) de referências citadas cobertas pela
WoS do artigo dividida pela média correspondente
731
DOI: 10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
TABELA 1. Estatísticas resumidas para variáveis de resposta e preditoras.

análise QR Variável Q1 Mediana Q3 LOUCO

QR-P Resposta variável

cP 0,19 0,52 1.10 0,58
Variáveis preditoras
Nr_CitadoRef_P 20,40 20,09 0,29 0,51
Perc_CitadoRef_P 20,19 0,08 0,26 0,31
RefAgeMean_P 20,35 20,11 0,22 0,40
RefCitMean_P 20,82 20,61 20,17 0,38
QR-WoS Resposta variável
cf_WoS 0,21 0,55 1.19 0,60
Variáveis preditoras
Nr_CitadoRef_WoS 20,36 20,08 0,26 0,46
Perc_CitadoRef_WoS 20,14 0,05 0,16 0,21
RefAgeMean_WoS 20,31 20,08 0,21 0,37
RefCitMean_WoS 20,73 20,47 0,07 0,48
QR-CWTSML Resposta variável
cf_CWTSML 0,22 0,57 1.23 0,62
Variáveis preditoras
Nr_CitedRef_CWTSML 20,36 20,08 0,26 0,45
Perc_CitedRef_CWTSML 20,13 0,03 0,14 0,19
RefAgeMean_CWTSML 20,29 20,07 0,20 0,35
RefCitMean_CWTSML 20,69 20,40 0,09 0,51
QR-KTHL1 Resposta variável
cf_KTHL1 0,26 0,64 13h30 0,67
Variáveis preditoras
Nr_CitadoRef_KTHL1 20,34 20,07 0,25 0,43
Perc_CitedRef_KTHL1 20,11 0,02 0,13 0,18
RefAgeMean_KTHL1 20,26 20,05 0,19 0,32
RefCitMean_KTHL1 20,63 20,32 0,14 0,52

Observação.Q15primeiro quartil, terceiro trimestre5terceiro quartil, MAD5desvio absoluto mediano, ou seja, a mediana dos desvios absolutos da mediana de uma
distribuição.

em todos os artigos que pertencem a P e ao Nós definimos oidadede uma referência citadaeuaparecendo em
cluster do artigo (Perc_CitedRef_CWTSML; uma publicaçãojcomoYj– Yeu, ondeYj(Yeu) é o ano de publicação dej
Perc_CitedRef_KTHL1). (eu).No nosso caso, onde cada artigo é publicado no ano de 2009, a
iii. Idade média das referências citadas do artigo
idade de uma referência citadaeuaparecendo em uma publicaçãojé
dividida pela média correspondente entre todos os
igual a 2009 -Yeu.
artigos pertencentes a P e ao cluster do artigo
Para as quatro variáveis preditoras Perc_CitedRef e as quatro
(RefAge-Mean_CWTSML; RefAgeMean_KTHL1).
variáveis preditoras RefCitMean, a cobertura em questão diz
4. Taxa média de citações das referências citadas
abrangidas pela WoS do artigo dividida pela média respeito mais precisamente ao Bibmet: é possível que o artigo
correspondente entre todos os artigos tenha citado referências que são cobertas pelo WoS, mas não pelo
pertencentes a P e ao cluster do artigo Bibmet, porque o ano de publicação mais antigo no Bibmet é 1980
(RefCitMean_CWTSML; RefCitMean_KTHL1). No entanto, esse é um problema menor e usamos o conhecido
termo “WoS” por motivos de legibilidade.
As citações foram contadas com uma janela de citação
Para ter interpretações significativas dos interceptos dos
aberta até o momento da análise.Autocitações de autoresforam
resultados das quatro análises de regressão, realizamos
removidos, onde definimos tal citação como uma citação de
centralização média das variáveis preditoras. Para cada uma
uma publicaçãoeupara uma publicaçãojde tal modo queeuej
dessas variáveis, a média foi subtraída de cada observação.5Isso
têm pelo menos um autor comum. O grupo bibliométrico do
rendeu quatro novas distribuições, nas quais 0 representa a média.
KTH, ao qual pertence um dos presentes autores,
Portanto, os quatro interceptos podem ser interpretados como a
rotineiramente exclui tais citações em suas análises. Não temos
estimativa squantil para a distribuição de citações condicionada aos
motivos para acreditar que a inclusão de autocitações de
valores das variáveis preditoras de um artigo médio. A Tabela 1
autores alteraria em maior medida os resultados do estudo,
contém estatísticas descritivas (após centralização) para as variáveis
considerando o nível de agregação deste último.4
de resposta e preditoras do estudo.

4Relacionada a essa questão está a observação feita por Boyack e Klavans 5Observe que as médias de todas as 16 (4 análises de regressão vezes 4 variáveis
(2005) de que as autocitações de autores não poderiam explicar, no nível preditoras) consideradas distribuições preditoras, antes da centralização, são iguais a
agregado, a forte relação observada entre o impacto da citação das 1. As médias das quatro distribuições de resposta também são iguais a 1 (pelos
publicações citadas e citantes. mesmos motivos).

732 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
TABELA 2. Um cenário hipotético envolvendo cinco artigos e quatro categorias TABELA 3. Valores das referências dos campos referentes à variável 'Perc cr
de assuntos WoS. coberto pela WoS'.

'Perc cr Artigo Campo Valor de referência do campo

abordado fração Fração do artigo no campo3

Artigo Campo por WoS' em campo 'Perc cr coberto por WoS' S1 (8019011/236011/4380)/(11111/211/4)580 (5011/2360
S2 11/4380)/(111/211/4)557,1 (1/4380)/1/4580 (1/4380)/
a1 S1 80 1 1380 S3 1/4580
a2 S1 90 1 1390 S4
a3 S2 50 1 1350
a4 S1 60 1/2 1/2360
a4 S2 60 1/2 1/2360 valores normalizados de campo para a4, 60 dividido pelo valor de
a5 S1 80 1/4 1/4380 referência de campo de S1 e 60 dividido pelo valor correspondente
a5 S2 80 1/4 1/4380
de S2: 60/80 e 60/57,1. Finalmente calculamos a média entre essas
a5 S3 80 1/4 1/4380
a5 S4 80 1/4 1/4380 duas razões: 1/2(60/80160/57.1)50.9, que é o valor normalizado do
campo para a4, ou seja, seu valor em Perc_CitedRef_WoS. 0.9 nos
diz que a parcela das referências citadas de a4 cobertas pela WoS é,
O caso especial do cálculo dos valores de referência de
em média, 10% menor do que as médias correspondentes entre os
campo baseados em WoS
artigos em suas duas categorias de assuntos da WoS. Observe que a
Os meios pelos quais os valores das variáveis não média ponderada dos valores normalizados de campo, para cada
normalizadas (como taxa de citação e número de referências categoria de assunto, onde o peso é a fração que um artigo tem na
citadas) são divididos são valores de referência. No caso das categoria, é igual a 1. Assim, a média dos valores normalizados de
análises de regressão quantílica QR-WoS, QR-CWTSML e QR- campo nos cinco artigos também é igual para 1.6-
KTHL1, esses valores são valores de referência de campo. Em
relação ao sistema de classificação da categoria de assunto Resultados
WoS, uma publicação pode, como mencionamos acima, ser
Nesta seção, primeiro comparamos a qualidade do ajuste dos
atribuída a mais de uma categoria de assunto. Para obter
quatro modelos correspondentes às quatro análises de regressão
valores de referência de campo para categorias de assunto
quantílica. Denotamos esses modelos como M_P, M_WoS,
WoS, usamos uma abordagem de contagem fracionária
M_CWTSML e M_KTHL1. Em seguida, relatamos os efeitos das
(Waltman & van Eck, 2015). No exemplo a seguir, mostramos (a)
variáveis preditoras em diferentes níveis de quantil. Finalmente,
como esses valores foram calculados para a variável não
normalizada Share (em %) de referências citadas cobertas por lidamos com a importância relativa das variáveis preditoras.

WoS ('Perc cr coberto por WoS') e (b) como o valor de

Perc_CitedRef_WoS, a contraparte normalizada de campo da Qualidade de ajuste dos modelos
variável de cobertura não normalizada, Como uma medida descritiva da força de previsão, usamos um
índice de qualidade de ajuste para modelos de regressão quantílica
Exemplo 1. Suponha que temos um conjunto, digamosP',de cinco
como oR2índice de qualidade de ajuste na regressão OLS.R2é
artigos publicados anoY:a1, a2, a3, a4 e a5. Suponha também que
calculado subtraindo de 1 uma razão onde o numerador é a soma
a1 e a2 pertencem à categoria de assunto WoS S1, a3 à categoria S2,
dos quadrados das distâncias entre os valores observados e os
enquanto a4 pertence a S1 e S2 e a5 às categorias S1, S2, S3 e S4.
valores ajustados e um denominador da soma dos quadrados das
Esta situação é representada nas duas primeiras colunas da Tabela
distâncias entre os valores observados e os valores ajustados que
2. A tabela também inclui valores hipotéticos da variável 'Perc cr
obteríamos se incluíssemos apenas os termo de interceptação no
abrangidos pela WoS' para os cinco artigos, a fração com a qual um
modelo. Como a regressão quantílica é baseada na minimização de
artigo é atribuído a uma categoria (a coluna “Artigo fração no
campo”), e esta fração vezes o valor de 'Perc cr coberto por uma soma ponderada absoluta (e não uma soma não ponderada de

WoS' (última coluna). Para este último, então, o valor de 'Perc cr quadrados como em OLS), um análogo natural deR2para regressão

abrangido pela WoS' é ponderado pela fração que o artigo possui quantílica - geralmente chamada de pseudo-R2ouR1– é definido por

na categoria. Como deve ficar claro na tabela, atribuímos artigos Koenker e Machado (1999) como
uniformemente em suas categorias. x x
Na Tabela 3, derivada da Tabela 2, são apresentados os cálculos RASWs512x sjy2ŷ
eu euj1 ð12sÞjyeu2ŷeuj
yeu-ŷ eu
R1sðSº512 xyeu<ŷeu ;
dos valores de referência de campo de S1-S4 com relação a 'Perc cr TASWs sjy2y-j1
eu ð12sÞjyeu2y-j
yeu-y- yeu<s-
coberto por WoS'.
Por exemplo, o valor de referência de campo de S1 é obtido dividindo a
(1)
soma dos valores ponderados de 'Perc cr coberto por WoS' para S1 pela soma
ondesé o nível de quantil considerado,So conjunto de variáveis
das frações de artigos para S1, que resulta em 220/2,75580.
preditoras,yeuo valor observado na variável de resposta
Agora, suponha que o valor da variável preditora Perc_
CitedRef_WoS para o artigo a4 deva ser calculado. O valor a4 de
6Essas propriedades médias não estão restritas ao exemplo. São
'Perc cr coberto por WoS' é 60 (Tabela 2). Como a4 pertence a propriedades gerais da contagem fracionária e da contagem total, dado que
duas categorias, S1 e S2, primeiro calculamos duas cada publicação é atribuída a exatamente uma categoria. Cf. nota de rodapé 5.

REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 733

DOI: 10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
TABELA 4. Resultados de regressão quantílica.

nível quantil (s)

Parâmetro 0,25 0,5 0,95

Interceptar 0,24 0,55 3.18

Nr_CitadoRef_P 0,19 0,34 1.25
Perc_CitadoRef_P 0,16 0,32 1,66
RefAgeMean_P 20,07 20,13 20,36
RefCitMean_P 0,00 0,00 0,21

Interceptar 0,25 0,59 3.19

Nr_CitadoRef_WoS 0,20 0,38 1.43
Perc_CitadoRef_WoS 0,11 0,21 0,66
RefAgeMean_WoS 20,08 20,17 20,53
RefCitMean_WoS 0,01 0,02 0,50

Interceptar 0,26 0,61 3.12

Nr_CitedRef_CWTSML 0,21 0,39 1.39
Perc_CitedRef_CWTSML 0,13 0,25 0,81
FIGO. 1. Qualidade de ajuste dos quatro modelos M_P, M_WoS, M_CWTSML
RefAgeMean_CWTSML 20,08 20,17 20,52
e M_KTHL1. [A figura colorida pode ser vista em wileyonlinelibrary.com]
RefCitMean_CWTSML 0,00 0,01 0,27

Interceptar 0,30 0,67 2,98

Nr_CitadoRef_KTHL1 0,24 0,44 1.32
para oeuº caso, ŷ euo previstosquantil na resposta Perc_CitedRef_KTHL1 0,15 0,27 0,65
RefAgeMean_KTHL1 20,07 20,15 20,45
variável para oeucaso, dados os valores das variáveis
RefCitMean_KTHL1 0,01 0,02 0,22
preditoras emSpara oeuº caso, ey-o observadosquantil na
variável de resposta.RASWé a soma absoluta residual das
diferenças ponderadas (|S|5p)eTASWa soma absoluta residual bloco de dados na tabela), o quantil 0,95 estimado para a
das diferenças ponderadas usando um modelo apenas com o distribuição de citações condicionada às variáveis
intercepto (|S|50), ou seja, o quantil incondicional.R1 preditoras com valores (antes da centralização)
s
varia de 0 a 1, e sua interpretação é semelhante à de R2. No Nr_CitedRef_ WoS51.2, Perc_CitadoRef_WoS51.3,
entanto, é uma medida local de ajuste – dependente do quantil RefAgeMean_ WoS50.6 e RefCitMean_WoS51,4, é igual a
especificado – e não uma medida global comoR2.
A Figura 1 mostra o resultado das medições de qualidade de ajuste, 3:191ð0:231:43º1ð0:330:66º1ð20:4320:53º
nos níveis de quantis usados, para os quatro modelos M_P, M_WoS, 1ð0:430:5º54:09; (2)
M_CWTSML e M_KTHL1. Como pode ser visto, o ajuste do modelo diminui
sucessivamente à medida que normalizações de citações mais refinadas considerando que o quantil 0,95 estimado para a distribuição de
são usadas, especialmente em níveis de quantis mais altos. As citações condicionada às variáveis preditoras com valores iguais a
estatísticas sobre referências citadas são, portanto, mais valiosas ao 0 é igual a
prever quantis condicionais de citações não normalizadas de campo,
como era de se esperar. No entanto, e curiosamente, o poder preditivo 3:191ð031:43º1ð030:66º1ð0320:53º1ð030:5º53:19;
não desaparece quando a normalização de campo é introduzida. O (3)
ajuste do modelo também é melhor em níveis de quantis mais altos,
isto é, igual ao intercepto. Essa configuração zero das variáveis
independentemente da abordagem de normalização.
preditoras é a configuração de uma média, com relação a cada uma
dessas variáveis, artigo.
Efeitos de variáveis preditoras em diferentes níveis de quantis Observe que um aumento de 1 na variável preditora após a

Na Tabela 4, os parâmetros (arredondados para duas casas centralização corresponde a um aumento de uma média antes da

decimais) das análises de regressão de quatro quantis são centralização.

relatados para os níveis de quantis baixo (0,25), médio (0,5) e
alto (0,95).7Por exemplo, e para o resultado QR-WoS (o segundo
7Para o QR-P, o software utilizado (R) alertou que a convergência não foi
alcançada em relação aos níveis de quantis inferiores (1–5). O problema é que
existem muitas observações no mesmo valor de variável de resposta, o que
torna difícil delimitar as observações em grupos de quantis. O procedimento
atribui arbitrariamente tais observações a grupos de quantis. No entanto,
como esse problema se aplica apenas a quantis inferiores, o problema é
insignificante.
Os dados da Tabela 4 são mostrados graficamente nas
Figuras 2–5, junto com quatro subgráficos que visualizam a
importância relativa das variáveis preditoras ems50,95 (o
subgráfico mais à direita da linha inferior). Voltamos à questão
da importância relativa na próxima seção. Observe que, com
relação a esses quatro subgráficos, usamos variantes curtas dos
nomes das variáveis preditoras devido a restrições de espaço.
Por exemplo, “nr_ref” é usado em vez de “Nr_CitedRef”. Em cada
uma das quatro figuras há uma linha de referência horizontal,

734 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
FIGO. 2. Resultados QR-P. Nenhuma normalização de campo de variáveis. Variável de resposta e variáveis preditoras normalizadas para todos os artigos emP.A linha horizontal
representa a estimativa OLS. Limites de confiança de 95%. [A figura colorida pode ser vista em wileyonlinelibrary.com]

representando a estimativa OLS. Tratamos os dados como dados
populacionais e, portanto, não enfatizamos testes inferenciais. No
entanto, para os leitores ainda interessados em tais informações,
calculamos os erros padrão conforme sugerido por Powell (1991) e
observamos que todos os parâmetros são estatisticamente significativos
no nível 0,001 - o que não surpreende, dando o granden–e forneça faixas
de confiança para os parâmetros nas Figuras 2–5.
Independentemente de qual das quatro análises de regressão
consideramos, é claro que as variáveis preditoras influenciam a
taxa de citação normalizada. Nr_CitedRef, Perc_CitedRef e
RefCitMean têm efeitos positivos na taxa de citação normalizada,
enquanto os efeitos de RefAgeMean são negativos, ou seja,
referências a publicações mais antigas têm efeito negativo na taxa
em questão.
os parâmetros estão monotonicamente aumentando (diminuindo) com
s,o que nos diz que aumentar os valores da variável
preditora dada tem maior efeito na parte superior da
distribuição de citações condicionais.
Como pode ser visto quando as Figuras 3–5 são comparadas,
resultados semelhantes são obtidos quando os três sistemas de
classificação diferentes são usados. Uma comparação dessas figuras com
a Figura 2 revela que os resultados da regressão de normalização do
banco de dados são bastante diferentes dos resultados correspondentes
para a normalização de campo.
Importância Relativa das Variáveis Preditoras
Agora voltamos à importância relativa da questão das variáveis

Os coeficientes de regressão quantílica, independentemente da preditoras. Para avaliar a importância relativa das variáveis em cada

análise de regressão, variam com o nível quantílicos.Assim, os modelo, adotamos uma abordagem usada em OLS que se baseia na

efeitos das variáveis preditoras na taxa de citação normalizada são
diferentes para diferentes valores des.De fato, todas as variáveis
preditoras têm efeitos maiores sobre as variáveis de resposta em
níveis de quantil mais altos. Se houvesse apenas mudanças de
localização, aumentar o valor de uma variável preditora faria com
que cada quantil aumentasse na mesma proporção (ou seja,
veríamos uma linha horizontal). Em vez disso, vemos que o
decomposiçãoR2. No OLS, dadas variáveis não correlacionadas, a
importância relativa das variáveis pode ser avaliada observando o
aumento sequencial emR2à medida que adicionamos variáveis. Mas se as
variáveis estiverem correlacionadas, a ordem pela qual inserimos cada
variável no modelo torna-se importante. Um método para lidar com o
problema de ordem é calcular a média de todas as ordenações de
variáveis (Chevan &

REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 735

DOI: 10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
FIGO. 3. Resultados QR-WoS. Normalização de campo de variáveis de resposta e preditoras em relação à categoria de assunto WoS. A linha horizontal representa a estimativa
OLS. Limites de confiança de 95%. [A figura colorida pode ser vista em wileyonlinelibrary.com]

Sutherland, 1991; Christensen, 1992; Kruskal, 1987). Para um
determinado nível de quantils,estimamos a importância relativa
de uma variável preditora da seguinte maneira. Primeiro,
denotar o adicionalR1 sao adicionar a variávelxeupara
um modelo já contendo as variáveis no conjunto S0
fx1; . . . ;xpgnfxeugpor
Rs1ðfxeugjS0º5R1 sðfxeug[S0º2R1 sðS0º
Então a importância relativa (RI) para uma variável (e para um dados)em
um modelo compvariáveis preditoras são definidas como
0 1
p21B x C
1XB Rs1ðfxeugjS0ºC
RIsðxeuº5 B !C
p B p21 C
j50@S0fx1;...;xpgnfxeug;jS0j5j A Figuras 2–5, usamos variantes curtas dos nomes das variáveis
j preditoras devido a restrições de espaço.
A expressão na equação 5 é a média sobre
contribuições médias em modelos de diferentes tamanhos. Observe que
aP
euRIsðxeuºé igual ao valor dado pela equação 1 ao usar o
conjunto completo de variáveis de previsão. Deve-se notar que
não há medidas inequívocas de importância relativa quando
variáveis estão correlacionadas. Deve ficar claro pela equação
5 que a noção de importância que usamos segue a definição
geral de Johnson e Lebreton (2004) como a contribuição
proporcional (em um determinados)cada variável preditora faz
paraR1considerando tanto sua contribuição única quanto sua
contribuição quando combinada com outras variáveis.
Aplicamos a abordagem descrita acima aos nossos quatro conjuntos
(4) (um para cada modelo) de variáveis preditoras. Além disso, para um
dado modelo, cada um dos quatro valores de RI foi dividido
pela soma de tais valores nas quatro variáveis preditoras.
Assim, os valores de RI foram normalizados para cair no
intervalo [0, 1]. O resultado da análise de importância é
mostrado na Figura 6. A figura ilustra a importância relativa das
variáveis consideradas para baixo (0,25), médio (0,5) e alto
(5) (0,95) valores des.Observe que nós, como nos quatro subgráficos das
Embora o número de referências citadas (nr_ref) carregue a
maior importância nos modelos para níveis de quantil baixo e
médio, essa importância é diminuída, exceto para normalização
de campo contra o cluster de nível 1 KTH, no nível mais alto
considerado, 0,95. Isso é particularmente pronunciado para a
normalização do banco de dados, onde a importância

736 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
FIGO. 4. Resultados QR-CWTSML. Normalização de campo de variáveis de resposta e preditoras em relação ao cluster de nível micro CWTS. A linha horizontal representa a
estimativa OLS. Limites de confiança de 95%. [A figura colorida pode ser vista em wileyonlinelibrary.com]

da cobertura WoS de referências citadas (perc_ref) é quase tão alta
quanto a importância de nr_ref (Figura 6, primeira linha, subgráfico
mais à direita). Para normalização de campo em relação à categoria
de assunto WoS, mas não para normalização de banco de dados ou
normalização de campo em relação aos outros dois sistemas de
classificação do estudo, a taxa de citação das referências citadas
(cit_ref) contribui bastante para a importância total no nível 0,95,
quase um quarto (23%; Figura 6, segunda linha, subgráfico mais à
direita).
normalização de todas as variáveis. Usamos análise de regressão
quantílica para revelar como as variáveis preditoras afetam o
impacto da citação. Até onde sabemos, a regressão quantílica não
foi aplicada em estudos anteriores sobre a relação entre as
propriedades das referências citadas e a taxa de citação.
Observamos que as variáveis preditoras afetaram o impacto da
citação em maior extensão em níveis de quantis mais altos. Como as
distribuições de citações são fortemente distorcidas, os artigos
altamente citados recebem altas parcelas do número total de
citações e, por isso, são de grande interesse. Sugerimos, portanto,

Discussão e Conclusões que a regressão quantílica seja considerada ao analisar correlações

Neste estudo, investigamos como as propriedades das listas de
referências de publicações se correlacionam com o impacto das
citações das publicações. Nós normalizamos as diferenças entre os
campos de pesquisa, onde três sistemas de classificação diferentes
com diferentes níveis de granularidade foram usados.
Até onde sabemos, estudos anteriores sobre a relação entre
propriedades de referências citadas e taxa de citação não usaram
sistemas de classificação com níveis tão finos de granularidade
quanto os níveis de cluster de nível micro CWTS e cluster de nível 1
KTH. Usamos um conjunto de publicações muito grande contendo
publicações em todas as disciplinas e fizemos uso de
entre citações e outras variáveis.
As conclusões de Marx e Bornmann (2015), que dizem respeito a
seis amplas categorias de assuntos da OCDE, sugerem que a taxa
de citação é mais influenciada pela extensão em que as referências
citadas são cobertas pelo banco de dados usado (WoS no estudo
relatado pelos autores) do que por o número de referências citadas.
Quando a normalização de campo das variáveis preditoras e de
resposta é realizada, no entanto, o desempenho preditivo das
variáveis Perc_CitedRef é mais fraco em comparação com as
variáveis Nr_CitedRef, independentemente do nível do quantil
(baixo, médio e alto). Além disso, a importância relativa do número
de referências aumenta com o aumento

REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 737

DOI: 10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
FIGO. 5. Resultados QR-KTHL1. Normalização de campo das variáveis de resposta e preditoras em relação ao cluster de nível 1 do KTH. A linha horizontal representa a
estimativa OLS. Limites de confiança de 95%. [A figura colorida pode ser vista em wileyonlinelibrary.com]

granularidade dos sistemas de classificação (compare,
verticalmente, Figura 6). Isso implica que o número de referências
citadas tem uma relação com a taxa de citação normalizada que não
é explicada por diferenças de campo e, da mesma forma, que o
poder preditivo das outras três variáveis preditoras se deve em
parte à incapacidade de sistemas de normalização de baixa
granularidade, como Categorias de assunto WoS para controlar
totalmente as diferenças de campo.
Uma interpretação razoável do resultado das medições de
qualidade de ajuste é que a normalização de campo WoS tem um
desempenho pior para as publicações altamente citadas (em
relação aos seus valores de referência). Isso também vale para a
normalização de campo em relação ao cluster de micronível CWTS e
ao cluster KTH de nível 1, porém em menor grau.
Nossos resultados sugerem que o número de referências citadas
tem relação com o impacto de citação da publicação além da
relação causada por diferenças de campo quanto às práticas de
referência. Não estudamos as causas dessa relação, mas algumas
explicações possíveis vêm à mente. As propriedades das listas de
referências talvez possam indicar algo sobre a qualidade de uma
publicação. Publicações com mais referências a material recente
revisado por pares podem ser escritas por pesquisadores com
melhor conhecimento de seus
campos de pesquisa. Mais referências podem indicar ainda mais
profundidade e amplitude da pesquisa que fundamenta a publicação
(Onodera & Yoshikane, 2015), e essas publicações têm uma chance
melhor de não publicar resultados redundantes. Outra causa da relação
pode ser que citações e referências são usadas para recuperação de
informações. Com o uso de bancos de dados de citações, é possível
seguir as citações de um artigo conhecido para encontrar artigos
relacionados posteriormente. Isso pode resultar em mais citações para
artigos com mais referências, porque tais artigos têm uma vantagem de
descoberta, em comparação com artigos com poucas referências, no que
diz respeito a pesquisas diretas usando links de citação. Deve-se, no
entanto, ter em mente que a variação é grande, havendo assim artigos
que não seguem o padrão observado.
Os resultados deste estudo têm implicações interessantes para a
abordagem de normalização baseada na fonte, descrita na introdução
do artigo. Essa abordagem assume que as diferenças entre os campos
em relação à taxa de citação são causadas por diferenças nas práticas de
referência. Campos com listas de referências longas terão mais citações
por publicação do que campos com listas de referências curtas. A
abordagem normaliza as citações por fracionamento do número de
citações fornecidas por uma publicação. Todas as publicações recebem
unidade. Para calcular o peso de cada citação de uma determinada
publicação, este valor

738 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável

FIGO. 6. Importância relativa (RI) das variáveis preditoras para todos os quatro modelos. Valores de RI normalizados.

é dividido pelo número total de suas referências ativas com poucas referências ativas em comparação com citações de
(Waltman, van Eck, van Leeuwen, & Visser, 2013). Isso publicações com alto número de referências ativas. Os resultados
resulta em dar mais peso às citações de publicações deste estudo sugerem que a normalização baseada na fonte

REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 739

DOI: 10.1002/asi

A abordagem valoriza mais as citações de publicações de menor
impacto do que as citações de publicações de maior impacto, o
que não é muito razoável.
Mencionamos que nossos resultados em relação às variáveis preditoras RefCitMean
estão relacionados à chamada hipótese de Ortega, bastante discutida na literatura
cienciométrica anterior (eg, Bornmann, de Moya Anegon, & Leydesdorff, 2010; Cole & Cole,
1972; Green, 1981 ; Kretschmer & Muller, 1990; Szava-Kovats, 2004; Turner & Chubin, 1976).
A hipótese, atribuída ao filósofo espanhol Ortega y Gasset, afirma que a pesquisa de alto
nível não pode ser bem-sucedida sem a influência de uma massa de pesquisadores de nível
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
a categoria de assunto WoS do periódico de artigo de destino. A razão
para isso é que as publicações, dentro de uma determinada categoria de
assunto da WoS, publicadas em periódicos de prestígio e altamente
citados estão em desvantagem em comparação com as publicações, na
mesma categoria, publicadas em periódicos medíocres com baixas taxas
de citações (Bornmann, Marx, & Barth, 2013 ; van Raan, 2005). Por esse
motivo, mesmo que o objetivo do estudo não seja encontrar a melhor
abordagem para a normalização de campo das taxas de citação, não
incluímos um sistema de classificação baseado em periódicos no estudo.

médio (Ortega y Gasset, 1932). De acordo com os resultados de Bornmann et al. (2010),

publicações altamente citadas em todos os campos tendem a citar publicações altamente Uma limitação do nosso estudo é que os resultados sobre
citadas em maior extensão em comparação com publicações medianamente citadas. Este campos específicos não são obtidos, porque as quatro análises de
resultado sugere que a pesquisa altamente influente é mais dependente do uso de pesquisa
regressão quantílica realizadas não dizem respeito a campos

altamente influente do que a pesquisa de média influência. Se for esse o caso, pode-se
específicos. Além disso, no que diz respeito à força da relação

esperar que um aumento em uma variável preditora RefCitMean com uma certa quantidade
observada entre as propriedades das referências citadas e a taxa de

tenha um efeito maior em quantis mais altos em comparação com quantis médios. Como
citação, deve-se ter em mente, como indicado acima, que
certamente existem artigos que não seguem o padrão geral.
vimos, o efeito é realmente maior em quantis mais altos, independentemente da abordagem
Para pesquisas futuras, seria interessante estudar a relação entre as
de normalização, embora seja modesto. Este resultado não concorda bem com a hipótese de
propriedades das referências citadas e a taxa de citação normalizada de
Ortega, dada a nossa operacionalização de influência como impacto de citação normalizado.
acordo com um ou mais métodos dentro da abordagem de normalização
o efeito é realmente maior em quantis mais altos, independentemente da abordagem de
baseada na fonte, conforme sugerido por um dos revisores. Gostaríamos
normalização, embora seja modesto. Este resultado não concorda bem com a hipótese de
ainda de estender a análise deste trabalho para variáveis preditoras
Ortega, dada a nossa operacionalização de influência como impacto de citação normalizado.
que não dizem respeito a propriedades de referências citadas. Também
o efeito é realmente maior em quantis mais altos, independentemente da abordagem de
é interessante examinar diferentes campos de pesquisa separadamente
normalização, embora seja modesto. Este resultado não concorda bem com a hipótese de
para ver se as propriedades de referência são mais importantes em
Ortega, dada a nossa operacionalização de influência como impacto de citação normalizado.
alguns campos do que em outros. De interesse para estudos futuros é
estudar as correlações observadas em profundidade, por exemplo,
comparando o julgamento de artigos por pares e o impacto da citação
Neste estudo, não incluímos um sistema de classificação
em relação às propriedades de referência. Tal análise aumentaria a
baseado em periódicos. Tal sistema seria construído por, para
compreensão das causas das correlações observadas neste artigo.
cada artigoaem nosso conjunto de dadosP,obtendo a classe de
todos os artigosbde tal modo quebpertence aPe foi publicado
na revistaa.No entanto, usar as publicações na revista WoS de
um artigo alvo para normalização de campo das taxas de Apêndice: Distribuições de artigos sobre o tamanho da
citação é inferior a usar as publicações em todas as revistas em turma

FIGO. 7. Categoria de assunto WoS: Distribuição de frações de artigos sobre o tamanho da turma. O quantil 0,25, 0,50 e 0,75 é igual a 4.055, 7.733 e 13.078, respectivamente,
por exemplo, 50% das frações de artigos estão em uma classe de tamanho 7.733 ou menos.

740 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
 23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
FIGO. 8. Cluster de nível micro CWTS: Distribuição de artigos sobre o tamanho da classe. Os quantis 0,25, 0,50 e 0,75 são iguais a 250, 430 e 663, respectivamente, por exemplo,
50% dos artigos estão em uma classe de tamanho 430 ou menos.

FIGO. 9. Cluster de nível 1 do KTH: Distribuição de artigos sobre o tamanho da turma. Os quantis 0,25, 0,50 e 0,75 são iguais a 32, 62 e 104, respectivamente, por exemplo, 50%
dos artigos estão em uma classe de tamanho 62 ou menos.

Agradecimentos Pesquisa e Política, 19(2), 102–109. http://doi.org/

Gostaríamos de agradecer a dois revisores anônimos por seus
comentários sobre uma versão anterior deste artigo.
Referências
Adams, J., Gurney, K., & Jackson, L. (2008). Calibrar o zoom - uma
teste da hipótese de Zitt. Scientometrics, 75(1), 81–95. http://doi.org/
10.1007/s11192-007-1832-7
Antonakis, J., Bastardoz, N., Liu, Y., & Schriesheim, CA (2014).
O que torna os artigos altamente citados? Leadership Quarterly, 25(1), 152–
179. http://doi.org/10.1016/j.leaqua.2013.10.014
Birks, Y., Fairhurst, C., Bloor, K., Campbell, M., Baird, W., &
Torgerson, D. (2014). Uso do índice h para medir a qualidade da produção
de pesquisadores em serviços de saúde. Revista dos Serviços de Saúde
10.1177/1355819613518766
Bornmann, L., de Moya Anegon, F., & Leydesdorff, L. (2010). faça ci-
avanços significativos se apoiam nos ombros de gigantes? Uma
investigação bibliométrica da hipótese de Ortega. Plos One, 5(10). http://
doi.org/10.1371/journal.pone.0013327
Bornmann, L., Leydesdorff, L., & Wang, J. (2014). Como melhorar o
previsão baseada em percentis de impacto de citação para anos logo após a
data de publicação? Journal of Informetrics, 8(1), 175–180. http://doi.org/
10.1016/j.joi.2013.11.005
Bornmann, L., Marx, W., & Barth, A. (2013). A normalização de
contagem de citações com base em sistemas de classificação. Publicações, 1(2),
78–86.
Bornmann, L., Schier, H., Marx, W., & Daniel, H.-D. (2012). que face-
tores determinam contagens de citações de publicações em química além
de sua qualidade? Journal of Informetrics, 6(1), 11–18. http://doi.org/10.
1016/j.joi.2011.08.004

REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 741

DOI: 10.1002/asi

Boyack, KW, & Klavans, R. (2005). Prevendo a importância de
papéis de aluguel. In Proceedings of the 10th International Conference on
Scientometrics and Informetrics (pp. 335–342). Estocolmo: Karolinska
University Press.
Chen, C. (2012). Efeitos preditivos da variação estrutural na citação
conta. Jornal da Sociedade Americana de Ciência e Tecnologia da
Informação, 63(3), 431–449. http://doi.org/10.1002/asi.21694 Chevan,
A., & Sutherland, M. (1991). Particionamento hierárquico. O
American Statistician, 45(2), 90-96. http://doi.org/10.2307/2684366
Christensen, R. (1992). Comente sobre Chevan e Sutherland. o amer-
Estatístico icano, 46, 74.
Cole, JR, & Cole, S. (1972). A hipótese de Ortega: análise de citações
sugere que apenas alguns cientistas contribuem para o progresso científico.
Ciência, 178(4059), 368–375.
Didegah, F. (2014). Fatores associados ao impacto futuro da citação
de artigos publicados: Uma abordagem de modelagem estatística. Dissertação de
doutorado. Universidade de Wolverhampton.
Didegah, F., & Thelwall, M. (2013a). Determinantes da citação de pesquisa
impacto em nanociência e nanotecnologia. Jornal da Sociedade
Americana de Ciência e Tecnologia da Informação, 64(5), 1055–1064.
http://doi.org/10.1002/asi.22806
Didegah, F., & Thelwall, M. (2013b). Quais fatores ajudam os autores a pro-
produzir a pesquisa de maior impacto? Colaboração, diário e propriedades
do documento. Journal of Informetrics, 7(4), 861–873. http://doi.org/
10.1016/j.joi.2013.08.006
GL€anzel, W., Schubert, A., Thijs, B., & Debackere, K. (2011). A priori
vs. normalização a posteriori de indicadores de citação. O caso do ranking
de periódicos. Scientometrics, 87(2), 415–424. http://doi.org/10.1007/
s11192-011-0345-6
Verde, GS (1981). Um teste da hipótese de Ortega em criminologia.
Criminologia, 19(1), 45–52. http://doi.org/10.1111/j.1745-9125.1981.
tb00403.x
Hanssen, T.-ES, & Jorgensen, F. (2014). Contagem de citações em transporte
pesquisa de ção. European Transport Research Review, 6(2), 205–212. http://
doi.org/10.1007/s12544-013-0122-0
Haslam, N., Ban, L., Kaufmann, L., Loughnan, S., Peters, K., Whelan,
J., & Wilson, S. (2008). O que torna um artigo influente? Prevendo o impacto
na psicologia social e da personalidade. Scientometrics, 76(1), 169–185.
http://doi.org/10.1007/s11192-007-1892-8
Hinnant, CC, Stvilia, B., Wu, S., Worrall, A., Burnett, G., Burnett, K.,
. . . Marty, PF (2012). Diversidade da equipe de autores e o impacto das
publicações científicas: evidências da pesquisa em física em um laboratório
nacional de ciências. Biblioteca e Pesquisa em Ciência da Informação, 34(4), 249–
257. http://doi.org/10.1016/j.lisr.2012.03.001
Johnson, JW e Lebreton, JM (2004). História e uso de parente
índices de importância na pesquisa organizacional. Métodos de
pesquisa organizacional, 7(3), 238–257.
Koenker, R., & Hallock, KF (2001). Regressão quantílica. Diário de
Economic Perspectives, 15(4), 143–156. http://doi.org/10.1257/jep.15. 4.143
Koenker, R., & Machado, JAF (1999). Bondade de ajuste e relacionados
processos de inferência para regressão quantílica. Jornal da
Associação Estatística Americana, 94(448), 1296–1310. http://doi.org/
10.2307/ 2669943
Kostoff, RN (2007). A diferença entre altamente e mal citado
artigos médicos na revista Lancet. Scientometrics, 72(3), 513–520.
http://doi.org/10.1007/s11192-007-1573-7
Kretschmer, H., & Muller, R. (1990). Uma contribuição para a disputa sobre
a hipótese ortega - conexão entre taxa de publicação e estratificação
de cientistas, testada por vários métodos. Scientometrics, 18(1–2), 43–
56. http://doi.org/10.1007/BF02019161
Kruskal, W. (1987). Importância relativa pela média dos pedidos.
The American Statistician, 41(1), 6–10. http://doi.org/10.2307/
2684310
Lancho-Barrantes, BS, Guerrero-Bote, VP, & Moya-Anegon, F.
(2010). O que está por trás das médias e da importância dos indicadores de
citação em diferentes disciplinas? Journal of Information Science, 36(3), 371–
382. http://doi.org/10.1177/0165551510366077
742 REVISTA DA ASSOCIAÇÃO PARA CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018 DOI:
10.1002/asi
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
Leydesdorff, L., & Bornmann, L. (2011). Como a contagem fracionária de
citações afetam o fator de impacto: Normalização em termos de
diferenças nos potenciais de citação entre os campos da ciência. Jornal
da Sociedade Americana de Ciência e Tecnologia da Informação, 62(2),
217–229. http://doi.org/10.1002/asi.21450
Lokker, C., McKibbon, KA, McKinlay, RJ, Wilczynski, NL, &
Haynes, RB (2008). Previsão da contagem de citações para artigos clínicos em dois
anos usando dados disponíveis dentro de três semanas após a publicação: Estudo
de coorte retrospectivo. British Medical Journal, 336(7645), 655–657. http://
doi.org/10.1136/bmj.39482.526713.BE
Marx, W., & Bornmann, L. (2015). Sobre as causas de assuntos específicos
taxas de citação no Web of Science. Scientometrics, 102(2), 1823–1827.
http://doi.org/10.1007/s11192-014-1499-9
Neuhaus, C., & Daniel, HD (2009). Um novo padrão de referência para citações
análise de ção em química e áreas afins com base nas seções do
Chemical Abstracts. Scientometrics, 78(2), 219–229. http://doi.org/10.
1007/s11192-007-2007-2
Newman, MEJ (2004a). Algoritmo rápido para detectar a estrutura da comunidade
tura em redes. Physical Review E, 69(6), 066133.
Newman, MEJ (2004b). Análise de redes ponderadas. Físico
Revisão E, 70(5), 056131.
Onodera, N., & Yoshikane, F. (2015). Fatores que afetam as taxas de citação de
artigos de pesquisa. Jornal da Associação de Ciência e Tecnologia
da Informação, 66(4), 739–764. http://doi.org/10.1002/asi.23209
Ortega y Gasset, J. (1932). A revolta das massas. Nova Iorque:
Norton.
Peters, HPF e van Raan, AFJ (1994). Sobre determinantes de citação
pontuações: Um estudo de caso em engenharia química. Jornal da
Sociedade Americana de Ciência da Informação, 45(1), 39–49. http://doi.org/
10.1002/ (SICI)1097–4571(199401)45:1< 39::AID-ASI5> 3.0.CO; 2-Q
Powell, JL (1991). Estimativa de modelos de regressão monotônica sob
restrições quantílicas. Em R. Engle & D. McFadden (Eds.), Modelos não
paramétricos e semiparamétricos, vol 4. Nova York: North-Holland.
Stegehuis, C., Litvak, N., & Waltman, L. (2015). Prevendo o longo
impacto de citação de termo de publicações recentes. Journal of
Informetrics, 9(3), 642–657. http://doi.org/10.1016/j.joi.2015.06.005
Szava-Kovats, E. (2004). A falsa “hipótese de Ortega”: uma literatura
estudo de caso científico. Journal of Information Science, 30(6), 496–508.
http://doi.org/10.1177/0165551504047823
Turner, SP, & Chubin, DE (1976). Outra avaliação de Ortega, o
Coles e a política científica: a hipótese do Eclesiastes. Informações sobre
Ciências Sociais Sur Les Sciences Sociales, 15(4–5), 657–662. http://doi. org/
10.1177/053901847601500407
van Eck, NJ, Waltman, L., van Raan, AFJ, Klautz, RJM, &
Peul, WC (2013). A análise de citações pode subestimar severamente o
impacto da pesquisa clínica em comparação com a pesquisa básica. Plos
One, 8(4). http://doi.org/10.1371/journal.pone.0062395
van Leeuwen, TN, e Medina, CC (2012). Redefinindo o campo de
economia: Melhorando a normalização de campo para a aplicação de
técnicas bibliométricas no campo da economia. Avaliação de Pesquisa,
21(1), 61–70. http://doi.org/10.1093/reseval/rvr006
van Raan, AFJ (2005). Medição de aspectos centrais da ciência
pesquisa: Performance, interdisciplinaridade, estrutura. Medição:
Pesquisa e Perspectivas Interdisciplinares, 3(1), 1–19.
Vieira, ES, & Gomes, JANF (2010). Citações de artigos científicos:
Sua distribuição e dependência das características do artigo. Journal of
Informetrics, 4(1), 1–13. http://doi.org/10.1016/j.joi.2009.06.002
Walters, DG (2006). Prevendo citações subsequentes de artigos publicados
publicado em doze periódicos de psicologia criminal: impacto do autor versus
impacto do periódico. Scientometrics, 69(3), 499–510. http://doi.org/10.1007/
s11192-006-0166-1
Waltman, L., & van Eck, NJ (2012). Uma nova metodologia para
estruturando um sistema de classificação da ciência em nível de publicação.
Jornal da Sociedade Americana de Ciência e Tecnologia da Informação,
63(12), 2378–2392. http://doi.org/10.1002/asi.22748
Waltman, L., & van Eck, NJ (2015). Impacto de citação normalizado por campo
indicadores e a escolha de um método de contagem apropriado. Journal of
Informetrics, 9(4), 872–894.

Waltman, L., van Eck, NJ, van Leeuwen, TN, & Visser, MS
(2013). Algumas modificações no indicador de impacto do diário SNIP.
Journal of Informetrics, 7(2), 272–285. http://doi.org/10.1016/j.joi.
2012.11.011
Webster, GD, Jonason, PK e Schember, TO (2009). Tópicos quentes
e artigos populares em psicologia evolutiva: Análises das palavras do título
e contagens de citações na evolução e no comportamento humano, 1979–
2008. Evolutionary Psychology, 7(3), 348–362.
Yu, T., Yu, G., Li, P.-Y., & Wang, L. (2014). Previsão de impacto de citação
para artigos científicos usando análise de regressão passo a passo.
Scientometrics, 101(2), 1233–1252. http://doi.org/10.1007/s11192-014-1279-6
REVISTA DA ASSOCIAÇÃO DE CIÊNCIA E TECNOLOGIA DA INFORMAÇÃO - maio de 2018
23301643, 2018, 5, baixado de https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23986 pela CAPES, Wiley Online Library em [21/03/2023]. Consulte os Termos e Condições (https://onlinelibrary.wiley.com/terms-and-conditions) na Wiley Online Library para obter as regras de uso; Os artigos OA são regidos pela Licença Creative Commons aplicável
Zitt, M. (2010). Normalização do lado da citação do impacto do periódico: um estudo robusto
variante do fator audiência. Journal of Informetrics, 4(3), 392–406.
http://doi.org/10.1016/j.joi.2010.03.004
Zitt, M., Ramanana-Rahary, S., & Bassecoulard, E. (2005). Relatividade de
desempenho de citação e medidas de excelência: Dos efeitos entre campos aos
efeitos entre escalas da normalização de campo. Scientometrics, 63(2), 373–401.
http://doi.org/10.1007/s11192-005-0218-y
Zitt, M. & Small, H. (2008). Modificando o fator de impacto do diário por
ponderação de citações fracionárias: o fator de audiência. Jornal da
Sociedade Americana de Ciência e Tecnologia da Informação, 59(11),
1856–1860. http://doi.org/10.1002/asi.20880
743
DOI: 10.1002/asi