Português English Español

GERAL HUMANAS PRESS RELEASES

HOME COVID-19 NOTÍCIAS ANÁLISES METODOLOGIA ENTREVISTAS NEWSLETTER SOBRE

A avaliação da pesquisa deve ir além de comparar métricas de Pesquisa

impacto
Search
August 19, 2022 10:30 , Leave a Comment , Lilian Nassi-Calò
Tamanho do texto
Por Lilian Nassi-Calò

A avaliação dos resultados de pesquisa é A A A

necessária para determinar o que é relevante,
para apoiar decisões sobre fomento a projetos Facebook
de pesquisa e para traduzir esta produção
científica em programas e políticas públicas
Este site usa cookies para garantir que você obtenha uma melhor experiência de navegação. Leia nossa Política de Privacidade. OK
para toda a sociedade.

O primeiro indicador bibliométrico que

conhecemos é o Fator de Impacto (FI), criado
Press Releases
em 1972 por Eugene Garfield para avaliar
periódicos, com a publicação do Science Imagem: Markus Spiske.
A produção ambulatorial para
Citation Index do Institute for Scientific
Information. De seu papel original de avaliar periódicos, tornou-se logo um índice para avaliar incontinência urinária em homens no

programas de pós-graduação, ranquear instituições e avaliar pesquisadores em processos de Brasil está aumentando November 16,
2022 Cristine Vieira Bonfim
contratação, promoção na carreira, premiação e qualquer outra forma de medir a produção científica
que poderia se beneficiar de uma avaliação qualitativa ou mais ampla, foi muitas vezes reduzido a O autismo como condição humana
uma lista de publicações associadas a um FI. November 16, 2022 Revista Brasileira de
Estudos Pedagógicos
As limitações do FI e sua larga utilização pela comunidade científica tem sido registrada por meio de
ações como a San Francisco Declaration on Research Assessment (DORA). Este documento, A trajetória intelectual de Antonio Paim
resultante da ação de editores e publishers reunidos em 2012 no Annual Meeting of the American (1927-2021): vivências de um filósofo

Society of Cell Biology em San Francisco, CA, EUA, enumera as recomendações para que índices brasileiro November 11, 2022
de impacto baseados em citações, como o FI, deixem de ser utilizados para avaliar pesquisadores Trans/Form/Ação
em situações de contratação, promoção ou decisão de concessão de financiamento para projetos de
A Filosofia experimentada no tempo e na
pesquisa. Até o momento, mais de 22.000 pessoas de 159 países assinaram a DORA. A seguir, em
diferença November 10, 2022
2015, o Manifesto de Leiden, originado na 19ª Conferência Internacional de Indicadores em Ciência
Trans/Form/Ação
e Tecnologia, em 2014, em Leiden, na Holanda, orienta o uso de métricas de avaliação científica na
Europa. Até hoje, o Manifesto foi traduzido para 25 idiomas, adotado por instituições e reconhecido Saber/poder/violência: a produção dos
por publishers em todo o mundo. anormais pelo Liberalismo November 9,
2022 Trans/Form/Ação
Ao tomar conhecimento de iniciativas como a DORA e o Manifesto de Leiden, o leitor poderia inferir
que instituições de pesquisa, ao contratar e avaliar pesquisadores e agências de fomento, ao Últimos posts
conceder financiamento à projetos, deveriam estar cientes sobre a limitação das métricas de impacto
mais utilizadas e realizam também avaliações qualitativas e consideram atividades acadêmicas de
Por que é importante apoiar
outra natureza, além da publicação de artigos, em seus processos de avaliação, como a avaliação
infraestrutura aberta para publicar
por pares, orientação de estudantes e publicação de dados de pesquisa, por exemplo. Infelizmente,
preprints?
na maior parte das vezes, o conhecimento está dissociado da prática.
eLife encerra decisões de aceitar/rejeitar
Segundo Cameron Neylon1
relata em seu artigo recém-publicado na Nature,2
os pesquisadores, após avaliação por pares [Publicado
especialmente aqueles em início de carreira que não têm uma extensa produção acadêmica, são originalmente pela eLife em outubro/22]
particularmente desfavorecidos em oportunidades de contratação e obtenção de financiamento à
pesquisa. Estas decisões, segundo Neylon, são baseadas em evidências questionáveis, que se SciELO 25 Anos: Ciência Aberta com
IDEIA – Impacto, Diversidade, Equidade,
fossem dados de pesquisa não passariam pelo processo de avaliação por pares.
Inclusão e Acessibilidade

Por exemplo, Neylon e seu colega Karl Huang3 pesquisaram os dados que informam os rankings
Acesso Aberto e pesquisas fechadas.
universitários internacionais. Cada ranking utiliza uma certa base de dados para contabilizar citações Quem se beneficia da APC?
da produção científica das instituições avaliadas, como Web of Science, Scopus ou Microsoft
Academic. Os autores criaram um ranking baseado em citações de 155 universidades e compararam Nota de falecimento: Francisco Alberto
as citações provenientes das três bases de dados. Os resultados obtidos mostram que três de Moura Duarte, primeiro Presidente da
universidades mudaram de 110 posições, e 45 instituições mudaram mais de 20 posições, quando a ABEC Brasil
fonte dos dados foi alterada.
Últimos comentários
A surpresa não está no fato que diferentes bases de dados e critérios de cada ranking forneçam
diferentes resultados, mas que a comunidade científica continue a ignorar estas discrepâncias e
Ernesto Spinak on Ética editorial e o
tomando decisões sobre contratações, financiamento à pesquisa e políticas públicas com base em
problema do autoplágio
métricas que sabem ser falhas.
EDVALDO CARLOS DE LIMA on Ética
Muitos pesquisadores, especialmente os mais jovens, estão convencidos que a metodologia da editorial e o problema do autoplágio
avaliação da pesquisa deve mudar, para que eles não tenham de optar entre construir uma carreira
com foco em publicações e citações ou contribuir para a ciência da melhor forma possível sem se SciELO on SciELO Citation Index no

preocupar excessivamente com métricas de impacto. Web of Science

Alan Ferreira dos Santos on SciELO

Este cenário, no entanto, pode estar mudando. Um documento denominado Agreement on Citation Index no Web of Science
Reforming Research Assessment4 começou a ser redigido em janeiro deste ano e acaba de ser
publicado por iniciativa da European Research Area (ERA), European University Association (EUA), Lilian Nassi-Calò on Quanto custa um
Science Europe, e a Comissão Europeia. O acordo conta com o apoio de 350 organizações públicas artigo? Serviços de publicação
e privadas incluindo agências de fomento, universidades, centros de pesquisa, institutos e acadêmica e seus valores de mercado
infraestruturas, associações e sociedades científicas, e associações de pesquisadores, entre outros,
de mais de 40 países. Tags

Os signatários do acordo se comprometerão com uma visão compartilhada de que a avaliação da

pesquisa, pesquisadores e organizações de pesquisa reconhecem os diversos resultados, práticas e Acesso Aberto
atividades que maximizam a qualidade e o impacto da pesquisa. Isso requer fundamentar a Agência de Fomento à
avaliação principalmente no julgamento qualitativo, para o qual a avaliação por pares é central, Pesquisa Altmetria Article
apoiada pelo uso responsável de indicadores quantitativos. Um vídeo5 disponibilizado pela ERA Processing Charge - APC
detalha os motivos e o processo de reforma da avaliação de pesquisa com opiniões de Avaliação da
pesquisadores entrevistados. Ciência Avaliação por
pares Avaliação por
Pares Aberta
Bibliometria Cidade de São
Paulo Ciência Aberta
Comunicação
Científica Creative
Commons Dados Abertos
Disseminação da
Informação Divulgação
Científica Eventos Fator
de Impacto Infraestrutura
Internacionalização Intraestrutura
Livros eletrônicos O futuro
da avaliação por pares
ORCID Organismo
Internacional Política de
Apoio à Comunicação
Para que esta nova cultura de avaliação de pesquisa passe a vigorar, é imperativo uma mudança
Política de Apoio à
cultural de toda a comunidade científica sobre a evidência que se utiliza para avaliar os resultados de
Pesquisa Políticas
pesquisa. Não apenas o resultado – o artigo científico publicado – deve ser contabilizado, mas cada Públicas Preprint
etapa do processo para chegar a este artigo, incluindo orientação e formação de estudantes de pós- Preservação digital
graduação e pós-doutores, atividade de avaliação por pares, preparação e publicação de conjuntos Profissionalização
de dados etc. Da mesma forma, a qualidade da evidência apresentada em propostas de Editorial Programa
financiamento à pesquisa e contratação de jovens pesquisadores deve ser avaliada criticamente SciELO Rede SciELO
considerando também critérios qualitativos, para que pesquisadores em início de carreira tenham Redes Sociais
oportunidade de ver contemplados seus projetos. Reprodutibilidade SciELO
15 Anos SciELO 20
Este ano, a San Francisco Declaration on Research Assessment completa 10 anos de sua
Anos SciELO 25 Anos SciELO
publicação. Foi preciso uma década e um novo acordo para sedimentar o que a DORA e seus
Livros 10 Anos SciELO Uruguai SciELO
apoiadores já defendiam em 2012, e o Manifesto de Leiden corroborou em 2015.
África do Sul Sustentabilidade
Notas
Via Dourada Via Verde
Ética na
Áudio

1. Cameron Neylon é colíder da Curtin Open Knowledge Initiative, que desenvolve e defende o Comunicação
fornecimento de dados e análises controlados pela comunidade para apoiar a avaliação da pesquisa Científica
e formulação de políticas e estratégias. Arquivo

2. NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august
2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from: Select Month
https://www.nature.com/articles/d41586-022-02038-7

3. Karl Huang é pesquisador na área de Conhecimento aberto na Universidade de Curtin em Perth,

Austrália.

4. Agreement on reforming research assessment [online]. European University Association. 2022

[viewed 19 august 2022]. Available from:
https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

5. ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed
19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

Referências

Agreement on reforming research assessment [online]. European University Association. 2022

[viewed 19 august 2022]. Available from:
https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19
august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

GARFIELD, E. Citation analysis as a tool in journal evaluation. Science [online]. 1972, vol. 178, no.
4060, pp. 471-479 [viewed 19 august 2022]. https://doi.org/10.1126/science.178.4060.471. Available
from: https://www.science.org/doi/10.1126/science.178.4060.471

HUANG, C-K, et al. Comparison of bibliographic data sources: Implications for the robustness of
university rankings. Quantitative Science Studies [online]. 2020, vol. 1, no. 2, pp. 445–478 [viewed 19
august 2022]. https://doi.org/10.1162/qss_a_00031. Available from:
https://direct.mit.edu/qss/article/1/2/445/96150/Comparison-of-bibliographic-data-sources

NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august
2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from:
https://www.nature.com/articles/d41586-022-02038-7

Links externos

European Comission: https://ec.europa.eu/info/index_en

European research area (ERA): https://research-and-innovation.ec.europa.eu/strategy/strategy-2020-

2024/our-digital-future/european-research-area_en

European Univeristy Association (EUA): https://eua.eu/

Leiden Manifesto for Research Metrics: http://www.leidenmanifesto.org/

Science Europe: https://scienceeurope.org/

The San Francisco Declaration on Research Assessment – DORA: https://sfdora.org/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora

em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação
Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus
estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa
privada como química industrial e atualmente é Coordenadora de
Comunicação Científica na BIREME/OPAS/OMS e colaboradora do
SciELO.

Posts relacionados:

O papel dos artigos de revisão vai Um olhar sobre a avaliação por Apoiar a avaliação pública de
além de sintetizar o… pares de propostas de auxílio… preprints por meio de…

Como a retórica da excelência Avaliação por pares não é apenas El COVID-19: Cuarentena y su
influencia a avaliação da… controle de qualidade, é… Impacto Psicológico en la…

Como citar este post [ISO 690/2010]:

NASSI-CALÒ, L. A avaliação da pesquisa deve ir além de comparar métricas de impacto [online].

SciELO em Perspectiva, 2022 [viewed 16 November 2022]. Available from:
https://blog.scielo.org/blog/2022/08/19/a-avaliacao-da-pesquisa-deve-ir-alem-de-comparar-metricas-
de-impacto/

Posted in: Análises , Tagged: Avaliação da Ciência, Bibliometria, Comunicação Científica, Fator de Impacto

Leave a Reply
Your email address will not be published. Required fields are marked *

Name *

Email *

Website

Save my name, email, and website in this browser for the next time I comment.
Post Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.

← Previous Post

Next Post →

Todo o conteúdo deste site, exceto onde está identificado, está licenciado sob uma Licença de Atribuição Creative Commons.

Os posts são de responsabilidade dos autores e não necessariamente expressam opiniões do Programa SciELO.

SciELO - Scientific Electronic Library Online Home

Inscreva-se nos nossos serviços de notificação
FAPESP - CAPES - CNPq - BIREME - FapUNIFESP Notícias
https://www.scielo.org Análises
endereço de e-mail
blog.scielo@scielo.org Entrevistas
Documentos Inscrição
Newsletter
Sobre