Português English Español

GERAL HUMANAS PRESS RELEASES

HOME COVID-19 NOTÍCIAS ANÁLISES METODOLOGIA ENTREVISTAS NEWSLETTER SOBRE

Reprodução e replicação na pesquisa científica – parte 3 Pesquisa

June 19, 2023 09:00 , Leave a Comment , Ernesto Spinak Search

Por Ernesto Spinak

Tamanho do texto
Introdução
A A A
O empreendimento científico depende da
capacidade da comunidade científica de
Facebook
examinar afirmações científicas e ganhar
confiança ao longo do tempo em
resultados e inferências que resistem a
repetidos testes. O relato de incertezas
em resultados científicos é um princípio
central do processo científico. Cabe aos
cientistas transmitir a informação Press Releases
adequada e o grau de incerteza na
apresentação de suas afirmações. A Imagem: Maniac, 1934. “A África tem uma história”: a Coleção
ciência aponta para graus refinados de História Geral da África (UNESCO)
confiança, em vez de certeza absoluta.1 oferece bases teórico-metodológicas
para a descolonização do ensino August
Em duas comunicações anteriores2,3 analisamos o cenário da suposta crise de replicação na 3, 2023 Revista Brasileira de História da
publicação científica. Houve discussões sobre o significado da terminologia em uso, métodos de Educação
pesquisa, coleta de dados e interpretação de estatísticas; em seguida com a análise do Guia da
Espaços públicos de propriedade
National Academies of Sciences1; chegando finalmente à questão se a reprodutibilidade é um
privada em Curitiba apresentam
problema social que exigirá mudanças na cultura da ciência com uma abordagem mais sistemática e
restrições e menor diversidade August 2,
compreensão de como os cientistas interpretam os problemas de reprodutibilidade para criar
2023 Rafael Kalinoski
intervenções culturalmente competentes.
Estruturas de concreto e seu
O Guia1 revisado marcou um avanço na ordenação de conceitos e definições que, embora não fosse comportamento ao cisalhamento e
suficientemente adequado para contemplar as expectativas das ciências sociais e humanas, ao punção são temas de edição especial da
menos deixava claro que no campo das ciências exatas e experimentais havia situações que Revista IBRACON August 2, 2023
claramente requeriam ser corrigidas. Se destacaram, ao menos, vieses de publicação; metodologias; Guilherme Aris Parsekian
estatísticas e a qualidade dos artigos publicados, que resumiremos no final.
A necessária diferenciação entre

No entanto, primeiro, abordaremos as discrepâncias filosóficas e metodológicas que as ciências brincadeira e jogo nas atividades de

sociais e humanas têm apresentado, no que diz respeito às recomendações do referido Guia.1 Educação Infantil August 1, 2023 Maria
Aparecida Mello

Os paradigmas nas Ciências Sociais e Humanidades Envelhecimento populacional demanda

políticas públicas para o cuidado de
Há uma longa discussão sobre a possibilidade de o papel da replicação e reprodutibilidade vindo de idosos July 31, 2023 Ciência e Saúde
outras culturas epistêmicas ser transferível para as áreas das ciências sociais e humanas. Este Coletiva
tópico foi o foco de atenção em uma recente conferência patrocinada pela CWTS em 2019.

Últimos posts
Em resposta à questão de porque a replicabilidade é importante nas Humanidades, duas correntes
de opinião foram expressas.
Artigos não citados e a dispersão de
Alguns consideram que a replicação bem-sucedida da pesquisa em Humanidades também torna citações na literatura científica
mais provável que os resultados originais do estudo estejam corretos, posição apoiada por Peels e
Alguns comentários sobre avaliação por
Bouter.4,5 Ademais, lhes dá uma melhor possibilidade de obter financiamento por parte das agências
pares e preprints [Publicado
que os patrocinam.
originalmente no editorial do vol. 118 nas
Memórias do Instituto Oswaldo Cruz]
Ao tentar apoiar sua afirmação, Peels e Bouter assumem que a replicabilidade é desejável, mas de
acordo com seus detratores, eles extraem seus argumentos apenas de uma epistemologia Coleção Bio da Editora Fiocruz: temas e
empirista/positivista. dinâmicas inovadores

Fundamentalmente, esta conclusão depende de os autores defenderem com sucesso a noção de Reprodução e replicação na pesquisa
que a replicação é possível e desejável nas Humanidades. Peels e Bouter argumentam que, embora científica – parte 3
Este site usa cookies para garantir que você obtenha uma melhor experiência de navegação. Leia nossa Política de
a replicação possa ser possível em alguns campos das Humanidades, a replicabilidade
Privacidade. OK obviamente Reprodução e replicação na pesquisa
não é possível ou desejável em todos os campos desta área de pesquisa. Adotar políticas que
científica – parte 2
exijam replicabilidade de todas as pesquisas em humanidades descartaria a grande maioria das
pesquisas metodologicamente sólidas nesta disciplina.
Últimos comentários
6
Holbrook, et al. adotam uma posição um pouco diferente, oferecendo argumentos sobre culturas
epistêmicas interpretativas ou construtivistas, onde o valor da pesquisa é gerado pela adição da PAULO BOSCHCOV on SciELO
diversidade de argumentos. MarketPlace – plataforma de
comercialização de produtos e serviços
Compreender fenômenos culturais, como migração ou segurança, depende da diversidade de de comunicação científica
argumentos e posições para ajudar a desenvolver soluções globais. A interpretação da literatura
José Uibson on É preciso um corpo para
clássica ou medieval requer o desenvolvimento contínuo de leituras alternativas e concorrentes, e a
entender o mundo – por que o ChatGPT
interpretação dos escritos dos filósofos também se beneficia da diversidade que produz. A
e outras IAs de linguagem não sabem o
desejabilidade da replicação nas humanidades é local e limitada, longe da conveniência universal
que dizem [Publicado originalmente no
que Peels e Bouter supõem existir.
The Conversation em abril/2023]

Além disso, os objetos de estudo nas humanidades costumam ser fenômenos únicos, como eventos Maria Manuela Martins on Reformular a
históricos, portanto, não está claro em que sentido um estudo seria replicado. avaliação por pares para torná-la
sustentável
Em segundo lugar, pode-se pensar que vários métodos nas humanidades, como o método
hermenêutico no estudo de um texto, não se prestam bem à replicação, pelo menos não tão bem Naomi Penfold on Por que é importante
quanto certos métodos nas ciências empíricas quantitativas. apoiar infraestrutura aberta para publicar
preprints?

Em terceiro lugar, os objetos da pesquisa humanista, em oposição aos objetos de pesquisa nas
Wildson Wellington Silva on Periódicos
ciências naturais, são muitas vezes objetos com significado e valor, objetos como pinturas, textos,
que aumentaram o valor da APC
estátuas e edifícios, em oposição a, digamos, objetos como os átomos e vírus que são estudados
receberam mais artigos
nas ciências naturais.

Mas o ponto crucial é que as abordagens das ciências sociais permitem aos pesquisadores lidar com Tags
a possibilidade de replicação, informando especialmente sobre as consequências das decisões
metodológicas e do papel do pesquisador. A pesquisa em humanidades é diferente das ciências não Acesso Aberto
por algum tipo de ingrediente secreto, mas porque os objetos de estudo e as perguntas feitas com Agência de Fomento à
frequência, mas nem sempre, não permitem replicação ou mesmo reprodutibilidade. Em vez disso, Pesquisa Altmetria Article
eles se baseiam na interpretação. Processing Charge - APC
Avaliação da
Finalmente, outro aspecto que entra em consideração são os valores sociais. Isso ocorre quando há
Ciência Avaliação por
incerteza no raciocínio com base em evidências empíricas, ou são necessários valores morais ou
sociais para preencher a “lacuna evidencial” relevante, e nos deparamos com estatísticas. Assim, a
pares Avaliação por
crise de reprodutibilidade é inevitável, segundo Douglas e Elliot (2009)7. Deste ponto de vista, os Pares Aberta
cientistas têm, por muito tempo, ignorado os aspectos morais e sociais das implicações da prática
Bibliometria Cidade de
científica. Assim, quando se trata de uma questão científica para a qual há incerteza, é dever dos São Paulo Ciência
cientistas adotar políticas que respeitem nossas obrigações morais e sociais. Aberta
Comunicação
Mais uma vez, a posição de Douglas e Elliott7 não sustenta que, quando a evidência é incerta, os Científica Creative
cientistas a deixam nas mãos dos formuladores de políticas. Tomar decisões de forma pragmática é Commons Dados Abertos
o ponto de vista de quem defende ideias científicas isentas de valores. Em vez disso, sua visão é
que, moral, social ou de outra forma, as consequências não epistêmicas das decisões científicas são
Disseminação da
autoevidentes ao decidir quais conclusões tirar. Consequentemente, onde problemas de
Informação Divulgação
reprodutibilidade devido ao viés de publicação forem identificados, a recomendação política de Científica Eventos Fator
Douglas e Elliott seria simplesmente mudar o viés relevante em jogo, de preferência para um que de Impacto Infraestrutura
seja moral ou socialmente meritório. Internacionalização Intraestrutura
Livros eletrônicos O
Em conclusão, a maioria dos estudiosos que refutam a ideia de replicação nas humanidades futuro da avaliação por
argumenta que a replicação pode ser possível em alguns, mas não em todos os campos das pares ORCID Organismo
humanidades. A principal razão para isso é que os problemas e questões de pesquisa muitas vezes Internacional Política de
dependem da interpretação. Mais discussões intra e interdisciplinares sobre este tema devem ser
Apoio à Comunicação
incentivadas.
Política de Apoio à
Pesquisa Políticas
E há a questão de acessar os dados originais para verificação, porque a replicação geralmente
envolve percepções artesanais que não são publicadas nos informes. Mesmo para especialistas, os
Públicas Preprint
estudos originais geralmente não fornecem informação suficiente para que se produzam replicações. Preservação digital
Em vez de verificação neutra do processo, a replicação às vezes é gerenciada estrategicamente Profissionalização
para minar os adversários. Editorial Programa
SciELO Rede SciELO
A verificação independente dos resultados só é possível se os dados estiverem disponíveis para Redes Sociais
outros. Os pesquisadores podem impedir que qualquer outra pessoa verifique os resultados, ou seja, Reprodutibilidade SciELO
estão se isolando de qualquer demonstração de erro. Esforços para verificar resultados após a 15 Anos SciELO 20
publicação podem ser o tipo de trabalho mais tenso interpessoalmente, porque muitas vezes são
Anos SciELO 25 Anos SciELO
interpretados como sinais de desconfiança e podem levantar a possibilidade de disputa da
Livros 10 Anos SciELO Uruguai SciELO
honestidade ou competência do pesquisador. Embora a convenção em sociologia tenha sido em
África do Sul Sustentabilidade
grande parte tratar a disponibilidade de dados para verificação como uma questão ética, isso
geralmente é tratado por solicitações individuais, e as solicitações nem sempre são atendidas.
Via Dourada Via Verde
Ética na
Áudio

Minhas reflexões Comunicação

Científica
A publicação do Guia1 e as discussões interdisciplinares foram um importante avanço na questão da Arquivo
replicação e reprodução de ensaios científicos. No entanto, algumas questões relevantes ainda
precisam ser melhoradas e resolvidas.
Select Month

O viés de publicação

A pesquisa e a publicação científica moderna são altamente competitivas. Os cientistas competem

por empregos, financiamento e prestígio, e a capacidade de adquirir estas coisas depende da
capacidade de publicar seu trabalho. Além disso, os periódicos científicos competem para publicar
os resultados mais interessantes e relevantes, e por isso costumam evitar a publicação de
replicações de resultados anteriores e confirmações de hipóteses nulas. O resultado é que o que é
publicado na pesquisa científica exibe um viés de publicação. Os cientistas geram e relatam
resultados que são publicáveis, ou seja, efeitos estatisticamente significativos, e não
necessariamente resultados verdadeiros ou bem justificados.

A situação é tão difundida que o diagnóstico da crise de replicação foi publicado por John Ioannidis
sob o título ameaçador, Why Most Published Research Findings Are False8 (2005). Ioannidis define
“viés” como “a combinação de vários fatores de projeto, dados, análise e apresentação que tendem a
produzir resultados de pesquisa quando não deveriam ser produzidos”, mas que, no entanto, são
produzidos para atender igualmente às ambições práticas de periódicos e cientistas. Eles se
concentram em “pesquisas conduzidas por nenhum outro motivo além de dar a médicos e
pesquisadores qualificações para promoção ou estabilidade na carreira”, mencionando, inclusive
casos em que “pesquisadores renomados… suprimem, por meio do processo de avaliação por
pares, o aparecimento e a disseminação de resultados que refutam suas descobertas, condenando
assim sua área a perpetuar falsos dogmas.”

Metodologias, projetos experimentais e estatísticas

Um problema geral para os pesquisadores, principalmente os iniciantes, é que os cientistas muitas

vezes não explicam como escolhem o número de amostras a serem usadas em um estudo. Como
Monya Baker comentou na Nature no início de sua carreira “minha surpresa não foi pela omissão
desta informação, mas porque eu não tinha ideia de como ou quando calcular o tamanho da
amostra.”9

A irreprodutibilidade científica, a incapacidade de repetir os experimentos de outros e chegar à

mesma conclusão, é uma preocupação crescente. Muito é atribuído a práticas experimentais
deficientes que levam os pesquisadores a favorecer inadvertidamente hipóteses sem suporte. Uma
pesquisa da Nature, também publicada por Baker (2016)10 constatou que 87% de mais de 1.500
pesquisadores citaram um projeto experimental ruim como causa de irreprodutibilidade e 89%
culparam falhas na análise estatística. No entanto, poucos pesquisadores em início de carreira
recebem instrução formal sobre estes tópicos.
Os métodos estatísticos devem permitir que os dados respondam a questões científicas. Uma
grande diferença entre usuários de estatística inexperientes e estatísticos especialistas aparece
assim que eles contemplam os usos de alguns dados. Embora seja óbvio que os experimentos
geram dados para responder a questões científicas, usuários inexperientes de estatística tendem a
considerar a ligação entre dados e questões científicas como certa e, como resultado, podem pular
diretamente para uma técnica baseada em estrutura de dados em vez de um objetivo científico.

A qualidade e o detalhe da comunicação científica

Em uma frase: faça sua análise detalhada o suficiente para ser reprodutível.

Em conclusão, conforme enfatizado nas duas contribuições anteriores, para os problemas em

questão, fica claramente demonstrada a necessidade de compartilhar dados em acesso aberto,
métodos, processamento, escrutínio, conclusões e disponibilizá-los aos colegas.

O procedimento adequado deveria ser publicar primeiro como preprint. Isso significa que os artigos
junto com os dados podem ser discutidas pelos especialistas em cada área da ciência em prol do
aprimoramento dos manuscritos. Além disso, algum consenso precisaria ser alcançado para que os
dados pudessem ser compartilhados sistematicamente por meio de reanálise e onde a mineração de
dados pudesse ser facilmente realizada.

A série Replicação na Pesquisa consiste em três posts

1. Reprodução e replicação na pesquisa científica – parte 1

2. Reprodução e replicação na pesquisa científica – parte 2
3. Reprodução e replicação na pesquisa científica – parte 3

Notas

1. NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and

Replicability in Science. Washington, DC: The National Academies Press, 2019 [viewed 16 June
2023]. https://doi.org/10.17226/25303. Available from:
https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

2. SPINAK, E. Reprodução e replicação na pesquisa científica – parte 1 [online]. SciELO em

Perspectiva, 2023 [viewed 16 June 2023]. Available from:
https://blog.scielo.org/blog/2023/05/19/reproducao-e-replicacao-na-pesquisa-cientifica-parte-1/

3. SPINAK, E. Reprodução e replicação na pesquisa científica – parte 2 [online]. SciELO em

Perspectiva, 2023 [viewed 16 June 2023]. Available from:
https://blog.scielo.org/blog/2023/06/02/reproducao-e-replicacao-na-pesquisa-cientifica-parte-2/

4. PEELS, R. Replicability and replication in the humanities. Res Integr Peer Rev [online]. 2019, vol.
4, 2 [viewed 16 June 2023]. https://doi.org/10.1186/s41073-018-0060-4. Available from:
https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0060-4

5. Replicability in the Humanities – The Embassy of Good Science:

https://embassy.science/wiki/Theme:D4b207e5-cbcc-452b-aced-4d7357c8dcb0

6. HOLBROOK, J.B., PENDERS, B. and DE RIJCKE, S. The humanities do not need a replication
drive [online]. The CTWS blog, 2019 [viewed 16 June 2023]. Available from:
https://www.cwts.nl/blog?article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive

7. DOUGLAS, H. Science, policy, and the value-free ideal. Pittsburgh: University of Pittsburgh Press,
2009. https://doi.org/10.2307/j.ctt6wrc78

8. IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005,
vol. 2, no. 8, e124 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available
from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

9. BAKER, M. Reproducibility: Seek out stronger science. Nature [online]. 2016, vol. 537, pp. 703–
704 [viewed 16 June 2023]. https://doi.org/10.1038/nj7622-703a. Available from:
https://www.nature.com/articles/nj7622-703a
10. BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature [online]. 2016, vol. 533, pp. 452–
454 [viewed 16 June 2023]. https://doi.org/10.1038/533452a. Available from:
https://www.nature.com/articles/533452a

Referências

BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature [online]. 2016, vol. 533, pp. 452–454
[viewed 16 June 2023]. https://doi.org/10.1038/533452a. Available from:
https://www.nature.com/articles/533452a

BAKER, M. Reproducibility: Seek out stronger science. Nature [online]. 2016, vol. 537, pp. 703–704
[viewed 16 June 2023]. https://doi.org/10.1038/nj7622-703a. Available from:
https://www.nature.com/articles/nj7622-703a

DOUGLAS, H. Science, policy, and the value-free ideal. Pittsburgh: University of Pittsburgh Press,
2009. https://doi.org/10.2307/j.ctt6wrc78

FREESE, J. and PETERSON, D. Replication in social science. Annual Review of Sociology [online].
2017; vol. 43, pp. 147–165 [viewed 16 June 2023]. https://doi.org/10.1146/annurev-soc-060116-
053450. Available from: https://www.annualreviews.org/doi/10.1146/annurev-soc-060116-053450

HOLBROOK, J.B., PENDERS, B. and DE RIJCKE, S. The humanities do not need a replication drive
[online]. The CTWS blog, 2019 [viewed 16 June 2023]. Available from: https://www.cwts.nl/blog?
article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive

HUDSON, R. Should We Strive to Make Science Bias-Free? A Philosophical Assessment of the

Reproducibility Crisis. J Gen Philos Sci [online]. 2021, vol. 52, pp. 389–405 [viewed 16 June 2023].
https://doi.org/10.1007/s10838-020-09548-w. Available from:
https://link.springer.com/article/10.1007/s10838-020-09548-w

IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005, vol.
2, no. 8, e124 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available from:
https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

KASS, R.E., et al. Ten Simple Rules for Effective Statistical Practice. PLoS Comput Biol [online].
2016, vol. 12, no. 6, e1004961 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pcbi.1004961.
Available from: https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1004961

NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and

Replicability in Science. Washington, DC: The National Academies Press, 2019 [viewed 16 June
2023]. https://doi.org/10.17226/25303. Available from:
https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

PEELS, R. Replicability and replication in the humanities. Res Integr Peer Rev [online]. 2019, vol. 4, 2
[viewed 16 June 2023]. https://doi.org/10.1186/s41073-018-0060-4. Available from:
https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0060-4

SPINAK, E. Reprodução e replicação na pesquisa científica – parte 1 [online]. SciELO em

Perspectiva, 2023 [viewed 16 June 2023]. Available from:
https://blog.scielo.org/blog/2023/05/19/reproducao-e-replicacao-na-pesquisa-cientifica-parte-1/

SPINAK, E. Reprodução e replicação na pesquisa científica – parte 2 [online]. SciELO em

Perspectiva, 2023 [viewed 16 June 2023]. Available from:
https://blog.scielo.org/blog/2023/06/02/reproducao-e-replicacao-na-pesquisa-cientifica-parte-2/

WICHERTS, J.M., et al. The poor availability of psychological research data for reanalysis. Am
Psychol. [online]. 2006, vol. 61, no. 7, pp. 726-728. https://pubmed.ncbi.nlm.nih.gov/17032082/

Links externos

CWTS – Centre for Science and Technology Studies: https://www.cwts.nl

Paper submissions to open panels – 4S New Orleans: https://www.4s2019.org/accepted-open-

panels/
Replicability in the Humanities – The Embassy of Good Science:
https://embassy.science/wiki/Theme:D4b207e5-cbcc-452b-aced-4d7357c8dcb0

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado em

Biblioteconomia, com diploma de Estudos Avançados pela Universitat
Oberta de Catalunya e Mestre em “Sociedad de la Información”
pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente
tem uma empresa de consultoria que atende a 14 instituições do governo
e universidades do Uruguai com projetos de informação.

Traduzido do original em espanhol por Lilian Nassi-Calò.

Posts relacionados:

Reprodução e replicação na pesquisa científica – parte 1

Reprodução e replicação na pesquisa científica – parte 2

Como a avaliação por pares de preprints pode fazer parte de…

Artigos não citados e a dispersão de citações na literatura…

SciELO MarketPlace – plataforma de comercialização de…

Como se utilizam as altmetrias para avaliar a produção…

Como citar este post [ISO 690/2010]:

SPINAK, E. Reprodução e replicação na pesquisa científica – parte 3 [online]. SciELO em

 Perspectiva, 2023 [viewed 04 August 2023]. Available from:
https://blog.scielo.org/blog/2023/06/19/reproducao-e-replicacao-na-pesquisa-cientifica-parte-3/

Posted in: Análises , Tagged: Ciência Aberta, Comunicação Científica, Reprodutibilidade

Leave a Reply
Your email address will not be published. Required fields are marked *

Name *

Email *

Website

Save my name, email, and website in this browser for the next time I comment.

Post Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.

← Previous Post

Next Post →

Todo o conteúdo deste site, exceto onde está identificado, está licenciado sob uma Licença de Atribuição Creative Commons.

Os posts são de responsabilidade dos autores e não necessariamente expressam opiniões do Programa SciELO.

SciELO - Scientific Electronic Library Online Home

Inscreva-se nos nossos serviços de notificação
FAPESP - CAPES - CNPq - BIREME - FapUNIFESP Notícias
https://www.scielo.org Análises endereço de e-mail
blog.scielo@scielo.org Entrevistas
Documentos Inscrição
Newsletter
Sobre