Jornal de Pesquisa Empresarial

Volume 167, novembro de 2023 , 114129

Não odeie o jogador, odeie o jogo: realinhando estruturas de incentivo para promover
ciência robusta e melhores práticas científicas em marketing
Steven D. Shaw,Gideon Nave

Mostre mais

Outline Compartilhar Citar

https://doi.org/10.1016/j.jbusres.2023.114129
Obtenha direitos e conteúdo

Abstrato
A pesquisa de marketing baseia-se fortemente nos métodos de psicologia e economia, onde as práticas de pesquisa questionáveis ​
(QRPs) são evidentes e as taxas de replicação são baixas; portanto, é provável que os QRPs e as baixas taxas de replicabilidade
sejam difundidos no Marketing. Aqui, revisamos problemas próximos e sistêmicos que contribuem para esse estado e
pesquisamos soluções proeminentes atualmente disponíveis para pesquisadores para combater QRPs, ou seja, pré-registro,
relatórios registrados, práticas de ciência aberta e análise multiversal. Argumentamos que o núcleo das questões de replicabilidade
está enraizado em um desalinhamento das estruturas de incentivos acadêmicos, em vez de colocar a culpa em pesquisadores
individuais, e fazemos recomendações sistêmicas para um caminho a seguir em direção a uma ciência de marketing mais robusta e
replicável.

anterior Próximo

Palavras-chave
Replicação; Normas Mertonianas da Ciência; P-hacking; Viés de publicação; pré-registro; relatórios registrados; Cultura
acadêmica

1 . Introdução
Projetos de replicação em larga escala na última década mostraram que muitos estudos seminais nas ciências sociais falharam em
replicar ( Camerer et al., 2016 , Camerer et al., 2018 , Ebersole et al., 2016 , Klein et al., 2022 , Klein et al., 2014 , Klein et al., 2018 ,
Nosek et al., 2022 , Open Science Collaboration, 2015 ), colocando em questão corpos inteiros de literatura científica ( Head et al.,
2015 , Ioannidis, 2005). Ao mesmo tempo, ocorreu uma mudança transformacional em nossas crenças sobre o processo científico.
Em sua forma mais pura, os métodos científicos devem ser infalíveis na geração de conhecimento baseado em evidências. No
entanto, são os humanos que conduzem a ciência, e os métodos científicos, bem como a cultura de disseminação do conhecimento,
não estão imunes a preconceitos, exageros, negligência e, em alguns casos, fraudes ( Ritchie, 2020 ) . De fato, hipóteses de alto
perfil e atraentes nas ciências sociais - como a teoria do esgotamento do ego da força de vontade ( Hagger et al., 2016 ), a ligação
entre a gratificação precoce no início da vida e o sucesso acadêmico na vida adulta (como demonstrado pelo teste do marshmallow
; Watts, Duncan & Quan, 2018), o efeito “poderoso” da pose de poder ( Ranehill et al., 2015 ) e o efeito de saliência da mortalidade
da teoria de gerenciamento do terror ( Klein et al., 2022 ) - que foram ensinados em aulas introdutórias de psicologia,
disseminadas para o público em geral público por meio de palestras TED e livros populares, e desencadeou pesquisas de
acompanhamento que consumiram recursos tremendos, não se saíram bem em esforços de replicação independentes. 1
Embora não seja fácil estimar quantos resultados publicados na literatura de ciências sociais representam descobertas
irreplicáveis, é evidente que as chamadas "práticas de pesquisa questionáveis" (QRPs; John et al., 2012) - práticas que aumentam
a taxa de falsos positivos de descobertas científicas – são desenfreadas ( de Vrieze, 2021 , Xie et al., 2021 ). Um estudo descobriu
que em uma grande amostra de artigos de psicologia, quase 50% tinham erros de relatórios estatísticos, e esses erros tendiam a
errar na direção de apoiar a hipótese dos pesquisadores (Nuijten et al., 2016). Porém, ainda mais contundentes do que os erros
estatísticos não forçados, os campos da pesquisa científica enfrentam evidências significativas de viés de publicação, relato seletivo
de descobertas, baixo poder estatístico, alta taxa de replicações com falha e/ou ausência de esforços de replicação ( Botão et al.,
2013 , Shrout e Rodgers, 2018 ). Por exemplo, uma meta -análise descobriu que quase 40% dos pesquisadores em todas as
disciplinas estavam cientes dos QRPs cometidos por outros pesquisadores ( Xie et al., 2021 ). O campo acadêmico do Marketing
provavelmente não é exceção a essas tendências. Em dezembro de 2022, apenas 5 das 43 replicações bem-alimentadas de
resultados publicados em revistas de marketing de alto impacto foram inequivocamente bem-sucedidas (Brodeur, Cook & Heyes,
2022 ). 2 Além disso, há até mesmo evidências de QRPs em experimentos comerciais/industriais ( Berman et al., 2018 ).

O presente artigo tem três objetivos principais. Primeiro, discutimos QRPs que são comuns em pesquisas comportamentais,
provavelmente predominantes em Marketing, e adotamos uma perspectiva sistêmica para explicar por que os pesquisadores
podem se envolver em QRPs, seja intencionalmente ou não. Em segundo lugar, revisamos as principais soluções propostas e
atualmente implementadas por periódicos acadêmicos e pesquisadores para melhorar o rigor científico na área, juntamente com
suas vantagens e desvantagens (ver Tabela 1 para um resumo). Por fim, propomos um caminho a seguir para abordar as principais
questões sistêmicas e culturais subjacentes à prevalência de QRPs.

Tabela 1 . Resumo dos prós e contras das soluções existentes para a crise de replicação na pesquisa em ciências sociais.

Prós Contras

pré-registro ● Aumenta a transparência ● Maior compromisso de tempo

com os pesquisadores
● Restringe os pesquisadores ao plano pré-cadastrado; desvios devem ser
justificados

● Reduz o viés de publicação, quando o registro se torna publicamente

disponível

● Pode facilitar a análise de dados devido ao plano específico

Compartilhamento de dados ● Aumenta a transparência ● Maior compromisso de tempo

e materiais com os pesquisadores
● Facilita o compartilhamento de recursos entre pesquisadores

● Promove todas as normas mertonianas da ciência

Análise multiverso ● Permite que os leitores julguem as escolhas analíticas e de design feitas ● Maior compromisso de tempo
pelo pesquisador e como as conclusões podem ser sensíveis a eles com os pesquisadores

relatórios registrados ● Remove incentivos para que os pesquisadores se envolvam em QRPs ● Maior compromisso de tempo
com os pesquisadores
● Reduz o viés de publicação na literatura publicada

● Aumenta a transparência

● Incentiva questões de pesquisa interessantes e a qualidade da execução

do estudo proposto

● Concentra o processo de revisão na qualidade do design, em vez da

significância estatística

2 . Problemas imediatos e sistêmicos que prejudicam a replicabilidade da pesquisa de marketing

Dada a onipresença de métodos e práticas de psicologia e economia na pesquisa de marketing e evidências de problemas de
replicação nessas disciplinas fundamentais, é razoável acreditar que existam problemas semelhantes na literatura de marketing (
Brodeur, Cook, & Heyes, 2022 ) . Além disso, a discussão e conscientização de questões relacionadas à replicação e QRPs na
literatura de Marketing tem sido menos comum em relação a esses campos.

Em nossa opinião, o objetivo primordial de qualquer solução, próxima ou sistêmica, deve ser promover a replicabilidade por meio
do avanço de uma cultura de pesquisa que adere aos princípios fundamentais da ciência, caracterizados pelas quatro normas
mertonianas da ciência: comunalismo, universalismo, desinteresse e Ceticismo organizado. O comunalismo é uma propriedade
compartilhada de bens científicos e transparência; O universalismo representa uma independência das descobertas científicas das
implicações políticas, sociais e pessoais dos participantes; O desinteresse implica que as instituições científicas devem agir em
benefício da ciência e do conhecimento e não para ganhos pessoais; e o ceticismo organizado é a ideia de que toda ciência deve ser
submetida abertamente ao escrutínio. Tendo em mente as normas mertonianas, agora discutimos questões próximas na pesquisa
que provavelmente levaram a uma baixa replicabilidade, aplicável tanto ao comportamento do consumidor quanto aos reinos
quantitativos (ou seja, QRPs). Em seguida, discutimos as questões sistêmicas de desalinhamento de incentivos no processo de
publicação acadêmica, bem como o processo de contratação e promoção na academia.

Questões próximas: Práticas de pesquisa questionáveis. Os QRPs refletem situações em que os pesquisadores
individuais se desviam do princípio mertoniano do desinteresse. Eles normalmente envolvem pesquisadores fazendo escolhas
analíticas que aumentam espúriamente as chances de encontrar evidências que apoiem suas próprias hipóteses, violando a
independência entre os resultados da pesquisa e os ganhos pessoais dos pesquisadores envolvidos. Apelidados de 'esteróides da
competição científica' ( John et al., 2012), os QRPs minam a integridade das descobertas científicas e colocam aqueles que
cumprem a norma mertoniana de desinteresse em desvantagem profissional. Uma ampla variedade de termos, com definições
parcialmente sobrepostas, foi cunhada para descrever várias formas de QRPs, incluindo: p-hacking, HARKing (hipótese após os
resultados serem conhecidos), graus de liberdade do pesquisador não revelados e “jardim de caminhos bifurcados” ( Kerr, 1998 ,
Nosek et al., 2015 , Wicherts et al., 2016). Qualquer prática que viese os resultados em favor de uma hipótese seria considerada um
QRP, mas exemplos comuns de tais práticas incluem: relatar seletivamente um subconjunto de experimentos, condições
experimentais ou modelos analíticos sem revelar outros; criar variáveis ​ad hoc usando apenas um subconjunto de itens em um
questionário para formar uma nova medida; continuar a coletar mais dados até que a significância seja alcançada após a
visualização do resultado (insignificante) obtido de um estudo, ou interromper a coleta de dados uma vez que os resultados
provisórios pareçam apoiar suas hipóteses; alterar os critérios de exclusão do participante após visualizar os resultados iniciais da
modelagem; e relatar resultados exploratórios como se fossem confirmatórios (isto é, representam hipóteses ex-ante; também
conhecido como HARKing; Kerr, 1998 ).

Embora os QRPs tenham várias formas e formas, a maioria deles envolve a escolha flexível entre abordagens analíticas que podem
ser facilmente justificadas post-hoc (tanto para si quanto para comunicar os resultados a outros). Isso torna mais fácil para os
pesquisadores (humanos) envolvidos enganarem a si mesmos e aos outros, pensando que 'isso é bom ou razoável' quando uma
prática é aplicada ao seu próprio estudo ( Shalvi et al., 2011 ), mesmo que eles possam condenar tal ação de outros pesquisadores.
Quando comuns, os QRPs comprometem a qualidade da ciência em um campo, pois permitem aos pesquisadores a capacidade de
(mal) representar os efeitos como “estatisticamente significativos” ( Simmons et al., 2011). Em seguida, argumentamos que os
QRPs surgem porque 1) os humanos são tendenciosos (ou seja, 'os jogadores') e 2) nosso sistema de publicação e as estruturas de
incentivo da carreira científica estão desalinhados com os valores da busca científica (ou seja, 'o jogo').

Questões sistêmicas: a estrutura de incentivos na academia.O prestígio dos periódicos científicos é amplamente
avaliado com base no impacto dos trabalhos que eles publicam – muitas vezes representado por meio de métricas como contagem
de citações (para artigos individuais) e fatores de impacto (para periódicos). Especificamente, os periódicos se orgulham e são
classificados com base em fatores de impacto calculados como o número médio de citações que os artigos do periódico obtêm em
um ano. A maioria dos periódicos de alto impacto recebe mais envios do que eles podem ou desejam publicar e, portanto,
selecionam apenas um pequeno subconjunto de envios. Para garantir que o fator de impacto de um periódico permaneça alto, seus
editores tendem a preferir publicar artigos que devem atrair a atenção, alimentando trabalhos e debates subsequentes. Esses
artigos geralmente contêm descobertas que são, por um lado, surpreendentes ou contra-intuitivas e, por outro lado, fornecem
evidências claras que são apoiadas por resultados estatisticamente significativos, em oposição a evidências nulas ou mistas. Isso
levou ao fenômeno bem documentado de 'viés de publicação', em que a literatura publicada contém principalmente efeitos
“positivos” e os resultados nulos permanecem ocultos na proverbial gaveta de arquivos (Lane et al., 2016 , Rosenthal, 1979 ,
Sterling, 1959 ).

Embora a maioria dos pesquisadores individuais certamente respeite a integridade científica e acadêmica, eles estão arraigados
nos sistemas e na cultura criados por aqueles que os precederam ( Lilienfeld, 2017 ). Carreiras na academia são feitas ou
quebradas com base no dogma de 'publicar ou perecer'. As decisões sobre a alocação de cargos limitados do corpo docente,
promoções, prêmios, subsídios e remuneração estão todas vinculadas ao impacto do pesquisador, muitas vezes representadas por
meio de contagens de citações ou índices h, que estão claramente situados nos sistemas de publicação de periódicos discutidos
anteriormente. 3Como consequência dos critérios de publicação dos periódicos, os pesquisadores, que são avaliados com base em
seus registros de publicação, também são incentivados a enviar artigos que incluam achados estatisticamente significativos e
contem uma história nova, coerente e conclusiva, independentemente do verdadeira natureza do fenômeno sob investigação.
Acresce ainda o facto de a formação e percurso salarial numa carreira académica tradicional ser uma das mais longas entre as
carreiras profissionais ( Gaff, 2010), os pesquisadores enfrentam (se nada mais) pressões percebidas não apenas para fazer um
nome para si mesmos no campo e ter sucesso profissional, mas também para pagar contas e colocar comida na mesa. Em muitos
casos, tais condições não conduzem à honestidade e integridade, que estão no cerne da ética científica ( Steneck, 2006 ). Exemplos
ainda mais flagrantes de incentivo financeiro para publicar, em contradição direta com a norma Desinteresse, incluem os
conhecidos incentivos de 'dinheiro para publicação' para pesquisadores, onde instituições ou governos recompensam
pesquisadores apenas por publicar em periódicos importantes específicos ( Quan et al., 2017 ) e o aumento de 'periódicos
predatórios', que tentam cobrar o pagamento de pesquisadores desesperados para publicar seus trabalhos em qualquer jornal
(Grudniewicz et al., 2019 ).

Afinal, os cientistas são humanos e os humanos respondem aos incentivos que lhes são apresentados ( O'Doherty, 2004 ). Mesmo
os cientistas mais apaixonados podem logo perceber que estão em desvantagem ao operar em um sistema que pode não valorizar
ou recompensar sua integridade e rigor metodológico. Pior ainda, esses indivíduos, que deveriam ser apreciados por defender os
princípios da ciência, podem ficar desiludidos com o processo e serem empurrados para outros empregos não acadêmicos.
Enquanto isso, pesquisadores afluentes em QRPs, que seguiram os incentivos desalinhados ditados pelo sistema de publicação
científica, são recompensados ​dentro desse sistema.

Argumentamos que as estruturas de incentivo atualmente em vigor nos sistemas acadêmicos de comunicação científica (ou seja,
veículos de divulgação científica) são mais responsáveis ​pela prevalência de QRPs na ciência, em vez de bússolas morais dos
pesquisadores (ou falta de padrões éticos). O peso esmagador do sistema de publicar ou perecer neutraliza e dificulta
dramaticamente a capacidade dos pesquisadores de descobrirem percepções interessantes, úteis e (crucialmente) replicáveis ​do
consumidor. Para esta nota, adotamos uma perspectiva de cima para baixo sobre as questões sistêmicas que levaram à crise de
replicação. Como tal, nossas principais recomendações na Seção 4: O Pathway Forward concentra-se em abordagens de cima para
baixo para resolver esses problemas, sugerindo que a reforma cultural deve ser conduzida por aqueles que têm poder, os porteiros,
e transmitida a estudantes e pesquisadores em início de carreira.

3 . Soluções existentes
Não existe uma solução única e universal para resolver as questões culturais que levaram ao viés de publicação generalizado e à
irreplicabilidade na ciência. Dito isso, muitas soluções em evolução estão tomando forma e ganhando força em todos os campos.
As soluções selecionadas discutidas nesta seção oferecem uma variedade de abordagens para trabalhar em direção a práticas
científicas mais robustas em Marketing: algumas visam resolver o viés de publicação com correção meta-analítica ou publicando
descobertas nulas, outras tentam impedir que os pesquisadores façam p-hacking, enquanto outros ainda buscam responsabilizar
os periódicos submetendo todas as publicações a um algoritmo de verificação estatística (por exemplo, statcheck.io ; Statcheck,
2023 ).

Pré-registro. No momento em que escrevo, uma das abordagens mais comumente propostas e implementadas para reduzir os
QRPs é o pré-registro - a prática de se comprometer publicamente com vários aspectos do plano de pesquisa de um estudo (por
exemplo, desenho experimental, hipóteses, tamanho da amostra, critérios de inclusão), antes de conduzi-la ( Nosek et al., 2015 ). 4
Plataformas como AsPredicted.org ( AsPredicted, 2023 ) e Open Science Framework ( OSF, 2023) são os mais comumente
usados ​para pré-registro em pesquisas comportamentais. Essas plataformas geralmente permitem que os pesquisadores
mantenham as informações de pré-registro sob um embargo por um período de vários anos, quando as informações se tornam
acessíveis ao público (os autores podem optar por encerrar o embargo caso seu trabalho seja publicado anteriormente). Quando
empregado com precisão, o pré-registro tem duas vantagens principais. Primeiro, reduz a flexibilidade não revelada na análise de
dados, pois restringe os pesquisadores de se desviarem de seu plano de análise, que havia sido concebido antes de eles verem os
dados. Embora os desvios às vezes sejam inevitáveis, pois é impossível prever todos os possíveis problemas com um conjunto de
dados antes de sua análise, tais desvios são divulgados publicamente e devem ser julgados como justificados durante o processo de
revisão por pares. 5Em segundo lugar, o pré-registro ajuda a reduzir o viés de publicação, pois mesmo que determinado estudo não
seja incluído em um artigo publicado, seu registro acabará se tornando público. Isso permite que pesquisadores independentes
rastreiem trabalhos não publicados e os incluam em análises ou metanálises independentes da literatura ( Nosek et al., 2018 ,
Simmons et al., 2021). Para pesquisadores que consideraram cuidadosamente suas hipóteses, projeto de pesquisa, plano de
análise de dados, etc., o tempo e os esforços para o pré-registro podem não ser complicados. Além disso, nesses casos, o pré-
registro pode (em teoria) facilitar a análise de dados, fornecendo um plano de análise predefinido e “forçando” os pesquisadores a
aderir a um plano claramente definido antes de coletar os dados reais/realizar a análise. Para obter guias sobre como criar um pré-
registro, consulte van't Veer & Giner-Sorolla (2016) ou a seção " Criar um pré-registro " do site da OSF ( Pré-registro - Suporte
OSF, 2023 ).

Embora os méritos do pré-registro sejam valiosos, ele não é uma panacéia. Além de aumentar a carga de trabalho e os
compromissos de tempo dos pesquisadores ( Krishna, 2021 ), o pré-registro pode nem sempre cumprir as promessas de seus
proponentes quando colocado em prática ( Pham & Oh, 2021a ). Simplificando, os pesquisadores podem facilmente influenciar o
processo de pré-registro, pré-registrando muitos estudos e relatando apenas aqueles que funcionam da maneira pretendida. Como
tal, a cultura e as ideias em torno do pré-registro podem levar a um fenômeno de 'distintivo de honra', em que os pesquisadores
simplesmente usam o pré-registro para sinalizar o rigor científico e a virtude de seus estudos, mesmo quando esse não é o caso (
Pham & Oh, 2021b). Além disso, embora os pré-registros eventualmente se tornem públicos, sua descoberta por outros
pesquisadores (por exemplo, ao realizar uma meta -análise) nem sempre é trivial.

Em suma, o pré-registro pode reduzir os QRPs, pois obriga os pesquisadores a pensar cuidadosamente e se comprometer com um
plano de pesquisa específico antes de ver os dados. No entanto, não resolve os problemas sistêmicos que levaram à crise de
replicação na ciência em primeiro lugar. Crucialmente, ao fazer o pré-registro, os pesquisadores muitas vezes acabam investindo
mais esforço em qualquer estudo para se envolver nesse processo, sem qualquer garantia de que esse esforço será recompensado,
pois um estudo bem desenhado com resultado nulo provavelmente não receberá a recompensa de publicação no ambiente
editorial atual. Assim, o problema de desalinhamento de incentivos acima mencionado persiste.

Relatórios registrados. Um relatório registrado é um formato de publicação que inverte o processo de publicação
convencional. Ao enviar um relatório registrado, os autores escrevem o artigo, incluindo sua teoria e métodos (com desenho de
estudo detalhado e análises) antesconduzir a pesquisa e enviar o manuscrito para publicação antes que os resultados sejam
conhecidos. As propostas avaliadas favoravelmente recebem uma 'aceitação em princípio', indicando que, caso os pesquisadores
executem com sucesso a proposta declarada, a revista publicará os resultados independentemente da significância estatística.
Durante o processo de revisão, editores e revisores podem solicitar revisões (incluindo alterações no desenho e análise do estudo).
No entanto, as decisões de aceitação são tomadas antes que os resultados sejam conhecidos. Depois que os autores concluírem a
pesquisa, eles enviam o manuscrito completo, incluindo os resultados (destacando a análise original e indicando claramente que
quaisquer análises adicionais são exploratórias) e discussão para revisão de conformidade. Crucialmente,Câmaras, 2013 ). Para
obter um guia abrangente de relatórios registrados, consulte Chambers & Tzavella, (2022) .

Os relatórios registrados prometem reduzir os QRPs e o viés de publicação, pois os periódicos se comprometem a publicar
propostas de pesquisa apenas com base na importância da questão de pesquisa em questão, na qualidade do projeto experimental
e no rigor dos métodos propostos, em vez de focar em a significância estatística dos resultados. Os autores são, portanto,
incentivados a elaborar cuidadosamente suas hipóteses de pesquisa e executar o melhor estudo possível para testá-las, com a
ajuda do feedback da equipe de revisão, e o plano de estudo pré-aprovado elimina o incentivo de se envolver em QRPs para obter
significância estatística.

Desde a primeira oferta de relatórios registrados como formato de publicação científica em 2012 pelas revistas Cortex e
Perspectives on Psychological Science , mais de 300 revistas científicas agora convidam submissões no formato ( Chambers &
Tzavella, 2022 ). Indicações iniciais evidenciam que, em todos os campos, 60% dos relatórios registrados publicados incluem
resultados nulos, o que é aproximadamente cinco vezes mais do que as publicações de contrapartida de relatórios não registrados,
e um achado ainda mais pronunciado para publicações em Psicologia ( Allen & Mehler, 2019 , Scheel e outros, 2021). Além disso,
conforme julgado por um painel de revisores independentes, os relatórios registrados superam os relatórios não registrados em
características como importância, novidade, criatividade, inovação, rigor metodológico e qualidade geral do artigo ( Soderberg et
al., 2021 ) e recebem um número de citações semelhante aos relatórios não registrados ( Hummer et al., 2017 ). Desenvolver
comunidades de pesquisa on-line, não afiliadas a nenhum periódico, como Peer Community In Registered Reports (PCI RR; PCI
Registered Reports, 2023 ), reúne pesquisadores interessados ​em trabalhar em relatórios registrados, facilitando recomendações
livres e transparentes e pode ajudar de forma independente os formato de publicação do relatório.

Compartilhamento de dados e materiais. Quando um processo é totalmente transparente, os observadores não precisam
mais confiar na confiança para garantir que foi feito de forma honesta e correta. Em vez disso, qualquer pessoa pode, se estiver
disposta a se esforçar, realizar a devida diligência para determinar os méritos do processo - de acordo com todas as normas
mertonianas, mas particularmente promovendo o comunalismo e o ceticismo organizado. Historicamente, pesquisadores
valorosos passavam incontáveis ​horas entrando em contato com seus colegas para obter informações sobre estudos e se envolver
em tal diligência. Cavar os bastidores do trabalho publicado é um processo complicado e muitas vezes infrutífero (ou seja, quando
os autores não respondem ou compartilham seus dados; Conlisk, 2011). No entanto, olhando para trás, esses esforços foram um
grande serviço para nossas atividades científicas coletivas. Com práticas de ciência aberta, ou o compartilhamento transparente de
informações por trás de nossa pesquisa, os esforços para verificar, entender e melhorar nossos processos de pesquisa se tornam
mais fáceis. A ciência aberta disponibiliza análises secundárias, códigos, dados e qualquer outra informação relevante para os
interessados.

Repositórios de dados, como ResearchBox ( ResearchBox, 2023 ) e re3data ( Re3data.Org, 2023 ), oferecem métodos
relativamente fáceis para os pesquisadores armazenarem e compartilharem conteúdo científico, como dados, códigos, pré-
registros e materiais de estudo relacionados aos seus projetos. Quando os pesquisadores compartilham seu trabalho abertamente,
outros cientistas podem desenvolver isso e tornar seu trabalho mais eficiente, verificar os papéis em busca de erros não forçados,
tentar replicar resultados ou usar informações para uma meta-análise e aprofundar as descobertas com mais detalhes, conforme
necessário . Para obter uma visão geral das diretrizes e melhores práticas de compartilhamento de dados, consulte Alter &
Gonzalez (2018) .

Estudos de replicação.É claro que conduzir e publicar estudos de replicação pode ajudar o campo do Marketing a 1) entender o
estado geral de replicabilidade em nosso campo e 2) determinar quais efeitos se replicam e quais não/determinam a natureza de
estudos anteriormente insuficientes. Os estudos de replicação envolvem a repetição de um estudo publicado anteriormente com o
objetivo de avaliar a validade e generalização de suas descobertas, geralmente usando amostras de participantes
significativamente maiores, amostras de participantes mais diversas e vários laboratórios de pesquisa para conduzir o estudo. Ao
replicar estudos, os pesquisadores podem confirmar ou refutar descobertas anteriores e identificar possíveis erros ou vieses na
pesquisa original. Algumas revistas acadêmicas começaram a incentivar e priorizar estudos de replicação, estabelecendo seções
dedicadas à pesquisa de replicação ou oferecendo bônus de publicação para autores que conduzem e publicam estudos de
replicação. Por exemplo, muitos periódicos (por exemplo, Journal of Experimental Psychology) publicaram edições especiais com
artigos dedicados à pesquisa de replicação/confirmação. Da mesma forma, alguns periódicos agora têm seções designadas
dedicadas à replicação, o que incentiva a submissão de estudos que tentam replicar ou estender descobertas anteriores (por
exemplo,Cartas de Marketing ; Labroo et al., 2022 ).

A ciência de grandes equipes pode desempenhar um papel na promoção de estudos de replicação reunindo recursos e
conhecimentos para conduzir estudos de replicação em larga escala. Por exemplo, o projeto Many Labs, liderado por
pesquisadores da Universidade da Virgínia, reuniu mais de 100 pesquisadores de todo o mundo para replicar um conjunto de
estudos psicológicos em vários laboratórios. Este projeto ajudou a demonstrar a replicabilidade de algumas descobertas e
identificar possíveis problemas com outras ( Klein et al., 2014 , Klein et al., 2018 ). Fazer uma replicação corretamente é um
investimento de tempo significativo, muitas vezes exigindo grandes recursos financeiros e colaboração com vários
laboratórios/equipes de pesquisa, além de um grande serviço ao campo. Para obter um guia sobre a condução de um estudo de
replicação completo e eficaz, consulteBrandt et ai. (2014) .

Análise multiversal e curvas de especificação. A análise multiverso aumenta a transparência dos estágios de
processamento e análise de dados de um processo de pesquisa, realizando “ todas as análises em todo o conjunto de conjuntos de
dados processados ​alternativamente correspondentes a um grande conjunto de cenários razoáveis” ( Steegen et al., 2016). Uma
análise multiversal reconhece que, ao preparar e analisar dados, os pesquisadores tomam uma ampla gama de decisões (por
exemplo, critérios de exclusão de participantes, transformações de variáveis, categorização de variáveis, etc.) cujos resultados são
potencialmente justificáveis, fornecendo um terreno fértil para possíveis QRPs. Em vez de dar aos pesquisadores a flexibilidade
para tomar essas decisões, a análise de multiversos força os pesquisadores a considerar todas as análises justificáveis ​possíveis
(isto é, todas as combinações possíveis de resultados de decisões de design) e apresentá-las, para criar universos alternativos de
análises dos dados disponíveis. Apresentar um conjunto tão abrangente de análises permite que os leitores avaliem até que ponto
as conclusões de qualquer um dos autores dependem de escolhas analíticas específicas feitas. Desta forma, os resultados
apresentados contemplam um 'multiverso' de resultados possíveis, em vez de uma análise singular que pode incluir os vieses
inerentes e as escolhas arbitrárias feitas pelos pesquisadores durante o desenho do estudo, que se acumulam ao longo dos
preparativos tradicionais de pesquisa. A análise da curva de especificação consiste em etapas de processamento de dados
multiversos semelhantes, com a adição de visualizações de dados específicas e procedimentos estatísticos inferenciais, ou seja, um
gráfico de especificação (Simonsohn et al., 2019 ). Um guia prático para análises multiversais e semelhantes pode ser encontrado
em Del Giudice & Gangestad (2021) ou aqui ( Specification Curve Analysis: A Practical Guide, 2023 ), e existem pacotes R
disponíveis para conduzir análises multiversais ( Multiverso: um pacote R para criação de análise de multiverso, 2022 ).
4 . Um caminho a seguir
Até agora, delineamos as principais questões conhecidas no corpo atual da literatura publicada em ciências sociais e espera-se que
sejam encontradas também na literatura de Marketing, e pesquisamos as ferramentas mais proeminentes atualmente em uso para
abordá-las. Agora discutimos um caminho a seguir e refletimos sobre como vemos nosso campo resolvendo essas questões. Em
termos gerais, recomendamos mudar o escopo das soluções, de métodos aproximados que são implementados por pesquisadores
individuais, para soluções sistêmicas que realinham as estruturas de incentivo de periódicos e pesquisadores com os princípios do
método científico e promovem as normas mertonianas da ciência entre todos.

Reforma cultural de cima para baixo.Para facilitar a criação de uma base robusta de conhecimento em Marketing, devemos
conseguir criar sistemas que alinhem os incentivos de pesquisadores individuais com os valores da ciência. Tais reformas devem
vir de dentro de nosso campo e serem executadas por aqueles que detêm o poder sobre os processos que ditam nossos sistemas de
trabalho: chefes de departamento, professores envolvidos na tomada de decisões de contratação e promoção, presidentes de
sociedades e editores de jornais. Simplificando, apesar de um claro desejo de reforma por parte dos pesquisadores em início de
carreira, os riscos pessoais e as possíveis implicações de carreira para os pesquisadores em início de carreira são, infelizmente,
altos demais para que se espere que eles quebrem as normas de um sistema há muito estabelecido. Considerando que muitas das
mudanças culturais mais profundas da sociedade vêm de movimentos de base, de baixo para cima,

Liderança, tome uma posição. Se a integridade científica e a busca do conhecimento é um objetivo comum de nosso campo, é
essencial reconhecer que os QRPs geralmente não são o resultado de malícia ou intenção , mas sim um produto de atores humanos
operando dentro de um sistema profissional. Os líderes devem se posicionar e abrir o caminho, criando políticas que fomentem a
ciência rigorosa, sigam as normas mertonianas e desincentivem os QRPs. Essencialmente, os que estão no poder precisam ajustar
as regras do jogo para garantir que incentivemos melhores práticas científicas e que não haja necessidade de 'odiar o jogo'. Abaixo,
nossas recomendações dirigem-se aos editores de periódicos e ao corpo docente como os principais interessados ​e líderes que
detêm o poder de implementar mudanças sistêmicas em nosso campo.

Para editores e revisores de periódicos, recomendamos:

• Os periódicos de marketing devem se alinhar com suas contrapartes nas disciplinas básicas de ciências sociais e adicionar
relatórios registrados à lista de tipos de publicação elegíveis/incentivar os pesquisadores a enviar manuscritos em um formato
de relatório registrado, seguindo as diretrizes definidas por Chambers & Tzavella, 2022 .

• Os periódicos devem assumir a responsabilidade pelos trabalhos que publicam; se um periódico publica um artigo, deve
estimular trabalhos adicionais avaliando sua robustez e replicabilidade, de acordo com a norma mertoniana do ceticismo
organizado.

• Os periódicos não devem se coibir de publicar artigos que contenham resultados nulos ou mistos, e focar na qualidade da
questão de pesquisa e na adequação dos métodos para respondê-los (Nota: resultados nulos devem ser suportados por testes
de equivalência ou fatores de Bayes, como o ausência de evidência não é evidência de ausência).

• Diminuir a ênfase e o valor dos resultados “estatisticamente significativos” (ou seja, valores- p inferiores a um limite arbitrário;
McShane et al., 2019 ).

• No mínimo, os artigos com estudos não pré-cadastrados ou no formato de relatório registrado devem conter uma análise
multiverso ou curva de especificação.

• Implementar/ fasear o aumento do fator de Promoção de Transparência e Abertura (TOP) com base nas diretrizes TOP
para citação de dados, transparência de dados, transparência de código de análise, transparência de materiais, diretrizes de
relatórios de design e análise, pré-registro de estudo, pré-registro de plano de análise e replicação ( Fator TOP - Promoção de
Transparência e Abertura, 2023) .

• Ouça e apoie autores e revisores que incentivam o pré-registro de seus estudos ou submissões de relatórios registrados.

• Use a OSF “ Standard Reviewer Statement for Disclosure of Sample, Conditions, Measures, and Exclusions ” para solicitar
melhores práticas de dados e informações dos autores ( OSF | Standard Reviewer Statement for Disclosure of Sample,
Conditions, Measures, and Exclusions, 2023 ).

• Os revisores de um artigo devem ser restritos no número de citações que podem sugerir de seu próprio trabalho (sugerimos um
máximo de 3 citações, mas uma política de tolerância zero também pode ser justificada).
• Os editores de periódicos devem ser impedidos de sugerir citações de trabalhos publicados no periódico que estão editando e
de seus próprios trabalhos.

Para professores, recomendamos:

• Priorize e aprecie os candidatos nas decisões de contratação e promoção que se empenharam em esforços significativos para
aumentar a replicabilidade de sua própria pesquisa. Para obter orientações sobre as melhores práticas, consulte Gernsbacher
(2018) ou Moher et al. (2018) .

• Ofereça recompensas internas que incentivem pesquisadores/colegas a pré-registrar estudos, enviar relatórios de replicação e
se envolver em práticas de ciência aberta. Para obter exemplos, consulte a seção ' Visão de Reconhecimento e Recompensas '
do Guia de Ciência Aberta da Universidade de Utrecht ( Visão de Reconhecimento e Recompensas da Universidade de
Utrecht, 2023 ).

• Incentive os alunos de pós-graduação a explorar o envio de relatórios registrados no início de sua carreira de pesquisa.

• Incluir, discutir e valorizar as práticas de ciência aberta (por exemplo, compartilhamento de dados e materiais) nos requisitos
de posse.

• Promova trabalhos de pesquisa sustentáveis ​com melhor equilíbrio entre vida profissional e pessoal. Por exemplo, acomodar
trabalho híbrido de horários domésticos, planejamento familiar e restrições geográficas de pesquisadores.

• Faça tentativas para considerar a qualidade dos esforços de pesquisa sobre a quantidade (ou seja, contagem total de citações).
Por exemplo, ao avaliar o corpo docente, peça de 3 a 5 publicações exemplares a serem consideradas, em vez de um corpo
inteiro de trabalho.

5 . Conclusão
A forma como conduzimos a ciência está mudando para melhor, mas ainda há muito trabalho a ser feito. Neste artigo, propusemos
mudanças nas políticas que podem mudar a cultura de publicação acadêmica e acelerar o caminho para reduzir os QRPs e
reconstruir a confiança em nosso corpo de descobertas científicas. Vemos essas mudanças como necessárias, pois a confiança nos
processos e sistemas que orientam a forma como conduzimos empreendimentos científicos é essencial para construir uma cultura
de integridade acadêmica e atrair e reter pesquisadores de ponta na área de Marketing.

Declaração de contribuição de autoria do CRediT

Steven D. Shaw: Conceitualização, Redação – rascunho original, Redação – revisão e edição. Gideon Nave: Conceitualização,
Redação – revisão e edição.

Declaração de Interesse Concorrente

Os autores declaram que não têm interesses financeiros concorrentes conhecidos ou relacionamentos pessoais que possam parecer
influenciar o trabalho relatado neste artigo.

Reconhecimentos
Agradecemos à equipe editorial e aos revisores por seu tempo e comentários atenciosos; este trabalho foi aprimorado como
resultado de seus esforços.

Special issue articles Recommended articles

Referências
Allen & Mehler, 2019 C. Allen , DMA Mehler
Desafios científicos abertos, benefícios e dicas no início da carreira e além
PLOS Biology , 17 ( 5 ) ( 2019 ) , p. e3000246
CrossRef Ver no Scopus Google Scholar

Alter e González, 2018 G. Alter , R. González

Práticas responsáveis ​para compartilhamento de dados
 The American Psychologist , 73 ( 2 ) ( 2018 ) , p. 146 ,10.1037/AMP0000258
Ver no Scopus Google Scholar
Como previsto, 2023 Como previsto. (2023). Recuperado em 21 de dezembro de 2022, em https://aspredicted.org/ .
Google Scholar

Aydogan et al., 2021 G. Aydogan , R. Daviet , R. Karlsson Linnér , TA Hare , JW Kable , HR Kranzler , ... , G. Nave
As bases genéticas do comportamento de risco estão relacionadas à neuroanatomia alterada
Nature Human Behaviour, 5 (6) (2021), pp. 787-794, 10.1038/s41562-020-01027-y
View in Scopus Google Scholar

Berman et al., 2018 R. Berman, L. Pekelis, A. Scott, C. Van den Bulte

P-Hacking in A/B Testing
SSRN Electronic Journal (2018), 10.2139/SSRN.3204791
Google Scholar

Brandt et al., 2014 Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., Grange, J. A., Perugini,
M., Spies, J. R., & van ’t Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of
Experimental Social Psychology, 50(1), 217–224. https://doi-org.ez1.periodicos.capes.gov.br/10.1016/J.JESP.2013.10.005.
Google Scholar

Brodeur, Cook, & Heyes, 2022 A. Brodeur, N. Cook, A. Heyes

We Need to Talk about Mechanical Turk: What 22,989 Hypothesis Tests Tell us about p-Hacking and Publication Bias in
Online Experiments (2022)
https://www.econstor.eu/handle/10419/266266
Google Scholar

Button et al., 2013 K.S. Button, J.P.A. Ioannidis, C. Mokrysz, B.A. Nosek, J. Flint, E. S.J. Robinson, et al.
Power failure: Why small sample size undermines the reliability of neuroscience
Nature Reviews Neuroscience, 14 (5) (2013), pp. 365-376, 10.1038/NRN3475
View in Scopus Google Scholar

Camerer et al., 2016 C.F. Camerer, A. Dreber, E. Forsell, T.H. Ho, J. Huber, M. Johannesson, et al.
Evaluating replicability of laboratory experiments in economics
Science, 351 (6280) (2016), pp. 1433-1436
CrossRef View in Scopus Google Scholar

Camerer et al., 2018 C.F. Camerer, A. Dreber, F. Holzmeister, T.H. Ho, J. Huber, M. Johannesson, …, H. Wu
Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015
Nature Human Behaviour, 2 (9) (2018), pp. 637-644, 10.1038/s41562-018-0399-z
View in Scopus Google Scholar

Chambers, 2013 C.D. Chambers

Registered Reports: A new publishing initiative at Cortex
Cortex, 49 (3) (2013), pp. 609-610, 10.1016/J.CORTEX.2012.12.016
View PDF View article View in Scopus Google Scholar

Chambers & Tzavella, 2022 C.D. Chambers, L. Tzavella

The past, present and future of Registered Reports
Nature Human Behaviour, 6 (1) (2022), pp. 29-42, 10.1038/S41562-021-01193-7
View in Scopus Google Scholar

Conlisk, 2011 J. Conlisk

Professor Zak’s empirical studies on trust and oxytocin
Journal of Economic Behavior & Organization, 78 (1–2) (2011), pp. 160-166, 10.1016/J.JEBO.2011.01.002
View PDF View article View in Scopus Google Scholar

de Vrieze, 2021 J. de Vrieze

 Large survey finds questionable research practices are common
Science, 373 (6552) (2021), p. 265, 10.1126/SCIENCE.373.6552.265
View in Scopus Google Scholar
Del Giudice and Gangestad, 2021 M. Del Giudice, S.W. Gangestad
A Traveler’s Guide to the Multiverse: Promises, Pitfalls, and a Framework for the Evaluation of Analytic
Decisions. Advances in Methods and Practices
Psychological Science, 4 (1) (2021),
10.1177/2515245920954925/ASSET/IMAGES/LARGE/10.1177_2515245920954925-FIG6.JPEG
Google Scholar

Ebersole et al., 2016 C.R. Ebersole, O.E. Atherton, A.L. Belanger, H.M. Skulborstad, J.M. Allen, J.B. Banks, et al.
Many Labs 3: Evaluating participant pool quality across the academic semester via replication
Journal of Experimental Social Psychology, 67 (2016), pp. 68-82, 10.1016/J.JESP.2015.10.012
View PDF View article View in Scopus Google Scholar

Gaff, 2010 J.G. Gaff

Preparing Future Faculty and Doctoral Education
Http://dx-doi.ez1.periodicos.capes.gov.br/10.1080/00091380209605571, 34 (6) (2010), pp. 63-66,
10.1080/00091380209605571
Google Scholar

Gernsbacher, 2018 M.A. Gernsbacher

Rewarding Research Transparency
Trends in Cognitive Sciences, 22 (11) (2018), pp. 953-956, 10.1016/J.TICS.2018.07.002
View PDF View article View in Scopus Google Scholar

Grudniewicz et al., 2019 Grudniewicz, A., Moher, D., Cobey, K. D., Bryson, G. L., Cukier, S., Allen, K., Ardern, C., Balcom, L.,
Barros, T., Berger, M., Ciro, J. B., Cugusi, L., Donaldson, M. R., Egger, M., Graham, I. D., Hodgkinson, M., Khan, K. M.,
Mabizela, M., Manca, A., … Lalu, M. M. (2019). Predatory journals: No definition, no defence. Nature 2021 576:7786,
576(7786), 210–212. https://doi-org.ez1.periodicos.capes.gov.br/10.1038/d41586-019-03759-y .
Google Scholar

Hagger et al., 2016 M.S. Hagger, N.L.D. Chatzisarantis, H. Alberts, C.O. Anggono, C. Batailler, A.R. Birt, et al.
A Multilab Preregistered Replication of the Ego-Depletion Effect
Perspectives on Psychological Science, 11 (4) (2016), pp. 546-573,
10.1177/1745691616652873/ASSET/IMAGES/LARGE/10.1177_1745691616652873-FIG1.JPEG
View in Scopus Google Scholar

Head et al., 2015 M.L. Head, L. Holman, R. Lanfear, A.T. Kahn, M.D. Jennions
The Extent and Consequences of P-Hacking in Science. (2015), 10.1371/journal.pbio.1002106

Hummer et al., 2017 Hummer, L., Thorn, F. S., Nosek, B. A., & Errington, T. M. (2017). Evaluating Registered Reports: A
Naturalistic Comparative Study of Article Impact. https://doi-org.ez1.periodicos.capes.gov.br/10.31219/OSF.IO/5Y8W7
.
Google Scholar

Ioannidis, 2005 J.P.A. Ioannidis

Why Most Published Research Findings Are False
PLOS Medicine, 2 (8) (2005), p. e124
CrossRef Google Scholar

John et al., 2012 L.K. John, G. Loewenstein, D. Prelec

Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling
Psychological Science, 23 (5) (2012), pp. 524-532, 10.1177/0956797611430953
View in Scopus Google Scholar
Kerr, 1998 N.L. Kerr
HARKing: Hypothesizing after the results are known
Personality and Social Psychology Review, 2 (3) (1998), pp. 196-217, 10.1207/S15327957PSPR0203_4
View in Scopus Google Scholar

Klein et al., 2022 R.A. Klein, C.L. Cook, C.R. Ebersole, C. Vitiello, B.A. Nosek, J. Hilgard, …, K.A. Ratliff
Many Labs 4: Failure to Replicate Mortality Salience Effect With and Without Original Author Involvement
Collabra: Psychology, 8 (1) (2022), 10.1525/COLLABRA.35271
Google Scholar

Klein et al., 2014 R.A. Klein, K.A. Ratliff, M. Vianello, R.B. Adams, Š. Bahník, M.J. Bernstein, et al.
Investigating variation in replicability: A “many labs” replication project
Social Psychology, 45 (3) (2014), p. 142, 10.1027/1864-9335/A000178
View in Scopus Google Scholar

Klein et al., 2018 R.A. Klein, M. Vianello, F. Hasselman, B.G. Adams, R.B. Adams, S. Alper, …, B.A. Nosek
Many Labs 2: Investigating Variation in Replicability Across Samples and Settings
Advances in Methods and Practices in Psychological Science, 1 (4) (2018), pp. 443-490, 10.1177/2515245918810225
View in Scopus Google Scholar

Krishna, 2021 A. Krishna

The Need for Synergy in Academic Policies: An Introduction to the Dialogue on Pre-registration
Journal of Consumer Psychology, 31 (1) (2021), pp. 146-150, 10.1002/JCPY.1211
View in Scopus Google Scholar

Labroo et al., 2022 Labroo, A. A., Mizik, N., Winer, R. S., Bradlow, E. T., Huber, J., Lehmann, D., Lynch, J. G., & Lehmann, D. R.
(2022). Marketing Letters encourages submissions to Replication Corner. Marketing Letters 2022 33:4, 33(4), 543–543.
https://doi-org.ez1.periodicos.capes.gov.br/10.1007/S11002-022-09653-4.
Google Scholar

Lane et al., 2016 A. Lane, O. Luminet, G. Nave, M. Mikolajczak

Is there a Publication Bias in Behavioural Intranasal Oxytocin Research on Humans? Opening the File
Drawer of One Laboratory
Journal of Neuroendocrinology, 28 (4) (2016), 10.1111/JNE.12384
Google Scholar

Lilienfeld, 2017 S.O. Lilienfeld

Psychology’s Replication Crisis and the Grant Culture: Righting the Ship
Https://doi-org.ez1.periodicos.capes.gov.br/10.1177/1745691616687745, 12 (4) (2017), pp. 660-664,
10.1177/1745691616687745
View in Scopus Google Scholar

McShane et al., 2019 McShane, B. B., Gal, D., Gelman, A., Robert, C., & Tackett, J. L. (2019). Abandon Statistical Significance.
Https://doi-org.ez1.periodicos.capes.gov.br/10.1080/00031305.2018.1527253, 73(sup1), 235–245. https://doi-
org.ez1.periodicos.capes.gov.br/10.1080/00031305.2018.1527253.
Google Scholar

Moher et al., 2018 D. Moher, F. Naudet, I.A. Cristea, F. Miedema, J.P.A. Ioannidis, S.N. Goodman
Assessing scientists for hiring, promotion, and tenure
PLOS Biology, 16 (3) (2018), p. e2004089
CrossRef View in Scopus Google Scholar

Multiverse: An R package for creating multiverse analysis, 2022 Multiverse: An R package for creating multiverse analysis.
(n.d.). Retrieved December 27, 2022, from https://cran.r-project.org/web/packages/multiverse/readme/README.html.
Google Scholar

Nosek et al., 2015 B.A. Nosek, G. Alter, G.C. Banks, D. Borsboom, S.D. Bowman, S.J. Breckler, et al.
 Promoting an open research culture
Science, 348 (6242) (2015), pp. 1422-1425, 10.1126/SCIENCE.AAB2374
View in Scopus Google Scholar
Nosek et al., 2018 B.A. Nosek, C.R. Ebersole, A.C. DeHaven, D.T. Mellor
The preregistration revolution
Proceedings of the National Academy of Sciences, 115 (11) (2018), pp. 2600-2606, 10.1073/PNAS.1708274114
View in Scopus Google Scholar

Nosek et al., 2022 Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., Fidler, F., Hilgard, J., Kline
Struhl, M., Nuijten, M. grave le B., Rohrer, J. M., Romero, F., Scheel, A. M., Scherer, L. D., Schönbrodt, F. D., & Vazire, S.
(2022). Replicability, Robustness, and Reproducibility in Psychological Science. Https://doi-
org.ez1.periodicos.capes.gov.br/10.1146/Annurev-Psych-020821-114157, 73, 719–748. https://doi-
org.ez1.periodicos.capes.gov.br/10.1146/ANNUREV-PSYCH-020821-114157.
Google Scholar

Nuijten et al., 2016 M.B. Nuijten, C.H.J. Hartgerink, M.A.L.M. van Assen, S. Epskamp, J.M. Wicherts
The prevalence of statistical reporting errors in psychology (1985–2013)
Behavior Research Methods, 48 (4) (2016), pp. 1205-1226, 10.3758/S13428-015-0664-2/TABLES/8
View in Scopus Google Scholar

O’Doherty, 2004 J.P. O’Doherty

Reward representations and reward-related learning in the human brain: Insights from neuroimaging
Current Opinion in Neurobiology, 14 (6) (2004), pp. 769-776, 10.1016/J.CONB.2004.10.016
View PDF View article View in Scopus Google Scholar

Open Science Collaboration, 2015 Open Science Collaboration

Estimating the reproducibility of psychological science
Science, 349 (6251) (2015), 10.1126/SCIENCE.AAC4716/SUPPL_FILE/AARTS-SM.PDF
Google Scholar

OSF, 2023 OSF. (2023). Retrieved December 21, 2022, from https://osf.io/ .
Google Scholar

OSF | Standard, 2023 OSF | Standard. (2023) Reviewer Statement for Disclosure of Sample, Conditions, Measures, and
Exclusions. Retrieved April 13, 2023, from https://osf.io/hadz3/ .
Google Scholar

Pham and Oh, 2021a M.T. Pham, T.T. Oh

On Not Confusing the Tree of Trustworthy Statistics with the Greater Forest of Good Science: A Comment on
Simmons et al’.s Perspective on Pre-registration
Journal of Consumer Psychology, 31 (1) (2021), pp. 181-185, 10.1002/JCPY.1213
View in Scopus Google Scholar

Pham and Oh, 2021b M.T. Pham, T.T. Oh

Preregistration Is Neither Sufficient nor Necessary for Good Science
Journal of Consumer Psychology, 31 (1) (2021), pp. 163-176, 10.1002/JCPY.1209
View in Scopus Google Scholar

Preregistration—OSF Support, 2023 Preregistration—OSF Support. (2023). Retrieved April 14, 2023, from
https://help.osf.io/article/145-preregistration#creating-a-preregistration-on-osf .
Google Scholar

Quan et al., 2017 W. Quan, B. Chen, F. Shu

Publish or impoverish: An investigation of the monetary reward system of science in China (1999–2016)
Aslib Journal of Information Management, 69 (5) (2017), pp. 486-502, 10.1108/AJIM-01-2017-0014
View in Scopus Google Scholar
Ranehill et al., 2015 E. Ranehill, A. Dreber, M. Johannesson, S. Leiberg, S. Sul, R.A. Weber
Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of
Men and Women
Psychological Science, 26 (5) (2015), pp. 653-656,
10.1177/0956797614553946/ASSET/0956797614553946.FP.PNG_V03
View in Scopus Google Scholar

Registered, 2023 PCI Registered Reports. (2023). Retrieved April 11, 2023, from https://rr.peercommunityin.org/ .
Google Scholar

Re3data.org., 2023 Re3data.org. (2023). Retrieved April 11, 2023, from https://www.re3data.org/ .
Google Scholar

ResearchBox, 2023 ResearchBox. (2023). Retrieved April 11, 2023, from https://researchbox.org/ .
Google Scholar

Ritchie, 2020 Ritchie, S. (Stuart J.). (2020). Science fictions: Exposing fraud, bias, negligence and hype in science. 353.
Google Scholar

Rosenthal, 1979 R. Rosenthal

The file drawer problem and tolerance for null results
Psychological Bulletin, 86 (3) (1979), pp. 638-641, 10.1037/0033-2909.86.3.638
View PDF View article Google Scholar

Scheel et al., 2021 Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An Excess of Positive Results: Comparing the
Standard Psychology Literature With Registered Reports. Https://doi-
org.ez1.periodicos.capes.gov.br/10.1177/25152459211007467, 4(2). https://doi-
org.ez1.periodicos.capes.gov.br/10.1177/25152459211007467 .
Google Scholar

Serra-Garcia and Gneezy, 2021 M. Serra-Garcia, U. Gneezy

Nonreplicable publications are cited more than replicable ones
Sci. Adv., 7 (21) (2021), 10.1126/SCIADV.ABD1705/SUPPL_FILE/SCIADV.ABD1705_SM.PDF
Google Scholar

Shalvi et al., 2011 S. Shalvi, J. Dana, M.J.J. Handgraaf, C.K.W. De Dreu, S. Shalvi, J. Dana, et al.
Justified ethicality: Observing desired counterfactuals modifies ethical perceptions and behavior
Organizational Behavior and Human Decision Processes, 115 (2) (2011), pp. 181-190, 10.1016/j.obhdp.2011.02.001
View PDF View article View in Scopus Google Scholar

Shrout and Rodgers, 2018 Shrout, P. E., & Rodgers, J. L. (2018). Psychology, Science, and Knowledge Construction: Broadening
Perspectives from the Replication Crisis. Https://doi-org.ez1.periodicos.capes.gov.br/10.1146/Annurev-Psych-122216-
011845, 69, 487–510. https://doi-org.ez1.periodicos.capes.gov.br/10.1146/ANNUREV-PSYCH-122216-011845 .
Google Scholar

Simmons et al., 2011 J.P. Simmons, L.D. Nelson, U. Simonsohn

False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as
significant
Psychological Science, 22 (11) (2011), pp. 1359-1366, 10.1177/0956797611417632
View in Scopus Google Scholar

Simmons et al., 2021 J.P. Simmons, L.D. Nelson, U. Simonsohn

Pre-registration is a Game Changer. But, Like Random Assignment, it is Neither Necessary Nor Sufficient for
Credible Science
Journal of Consumer Psychology, 31 (1) (2021), pp. 177-180, 10.1002/JCPY.1207
View in Scopus Google Scholar
Simonsohn et al., 2019 U. Simonsohn, J.P. Simmons, L.D. Nelson
Specification Curve: Descriptive and Inferential Statistics on All Reasonable Specifications
SSRN Electronic Journal (2019), 10.2139/SSRN.2694998
Google Scholar

Soderberg et al., 2021 C.K. Soderberg, T.M. Errington, S.R. Schiavone, J. Bottesini, F.S. Thorn, S. Vazire, et al.
Initial evidence of research quality of registered reports compared with the standard publishing model
Nature Human Behaviour, 5 (8) (2021), pp. 990-997, 10.1038/S41562-021-01142-4
View in Scopus Google Scholar

Specification Curve Analysis: A practical guide, 2023 Specification Curve Analysis: A practical guide. (2022). Retrieved April 14,
2023, from https://dcosme.github.io/specification-curves/SCA_tutorial_inferential_presentation#1 .
Google Scholar

Statcheck, 2023 Statcheck // web. (2023). Retrieved April 11, 2023, from https://michelenuijten.shinyapps.io/statcheck-web/
.
Google Scholar

Steegen et al., 2016 S. Steegen, F. Tuerlinckx, A. Gelman, W. Vanpaemel

Increasing Transparency Through a Multiverse Analysis
Perspectives on Psychological Science, 11 (5) (2016), pp. 702-712,
10.1177/1745691616658637/ASSET/IMAGES/LARGE/10.1177_1745691616658637-FIG2.JPEG
View in Scopus Google Scholar

Steneck, 2006 N.H. Steneck

Fostering integrity in research: Definitions, current knowledge, and future directions
Science and Engineering Ethics, 12 (1) (2006), pp. 53-74, 10.1007/PL00022268
View in Scopus Google Scholar

Sterling, 1959 T.D. Sterling

Publication Decisions and Their Possible Effects on Inferences Drawn from Tests of Significance—Or Vice
Versa
Journal of the American Statistical Association, 54 (285) (1959), p. 30, 10.2307/2282137
View in Scopus Google Scholar

TOP Factor—Transparency and Openness, 2023 TOP Factor—Transparency and Openness Promotion. (2023). Retrieved April
14, 2023, from https://topfactor.org/summary .
Google Scholar

Utrecht University Recognition and Rewards, 2023 Utrecht University Recognition and Rewards Vision. (2023). Retrieved April
11, 2023 from https://www.uu.nl/sites/default/files/UU-Recognition-and-Rewards-Vision.pdf .
Google Scholar

van ’t Veer and Giner-Sorolla, 2016 van ’t Veer, A. E., & Giner-Sorolla, R. (2016). Pre-registration in social psychology—A
discussion and suggested template. Journal of Experimental Social Psychology, 67, 2–12. https://doi-
org.ez1.periodicos.capes.gov.br/10.1016/J.JESP.2016.03.004.
Google Scholar

Watts, Duncan, & Quan, 2018 Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A
Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological
Science, 29(7), 1159–1177. https://doi-org.ez1.periodicos.capes.gov.br/10.1177/0956797618761661 .
Google Scholar

Wicherts et al., 2016 J.M. Wicherts, C.L.S. Veldkamp, H.E.M. Augusteijn, M. Bakker, R.C.M. van Aert, M.A.L.M. van Assen
Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid
P-hacking
Frontiers in Psychology, 7 (NOV) (2016), 10.3389/FPSYG.2016.01832/ABSTRACT
 Google Scholar
Xie et al., 2021 Y. Xie, K. Wang, Y. Kong
Prevalence of Research Misconduct and Questionable Research Practices: A Systematic Review and Meta-
Analysis
Science and Engineering Ethics, 27 (4) (2021), p. 41, 10.1007/S11948-021-00314-9/METRICS
Google Scholar

Cited by (0)

1 Ironically, non-replicable publications tend to receive more citations than replicable ones (Serra-Garcia & Gneezy, 2021).

2 For a list of replication studies in Marketing research, see: https://openmkt.org/research/replications-of-marketing-studies/ .

3 Further, some institutions receive government research funds based on performance-based allocations. Most practices used to improve
replicability focus on quality instead of quantity of research output, which may lead to fewer publications, and potentially less funding if
performance metrics emphasize quantity; this makes adoption of such practices a prisoner's dilemma.

4 In studies using primary data, preregistration is typically done before data collection. When using secondary data, preregistration should be
done before analyzing the data.

5 For example, see Supplementary information of Aydogan et al. (2021).

View Abstract

© 2023 Elsevier Inc. Todos os direitos reservados.

Copyright © 2023 Elsevier BV ou seus licenciadores ou colaboradores.

ScienceDirect® is a registered trademark of Elsevier B.V.