历时7年,投稿了七个期刊,一篇阴性结果的论文才最终发表

2024-07-31 来源:医咖会

本文整理自Nature上的一篇文章,原文题目为“So you got a null result. Will anyone publish it?”

英国有一位研究者Pilakouta,历时7年,陆陆续续向七家期刊投稿了一篇结果为阴性的论文,终于在2023年1月,论文发表了。这个经历,体现了学术界经常抱怨的一个问题:结果阴性或者与最初假设相悖的研究成果,发表的可能性低于阳性结果的研究。

2022年对法国研究者进行的一项调查发现,75%的人表示愿意发表阴性结果,但最终只有12.5%的人做到了[1]。对统计学显著性的关注,促使研究者选择性报告数据,或夸大研究结果的统计学意义;这也浪费了时间和金钱,因为其他研究者可能会重复那些已经进行过但未发表成果的研究。一些证据表明,该问题还在恶化,随着时间的推移,期刊发表的阴性结果越来越少[2]。

不过好在,一些旨在改变此问题的措施也陆续出现:许多期刊鼓励研究团队在研究正式开展前提交研究计划和方案;预印本平台在激增;出版商采用新的投稿形式;专门刊载阴性结果的期刊以及特刊的推出。

被隐藏的阴性结果

几十年前,研究者就开始注意到这个问题,直到2010年代初,人们想再现心理学和医学领域一些里程碑研究的结果时,却发现无法复现,由此引发的更大问题才显现出来。科学家们开始探索这种"复现危机"的程度以及发表偏倚问题。

一些研究揭示了阴性结果被掩盖的程度。对30多万份学术会议报告、非正式海报或会谈的分析显示,只有不到40%最终在同行评审期刊上发表,阴性结果发表的可能性远远低于阳性结果[3]。

这种发表偏倚可能会对现实世界产生影响。例如,在74项评估抗抑郁药物的注册临床试验中,有近三分之一的试验未发表;这些试验更有可能是出现了阴性结果,而非阳性结果[4]。仅从发表的论文来看,94%的试验都取得了阳性结果。这种选择性报道会造成人们对药物疗效的高估。

斯坦福大学医学院的Steven Goodman教授表示,与阳性结果相比,阴性结果的研究往往受到更严格的审查,这就更有可能产生偏倚。很多人会认为,如果一项研究的结果是阴性的,那么研究设计可能存在缺陷

根据一项针对480名经济学家的调查[5],在样本量等保持不变时,与结果存在统计学显著性的研究相比,结果为阴性的研究被认为更难发表、质量更低、更没有意义。Goodman则认为,如果一定要做的话,效应值很大的研究应该比结果阴性的研究受到更严格的审查

为何阴性结果更难发表?

学术不端行为和发表偏倚的症结在于,学术机构、研究资助者、学术期刊和研究者自身所认同的"不发表就毁灭(publish or perish)"的文化,当研究者在著名刊物上发表研究成果时,就会得到奖励。

一些批评者认为,很多学术审核人员存在偏倚,认为资助者和顶级期刊往往渴望新颖和吸引眼球的研究结果。《Psychological Science》期刊编辑Simine Vazire说,编辑会担心,满页的阴性结果不太能吸引读者

这就在研究者和期刊之间形成了一个反馈回路。为了用看似新颖、值得关注的结果吸引期刊,一些研究者可能会在看到结果后改变假设,或只公布部分数据,或在统计上做手脚。

哪些方式可以提升阴性结果研究的发表?

为了鼓励更多研究者报告阴性结果,期刊和资助者也在尝试多种方案。最重要的变化之一是研究注册量的扩大,研究者必须在研究开始前在公共数据库中说明研究假设以及要测量的结局(这已经是临床试验的规范)。

图片

图. 研究注册量在激增

开放科学中心的执行主任Brian Nosek表示,预注册模式促使研究者遵守研究初衷,但并不能解决向期刊提交研究结果的偏倚,也不能解决期刊编辑和审稿人的发表偏倚。Nosek等一直专注于推广注册报告(registered report)的模式,即审稿人在研究开展之前,通过这份报告来评定研究是否应该发表,而不是根据研究结果来决定研究是否发表

目前看起来进展还不错,一项研究将71篇注册报告的结果与随机抽样的152篇标准心理学论文进行比较时发现,44%的注册报告最终结果为阳性,而标准论文的这一比例为96%(下图)[6]。

图片

图. 注册报告 vs. 标准论文[6]

2012年推出这种注册报告的形式时,只有少数期刊会发表注册报告;现在有300多种期刊可以发表注册报告,包括《PLoS ONE》和《Nature》。《Nature》自2023年2月开始提供这种形式以来,尚未发表过任何注册报告;期刊《Nature Human Behaviour》已经发表过注册报告

图片

图. 《Nature Human Behaviour》发表的注册报告截图

虽然这种形式越来越受欢迎,但仍有一些问题需要解决。今年早些时候,瑞士巴塞尔大学的睡眠研究人员Christine Blume在《Nature Human Behaviour》上发表了她的第一份注册报告[7],研究光线如何影响人类的昼夜节律。作者表示,虽然自己喜欢在数据收集前收到对研究设计的反馈意见,"这让我觉得可以用最好的研究设计来回答想解决的问题",但她也发现反馈过程可能会持续数月,这让人很受挫,毕竟时间有限。

发表注册报告的期刊在各学科中分布不均,大多数是心理学期刊,最近还有神经科学期刊。《Psychological Science》期刊编辑Simine Vazire表示,这种形式在研究者中的普及速度还很慢,期刊收到的注册报告并不多。

并非所有减少发表偏倚的尝试都取得了成果。其中有一种很难奏效的方法是设立专门发表阴性结果的期刊,这些尝试的初衷是好的,但往往行不通,因为可能有大量无法在其他地方发表的研究来投稿该期刊。Payne曾是其中这类期刊《Experimental Results》的编辑,该期刊由剑桥大学出版社出版,但仅出版了三年,就于2023年停刊了。

还有一种很流行的发表阴性结果的途径:提交到预印本平台。发表预印本可以提供一个展示研究成果的机会,且没有期刊投稿的压力。这种方式对研究者职业早期特别有帮助。不过,无论在哪里发表,撰写论文都需要时间,而且在预印本服务器上发表,不太可能给作者带来足够的激励。

参考文献

1. Learn Publ. 2022; 35:16–29.

2. Scientometrics. 2012; 90: 891–904.

3. Cochrane Database Syst Rev. 2018;11(11):MR000005.

4. N Engl J Med. 2008;358(3):252-60.

5. CESifo Working Paper 9776 (Center for Economic Studies and ifo Institute, 2022)

6. Psychol Sci. 2021; https://doi.org/10.1177/25152459211007467.

7. Nature Hum Behav. 2021;5: 990–997.

文章整理自:https://www.nature.com/articles/d41586-024-02383-9

点击链接:临床研究全流程课程 - 科研专栏 - 医咖会 (mediecogroup.com),学习70多篇SPSS教程,30多篇R教程,以及更多科研教程!

评论
请先登录后再发表评论
发表评论
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
APP下载 NEW
扫码下载APP
2张课程券
公众号
统计咨询
扫一扫添加小咖个人微信,立即咨询统计分析服务!
会员服务
SCI-AI工具
积分商城
意见反馈