6年前一项研究称识别自杀风险的准确率高达91%,但最近被撤稿了…

2023-06-21 来源:医咖会

2017年,《nature human behaviour》发表的一篇文章称,脑部扫描结合机器学习算法能够识别出有自杀风险的人,准确率高达91%,当时还成为了热门新闻。

这项工作为卡内基梅隆大学的主要研究者Marcel Adam Just和匹兹堡大学的合著者David Brent获得了美国心理健康研究所为期五年380万美元的资助,以进行更大规模的后续研究。

https://www.nature.com/articles/s41562-017-0234-y

这篇文章立即引起了其他学者的关注,其中一位研究者尝试着重复该研究结果,但发现了问题。直到2023年4月,作者才承认这项研究存在缺陷并撤稿了该文章。根据Web of Science数据,这篇文章已被引用了134次,这对于一篇仅发表6年的文章来说,已经是一个很大的引用量。

 该文章有什么发现

2017年发表的这篇文章,描述了使用机器学习算法分析大脑的功能磁共振成像(fMRI),识别出自杀风险高的人。研究者要求79名年轻人思考诸如“死亡”、“麻烦”、“无忧无虑”和“好”等概念,并通过fMRI来检测大脑的影像学表现。在排除了研究者认为扫描噪音过多的参与者后,研究者使用机器学习算法分析17名有过自杀意念和17名没有自杀意念的参与者的数据。

研究报告称模型在91%的情况下做出了正确的判断,算法正确地识别了15名有自杀意念的参与者和16名无自杀意念的参与者。

 当初审稿专家建议拒稿

根据同行评审的过程记录,如果期刊听从了审稿人的建议,这个错误本来是可以避免的。在发表之前,审稿专家们仔细审查了手稿,发现了初稿和修订后的稿件存在许多问题。也有审稿专家要求作者证明该研究的可重复性,总体来讲,审稿人建议期刊拒稿

最初,期刊主编听从了审稿人的建议,但在随后不知何种原因又接收了该文章,仅让作者对文本内容做了一些修改,并没有增加新样本的数据。

三位评审初稿的专家中,有两位认为研究的91%准确率“高得让人印象深刻”,并对这篇文章提出了详细的评论。一位审稿人称方法学“令人担忧”,例如作者在主要分析的模型测试中少了大约一半的参与者原始样本。审稿人表示,即使这些选择没有给模型带来偏倚,也表明该检测方法对一般人群的用处“有限”。

另一位审稿人则详细说明了手稿的许多问题,要求作者通过另一组人再次测试模型。审稿专家写道,这篇文章的结果“引人注目”,但作者需要解决“几个问题”,审稿人希望看到文章的补充材料中能包含个人的大脑数据,并希望作者展示更多用于统计分析的数据。

根据上述审稿意见,期刊让作者在修订稿中对审稿人的担忧做出解释。作者也这样做了,将更新后的手稿提交给两位更严格的专家进行新一轮审核。其中一名审稿人表示该文章没有给他留下深刻印象,因为主要分析仍然集中在从79名参与者“挑选”出来的34名参与者上。另一位审稿人更为积极,因为修订稿中使用相同的算法来评估最初被排除在测试之外的21名参与者的扫描结果,达到了87%的准确率。但审稿人表示还是令他担忧,更希望在一个新样本中进行独立的结果复现

2017年7月,期刊主编一开始拒绝了该稿件,拒稿信指出,如果作者在新样本中进行独立的重复验证,期刊考虑接收修改后的稿件。但是,如果没有新数据,基于审稿人对现有数据和分析的担忧,就会妨碍文章在期刊上发表。

然而在2017年10月,期刊却发表了这篇文章,而且没有添加新样本的数据。发表的版本包含了21名被排除在主要分析之外的参与者,显示准确率达到87%。作者表示,这些结果表明“研究发现在第二个样本中得到了重复,支持该模型的普遍性”。

发表后不久,一些学者就在Twitter上批评该文章的样本量太小,并质疑该模型是否可以广泛应用。为了回应2019年再次出现的批评,期刊在Twitter上表示,该文章是在“完整的同行评审”后发表的。研究具有重要临床意义,为临床问题提供了有价值的方法。

 作者最终撤回稿件

2023年4月,两位学者针对该研究提交了一篇质疑文章,详细介绍了他们使用作者提供的代码和数据尝试重复2017年的研究,但都失败了,他们对模型的偏倚也存在担忧。之后,研究作者撤回了研究论文。撤回通知称“作者承认方法确实存在缺陷,从而影响了文章的结论”。

研究作者在一份声明中表示,他们发现了该文章的统计分析存在错误,高估了主要结果的强度,但主要效应仍然是存在的。

文章整理自:

https://retractionwatch.com/2023/06/09/how-a-now-retracted-study-got-published-in-the-first-place-leading-to-a-3-8-million-nih-grant/

评论
请先登录后再发表评论
发表评论
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
公众号
统计咨询
扫一扫添加小咖个人微信,立即咨询统计分析服务!
会员服务
SCI-AI工具
积分商城
意见反馈