大规模验证项目发现:超半数生物医学研究结果无法复现

2025-05-06 来源:医咖会

2025年4月8日,预印本平台bioRxiv发表了一项由巴西50多个研究团队参与的大规模研究复现性项目调查结果,结果令人担忧:研究团队仅成功复现了不到一半的实验结果

原文链接:https://www.biorxiv.org/content/10.1101/2025.04.02.645026v3 

该研究由巴西里约热内卢联邦大学(UFRJ)发起的巴西可重复性倡议项目(Brazilian Reproducibility Initiative)开展。项目团队希望通过大规模实验,基于研究方法而非研究领域、重要性或引用次数来评估相关论文。

该调查项目涉及巴西56个实验室的213名研究者,他们从1998-2017年间发表的生物医学论文中,随机选择了60篇使用特定方法的论文进行复现尝试。这些方法包括细胞代谢检测、基因扩增技术和啮齿动物迷宫测试等。最终,研究团队对47个实验进行了97次有效的重复实验。

1 调查结果

研究通过五项标准来评判一篇论文的可重复性,其中包括"至少半数的结果需和原研究得到方向一致的统计学显著性"。最终仅有21%的实验能符合至少半数的标准。

作者还发现,原始研究中得到的效应量平均比复现实验高出60%,这表明发表的结果往往会高估干预措施的效果。

此外,原始研究中的变异系数(衡量数据相对于平均值的变化程度)比复现实验低60%,这意味着原始研究的数据要“表现良好”得多,这可能是选择性地报告了更有利于得出现有结论的结果,或者是对不一致数据的忽视。

2 专家观点

尽管这一结果可能令人震惊,但与其他大规模复现尝试的研究一致。例如,2011年启动的一项心理学研究复现尝试中,270名科学家仅成功复现了98篇论文中36%-47%的结果[2]。巴西圣保罗大学生物化学家Guilherme Menegon Arantes指出,复现失败并不一定意味着存在错误或学术不端,而可能反映了实验设计的局限性、实验记录不完整或实验室间存在的差异。

巴西坎皮纳斯州立大学的生物学家Marcelo Mori也指出,生命科学领域的实验复现尤其具有挑战性,因为生物体(如啮齿动物和细胞培养)对环境变化(如温度、饮食、微生物群或培养基成分)的反应可能不同,而且试剂(如抗体)也可能存在批次差异。

尽管如此,Mori强调,低复现率凸显了我们在科学生产、记录和传播过程中存在的结构性缺陷。他呼吁采取行动,例如开放共享数据和实验方案

该研究已于4月8日发布在生物预印本服务器bioRxiv上,但尚未经过同行评审。

本文整理自:https://www.nature.com/articles/d41586-025-01266-x

参考文献:

1.Amaral, O. B. et al. Preprint at bioRxiv https://doi.org/10.1101/2025.04.02.645026 (2025).

2.Open Science Collaboration. Science 349, aac4716 (2015).

医咖会员全面升级,课程增多,AI工具升级!点击链接:会员-医咖社区 (mediecogroup.com),立享会员优惠!‍

评论
请先登录后再发表评论
发表评论
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可享受以下权益
基础课程券2张
200积分
确认
取消
APP下载 领课程券
扫码下载APP
领基础课程券
公众号
统计咨询
扫一扫添加小咖个人微信,立即咨询统计分析服务!
会员服务
SCI-AI工具
积分商城
意见反馈