Carlisle是一名麻醉科医生，在业余时间，他就像一个侦探，翻找临床研究中那些可疑的数据。在过去十年里，他调查了很多领域的研究，从饮食相关研究到治疗指南。他在数百篇论文中发现了学术不端和其它错误，导致论文被撤稿或者被更正，甚至终结了某些造假大户的职业生涯。（注：全球被撤稿最多的人员名单见下图）

Retraction Watch盘点的撤稿最多的人员名单

https://retractionwatch.com/the-retraction-watch-leaderboard/

麻醉领域，“造假”的重灾区？

 十多年前，Carlisle和其他麻醉学家聊起日本研究人员Yoshitaka Fujii发表的那些研究。Fujii当时发表了一系列RCT，调查了各种药物对预防患者术后呕吐和恶心的影响。数据看起来太过理想，以至于很不真实。Carlisle决定利用统计学方法来检查这些数据。

2012年，他指出，论文中描述的结果能真正出现的可能性极小[1]。部分由于他的分析，杂志编辑要求Fujii当时和以前的大学展开调查，2012年，Fujii被大学开除，最终183篇论文被撤稿，创下了历史记录。

4年后，Carlisle与人合作发表了对另一位日本麻醉学家Yuhji Saitoh研究的分析，发现他的数据也非常可疑[2]，Saitoh目前有53篇文章被撤稿。

还有其他研究人员参考了Carlisle的做法。例如，2016年，新西兰和英国的研究人员在骨科研究者Yoshihiro Sato的论文中发现了一些问题[3]，导致了27篇论文被撤稿。Sato最终有66篇论文被撤稿。

在上述事件之前，麻醉科就曾因数起学术欺诈丑闻而受到冲击，其中包括德国麻醉医师Joachim Boldt的事件，他已被撤稿了90多篇论文。Carlisle甚至开始怀疑是不是只在麻醉科有学术欺诈。因此，他挑选了8本主要医学期刊，利用业余时间查阅了数千项随机试验。

2017年，Carlisle在《Anaesthesia》杂志上发表了一篇分析文章，称在16年来发表的5000多项试验中，发现90项研究的数据很可疑[4]。目前为止，这些论文至少有10篇已被撤稿，6篇被改正，包括发表在《NEJM》上的一项关于地中海饮食对健康益处的研究，不过，这篇文章没有任何学术欺诈的行为，是作者在对参与者的随机分组上犯了一个错误。在作者删除了错误数据后，这篇论文重新发表，结论与之前类似[5]。

Carlisle一直在坚持审查论文中的可疑数据，今年，他对意大利外科医生Mario Schietroma进行的数十项麻醉研究提出了警告，称这些研究并不是临床实践的可靠依据[6]。Myles是该Carlisle报告的合著者之一，去年，Myles在Schietroma的五篇论文中发现对照组和患者组的原始数据存在可疑的相似之处。

Schietroma的研究结果对全球各地的医院都产生了影响， WHO在2016年引用了Schietroma的研究成果，发布了一项建议，即麻醉医生在手术期间和术后应常规提高给患者的氧气水平以减少感染。Myles说，这是一个有争议的建议，在某些手术中，过多的氧气可能会增加并发症的风险，而这些建议可能意味着，较贫穷国家的医院会把更多预算花在氧气上。

Myles警告过的五篇论文很快被撤稿，WHO将其建议从“强推荐”修改为“有条件推荐”，这意味着临床医生有更多的自主权为不同的病人做出不同的选择。

Schietroma说，他的统计是由一名独立统计学家来进行的，且通过了同行评审，两组患者他特意选择了类似的患者群体，所以两组的数据非常接近，也就不足为奇了。他还表示，2009年发生地震时，丢失了与试验有关的原始数据和文件。该校一位发言人表示，已经交给“相关调查机构”处理，但没有解释是哪些机构，也没有说明调查是否正在进行中。

仅仅是错误，还是造假？

Carlisle的数据审查方法并不新颖，他表示：真实的数据有其自然规律，而人造数据很难重现。1938年美国科学家Frank Benford推广了这种数据审查方法，并被许多统计人员使用。

（该方法详见下方链接，本文不再详述：

chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/http://datacolada.org/wp-content/uploads/2018/08/4409-Benford-1938-Law-of-anomalous-numbers.pdf）

以随机对照试验为例，Carlisle观察基线数据，这些数据描述了试验中参与者的入组特征，通常是对照组和干预组，包括身高、体重和相关的生理特征，通常在论文的第一个表格中描述。在RCT中，参与者被随机分配到对照组或（一个或多个）干预组。因此，各组中每个特征的均值和标准差应该大致相似，但不可能完全相同。

2017年，Carlisle在《Anaesthesia》杂志上发表的那篇对5000项临床试验的分析[1]，引起了《Anesthesiology》杂志编辑们的强烈反响，该杂志上发表过12篇被Carlisle列为有问题的论文。在对《Anaesthesia》的一篇回复信中，统计专家Timothy Houle强调了一些问题，比如Carlisle使用的方法可能会出现假阳性，使用检测伪造数据的有效工具（类似于剽窃检查软件）可能会更好，但Carlisle的方法并非如此。”[7]

今年5月，《Anesthesiology》确实改正了Carlisle强调的其中一篇论文，指出两个表格中P值有“错误”，但作者丢失了原始数据，无法重新计算这些值，然而，作者在评论中仍坚持自己的观点。

在过去的几年里，Carlisle使用的方法并不是唯一一种用于检查已发表论文数据的方法。

Michèle Nuijte开发了一种她称之为“spellcheck for statistics”的程序，可以扫描期刊文章，检查统计数据是否内部一致。使用“Statcheck”可以检验结果中报告的数据是否与计算的P值一致。

（详见：

https://www.nature.com/news/stat-checking-software-stirs-up-psychology-1.21049）

荷兰心理学研究生Nick Brown和波士顿研究人员James Heathers，使用一个叫做GRIM的程序复核统计方法的正确率，作为标记可疑数据的另一种方法。

（详见：

https://medium.com/@jamesheathers/the-grim-test-a-method-for-evaluating-published-research-9a4e5f05e870）

斯坦福大学的John Ioannidis说：”人们对这类审查越来越感兴趣，它们是很棒的工具”。但他警告称，不要对问题的原因妄下结论。他表示:“学术欺诈和只是有错误，是完全不同的。”

Brown, Nuijten和Carlisle也都同意，他们的审查工具只是凸显了需要调查的问题。Nuijten表示“不想把statcheck程序和学术欺诈联系在一起”。Ioannidis认为，这类工具的真正价值在于，在论文发表前对有问题的数据进行筛查，从而在一开始就防止学术欺诈或有其它错误。

Carlisle说，越来越多的杂志编辑联系他，希望能用他的方法来审查论文。但大部分时候都是在非正式的情况下临时完成的，仅仅是在编辑已有所怀疑的情况下才会这样做。但至少已经有两家期刊往前走了一步，将统计检查作为所有论文发表过程的一部分。

但即使发现一项研究存在学术欺诈，也不一定能彻底解决问题。2012年，韩国的研究人员向《Anesthesia & Analgesia》杂志提交了一项试验，研究内容为面部肌肉张力如何提示插管的最佳时间。编辑非正式地让Carlisle审查了这篇文章，他发现患者数据和总结数据存在差异，论文被拒稿了。

然而，这篇论文随后投到了Carlisle自己的期刊上，但更换了患者数据，Carlisle认出了这篇论文，它再次遭到了拒稿，两家杂志的编辑都联系了作者及其所在机构，表达了他们的担忧。令Carlisle吃惊的是，几个月后，这篇论文，与上一版没有任何变化，发表在《European Journal of Anaesthesiology》杂志上。在Carlisle与该期刊编辑说明了对这篇文章的质疑之后，该论文于2017年被撤稿，原因是“他们的数据存在违规行为，包括对结果的错误陈述”。[8]

参考文献：

1. Anaesthesia. 2012 May;67(5):521-37.

2. Anaesthesia. 2017 Jan;72(1):17-27. 

3. Neurology. 2016 Dec 6;87(23):2391-2402. 

4. Anaesthesia. 2017 Aug;72(8):944-952.

5. N Engl J Med. 2018 Jun 21;378(25):e34.

6. Anaesthesia. 2019 May;74(5):573-584.

7. Anaesthesia. 2018 Jan;73(1):125-126.

8. Eur J Anaesthesiol. 2017 Apr;34(4):249.

文章整理自：

How a data detective exposed suspicious medical trials. Nature. 23 July, 2019.