本文整理自Times higher education，作者为环境科学家Seongjin Hong。

作为一名拥有超过15年经验、发表过150多篇同行评审论文的环境科学家，我对学术出版的过程了如指掌。但上个月我收到的来自一家知名国际期刊的拒稿通知却显得格外奇怪。

在收到审稿人重大修改的决定后，我们仔细查看了每一位审稿人的顾虑，并提交了一份经过全面修改的稿件。第一轮的审稿意见合理，我们也进行了详细的回复，以进一步提高论文的清晰度和科学严谨性。然而，我们的论文最终被拒了，主要是因为一位审稿人在第二轮的报告中给出了出乎意料的负面评价。

令我困扰的不仅仅是评论的语气，还有评论的性质。审稿人提出了一些之前从未提出过的全新问题。此外，这些评论公式化、含糊不清，通常与论文主题无关，有时甚至不准确，与我们稿件的实际内容几乎没有任何关联。诸如“需要更多（more needed）”和“需要验证（needs to be validated）”之类的评论缺乏技术依据或数据。

我们的研究属于环境化学领域，重点关注一种新型环境分析方法的现场应用。然而，审稿人批评该论文未能提供“全面的生态评估”，并且“没有考察其对动物行为（例如进食或交配）的影响”——仿佛这是一篇行为生态学论文。审稿人还声称“化学分析的可重复性没有得到充分解释”，但该论文在多个章节中都提到了这一点。

此外，这篇评论甚至自相矛盾。它一开始承认“作者回答了提出的问题”，但随后却毫无逻辑地得出结论：“我不推荐这项工作”。

由此，我开始怀疑这篇评论至少部分是由ChatGPT之类的AI工具撰写的。作为一名环境科学期刊的副主编，我看到越来越多的评论看起来像是由AI撰写的——尽管这很少预先披露。这些评论通常表面上看起来很清晰，但缺乏深度、背景和专业责任感。

具体来说，根据我的经验，AI生成的评论通常存在五个主要缺陷：

• 模糊且过于笼统的语言。
• 通过抽象的批评歪曲了论文的范围。
• 错误标记已经解决的问题。
• 表现出不一致或矛盾的逻辑。
• 缺乏深思熟虑的人类审稿人的语气、同理心或细微的差别。

为了证实我的猜测，我将这位审稿人的评论与我用大型语言模型生成的样本评论进行了比较。结果发现，两者惊人地相似。措辞再次显得模板化，与我们稿件的实际内容脱节。而且，这篇评论再次充斥着关键词驱动的总结、毫无根据的断言和漏洞百出的推理。它给人的感觉不像是经过深思熟虑的同行评审，而更像是一篇自动回复。

作为一名编辑，我也深知招募合格审稿人有多么困难。许多专家负担过重，使用AI工具来加快审稿流程的诱惑也越来越大。但肤浅的逻辑并不能替代科学判断。因此，我向期刊主编表达了我的担忧，并提供了详细的反驳和支持证据。

编辑回复道：“审稿人使用AI的可能性很小。如果你能解决所有问题，我建议你重新提交一篇新的稿件。”经过三个月的修改和回复，我们终于回到了起点。

这个决定让我深感失望，它可能受到AI不当使用的影响。有些人或许会认为这是运气不好，但科学不应该依赖于运气。同行评审必须建立在公平、透明和专业的基础上。

这并不是呼吁完全禁止AI参与同行评审流程。这些工具可以帮助审稿人和编辑识别不一致之处、发现抄袭或改进稿件。然而，使用它们进行完整的同行评审可能会损害该流程的初衷。它们的使用必须透明，并且严格处于次要地位。

审稿人不应不加批判地依赖AI生成的文本，编辑必须学会识别缺乏实质内容或连贯性的审稿意见。出版商也有责任开发检测AI生成内容的机制，并制定明确的披露政策。2025年6月16日，《Nature》宣布，新接收论文将公开全部同行评审意见和作者回复，这为出版商恢复透明度和问责制提供了一条潜在的途径。

相关阅读：《Nature》重大改革：所有新发表论文将同步公开审稿意见与作者回复

如果同行评审的价值因未公开且不达标准的自动化而贬值，我们将面临失去科学可信度所依赖的信任和严谨性。科学和出版业必须随着技术的发展而进步，但也不能缺乏责任。透明、以人为本的同行评审仍然至关重要。

本文整理自：https://www.timeshighereducation.com/opinion/my-paper-was-probably-reviewed-ai-and-thats-serious-problem

医咖会员全面升级，课程增多，AI工具升级！点击链接：会员-医咖社区 (mediecogroup.com)，立享会员优惠！‍