ChatGPT会让研究者更高效吗?
本文整理自Nature于2024年2月28日发表的一项新闻报道,原文题目为“Is ChatGPT making scientists hyper-productive? The highs and lows of using AI"
自2022年11月OpenAI发布ChatGPT以来,众多学术出版商发布了ChatGPT的使用政策。近期,《BMJ》一项研究显示,截至2023年10月,100家高被引期刊中有87本发布了ChatGPT等生成式AI的使用指南[1],可使用ChatGPT创建文本、图像和其他内容。(相关阅读:BMJ:总结TOP100期刊关于ChatGPT等AI的使用指南)
研究者们经常使用AI撰写论文吗?
2023年,《Nature》对1600多名学者进行的一项调查显示,近30%的被调查者表示他们曾使用生成式AI工具来帮助撰写论文手稿,约15%的人表示曾使用AI来帮助撰写基金申请。
相关阅读:Nature深度调研:1600名研究者如何看待和使用ChatGPT等AI工具
LLMs还有许多用途,例如帮助写代码、提出科学假设、进行文献综述。伦敦帝国理工学院的计算机科学家Thomas Lancaster表示,厉害的研究者甚至可以根据自身写作风格和研究领域开发个性化的LLMs。
AI对研究者有哪些好处?
在《Nautre》的调查中,约55%的受访者认为,生成式AI的一个主要好处是帮助非英语母语研究者编辑和翻译文章。同样,在欧洲研究委员会(ERC)的一项民意调查中,75%的人认为,生成式AI将减少研究中的语言障碍[2]。
在ERC调查中,85%的人认为生成式AI可以承担重复性或劳动密集型任务(如文献综述)。38%的人认为生成式AI将提高科学生产力,例如帮助研究者更快地撰写论文。
AI有哪些缺点?
尽管ChatGPT的输出已与人类较为相似,但柏林应用科学大学计算机科学家 Debora Weber-Wulff也警告说,LLMs仍然会犯明显的语言错误。这就是她主张研究者在论文中披露LLMs的一个原因。ChatGPT还因生成虚假内容而受到质疑。
生产力的提高可能会带来另一个缺点:加重期刊负担,增加编辑和同行评审专家的工作量。Lancaster说:“随着论文数量不断增加,没有足够的同行评审专家为出版商免费审稿”。此外,还有一些人会使用这些工具发表低价值的研究。从大量发表论文中筛选出有意义的研究已经很困难了,如果 ChatGPT 和其他LLMs还用于增加论文产出量,这将变得更具挑战性。
学术出版商对LLMs的使用持怎样立场?
根据《BMJ》的研究,截至去年10月,全球100家最大的出版商中有24家(共涉及28,000多本期刊)已经提供了有关生成式AI的使用指南[1]。这些期刊通常允许使用ChatGPT和其他LLMs,只需要进行合理的披露。
例如,2023年1月,出版商Springer Nature发布指南,应在研究方法或其他部分披露LLMs的使用情况。然而,生成式AI工具不应被列为作者,因为“作者要对研究负责,AI工具无法承担这样的责任”。
执行这些规则看起来容易做起来难,因为出版商和同行评审专家很难分辨未披露的AI生成内容。一些科学侦探通过明显的短语和误译发现ChatGPT的使用(相关阅读:因没有删除ChatGPT的提示语,被发现用AI写论文,最终撤稿了..)。但这与抄袭又不同,抄袭至少是有明确来源的,而ChatGPT没有提供来源,Weber-Wulff表示“你无法对任何AI生成内容进行验证”。
《Science》主编Holden Thorp表示,尽管研究人员竞相创建LLMs检测工具,但就对提交到期刊的论文进行筛选这方面,我们还没有看到令人满意的结果。
其他用途
Thorp表示,截至11月,尽管《Science》及其出版商美国科学促进会(AAAS)允许在准备论文手稿过程中使用生成式AI,但仍禁止其在同行评审过程中的使用。同样,出版商Springer Nature也禁止同行评审专家将手稿上传到生成式AI工具。
一些资助机构(如美国国立卫生研究院[NIH]和澳大利亚研究委员会[ARC])禁止专家使用生成式AI工具审查基金申请书(基金申请书是机密文件,上传到LLMs可能发生泄露)。但欧洲研究委员会(ERC)在去年12月发布了声明,允许研究者使用AI工具撰写基金申请书,在这些情况下,作者仍须对全部内容负责。
文章整理自:https://www.nature.com/articles/d41586-024-00592-w
参考文献:
[1]. BMJ.2024 Jan 31:384:e077192.
[2]. ERC.Foresight: Use and Impact of Artificial Intelligence in the Scientific Process (European Research Council, 2023).
点击链接:https://www.mediecogroup.com/zhuanlan/courses/,学习70多篇SPSS教程,30多篇R教程,以及更多科研教程!
