一家新的预印本平台欢迎AI撰写和评审的论文

大多数学术期刊不欢迎人工智能(AI)合著的论文,但一个名为aiXiv的新开放平台(https://aixiv.science/),欢迎这些论文。该平台全力拥抱AI:既接受AI的论文,也接受人类作者撰写的论文,会使用内置的AI审稿人进行基础质量筛查,并根据聊天机器人的反馈指导作者修改。

aiXiv创始人之一、曼彻斯特大学AI与商业专业博士Guowei Huang表示:"AI生成的知识不应被区别对待,我们只应关心质量,而不是谁生产的。"

这个平台仍处于早期阶段。经过11月中旬的更新后,目前只收录了几十篇论文。但许多研究人员表示,它为超负荷的人类同行评审系统提供了一个可行的缓解途径。AI的发展使得论文数量持续激增,人类评审系统不得不承担这一压力。

俄勒冈州立大学计算机科学荣誉教授Thomas Dietterich等人警告说,aiXiv和其他亲AI平台也不可避免地需要应对学术界长期存在的挑战,如欺诈性研究和肤浅的同行评审。"这些模型越来越擅长模仿科学研究,但不一定越来越擅长做科学研究,它们如何确保研究是真实的?"

目前,学术出版商对于如何处理AI仍没有达成一致。许多期刊仍然完全禁止AI生成的稿件。有些期刊允许AI辅助写作,但要求披露其使用。

预印本平台也感受到了压力。由于可疑论文的增加,arXiv在10月宣布,将不再接收计算机科学综述和观点论文,除非已经经过同行评审。

其他平台则转向工具本身。面对AI助长的论文激增,运营bioRxiv和medRxiv的非营利组织openRxiv近期表示,将增加一个AI评审工具,以快速生成对文章的反馈。

但这些平台与大多数会议和期刊一样,仍然禁止将AI列为作者,这种立场无意中促使研究人员在使用AI时会不做声明。Huang称这种缺乏透明度的做法"完全不可接受"。

这是他与来自多伦多大学、牛津大学和清华大学等机构的合作者共同创建aiXiv的原因之一。

投稿提交后,五个"智能体"评估文章新颖性、技术合理性和潜在影响。该系统还包含了防作弊的防御措施:例如,它可以检测作者是否在手稿中夹带隐藏指令以获取好评。如果五个智能体中有三个建议接收,文章就会发布。根据智能体的反馈,作者可以修改并重新提交,进入另一个评审周期。aiXiv的基础设施可以支持数千份投稿,通常会在1到2分钟内生成评审意见,而传统的同行评审则需要数月甚至数年。

到目前为止,该网站收到了各种各样的投稿。据多伦多大学的AI研究员Pengsong Zhang介绍,该网站目前并没有正式"接收"论文,所有投稿都会被发布出来,因为该平台正在试验改进其AI审稿人。

10月举行的Agents4Science会议是第一个将AI同时作为第一作者和审稿人的会议,结果好坏参半:审稿人系统擅长发现数字不一致或参考文献不匹配的问题,但往往对论文的新颖性或影响提供过于乐观的评价。

人们将密切关注aiXiv能否避免这些陷阱。"必须保持警惕,确保aiXiv不会成为一个垃圾场,如果这个平台与低质量的数量而非科学严谨性联系在一起,将使整个AI主导的研究领域失去合法性,并将优秀的AI研究置于危险之中。"

aiXiv的创始人保持乐观。Zhang表示,团队已经收集了尚未公布的数据,将aiXiv的智能体评审与10月份举行的一个大型机器人会议上30篇论文的人工评审进行了比较。据Zhang说,AI审稿人的评分在很大程度上与人类评分一致,并且在某些情况下提供了更详细的反馈。

文章整理自:https://www.science.org/content/article/new-preprint-server-welcomes-papers-written-and-reviewed-ai