BMJ:总结TOP100期刊关于ChatGPT等AI的使用指南
自2022年11月以来,包括ChatGPT在内的生成式人工智能(GAI)工具被广泛用于学术研究。2023年2月,出版伦理委员会(COPE)发布了关于出版物中AI使用的立场声明,得到了一些期刊和编辑协会的认可。
2024年1月31日,《BMJ》发表了一篇研究[1],审查了100家最大的学术出版商和100家高被引期刊是否制定了使用GAI工具的指南。
原文链接:https://www.bmj.com/content/384/bmj-2023-077192
研究方法
出版商选择与数据采集
选择的100家最大出版商来自Nishikawa-Pacher等人的研究[2],这些出版商共有28060本期刊(约占所有期刊的2/3),其中最大的出版商有3763本期刊,最小的出版商有76本。
研究者手动检索每个出版商的官方网站,以获取与AI工具(包括GAI)相关的作者指南。初始数据收集于2023年5月19日-20日(ChatGPT推出后6个月),第二次收集于2023年10月8日-9日。数据收集在24小时内完成。
期刊选择与数据采集
从Scimago.org(https://www.scimagojr.com)中选择了H-index排名最高的100本学术期刊[3]。排名第一期刊的H-index排名最高的为1331,排名第100期刊的H-index为356。
注:H-index是根据期刊发文数量以及文章单独引用次数计算的。相较于经常波动且易受影响的影响因子,H-index更稳定。
研究结果
出版商发布GAI使用指南的情况
在100家最大的出版商中,24家(24%)发布了GAI使用指南。
在这24家出版商中,10家(42%)引用了COPE发布的AI使用立场声明。具体建议类型如下:
- 23家(96%)都禁止将GAI列为作者。
- Emerald和BioMedCentral(8%)禁止提交AI生成的图像。
- 剑桥大学出版社(Cambridge University Press)和IEEE(8%)表示,该指南仅适用于论文撰写。
- 在具体的GAI工具方面,15家出版商(63%)提到大型语言模型(LLM),13家出版商(54%)明确提到ChatGPT。Frontiers除提到ChatGPT外,还提到了其他LLM和生成式图像模型。
披露准则包括是否披露、在文章何处披露或披露哪些内容。所有提供了GAI指南的24家出版商(100%)均制定了披露准则。
- 关于披露位置,常见位置有:研究方法(n=17;71%)、致谢(n=13;54%)和Cover letter(n=2;8%)。
- 关于披露内容。18家出版商(75%)提供了细节建议,包括AI工具的名称、型号、版本、以及使用AI的目的。只有Elsevier提供了披露的内容模板,并建议将其包含在论文手稿中单独的部分。
- 17家出版商(71%)表示作者应对GAI的输出内容负责。
期刊发布GAI使用指南的情况
排名前100名的期刊有几本同属一家出版商,包括Springer Nature(前 100 名中有19%),其次是美国化学会(ACS,10%)和Elsevier(7%)。其中87本期刊提供了GAI指南。
在100本期刊中,排名前25的期刊都发布了AI使用指南,排名25-50位的期刊有21本(84%),排名50-75位的期刊有22本(88%),排名75-100位的期刊有20本(80%)。
在87本发布了AI使用指南的期刊中,9本期刊(10%)引用了COPE发布的AI使用立场声明。具体建议类型如下:
- 85本期刊(98%)都禁止将GAI列为作者。
- 只有《Science》明确禁止在准备论文时使用任何GAI工具。其他禁止以某种方式使用GAI的期刊包括《Lancet》和《Blood》,《Lancet》限制了除“语言润色”外的GAI使用,而《Blood》允许GAI用于输出图形,但不允许输出文本。
注:本文采集的数据最近更新于2023年10月9日,实际上,《Science》在2023年11月16日更新了其投稿政策,放宽了ChatGPT等AI工具的使用限制。(相关阅读:《Science》更新投稿政策:放宽ChatGPT等AI在论文中的使用限制)
- 19本期刊(22%)表示,其指南仅适用于论文撰写。
- 在具体的GAI工具方面,48本期刊(55%)提到LLM,44本期刊(51%)明确提到ChatGPT,其中四本期刊(5%)还列出了其他GAI工具。
在提供了GAI指南的87本期刊中,有86本(99%)制定了披露准则。《Science》是唯一没有要求披露的期刊。
- 关于披露位置,常见位置有:研究方法(n=56;64%)、致谢(n=43;49%)、Cover letter(n=17;20%)、其他(n=13;15%)。
- 关于披露内容,35本期刊(40%)提供了细节建议。Elsevier旗下的所有10本期刊均提供了披露的内容模板,并建议将其包含在论文手稿中单独的部分。
- 46本期刊(53%)表示作者应对GAI的输出内容负责。
医学期刊发布GAI使用指南的情况
根据Scimago的统计,排名前100的期刊中有51本可归类为医学期刊。在51本医学期刊中,44本(86%)提供了GAI指南。
在44本制定了GAI指南的医学期刊中,四本(10%)期刊引用了COPE发布的AI使用立场声明。具体的建议类型如下:
- 所有医学期刊(100%)都提供了GAI是否列为作者的具体准则,一致禁止将GAI列为作者。
- 五本医学期刊(11%)表示,其GAI指南仅适用于论文撰写。
- 在具体的GAI工具方面,23本(52%)期刊提到LLM,19本(43%)明确提到ChatGPT。除ChatGPT外,四本期刊(10%)还列出了其他GAI工具。
医学期刊制定披露准则的情况如下:
- 关于披露位置,常见位置有:研究方法(n=31;71%)、致谢(n=22;50%)、Cover letter(n=9;21%)、其他(n=6;14%)。
- 关于披露内容,19本医学期刊(43%)提供了细节建议。
- 26本医学期刊(59%)表示作者应对GAI的输出内容负责。
图. 100家出版商、期刊和医学期刊发布GAI的建议类型和披露类型
总结与讨论
总体而言,在100家最大出版商和期刊中,分别有24%的出版商和87%的期刊提供了GAI指南,其中分别有96%和98%的出版商和期刊禁止将GAI列为作者。在披露GAI的使用情况时,75%的出版商和40%的期刊声明了具体的披露内容,披露位置各不相同,包括研究方法、致谢、Cover letter或其他部分。
研究者指出,各大出版商和期刊所提出的GAI建议不是基于结构化的共识或指南,这导致较大的异质性和相互矛盾的指导意见,凸显了制定关于GAI使用的跨学科指南的迫切需求。
参考文献:
[1]. BMJ.2024:384:e077192.
[2]. Journal of Documentation, 2022, 78: 450-463.
[3]. Int J Surg.2023;109:1489-1496.
------分割线------
医咖会在2023年底上线了SCI-AI工具(基于GPT4.0大语言模型),可应用于多种场景,例如科研问题咨询、内容撰写、信息查询等。点击链接:https://www.mediecogroup.com/community/user/ai-cards/SFC3-KNH7-MQEW-2745/?utm_source=post,即可免费试用,手机端和电脑端均可以体验哦!(注:未认证用户需认证后使用)
