一家学术出书商对于数万份论文投稿举行阐发后发明，于已往几年中，利用人工智能（AI）天生文本的环境显著增长。

图片来历：Nicolas Economou/NurPhoto

?

美国癌症研究协会（AACR）发明，于2024年向其旗下期刊提交的稿件中，23%的择要及5%的偕行评断陈诉包罗可能由年夜型语言模子天生的文本。此外，只管AACR已经强迫要求作者于投稿时披露AI利用环境，但仅有不到25%的作者遵守了这一划定。

为检测投稿中是否存于AI利用陈迹，AACR采用了由美国潘格拉姆试验室研发的一款AI检测东西。2021年至2024年间，该机构利用这一东西对于向旗下10种期刊提交的4.65万篇择要、46021个要领章节和29544条偕行评断定见举行了检测。成果显示，自2022年11月OpenAI旗下谈天呆板人ChatGPT公然推出三木SEO-后，投稿及偕行评断陈诉中疑似AI天生文本的数目呈上升趋向。

“看到检测成果时，咱们感应十分震动。”AACR期刊运营与体系主任Daniel Evanko暗示。近日，他于美国芝加哥市举办的第十届偕行评断与科学出书物国际年夜会上宣布了这一研究成果。

阐发显示，于2023年末AACR禁止偕行评断职员利用年夜型语言模子后，偕行评断陈诉中AI天生文本的比例降落了50%。但到2024年头，偕行评断定见中AI天生文本的检出量增加了一倍多，且这一趋向仍于连续。

Evanko指出：“只管咱们明确禁止利用年夜型语言模子举行偕行评断，但仍能看到利用量于不停增长，这一征象使人不安。咱们规划对于所有新提交的稿件及偕行评断定见举行周全筛查。”

英国研究诚信公司Clear Skies的开创人Adam Day认为，这款检测东西总体体现十分精彩。但他同时暗示：“该东西于假阳性率方面可能存于咱们还没有发明的误差，需要引起器重。”假阳性率即过错地将人类撰写文本判断为AI天生文本的比例。

潘格拉姆试验室的检测东西以2021年前的2800万份人类撰写文档——此中包括300万篇科学论文，以和“AI镜像文本”，即模拟人类撰写文本的长度、气势派头及语气天生的年夜型语言模子文本为练习数据。

潘格拉姆试验室首席履行官Max Spero暗示，为该东西添加自动进修模式是“一项庞大冲破”，这一改良有用降低了假阳性率。他及团队对于东西举行了重复练习，将假阳性率从约1%降至约0.01%。

于2024年宣布的一篇预印本论文中，Spero和同事指出，潘格拉姆检测东西的正确率高达99.85%，过错率是今朝市道上其他AI检测东西的1/38。

于2022年11月ChatGPT推出条件交的稿件中，该检测东西仅标志了7篇疑似包罗AI天生文本的择要，未发明要领章节或者偕行评断陈诉中存于AI天生文本。Evanko暗示：“自那以后，AI天生文本的检出量稳步上升，且增速远超咱们的预期。”

该东西还有能区别差别类型的年夜型语言模子，包括ChatGPT系列模子、深度求索（DeepSeek）、羊驼（LLaMa）和克劳德（Claude）。Spero注释说：“之以是能做到这一点，是由于整个练习数据集由咱们自立天生，是以咱们清晰相识每一一条练习数据的来历，也明确其对于应的天生模子。”

不外，当前版本的潘格拉姆检测东西没法区别“彻底由AI天生的文本”与“人类撰写后经AI编纂的文本”。

2024年，AACR利用潘格拉姆检测东西对于11959篇择要、11875个要领章节和7211条偕行评断陈诉举行了阐发。成果显示，来自非英语母语国度机构的作者利用年夜型语言模子的几率是其他作者的两倍多。

Evanko暗示：“要领章节的AI利用率之高，让我感应十分惊奇。让年夜型语言模子优化要领章节的表述可能会引入过错，由于它需要切确申明研究历程，一旦举行改写，可能造成信息禁绝确。”

研究还有发明，于2025年提交的稿件中，择要被检测东西标志为疑似AI天生的稿件，被期刊编纂预审拒绝的几率是未被标志稿件的两倍。此外，要领章节被标志存于AI天生文本的稿件，预审拒稿率也更高。

不外，该研究并未追踪终极有几多被标志的稿件乐成发表。此外，研究还有注解，当前有关AI利用披露的政策效果有限。

美国西北年夜学范伯格医学院的Moha妹妹ad Hosseini认为，应审慎解读上述发明，今朝没法彻底证明被标志的稿件确凿利用了AI。不外，他也暗示，出书商需要“针对于政策背规环境采纳步履”。