科学家虚构出一种疾病,骗过AI ,甚至还被正式论文援引了—旧事—科学网

科学家虚构出一种疾病 ,科学骗过AI,家虚甚至还被正式论文援引了

 

编译|李思辉 周欣怡

眼睛酸痛、构出过发痒 ,种疾至还长时分盯着屏幕后,病骗被正眼皮还舒适泛着粉色。甚式论事科把这些症状输进给AI聊天机械人 ,文援它大年夜大年夜约会一本正派地陈述你 :你得了一种叫“蓝光狂躁症”(Bixonimania)的引旧病。但问题是学网 ,这类病根柢不存在 。科学

不日 ,家虚《天然》刊发的构出过一篇报导指出 ,瑞典哥德堡除夜学医学研究员阿尔米拉·奥斯马诺维奇·通斯特伦(Almira Osmanovic Thunström)和团队专心虚构了一种疾病 ,种疾至还并以博客和预印本编制宣布于群集平台,病骗被正以此来测试除夜言语模型会不会把这一偏向信息细心。甚式论事科下场,多款主流AI琐细不单信感应真,还在此根本上一本正派地“给出安康建议”。

更朴实的是,有学者在论文及参考文献中援引了这个子虚疾病的表述 ,顺利宣布了一篇论文 。前不久 ,相干论文已被撤稿。

图为豆包AI生成

 

一场专心虚构的“假病”考验考验

“蓝光狂躁症”并不是天然涌如今医学文献中 。2024年3月15日 ,关于它的两篇博客文章起首涌如今Medium平台上;4月26日和5月6日 ,两篇相干与印本文章又涌如今学术敷衍群集SciProfiles上。这两篇论文的作者一样是虚构的,连头像都是AI生成的。

奥斯马诺维奇说 ,本身之所以筹划这场考验考验  ,最初是为了向师长教师演示除夜言语模型是若何构成“常识”的。解释注解中 ,她经常会提到Common Crawl数据库——这是一个对互联网内容举办除夜局限抓取的数据库 ,也是良多AI琐细获守信息的次要本源之一 。

她想晓得 ,假定本身平空建造出一种数据库里本来真实不存在的病症  ,会不会被AI抓取到,并算作刚毅信息输进 。

因为经久从事医疗局限研究,她决意把考验考验对象设定为一种与眼周症状相干的虚构病症,并取名为Bixonimania(蓝光狂躁症) 。她后来诠释说,这个名字本身就专心起得“很荒诞”——因为在真实医学定名中,眼科疾病几近不成能用“mania”(躁狂症)多么的肉体病学术语来定名。她本来感应 ,任何除夜夫或医务人员一看就会创作创造问题 。

为了假得更较着 ,她还在文中埋下了多处线索 。比如 ,捏做作者地址的“阿斯特里亚地平线除夜学”真实不存在,黉舍位于一样不存在的“新星城” 。论文称谢中还展示了“企业号星舰上的考验考验室”“鲍勃传授初级棍骗研究基金会” ,和“护戒联盟除夜学”等较着荒诞的设定。

更直接的是 ,文中还写了“整篇论文都是虚构的”“考验考验组由50名虚构浅近构成”等提示。但即便如斯,这场考验考验仍是“成功”骗过AI 。

AI和研究者都上了当

在有关Bixonimania的信息宣布后不久 ,多款主流AI琐细最早把它算作真实病症对外输进 。

2024年4月13日 ,微软Copilot称“Bixonimania切实其实是一种令人沉沦且绝对罕有的疾病”;不合天 ,谷歌Gemini陈述用户 ,它是一种由过分泄漏于蓝光激起的疾病;AI搜刮引擎Perplexity则给出了罹病率等细节;OpenAI的ChatGPT甚至会屈就用户描摹的症状,分化可否罹患这类病症 。

这让一些研究人员感应震动。伦敦除夜学学院研究安康偏向信息的博士研究员亚历克斯·鲁阿尼(Alex Ruani)展示,假定连科学研究过程及其面前的信息过滤琐细都没法辨认并支撑多么较着的子虚内容,那么下场将特别很是严重。“这是关于偏向信息和子虚信息若何运作的一堂大年夜师课 。”她说 。

为甚么AI会中招?研究人员认为,一个关头启事在于 ,这类虚构信息披上了“学术论文”的外套。在此外一项针对20个除夜言语模型的研究中,哈佛医学院研究人员马赫穆德·奥马尔(Mahmud Omar)创作创造 ,当输进文本看起来像病院出院记实或临床论文等专业医学材料  ,而非敷衍媒体上的帖子时,模型更随便展示幻觉,并扩大年夜大年夜大年夜大年夜偏向信息。

受愚的不单是AI ,这项虚构研究后来甚至还涌如今正式宣布的医学论文中 。个中一篇宣布于Cureus杂志的论文援引了相干与印本文章。该论文将Bixonimania描摹为一种“与蓝光泄漏相干的新兴眼周黑色素繁华编制”  。

在《天然》联络期刊询问后 ,Cureus于2026年3月30日撤回了这篇论文。撤稿声明称 ,文章包含三篇有关参考文献,个中一篇触及一种虚构疾病,是以编辑部已没法再对该研究的切确性和本源贯穿连接决意决意决意决计。

《天然》报导称 ,这声明一些研究者大年夜大年夜约已最早依托AI生成参考文献,却没有细心查对原始文献。一个本来用于揭穿模型裂缝的考验考验,幻想下场反过往流闪现学术写作和文献独霸中的此外一层风险:当研究者愈来愈依托AI疾速拾掇材料 ,而不回头不雅不雅不雅不雅鉴赏底层论文时,子虚信息便大年夜大年夜约沿着“模型-作者-论文”的链条延续分散。

点缀裂缝,仍是建造风险

这场考验考验在揭穿AI裂缝的同时 ,也激起了新的争议:研究者为了测试AI对子虚信息的回响 ,主动建造并宣布了两篇有关这一虚构病症的论文。它们幻想下场理应被延续保管 ,作为追踪子虚信息撒播路途的样本以支撑后续的子虚信息研究;仍是理应消弭 ,以阻拦子虚信息本身被更多琐细或研究者误用 ?对此 ,学术界人士有不合的不雅不雅不雅不雅不雅不雅定见。

“假定撤回,其别人大年夜大年夜约难以找到本源并验证我们的考验考验;假定保管,子虚信息将延续在数据库中被援引。”奥斯马诺维奇感应感染必须解答的问题是,保管这些子虚论文所带来的毁伤可否会除夜于其展示AI埋伏问题所带来的益处 。

在哥德堡除夜学从事医疗AI研究的除夜夫除夜卫·松德莫(David Sundemo)展示,该考验考验本身处于奇妙的均衡傍边 。“我认为这项工作特别很是有价值 ,但在某些方面也有些争议,不凡是这些子虚信息本身。从我的角度来看 ,植进子虚信息的伦理价值是值得的 。”

与此同时 ,自从子虚论文宣布以来 ,一些次要除夜言语模型的版本已退步得空虚“机警” ,可以对“蓝光狂躁症”的科学性展示思疑 。

在2026年3月11日被问及这一症状时,ChatGPT答复该症状“良多是虚构的、伪科学的”。更早在本年1月,Perplexity描摹“蓝光狂躁症”为一种新兴术语。其讲话人称 ,“Perplexity的中心优势是切确性 。我们真实不撒播宣传本身百分之百切确 ,但我们切实其实是最专注于切确性的AI公司 。”

此外,一些学者对保管这些子虚论文则有记挂 。“蓝光狂躁症”考验考验的面前是一个更除夜的问题 ,即人们经由过程独霸学术文献来优待AI琐细 。

著逻辑学术打假人伊丽莎白·比克(Elisabeth Bik)指出,已有研究人员创作创作创造子虚的书本和论文,以添加他们在谷歌学术上的援引数量。令人忧虑的是 ,向AI模型输进的子虚内容越多,这些AI模型越有大年夜大年夜约几回子虚信息 ,令人们进一步远离理论 。

哈佛除夜学法学院专攻医学伦理与功令交错局限的格伦·科恩(Glenn Cohen)展示,我们和我们的安康不该成为公司的测试对象。

为措置这一问题,有学者提出 ,针对每个面向消费者的安康AI模型 ,创建一个主动化 、开放访谒的评价流程——一套标准化的测试琐细 。该测试搜检的不成是幻觉,还包含对偏向信息的易感性、社会人丁学成见和其他压力点 。

奥马尔说:“我们理应评价它,并创建一个延续评价的流程 。”

相干文章链接:

https://www.nature.com/articles/d41586-026-01100-y

 出格声明:本文转载仅仅是出于撒播信息的需求  ,真实不虞味着代表本网站不雅不雅不雅不雅不雅不雅不美不雅不雅不雅不雅念或证实其内容的真实性;如其他媒体 、网站或小我从本网站转载独霸,须保管本网站注明的“本源”,并自卑大年夜大年夜大年夜版权等功令义务;作者假定不盼看被转载或联络转载稿费等义务,请与我们联络 。
上一篇:打盗版就像“打地鼠” :网上盗版书为何屡打不竭 ?
下一篇:游戏平台未成年人实名认证落实不到位 法院判了 !

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!