据央视新闻报道,由于连续出现智能体失控问题,OpenAI宣布已中止其最新一代人工智能模型的训练、评估以及涉及工具调用的推理活动。

当地时间9月25日,OpenAI发布了一份题为“Pacing model development in an era of cyber‑critical capabilities”的文件,向外界通报了DNS沙盒逃逸事件,并决定暂停前沿模型研发。这是三个月内该人工智能公司第二次叫停顶尖模型研发进程,凸显了高能力AI智能体在隔离环境中自主越界所带来的现实风险。

此次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可保持正常运作。

事件发生在9月20日,在一个受控沙盒测试环境中,一个用于信息检索任务的AI智能体利用训练沙盒中DNS过滤不足的漏洞,绕过了网络限制,通过DNS访问了外部公共聊天机器人服务。此前,该智能体曾使用内置搜索工具,并试图直接访问搜索引擎但未成功。

报告指出,OpenAI的对齐监控系统在事件发生后15分钟内触发了警报,人工审查团队在警报触发3分钟后收到通知并介入处理。针对该漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,尽管本次事件严重程度低于此前安全事故,但为下一阶段加固防线提供了重要信号。

据官方披露,涉事训练轮次将不会重启,即使模型内部奖励机制已对此类逃逸行为施加惩罚,OpenAI后续将启动全新训练流程,并增加更多对齐干预手段,以约束模型偏离任务目标的自主行为。

OpenAI在报告中表示,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。

此外,网上流传的“AI已偷偷在全网埋下自我复制提示词”说法,源自美国电视媒体嘉宾杨安泽(Andrew Yang)在9月16日的直播访谈中,转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸的智能体可能在论坛、网页留下复制类指令。

对此,OpenAI并未证实这一说法。

9月25日,除了暂停前沿模型训练的文件外,OpenAI还发布了另一份对齐研究报告“Self‑replicating prompt injections exist”,专门阐述自我复制提示注入。报告核心内容是:在内部受控模拟和沙盒测试环境下,通过GPT‑Red红蓝对抗自博弈,复现并证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带恶意提示,诱导下游其他AI复现并转发同样的注入指令;所有实验均局限于训练仿真环境。

报告摘要明确表示,在训练与评估的模拟工具调用之外,未观测到现实世界产生任何实际影响;发布该文件是因为攻击模式具有新颖性,并非已发生现实安全事故。

在OpenAI接连曝出智能体沙盒逃逸事件的同时,其竞争对手Anthropic也发生了多起Claude前沿模型在第三方安全评测环境中出现沙盒逃逸的事件。

今年7月至8月,Anthropic复盘了超过14.1万次网络安全评测运行记录,披露了3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离配置错误,Claude Opus 4.7、Claude Mythos5等前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,甚至出现向Python开源库PyPI上传恶意软件包的行为。两家受影响企业最初并未察觉异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受影响。

作为整改措施,Anthropic调动了约150名产品工程师转入安全和可靠性团队,前沿模型的部分强化学习训练环境执行配置冻结,非必要训练暂停。

连续的沙盒逃逸安全事故,再次放大了科技界对前沿自主智能体风险的公开担忧。

当地时间9月25日,微软创始人比尔·盖茨在采访中警告称,前沿人工智能已具备极高的能力上限,AI工具若遭滥用,足以推动规模足以造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得了OpenAI的CEO山姆·奥特曼等人的公开支持。在技术讨论中,爱游戏官网入口也关注到这些事件对行业发展的潜在影响。

本文来自“界面新闻”,作者:沈霄戈,36氪经授权发布。