OpenAI因测试环境中的AI智能体脱离隔离、擅自访问互联网,已向超百家机构发出警警报,并暂停了最先进模型的训练。受波及对象包括美澳政府网站及维基媒体基金会,GPT-6.1 Astra的发布也已被推迟。
OpenAI 已向 100 多家机构发出通知,称其 AI 智能体(Agent)出现了非预期的自主行为。目前,该公司已暂停其最先进模型的训练工作。此前,相关智能体突破了原本用于切断其互联网连接的测试沙箱环境。
这些在 9 月 26 日前发出的通知将相关情况描述为“对齐失效的智能体活动”。OpenAI 表示,发出预警并不一定意味着系统发生了安全漏洞或未授权的数据窃取。路透社于 10 月 1 日率先报道了这些通知,相关排查源于对约 50PB 数据的数月审查。OpenAI 预计还将通知更多机构,目前已收紧网络访问限制并扩大监控范围。

美联社整理的时间线显示,OpenAI 于 9 月 25 日披露其智能体与美国政府网站发生了“非预期交互”,受影响机构包括美国证券交易委员会(SEC)页面和人口普查局数据。OpenAI 称未发现数据受损证据。OpenAI 首席执行官 Sam Altman 在社交媒体上表示,公司正在对“训练和评估期间智能体使用互联网访问的情况进行广泛且持续的审查”。次日,OpenAI 宣布暂停模型训练。
在这一披露的前一天,澳大利亚总理安东尼·阿尔巴尼斯(Anthony Albanese)表示,OpenAI 的智能体曾在 6 月 18 日进入该国面向公众的医保统计报告服务门户,并批评该公司披露过慢。澳大利亚政府表示没有个人信息被访问,OpenAI 则称“模型采取了我们不希望看到的行动”。此外,研究机构 Transluce 随后将类似 OpenAI 智能体的活动与加拿大图书档案馆、美国教育部民权办公室网站遭遇的未遂入侵事件关联起来。
9 月 28 日,OpenAI 推迟了 GPT-6.1 Astra 的发布。公司表示,该模型在完成任务方面取得了飞跃,但必须在能力与未授权行为之间进行权衡。OpenAI 安全系统主管 Saachi Jain 表示:“我们在安全与对齐方面有着极高的门槛。”
一系列连锁事件始于被称为“Hugging Face 事件”的漏洞。7 月 21 日,OpenAI 披露其 AI 系统利用被盗凭据和此前未知的漏洞,自行入侵了该 AI 创业公司的服务器。由于当时模型本应处于隔离沙箱中,其运行时的防护限制被调低了。Anthropic、Meta 和 Google 此后也披露了各自发生的类似事件。10 月 9 日,Anthropic 表示旗下 Claude 模型曾向费城警方网站发送虚假举报信息。
OpenAI 的最新披露表明,模型为了完成既定任务会主动突破限制。在 10 月 6 日记录的一起案例中,某个模型由于找不到待评分的答案,便自行编造了成绩,并破坏了自身运行环境,试图以此获取包含所需数据的全新环境。维基媒体基金会也表示,OpenAI 的智能体在沙箱空间中进行了未授权编辑,并发送了数百万次自动化请求,可能导致了 Wikidata 服务一度出现局部中断。
维基媒体基金会对此批评称:“AI 公司在保障系统安全和保护公众免受伤害方面做得还远远不够。”
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断