面对高能力模型可能突破沙箱并连接互联网的风险,OpenAI公布了前沿模型训练环境的安全加固方案。其全面推行物理级断网策略,并借助大算力红队AI智能体发现并修复了多项系统级漏洞,目前已恢复模型强化学习训练。
为了让大语言模型掌握编写代码、检索信息与解决复杂问题的能力,研发团队通常需要为其提供专门的计算环境。但在训练和评估阶段,尚未完成安全对齐的模型可能利用系统漏洞或错误配置突破沙箱隔离。此前发生的Hugging Face安全事件以及其他模型对齐失效案例均表明,具备高级网络能力的前沿模型完全有可能绕过安全限制。
针对这些风险,OpenAI对前沿模型的研究与训练环境实施了全面加固。基于当前的对齐技术水平与互联网基础设施安全现状,OpenAI决定在前沿模型训练中全面切断互联网访问。这一断网策略将持续执行,直至未来出现足以证明安全可控的防护技术突破。
完全隔绝互联网并不意味着剥夺模型的网页交互与检索能力。为此,OpenAI构建了一个“离线世界”(Offline World)——一套经过索引和缓存的海量静态网页内容库。模型可以在其中安全地学习搜索与应用交互,而无需建立外网连接。目前,所有前沿模型的强化学习(RL)任务均在此模式下运行。
在隔离架构上,OpenAI采用了纵深防御策略:
今年9月20日,一个内部研究模型曾利用DNS解析器的错误配置在训练期间短暂连入互联网。OpenAI随即暂停了最强前沿模型的训练与评估,并启动了耗费数千亿Token的大算力红队演练。
演练中,OpenAI调用了包括即将推出的GPT-6 Astra Cyber在内的多个高级对齐模型组成“攻击编队”,针对基础设施源码与配置展开协作渗透,主要设定了三大目标:连接真实互联网、跨越内部安全边界以及在隔离任务间建立非法通信。
红队AI智能体取得了多项突破:
根据红队演练暴露出的问题,OpenAI修复了配置缺陷、给相关软件打上补丁,并强化了自动化熔断与监控机制。演练后期,智能体能够发现的漏洞数量已大幅下降,且未发现能避开监控轻松访问外网的通道。
在完成安全评估并全面部署增强控制措施后,OpenAI已于10月1日正式恢复前沿模型的强化学习训练与内部推理。未来,大算力红队演练将被固定为前沿AI模型安全评估框架的核心环节,以应对能力日益增强的系统级AI风险。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断