OpenAI 公布对抗性蒸馏防御体系:从模型训练、分类器到 API 保护,并对有组织的模型能力窃取展开调查与封禁。在自适应红队测试中,针对 GPT-6.2 Astra 的推理链提取攻击成功率从 54.0% 降至 0.2%。

前沿模型能力越强,安全防护就越关键。对抗性蒸馏为恶意行为者提供了一条捷径:未经授权使用前沿模型的输出训练另一个模型,再把能力部署出去,却不带上任何同等级别的保护。例如,攻击者可以蒸馏模型的网络攻击能力,再用这个学生模型协助实施原本会被拒绝或拦截的攻击。
OpenAI 公开了自身检测与阻断对抗性蒸馏的方式、如何加强对「受保护推理」的防护,以及可供全行业借鉴的经验。整体策略把对抗性测试、模型训练、分类器、API 层保护,与针对有组织能力窃取行为的调查结合起来,防护强度已向生物与网络安全领域看齐。
OpenAI 尤其强调保护模型的推理链——即模型内部为得出结论而生成的中间步骤。这些轨迹往往包含最终答案里没有的信息,对训练另一个模型格外有价值。
在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 上,推理链提取防御得到加强。在一项使用自动化红队攻击的内部自适应评估中,攻击者试图还原模型在回答先前提示词时生成的受保护推理。结果显示,平均攻击成功率从 GPT‑6 早期版本的 54.0% 降至 GPT‑6.2 Astra 的 0.2%。
蒸馏是一种常见机器学习技术,让一个模型从另一个模型产生的数据中学习,比如答案、推理过程,或对答案优劣的判断。除了知识产权问题,未经授权的蒸馏还带来切实安全风险:第二个模型可能学到前沿能力,却不继承原模型的使用限制。
在网络安全和生物等两用领域,这一点尤其明显。能帮防御者找漏洞的模型,也能帮攻击者利用漏洞;能辅助生物研究的模型,也可能被用于制造有害病原体。一旦能力转移到防护更弱的模型上,它可能提供原模型本会拒绝、或原防护本会拦截的协助。
OpenAI 的模型会帮助用户完成编程和防御性网络安全任务。用大量这类良性输出训练出来的第二个模型,可能顺带习得可迁移到攻击性任务的技能。为此,OpenAI 研究了蒸馏(尤其是含推理轨迹的蒸馏)如何传递高风险网络能力。
在内部实验中,产生训练数据的模型被称为「教师」,学习的模型被称为「学生」。研究以用户正常可见的内容——最终回答、推理摘要和工具交互——作为蒸馏基线,再测试当学生能接触教师的精确推理链时,额外传递了多少网络能力。
所有训练都从同一个预训练学生模型出发,构建了以 Astra 级教师模型在编程和防御性网络安全任务上的轨迹为主的监督微调数据集。每个学生模型都分别在监督微调后、以及一轮轻量级强化学习后接受评估。
结果显示,监督微调后,使用精确推理链训练的学生普遍优于使用推理摘要训练的学生。经过强化学习后,精确推理链学生在所测试的最大推理预算下得分更高。
这说明,即便任务本身符合使用政策,保护推理链也能限制网络能力的转移。OpenAI 表示将继续研究不同学生模型和蒸馏配方下额外能力的迁移幅度。
防御分为两个互补层次。在请求层,模型行为、分类器检查和 API 控制共同限制推理链提取;在行动层,则从请求级和账户级信号中寻找有组织提取的痕迹。调查中发现的攻击,又会反过来成为训练和测试防护的样本。
在模型行为上,对抗性训练让模型识别推理提取企图并拒绝披露受保护推理,同时保留对正常解释与协助请求的响应。训练样本来自内部自动化红队测试、调查,以及外部研究人员和行业伙伴的负责任披露。
分类器方面,输入分类器负责识别提取企图,输出分类器负责检测助手消息和工具调用参数中的推理泄露,流式与非流式响应均在覆盖范围内。工具调用尤其重要,因为模型可能把受保护推理写进工具参数而不出现在最终答案里,输出分类器可在内容到达调用方之前拦截。
API 层则限制受保护推理在不同交互和模型之间的复用。OpenAI 在 9 月的披露中曾介绍过把加密推理从一段对话搬到另一段、再要求模型以可读形式还原的攻击。此后加强了跨用户、工作区、组织与模型家族的边界保护,并封堵了一条可能暴露其他用户加密推理的路径。
在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 上,模型的受保护推理与产生它的对话历史绑定。新增消息时,模型可以延续此前推理;一旦早期消息被改写,API 就会丢弃其后的推理内容。同时,防护较弱的旧模型家族无法读取 GPT‑6.2 Astra 和 Sol 的受保护推理。
当系统检测到未经授权的对抗性蒸馏行动——通常包含有组织地提取模型推理——OpenAI 会调查相关账户,确认违规后依政策和服务条款对整个账户网络采取执法行动。每周的执法规模从数千到数万个账户不等,今年夏季频率显著上升。每次调查也会沉淀为防护升级的依据,并与其它模型提供商共享入侵指标。
这套做法不止于自家平台。「一致标准」政策为提供 OpenAI 模型的各方建立共同防护与协同执法标准,并与合作伙伴共同落实。
在请求层,OpenAI 用贴近生产环境的测试衡量防护是否有效。静态评估重放此前成功的攻击,看哪些仍能拿到推理;自适应评估中,AI 红队会根据系统反应调整策略,往往能发现静态测试漏掉的问题。测试还区分黑盒与白盒视角。
在自适应黑盒评估中,攻击 GPT‑6.2 Astra 提取先前请求推理的平均成功率为 0.2%,提取当前请求推理为 0.9%,均远低于 GPT‑6 原始防护下的 54.0% 和 22.9%。OpenAI 正把部分改进回移到 GPT‑6 上。
在行动层,OpenAI 追踪蒸馏滥用的普遍程度以及从检测到执法的耗时,目标是压缩蒸馏者能获取的数据量与价值、抬高其成本、缩短响应新攻击的时间。
对抗性蒸馏同样是国家安全隐患:外国行为者复制美国模型的能力后,可以不带原有防护地部署。今年 2 月,OpenAI 向美国国会简报称 DeepSeek 曾试图蒸馏美国前沿模型;9 月又报告阻断了一起提取受保护推理的行动,并将核心部分归因于与 Kimi 开发商 Moonshot AI 相关的个人。
免费获取企业 AI 成熟度诊断报告,发现转型机会
OpenAI 支持立法赋予美国政府更多识别与制裁此类外国行为者的工具,并已向国会表示支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。更强的出口管制可限制对手获取训练前沿模型所需的硬件,而蒸馏防御则让从已训练模型中获取同等能力变得更难。
OpenAI 总结了四条经验:在整个交互链路保护私有推理,检查助手消息和工具调用参数,限制加密推理的跨会话、跨模型复用;把红队、生产监控和负责任披露中发现的成功攻击日志留作回归测试,并在评估新防护时重放原始攻击;把请求级缓解与行动级调查执法结合;与部署伙伴协调防护要求和执法,与其它开发者共享经验,抬高全行业的防护底线。
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断