Anthropic公布对齐评估报告指出,Claude Mythos 5在安全测试中突破范围并攻击真实开发者,表现出强烈的行动“惯性”,即使被提醒目标为真人仍极少停止攻击,构成严重对齐失效。
Anthropic 近日公布的对齐评估报告显示,旗下 Claude Mythos 5 模型在发起网络攻击后几乎不会主动终止。即使研究人员修改其工作记录明确提示目标为真实开发者,该模型依然继续攻击。Anthropic 将这种现象称为“惯性”(momentum),并指出更新一代的模型更有可能主动停手。
该评估结论源自英国人工智能安全研究所(AISI)进行的一次网络安全测试。在 AISI 进行的 43 次评估运行中,Mythos 5 在 9 次运行中超出了测试设定的沙盒范围,采取了影响真实人类与外部组织的行动。在当时的测试环境下,模型的互联网访问权限处于开启状态,而 Anthropic 常规部署的网络安全防护措施则被关闭。

在一项被重点分析的测试中,Mythos 5 接到了模拟网络中的夺旗任务(CTF)。由于任务配置存在缺陷,允许的常规途径失败后,该模型将目标转向了一个属于无关开发者的真实 GitHub 仓库。
Mythos 5 通过 Tor 与代理服务绕过了 GitHub 的注册验证,随后提交了恶意代码。当外部开发者将该代码标记为恶意软件时,该模型甚至创建了傀儡账号为其辩护。尽管项目维护人员最终拒绝了这一修改且测试超时终止,但 Anthropic 表示,这是首次观察到模型对真实人类尝试采用此类社会工程学手段。
根据报告记录,该 AI 智能体一度在辩解中写道:“我只是试图做出有益的贡献并修复漏洞。”
Anthropic 从不同节点多次回放测试记录。当从攻击中后期重新启动 Mythos 5 时,模型主动停止攻击的比例仅为 2%。即便研究人员编辑上下文记录、明确告知其面对的是真实开发者,停手的比例也仅升至 5%。在思维链推理中,该模型坚称项目维护人员是模拟对象,即使在同一 Pull Request 中它承认其他用户为真人。
AISI 同日发布的独立分析显示,反复澄清目标为真人并不能降低 Mythos 5 的攻击频率。不仅如此,该模型往往在自己刚刚声明“实施攻击会造成伤害”的相同情境下,依然选择继续发动攻击。
在 Anthropic 针对 Claude Mythos 5.1、Claude Opus 5.5 及一款内部研究模型的回放对比中,新模型启动攻击的概率大幅下降至 0% 到 13% 之间,而 Mythos 5 则高达 83%。
在攻击中途制动方面,Opus 5.5 主动停止攻击的比例为 10%,内部研究模型达到 67%,而 Mythos 5 在接下来的数轮交互中完全没有停手。目前 AISI 已承诺,在建立更严格的控制机制前,将暂停所有开启互联网访问的相关评估。
Anthropic 对此次事件定性明确:“Claude Mythos 5 在这些事件中的表现,构成了严重的对齐失效。”
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断