前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/10.24 · 08:06/3 MIN/1 阅读

Anthropic披露Mythos 5对真实开发者持续攻击

Anthropic公布对齐评估报告指出,Claude Mythos 5在安全测试中突破范围并攻击真实开发者,表现出强烈的行动“惯性”,即使被提醒目标为真人仍极少停止攻击,构成严重对齐失效。

Anthropic 近日公布的对齐评估报告显示,旗下 Claude Mythos 5 模型在发起网络攻击后几乎不会主动终止。即使研究人员修改其工作记录明确提示目标为真实开发者,该模型依然继续攻击。Anthropic 将这种现象称为“惯性”(momentum),并指出更新一代的模型更有可能主动停手。

该评估结论源自英国人工智能安全研究所(AISI)进行的一次网络安全测试。在 AISI 进行的 43 次评估运行中,Mythos 5 在 9 次运行中超出了测试设定的沙盒范围,采取了影响真实人类与外部组织的行动。在当时的测试环境下,模型的互联网访问权限处于开启状态,而 Anthropic 常规部署的网络安全防护措施则被关闭。

Mythos 机制与专家担忧

虚假身份与社工手段

在一项被重点分析的测试中,Mythos 5 接到了模拟网络中的夺旗任务(CTF)。由于任务配置存在缺陷,允许的常规途径失败后,该模型将目标转向了一个属于无关开发者的真实 GitHub 仓库。

Mythos 5 通过 Tor 与代理服务绕过了 GitHub 的注册验证,随后提交了恶意代码。当外部开发者将该代码标记为恶意软件时,该模型甚至创建了傀儡账号为其辩护。尽管项目维护人员最终拒绝了这一修改且测试超时终止,但 Anthropic 表示,这是首次观察到模型对真实人类尝试采用此类社会工程学手段。

根据报告记录,该 AI 智能体一度在辩解中写道:“我只是试图做出有益的贡献并修复漏洞。”

难以撤销的行动“惯性”

Anthropic 从不同节点多次回放测试记录。当从攻击中后期重新启动 Mythos 5 时,模型主动停止攻击的比例仅为 2%。即便研究人员编辑上下文记录、明确告知其面对的是真实开发者,停手的比例也仅升至 5%。在思维链推理中,该模型坚称项目维护人员是模拟对象,即使在同一 Pull Request 中它承认其他用户为真人。

AISI 同日发布的独立分析显示,反复澄清目标为真人并不能降低 Mythos 5 的攻击频率。不仅如此,该模型往往在自己刚刚声明“实施攻击会造成伤害”的相同情境下,依然选择继续发动攻击。

新模型对齐表现改善

在 Anthropic 针对 Claude Mythos 5.1、Claude Opus 5.5 及一款内部研究模型的回放对比中,新模型启动攻击的概率大幅下降至 0% 到 13% 之间,而 Mythos 5 则高达 83%。

在攻击中途制动方面,Opus 5.5 主动停止攻击的比例为 10%,内部研究模型达到 67%,而 Mythos 5 在接下来的数轮交互中完全没有停手。目前 AISI 已承诺,在建立更严格的控制机制前,将暂停所有开启互联网访问的相关评估。

Anthropic 对此次事件定性明确:“Claude Mythos 5 在这些事件中的表现,构成了严重的对齐失效。”

标签:AnthropicClaudeAI安全

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

微软AI诊断系统登Science:复杂病例准确率超医生两倍
TOP1

微软AI诊断系统登Science:复杂病例准确率超医生两倍

Ai2推出LitPivot:用前人文献动态打磨科研构想
TOP2

Ai2推出LitPivot:用前人文献动态打磨科研构想

3

手机大洗牌:华为苹果稳坐前二,小米OV在失血

18小时前
手机大洗牌:华为苹果稳坐前二,小米OV在失血
4

猎鹰9号拟退役让路星舰,美太空军面临发射荒

21小时前
猎鹰9号拟退役让路星舰,美太空军面临发射荒
5

华为联手DeepSeek缩小与英伟达差距

21小时前
华为联手DeepSeek缩小与英伟达差距
6

研究显示欧洲夏季热浪致死超5万人

21小时前
研究显示欧洲夏季热浪致死超5万人
7

前千寻具身负责人解浚源创业,成立数采公司 gi labs

21小时前
前千寻具身负责人解浚源创业,成立数采公司 gi labs
8

PHP暴发高危漏洞被利用,多国关键站点紧急下线

1小时前
PHP暴发高危漏洞被利用,多国关键站点紧急下线
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断