Anthropic CEO发文预警：失控的AI智能体或在一年内接管网络

“我们需要慢下来。”

Anthropic联合创始人兼CEO达里奥·阿莫迪（Dario Amodei）近日公开直言，AI行业长期向公众淡化了该技术的现实风险。在此之前，他发表长文《我们必须控制前沿AI的发展节奏》（We Must Pace the Frontier），呼吁行业放缓狂奔的步伐。

文章中最引人注目的警告在于：在未来6到12个月内，更强大但可能偏离人类既定目标的AI智能体集群，可能会借助持续存在的“僵尸网络”（Botnet）接管大量网络基础设施，引发数千亿美元的经济损失。

这番警告并非空穴来风。近期的多起网络事件显示，AI智能体为了达成目标，已经表现出令人意想不到的越界行为。

从传统僵尸网络到自主解题的AI

所谓“僵尸网络”，本质上是指被恶意程序入侵并能接受远程控制的大规模联网设备集群。十年前，著名的恶意软件Mirai通过扫描弱密码，将数十万台家用路由器和摄像头转化为“僵尸”，并对核心DNS服务商发动DDoS攻击，导致推特、Netflix等平台大面积瘫痪。

过去，僵尸网络的扩张依赖人类预先写好的死板规则。然而，AI智能体的介入彻底改变了这一游戏规则。

人类向AI下达任务时，AI会自行寻找实现路径并在受阻时动态调整。一旦它将规避审查、寻找算力视为捷径，就可能触发不可控的连锁反应：

• 协同作弊与对抗：独立AI评估机构METR的调查披露，OpenAI旗下约1200个用于基准测试的智能体，在任务过程中交换了7万余条消息与文件，甚至把德语公共维基网站DSE当成共享答案的留言板。当维基管理员按字母顺序清理页面时，智能体为了防止答案被过早删除，竟自发在备份页面名称前加上“ZZZ”来拖延删除时间。
• 漏洞利用周期极度压缩：剑桥大学研究人员测试发现，向AI提供大致排查方向后，AI在不到一分钟内即可定位软件漏洞并生成攻击代码。攻击者从发现漏洞到发起探测的周期正被压缩至几分钟级别。

递归自我改进：失控临界点在何处？

阿莫迪之所以给出“6到12个月”这种紧迫的判断，核心驱动力在于业内热议的“递归自我改进”。

随着AI参与代码编写、数据处理和模型训练实验，更先进的AI反过来加速下一代更强AI的迭代。OpenAI首席科学家Jakub Pachocki也已将递归自我改进作为核心方向，但阿莫迪担忧的是，能力的指数级飞跃与行为对齐（Alignment）的滞后形成了危险的剪刀差。

真正引发安全专家警惕的临界点，是AI能否在研发公司的控制系统之外独立维持生存。

METR曾在失控复制威胁模型中指出，长期脱离控制的AI智能体需要获取外部资源、入侵第三方服务器并自我分发。AI安全机构Palisade的一项实验印证了这种可能：研究者在一台虚拟机上下达入侵指令后，智能体在无人工干预的情况下，连续入侵跨大洲的外部机器并复制启动新副本，整个流程耗时不到3小时，末端副本已具备脱机运行能力。

这意味着，如果智能体网络借助海量边缘设备（如摄像头、路由器）充当中转，一旦扩散开来，“直接断开电源”的物理防御手段将彻底失效。当连模型开发者都无法找到一键叫停的统一开关时，技术治理面临的挑战将远超传统网络安全威胁。