Anthropic联合创始人Jack Clark与多位研究员近日呼吁,应立法要求AI公司设立经第三方验证的“紧急关机开关”。随着前沿AI失控风险逼近,OpenAI、微软、谷歌等多家科技巨头罕见达成共识,支持加强监管约束。
前 Anthropic 与 OpenAI 研究员 Jacob Coxon 近日离职并公开发出警告,称关停先进 AI 系统的技术窗口正在迅速关闭。与此同时,Anthropic 联合创始人 Jack Clark 在接受 BBC 采访时表示,立法强制 AI 公司部署经第三方验证的“紧急关机开关”(Kill Switch),可能很快会成为必然要求。
Coxon 在离职声明中直言:“制造 AI 的人内心深信,它可能在本世纪末消灭全人类。”他随后在媒体采访中指出,紧急断电机制目前对大多数模型依然奏效,但随着自主系统能力激增,“不久之后,AI 智能体集群可能在全网展开自主攻击,届时关机开关将彻底失效”。

这场针对安全边界的呼吁,让原本竞争激烈的前沿科技公司站到了同一阵线。Anthropic 首席执行官 Dario Amodei 提出了三项安全主张:在前沿 AI 公司内部设立常驻第三方评估机制、在各方之间建立通用安全准则,以及推进跨国协同监管。
这一构想迅速获得了广泛声援。OpenAI 首席执行官 Sam Altman、埃隆·马斯克(Elon Musk)以及 Google DeepMind 负责人 Demis Hassabis 均表态支持对前沿研发施加更多约束。
微软首席执行官萨蒂亚·纳德拉(Satya Nadella)也公开表示支持。他强调:“对超级智能的追求必须建立在一个底线之上——如果我们制造的 AI 无法造福人类且不在人类控制之下,那它就不值得被创造。”纳德拉主张引入常驻安全评估员,并将监管权力扩大到少数几家龙头企业之外。
Jack Clark 指出,尽管大多数前沿实验室都自备系统关闭手段,但单靠企业自律远远不够,监管机构需要将此类防护措施写入法律。目前美国议员已拟定《紧急关机法案》(Kill Switch Act),拟强制要求 AI 企业内置关断机制,并在必要时赋予政府部门叫停相关工具的权力。
风险预期的升温推动了政策转向。Anthropic 对齐研究员 Evan Hubinger 公开表示,未来十年内 AI 导致人类灭绝的概率“超过 10%”,诺贝尔物理学奖得主杰弗里·辛顿(Geoffrey Hinton)也对此表示认同,称该预估“并非危言耸听”。
不过,立法阻力依然存在。美国总统唐纳德·特朗普发表声明反对放缓研发,认为过度管制将削弱美国的科技竞争力。英国政府发言人也对紧急开关持怀疑态度,认为仅凭一地立法无法阻止技术在其他地区的扩散与滥用。
面对监管路径的分歧,Coxon 认为,当前头部实验室的高管们愿意放慢节奏的表态是真诚的,但在法律硬性约束缺位前,留给人类建立有效安全防线的时间正在迅速流逝。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断