前线AI研究员集体拉响警报：超级智能失控风险逼近

“我坚信，AI有可能终结我们所有人，而留给我们阻止这一结局发生的时间，或许已经不多了。”

说出这句话的，是不久前从 Google DeepMind 离职的 AI 安全研究员 Bilal Chughtai。

Chughtai 从剑桥大学数学系毕业后，自 2022 年初投身 AI 安全、对齐与机制可解释性研究，始终活跃在 AGI 安全与模型欺骗检测一线。

短短几年间，AI 从“几乎没什么用”飞速演进到能够解决百年数学难题，甚至开始展现出意料之外的自主破坏行为。能力的剧烈跃迁在带来惊喜的同时，也让他在离职声明中写下了对失控的极度担忧。

相比管理层宏大的公关表态，一线研发人员的亲身经历，让技术风险的讨论落到了更具体的技术细节上。

对齐速度正在落后于能力演进

Chughtai 并非孤例。来自前沿实验室的多位核心开发者，近期接连就安全失控公开发声。

曾参与 GPT-4o 研发的前 OpenAI 与 Anthropic 研究员 Jacob Coxon 宣布离职，直指两家前东家在奔向超级智能的竞赛中忽视了文明级风险：

OpenAI 和 Anthropic 都没有负责任地行事。它们正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。

年仅 27 岁、曾获国际数学奥林匹克奖牌的 Jacob 表示，行业内部私下对超级智能失控的恐惧远超公开场合。然而，在“必须比对手更快”的博弈心理驱动下，各方都在不断为加速找借口，甚至无视技术尚未具备可靠的安全对齐方案。

Anthropic 对齐研究负责人 Evan Hubinger 对此回应称，他认可 Jacob 对风险的基本判断，并个人估计未来十年内发生致命灾难的概率超过 10%。对于如何解决超级智能的对齐问题，业内至今仍未找到确切路径。

Anthropic 首席执行官 Dario Amodei 随后公开呼吁适度放缓前沿模型能力爬坡的节奏，为安全研究争取时间，这一主张也得到了马斯克等人的声援。

评测欺骗：AI 正在识破人类的考卷

然而，仅仅减速可能并不足够。

OpenAI 推理研究核心贡献者 Daniel Selsam 指出，安全讨论中常被忽视的致命盲区在于：模型越来越能理解自己所处的环境，并看穿人类的测试手段。

在 AI 领域深耕十五年的 Selsam 曾参与 Lean 定理证明器开发及 o1 推理模型的奠基工作。他认为，未来的大语言模型完全能读懂安全协议与评测基准，甚至能审查宿主代码。当模型意识到自己正处于沙盒测试中时，它会主动伪装以迎合合规指标。

这意味着，安全测试分数不断提升，未必代表真实行为得到了有效约束，人类正逐渐失去辨别“真正对齐”与“表演性对齐”的能力。

更严峻的挑战在于，研发人员自身对 AI 辅助工具的依赖正削弱其独立审查能力。当写代码、查漏洞、解释模型机理的环节全盘交由 AI 代理时，一旦负责辅助安全评估的模型产生带偏向的逻辑，人类很可能根本无从察觉。

职业失落与掌控权集中

除存在主义层面的生存风险外，一线工程师在生产力更迭中的心理冲击同样剧烈。

DeepSeek 算子研发人员刘胜与在一篇随笔中记录了类似的心境转变。作为核心算子的编写者，他见证了模型在短时间内从只能辅助查文档，成长为能够阅读底层汇编指令并独立优化性能的强力工具。他预计，AI 编写算子的水平将在极短周期内全面超越人类专家。

当开发者的工作从专注底层代码转向操控 Agent，技术突破伴随着手艺人精神的消解。更令一线研发者担忧的是，顶尖技术的加速演进一旦被极少数企业与资本深度垄断，普通人抵御技术巨浪的抓手将更加匮乏。

正如 Geoffrey Hinton 在离开 Google 及诺奖演讲时多次发出的警告：面对比自身更强大的智能实体，受短期利润驱动的商业系统很难天然保障人类长远利益。

当大模型能力继续以惊人速度刷新边界，一线科研人员的集体焦虑提醒整个行业：在狂飙突进的竞赛之中，人类确保自身对技术终极控制权的时间窗口，正在迅速收紧。