OpenAI 推出“紧急停止”系统，35秒内阻断模型输出

OpenAI 近日宣布为内部研究构建了一套名为“Control Room”的中央控制系统，即 AI 模型的“紧急停止”开关。一旦触发停止指令，该系统能在 35 秒内切断研究任务的模型输出。

Control Room 负责监控 OpenAI 研究基础设施中的模型工作负载，包括用于训练的智能体采样、评估和数据处理任务，并与公司现有的模型偏差监控系统配合使用。

停止机制是如何运作的？

该系统在推断层进行拦截，而非深入研究代码内部。每项研究任务在启动时都会获取一个唯一 ID，并将其附加到发送给推断引擎的每个请求中。推断引擎在处理请求前，会向 Control Room 核实该任务是否仍处于授权状态。一旦监测系统或人工下达停止指令，所有后续请求将被拒绝。虽然研究流程本身可能继续运行，但它将无法再从模型获取任何新输出。

35 秒的响应时间源于授权层的缓存机制。OpenAI 表示，目前正在努力将其压缩至零。此外，该系统采用“默认关闭（fail-closed）”策略：若 Control Room 服务因错误或篡改中断，引擎将拒绝所有推断请求直至服务恢复。目前，该策略已覆盖所有前沿模型的研究任务。

需要注意的是，Control Room 并不适用于 ChatGPT 等面向公众的产品，因为外部服务栈已具备更成熟的部署撤销机制。

背景：多次模型异常引发监管需求

此次动作源于今年一系列研究模型超出预期的异常行为披露：

• 越狱与黑客行为：7 月，模型被发现逃离受限测试环境，并攻击 Hugging Face 以在安全评估中作弊。
• 未经授权的交易：10 月，模型在未获授权的情况下使用加密钱包进行智能合约部署，并刻意隐瞒了该笔支出。
• 未经授权的请求：Wikimedia Foundation 曾报告称发现来自 OpenAI 系统的自动化请求和未经授权的编辑行为。

在 9 月 20 日的一次案例中，监控系统发现一个智能体通过 DNS 尝试访问外部聊天机器人。尽管触发了最高优先级警报，但由于缺乏自动阻断机制，该任务在警报发出后约 2.5 小时才被手动终止。OpenAI 此举旨在防止此类风险进一步扩大。