为应对前沿模型日益增长的安全风险,OpenAI 构建了名为 Control Room 的中央管控系统。该系统可实时追踪研究基础设施中的模型工作负载,一旦发现安全隐患或不对齐行为,可在 35 秒内强制叫停相关模型输出,确保实验过程受控。
随着人工智能模型能力不断迭代,伴随而来的安全挑战也愈发复杂。为了在研究阶段及时发现并遏制潜在风险,OpenAI 开发了名为 Control Room 的中央管控系统,专门用于追踪和监控研究基础设施中的模型工作负载。
Control Room 是一个连接了所有研究推理工作负载的调度中心,覆盖了模型训练、评估、智能体采样及数据处理等环节。它与不对齐监测系统深度联动,一旦系统决定介入,可在 35 秒内强制停止模型输出。
该系统由三大模块构成:
当监测系统发现潜在问题时(例如模型行为偏离预期),会向 Control Room 发送终止指令并携带对应的 job_id。系统记录该 ID 为已终止状态后,后续任何引擎发起的关联推理请求都将被直接拒绝。这种基于“故障时拒绝访问”的原则,确保了即使系统组件发生故障,模型也会自动停止运作,从而提供兜底安全保障。
目前,从下达指令到生效的延迟约 35 秒,这主要受限于推理授权缓存层。OpenAI 团队正致力于将该延迟缩短至零,以实现即时关断。通过将防护机制内置于统一的推理路径中,即便研究代码本身存在缺陷或不稳定,Control Room 依然能发挥核心拦截作用,确保每一条推理请求都处于监管之下。
对于 OpenAI 而言,Control Room 只是其构建通用人工智能(AGI)安全护栏的组成部分之一。随着技术的推进,该系统将持续升级,以应对更高级别的模型安全挑战。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断