前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
政策/09.21 · 18:00/4 MIN/编译自 OpenAI Blog/4 阅读

OpenAI呼吁建立前沿AI国际标准 应对递归自我改进风险

OpenAI 发文呼吁制定下一阶段前沿 AI 技术标准,重点规范自动化 AI 科研与递归自我改进(RSI)。面对技术失控风险,OpenAI 建议由美国主导联合多国安全机构,建立统一评测与事件报告机制,确保技术始终处于人类监督之下。

OpenAI呼吁建立前沿AI国际标准 应对递归自我改进风险

通用人工智能(AGI)的最终目标是惠及全人类。正如近期 OpenAI 首席执行官 Sam Altman 与首席科学家 Jakub Pachocki 在相关博文中所强调的,OpenAI 当前围绕三大核心目标推进工作:

  1. 打造自动化 AI 研究员,迭代推进对齐问题研究,确保人类始终处于自我改进回路中,从而平稳度过下一阶段的技术演进;
  2. 释放高智能机器带来的科学进步与经济增长红利;
  3. 让每个人都能拥有个人专属的通用人工智能(AGI)。

随着全球各机构竞相推进技术突破,对齐研究必须与模型能力保持同步。当系统开始承担越来越多的技术研发工作、自主性显著增强时,维持人类价值对齐与有效控制变得尤为紧迫。这不仅需要前沿的对齐算法,还需要跨实验室、跨国界的统一标准。

递归自我改进(RSI)的机遇与隐忧

在不同程度的人类监督下,自动化 AI 研究正在成为现实。当模型逐步接手下一代 AI 的开发工作时,将推动“递归自我改进”(Recursive Self-Improvement, RSI)进程。随着这一循环的自动化程度提高,技术迭代速度可能出现几何级攀升。

自动化科研能显著降低高级智能的使用成本,使更广泛的群体受益;同时,自动化 AI 研究员也能兼任“自动化安全研究员”,用于加固关键基础设施、抵御恶意 AI 智能体(Agent)并研发新型防护工具。

然而,完全自主的 RSI 目前尚未出现。OpenAI 强调,除非能确保其绝对安全,否则不应盲目推进。技术前行与否,取决于人类是否依然保有控制权,以及社会是否基于知情民主选择就利弊达成共识。一旦缺乏严密防范,RSI 可能导致人类对不再理解的研发过程失去监管能力,引发系统失准甚至灾难性风险。此前 OpenAI 披露的 Hugging Face 平台安全事件便是一次警示。

国际标准的必要性

对于把控前沿技术节奏而言,国际安全标准的制定与对齐技术本身同等重要。标准能为技术防护措施划定基准线,明确“何为合格的灾难风险缓解方案”。

虽然各国现有机构(如美国人工智能标准与创新中心 CAISI)、地方法规及公私合作新模式正在探索治理方案,但面对全球化部署,依然存在三大痛点:

  • 标准破碎化:不同国家关于评测、报告要求和事故定义的冲突,将增加跨境证据比对与风险响应的难度;
  • 集体行动困境:各方各自为政可能带来谁都不愿看到的失控结局,RSI 加速的科研进度可能超出人类整体的理解与风控能力;
  • 技术实力不均:全球前沿开发与安全专长分布不均,进一步放大了上述问题。

为此,OpenAI 主张由美国牵头,联合全球多国共同构建针对前沿 AI(特别是 RSI 领域)的国际技术标准。

两大核心支撑机制

落实前沿标准需要聚焦于两大支柱:

1. 衔接各国与国际前沿标准的协调机制

依托澳大利亚、英国、加拿大、法国、德国、日本、韩国、新加坡、印度等国已建立的 AI 安全研究所网络,通过 CAISI 及行业组织推进标准设立,聚焦能力基准测试以及针对 RSI 的风险收益管理。可进一步依托 CAISI 于 2024 年设立的先进 AI 测量、评估与科学国际网络展开公共机构合作。

这些技术标准应作为能力评估与风险防护的共同技术基石,而非行政准入许可、强制发布前审查或审批门槛,具体由各国自主决定如何纳入本土法律体系。

标准的制定需保持透明,广泛吸纳开源与闭源开发者、独立技术专家与学术界意见,避免对特定商业模式或新进入者造成不合理限制。这一思路可参考航空与国际金融监管经验,在不侵蚀国家主权的前提下建立合作渠道,并与 ISO、前沿模型论坛(Frontier Model Forum)、Agentic AI 基金会、开放安全 AI 联盟及 Appia 基金会等组织协同推进。

标签:OpenAI递归自我改进AI安全行业标准

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

tokenizers v1 最高快 30 倍,中文却只快 6.8 倍
置顶

tokenizers v1 最高快 30 倍,中文却只快 6.8 倍

亚马逊封杀 Meta Muse:问题不在 AI 购物,在浏览器跑在谁的机器上
置顶

亚马逊封杀 Meta Muse:问题不在 AI 购物,在浏览器跑在谁的机器上

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款

2. 统一测量基准与安全事件通报协议

针对日益提升的自动化科研与 RSI,国际标准应覆盖:

  • 进展评估:量化 RSI 研发进度及机构内部自主研究的比例(如 OpenAI 发布的科研加速报告);
  • 人类监督:明晰触发人工即时介入审查的自动化科研流程节点;
  • 事件分类与响应:建立统一的对齐与自动化研发事件定级、追踪与响应阈值(如 OpenAI 提出的模型不对齐报告框架)。

此外,全球关键基础设施运营方与各国政府需打通安全通报渠道,就国家安全隐患、新兴漏洞与防护经验保持沟通。OpenAI 特别指出,中美两国在此领域开展对话将是积极举措。

规则主导权与地缘竞争

技术把控并非放慢研发节奏,而是确保安全对齐与防御能力跑在模型能力之前。地缘竞争不仅关乎算法突破,更在于规则普及与技术扩散。主导务实、公允的行业通行规则,将决定未来全球产业与社会将技术押注于何种生态之下。

美军险些登临中国货船:出问题的不是 AI 幻觉,是那第二次调用
置顶

美军险些登临中国货船:出问题的不是 AI 幻觉,是那第二次调用

//

24小时热榜

OpenAI呼吁建立前沿AI国际标准 应对递归自我改进风险
TOP1

OpenAI呼吁建立前沿AI国际标准 应对递归自我改进风险

长三角安全AI实验室发布星界、星驭、星鉴三大解决方案
TOP2

长三角安全AI实验室发布星界、星驭、星鉴三大解决方案

3

OceanBase登顶国际数据智能体榜单,准确率突破90%

19小时前
OceanBase登顶国际数据智能体榜单,准确率突破90%
4

API 成本吞噬利润,AI 初创公司集体转向开源权重模型

2小时前
API 成本吞噬利润,AI 初创公司集体转向开源权重模型
5

大模型接管机械臂危险测试:GPT-6 Astra执行率达97%

18小时前
大模型接管机械臂危险测试:GPT-6 Astra执行率达97%
6

清华联手无问芯穹开源具身智能基建RPent

20小时前
清华联手无问芯穹开源具身智能基建RPent
7

海力士与兆易创新:同样做存储,为何逻辑迥异?

21小时前
海力士与兆易创新:同样做存储,为何逻辑迥异?
8

苹果入局折叠屏发布iPhone Duo,反向带火三星

22小时前
苹果入局折叠屏发布iPhone Duo,反向带火三星
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断