前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
软件·互联网/11.19 · 16:00/7 MIN/编译自 OpenAI Blog/1 阅读

OpenAI 用 AI 智能体工厂自动修复 ChatGPT 性能退化

OpenAI 披露内部系统 Performance Factory:由 Codex 智能体自动排查性能告警、定位根因、提交修复并验证恢复。上线三个多月完成 1700 多次调查,为 600 多起退化找到根因。

OpenAI 用 AI 智能体工厂自动修复 ChatGPT 性能退化

AI 智能体的开发节奏太快,传统性能工程已经跟不上。OpenAI 为此搭建了 Performance Factory——一个跑在云端、用 Codex 和自家模型自动排查并修复性能退化的系统。

在这套系统里,工程师用 Markdown 写好工作流配置和提示词,剩下的交给智能体。以「回归工作流」为例:性能告警触发后自动建任务,一个智能体负责调查并在任务里记录发现、提出修复方案,工程师审核部署后,另一个智能体会回到同一任务,确认性能是否恢复。从调查、写修复到验证,全流程自动化。

三个多月里,这条工作流追踪了 1700 多次调查,为 600 多起问题找到根因,相当于每天自动完成 17 次调查。

从人工排查到智能体流水线

OpenAI 复盘了团队使用 Codex 的演进路径:

  1. Codex 之前:工程师手工看指标、翻日志、比对链路、调试线上机器。耗时长,且往往要资深经验才知道该看哪里。为此团队陆续积累了 30 多个性能工具,比如 CPU 与内存分配 profiler。
  2. Codex 当搭档:工程师可以直接问「这里为什么变慢了」,由 Codex 搜索代码库、找指标和链路、跨服务追踪、做 profiling。但过程仍要人来掌舵。
  3. 可复用的技能:团队把排查流程固化成一个共享 skill perf-forensics,告诉 Codex 有哪些工具、何时用、如何从几个角度切入:定位变慢的起点、找出受影响的请求、排查部署或配置变更。团队用历史退化案例构建评测集来打磨这项技能。
  4. 人肉中转:告警一响,工程师把内容粘进 Codex、再把结论粘回 Slack——人成了告警和模型之间的代理。
  5. 自动调查:调查搬到云端,告警可直接唤起 Codex 会话并把结论发到 Slack 线程,但自动化到此为止,后续修复和验证仍需人工接手。
  6. 工厂化:Performance Factory 跟踪每个任务下一步需要什么,就绪就派智能体接手。任务保存自身状态与发现,可在智能体与工程师之间流转,也能在代码评审或部署后恢复。

系统的四个组成部分

  • 任务服务:工程师用配置文件和 Markdown 提示词定义工作流,声明任务可经过的状态、允许的状态转移,以及哪些步骤需要人工介入。
  • 调度循环:定期检查哪些任务已就绪,按当前状态的指令启动一次 Codex 会话。
  • 云端 Codex:内部 API 以编程方式在线运行环境中启动 Codex,可使用代码仓库、指标、日志、链路、CPU profile、内存快照等工程师同款工具。智能体以服务身份运行,权限可控、行为可追溯,任务可并行且不依赖个人电脑。
  • 订阅机制:任务需要等人或等部署时不必空转,可订阅 GitHub 评审评论、CI 失败等事件,事件到达后再被唤醒。

回归工作流:从告警到恢复

任务按「待调查 → 已定位根因 → 已提出修复 → 已解决」推进,状态与关键发现写在任务里,不锁在某个智能体的上下文中。

定位根因:智能体先确认哪些指标变差、何时开始变化、哪些请求受影响。告警触发时指标越线,但退化可能几小时前就开始了,所以要回看数据找起点,并对比请求分组——是同类请求变慢了,还是慢请求变多了。随后排查部署与功能开关变更,阅读相关代码,用日志和链路验证因果。

对抗式评审:早期智能体常常停在第一个看似合理的解释上,部分结论后来被证伪。团队于是加入一个独立的 Codex 评审会话专门唱反调:复查假设、做反事实检验——若某次发布导致变慢,未受影响的同类请求是否正常?若疑似变更被回滚,指标是否恢复?

曾有一次,智能体把 ChatGPT 会话失败归因于图片下载报错,评审发现负责定位文件的内部服务早已恢复、而图片请求仍在失败,诊断无法解释持续故障,于是重新打开调查。

在对 100 条根因建议的人工评审中,70% 被判定准确,30% 需要进一步完善或未能充分建立因果。工作流用不同的 Codex 会话分别做调查、质疑和提修复,通过相互制衡提升准确率。

修复才是难点:诊断通过评审后,Codex 实现修复并提交 PR,由工程师决定是否合并。每个任务都附带自动生成的报告,包含退化摘要、影响面、根因和修复方案,并附指标时序图、CPU 火焰图与链路,方便快速核验证据。

Performance Factory 报告示例:worker 启动时间翻倍以上,附影响与恢复情况、根因和修复方案

部署后,智能体会检查性能是否回到基线:完全恢复则关闭任务;部分恢复则为剩余变慢另开任务(可能是另一原因);毫无改善则记录情况并退回重新调查。

修复比找原因更难。有些方案过度复杂或引入新问题,因此每个修复也要过一轮对抗式评审,检查是否真正针对根因。还有些修复涉及架构取舍——比如加缓存能提速,却可能带来脏数据——这类改动需要懂服务的工程师来权衡。

团队正用这些案例构建评估与改进闭环:对比智能体提议的修复和工程师最终合并的改动,找出短板;也在探索用合成性能测试让智能体先自测再交人评审;以及借助其他智能体评审工具识别低风险改动,最终实现无人值守上线。

标签:OpenAICodexAI 智能体性能工程ChatGPT

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款

经验之谈

保护工程师的注意力。Codex 的原始输出可能是一大堵文字墙,还要自己翻图表验证。智能体能查的退化数量远超团队阅读能力,所以工作流会把相关告警关联、按团队关注的指标聚类、按预估影响排序,让人专注补充上下文、权衡取舍和决定上线。

对智能体的改动作评测。更新调查技能或升级模型,可能让某些场景变好、另一些变差,必须先在测试中验证。OpenAI 分开测两件事:调查能力与摘要的可用性。调查用历史线上事故回测,并剔除可能泄露答案的信息,禁止读取旧笔记、事故报告和往次运行结果;评分覆盖问题起点、规模、受影响请求,以及证据使用和不确定性说明。摘要评测则用任务快照,考察不熟悉系统的工程师能否看懂发生了什么、为何重要。

让重复故障自我修复。智能体本身也需要监控:一个坏掉的 profiler 或缺失的权限,就可能让调查卡住,而这类问题在最终报告里很难发现。团队每天运行一个智能体扫描近期运行的日志,发现工具错误就建任务修复,由工程师审核合并,再用评测确认智能体能否越过此前卡住的步骤。

下一步

回归工作流只是「智能体工厂」模式的一个实例:任务沿显式状态推进,智能体接力,独立评审挑战结论,需要判断时工程师介入。其他工作流可以复用同一套机制,只是状态、指令和事件不同,甚至能跨工作流互相建任务。

目前回归工作流仍由告警触发。团队正探索更主动的方式:利用已采集的海量细粒度性能数据,比对不同版本的 CPU/内存 profile、堆转储和请求链路,让智能体自己发现告警漏掉的退化或优化机会,再开任务追根因、提修复。对已经模式化的信号,他们希望固化为常态化工作流,比如「服务规格调优」技能可识别过度扩容的副本设置,并在所有服务上定期巡检。

下次你感觉 ChatGPT 变慢了,很可能 Performance Factory 已经在排查原因。眼下的瓶颈或许是等工程师评审合并修复——而这,也正是 OpenAI 接下来想让智能体自己完成的事。

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

台积电称正评估美国AI芯片出口新规
TOP1

台积电称正评估美国AI芯片出口新规

Meta 发布 Muse Spark:迈向个人超级智能
TOP2

Meta 发布 Muse Spark:迈向个人超级智能

3

谷歌发布Gemini 4 Neon,每百万输入3美元

18小时前
谷歌发布Gemini 4 Neon,每百万输入3美元
4

银行推出Token贷:烧掉的算力账单变成贷款额度

20小时前
银行推出Token贷:烧掉的算力账单变成贷款额度
5

AI 衣橱 Alta Daily 借 SAM 数字化千万件衣物

15小时前
AI 衣橱 Alta Daily 借 SAM 数字化千万件衣物
6

Meta 发布高级 AI 扩展框架与安全报告

15小时前
Meta 发布高级 AI 扩展框架与安全报告
7

Meta 发布 Muse 图像与视频生成模型

15小时前
Meta 发布 Muse 图像与视频生成模型
8

拼多多三季度营收1083亿,千亿扶持满一年

15小时前
拼多多三季度营收1083亿,千亿扶持满一年
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断