OpenAI 披露内部系统 Performance Factory:由 Codex 智能体自动排查性能告警、定位根因、提交修复并验证恢复。上线三个多月完成 1700 多次调查,为 600 多起退化找到根因。

AI 智能体的开发节奏太快,传统性能工程已经跟不上。OpenAI 为此搭建了 Performance Factory——一个跑在云端、用 Codex 和自家模型自动排查并修复性能退化的系统。
在这套系统里,工程师用 Markdown 写好工作流配置和提示词,剩下的交给智能体。以「回归工作流」为例:性能告警触发后自动建任务,一个智能体负责调查并在任务里记录发现、提出修复方案,工程师审核部署后,另一个智能体会回到同一任务,确认性能是否恢复。从调查、写修复到验证,全流程自动化。
三个多月里,这条工作流追踪了 1700 多次调查,为 600 多起问题找到根因,相当于每天自动完成 17 次调查。
OpenAI 复盘了团队使用 Codex 的演进路径:
perf-forensics,告诉 Codex 有哪些工具、何时用、如何从几个角度切入:定位变慢的起点、找出受影响的请求、排查部署或配置变更。团队用历史退化案例构建评测集来打磨这项技能。任务按「待调查 → 已定位根因 → 已提出修复 → 已解决」推进,状态与关键发现写在任务里,不锁在某个智能体的上下文中。
定位根因:智能体先确认哪些指标变差、何时开始变化、哪些请求受影响。告警触发时指标越线,但退化可能几小时前就开始了,所以要回看数据找起点,并对比请求分组——是同类请求变慢了,还是慢请求变多了。随后排查部署与功能开关变更,阅读相关代码,用日志和链路验证因果。
对抗式评审:早期智能体常常停在第一个看似合理的解释上,部分结论后来被证伪。团队于是加入一个独立的 Codex 评审会话专门唱反调:复查假设、做反事实检验——若某次发布导致变慢,未受影响的同类请求是否正常?若疑似变更被回滚,指标是否恢复?
曾有一次,智能体把 ChatGPT 会话失败归因于图片下载报错,评审发现负责定位文件的内部服务早已恢复、而图片请求仍在失败,诊断无法解释持续故障,于是重新打开调查。
在对 100 条根因建议的人工评审中,70% 被判定准确,30% 需要进一步完善或未能充分建立因果。工作流用不同的 Codex 会话分别做调查、质疑和提修复,通过相互制衡提升准确率。
修复才是难点:诊断通过评审后,Codex 实现修复并提交 PR,由工程师决定是否合并。每个任务都附带自动生成的报告,包含退化摘要、影响面、根因和修复方案,并附指标时序图、CPU 火焰图与链路,方便快速核验证据。

部署后,智能体会检查性能是否回到基线:完全恢复则关闭任务;部分恢复则为剩余变慢另开任务(可能是另一原因);毫无改善则记录情况并退回重新调查。
修复比找原因更难。有些方案过度复杂或引入新问题,因此每个修复也要过一轮对抗式评审,检查是否真正针对根因。还有些修复涉及架构取舍——比如加缓存能提速,却可能带来脏数据——这类改动需要懂服务的工程师来权衡。
团队正用这些案例构建评估与改进闭环:对比智能体提议的修复和工程师最终合并的改动,找出短板;也在探索用合成性能测试让智能体先自测再交人评审;以及借助其他智能体评审工具识别低风险改动,最终实现无人值守上线。
免费获取企业 AI 成熟度诊断报告,发现转型机会
保护工程师的注意力。Codex 的原始输出可能是一大堵文字墙,还要自己翻图表验证。智能体能查的退化数量远超团队阅读能力,所以工作流会把相关告警关联、按团队关注的指标聚类、按预估影响排序,让人专注补充上下文、权衡取舍和决定上线。
对智能体的改动作评测。更新调查技能或升级模型,可能让某些场景变好、另一些变差,必须先在测试中验证。OpenAI 分开测两件事:调查能力与摘要的可用性。调查用历史线上事故回测,并剔除可能泄露答案的信息,禁止读取旧笔记、事故报告和往次运行结果;评分覆盖问题起点、规模、受影响请求,以及证据使用和不确定性说明。摘要评测则用任务快照,考察不熟悉系统的工程师能否看懂发生了什么、为何重要。
让重复故障自我修复。智能体本身也需要监控:一个坏掉的 profiler 或缺失的权限,就可能让调查卡住,而这类问题在最终报告里很难发现。团队每天运行一个智能体扫描近期运行的日志,发现工具错误就建任务修复,由工程师审核合并,再用评测确认智能体能否越过此前卡住的步骤。
回归工作流只是「智能体工厂」模式的一个实例:任务沿显式状态推进,智能体接力,独立评审挑战结论,需要判断时工程师介入。其他工作流可以复用同一套机制,只是状态、指令和事件不同,甚至能跨工作流互相建任务。
目前回归工作流仍由告警触发。团队正探索更主动的方式:利用已采集的海量细粒度性能数据,比对不同版本的 CPU/内存 profile、堆转储和请求链路,让智能体自己发现告警漏掉的退化或优化机会,再开任务追根因、提修复。对已经模式化的信号,他们希望固化为常态化工作流,比如「服务规格调优」技能可识别过度扩容的副本设置,并在所有服务上定期巡检。
下次你感觉 ChatGPT 变慢了,很可能 Performance Factory 已经在排查原因。眼下的瓶颈或许是等工程师评审合并修复——而这,也正是 OpenAI 接下来想让智能体自己完成的事。
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断