OpenAI 构建「性能工厂」,用 Codex 智能体自动排查并修复 ChatGPT 性能退化。三个多月内跟踪 1700 多次排查、600 多次定位根因,相当于每天自动完成 17 次。
智能体驱动的开发正以惊人速度推进,传统性能工程方法已难以为继。为此,OpenAI 构建了性能工厂——一个在云端运行的自主系统,借助 Codex 和模型能力,自动排查并修复性能退化问题。
在性能工厂中,工程师为周期性工作定义工作流,并为执行这些工作的 Codex 智能体编写指令。性能退化工作流会在告警触发时创建任务:智能体排查速度下降原因、记录发现、提出修复方案供工程师审核;修复部署后,另一个智能体接手同一任务,验证性能是否恢复至基线。从排查、写代码到验证效果,全流程实现自动化。三个多月内,该工作流跟踪了 1700 多次排查,在 600 多个案例中找到根因,相当于每天自动完成 17 次排查。
用 Codex 之前:工程师需手动查看指标、日志、链路追踪,调试线上机器并阅读代码。这类工作耗时,且依赖对服务的深入理解,线索容易遗漏。团队为此积累了 30 多种性能工具。
与 Codex 协作:工程师可问「为什么这里变慢了」,Codex 能搜索大型代码库、追踪跨服务交互、开展性能剖析。但工程师仍需主导,知道该用哪些工具、如何引导排查。
可复用技能:团队将排查流程整理成 perf-forensics 技能,告诉 Codex 有哪些工具、何时使用、如何排查,让它从确定下降起点、识别受影响请求、排查部署或配置变更等角度切入。经历史案例评估后,只需把告警交给 Codex,就能一次运行获得诊断结果。
人工中转:告警触发后,工程师把告警复制进 Codex、调用技能、再把结果贴回 Slack,自己成了中转站。
自动化排查:排查迁移到云端,告警可自动启动 Codex 会话,结果发布到 Slack 讨论串。但自动化止步于此,工程师仍需接手诊断、开发修复、部署后检查效果。
工厂化运行:性能工厂运行端到端工作流,跟踪每项任务的下一步,并在就绪时指派智能体。任务保存状态和发现,能在智能体与工程师之间交接。常见优化可转化为工作流定期运行,一个工作流发现的优化机会可在另一个工作流中创建任务测试实施。
性能退化工作流经历四个阶段:待排查、已定位根因、已提出修复方案、已解决。告警触发即创建任务,状态与关键发现独立于单个智能体上下文保存,方便交接。工程师可在 Slack 或界面中跟踪进展、补充背景、审核变更。修复部署后,智能体验证性能恢复再标记已解决。
定位根因时,智能体先确定哪些指标恶化、何时开始、哪些请求受影响,再回溯数据找出最初恶化时间,比较请求组:是同类请求变慢,还是慢请求占比增加?随后检查部署和功能开关变更、阅读相关代码,并用日志或链路追踪验证代码能否解释现象。
对抗式审核:早期智能体找到第一个看似合理的解释就停手,部分诊断被证实错误。为此团队加入独立 Codex 会话尝试推翻诊断,重新核查假设、检验反事实情形。一次排查中,智能体将对话失败归因于图片下载错误,审核者发现文件定位服务已恢复而图片请求仍失败,于是重新开启排查。在 100 项根因判断的人工审核中,70% 评为准确,其余需完善或因果关系不足。
修复才是难点:诊断通过后,Codex 实施修复并创建 PR,工程师审核合并。每项任务都有自动摘要,概述退化情况、影响、根因和建议方案,并附指标时间序列、CPU 火焰图和链路追踪。部署后,智能体检查恢复情况:完全恢复则标记解决;部分恢复则将剩余问题另建任务;未改善则退回排查阶段。
实践证明正确修复比找到原因更难。团队见过变更过于复杂或引入新问题的情况,因此对每个修复方案也加入对抗式审核。有些修复还需架构决策,例如加缓存可能带来数据过时,需工程师权衡。团队正通过比较智能体方案与工程师最终合并的变更,构建评估与改进闭环,并探索合成性能测试和智能体互审低风险变更。
珍惜工程师注意力:原始排查输出可能难以梳理。首个版本给工程师满屏发现,仍需人工判断重要性;同一退化还可能表现为多个事故。现在工作流会关联相关事故、按团队关心的指标分组、按预估影响排序。
评估智能体变更:更新技能或升级模型可能让诊断在某些案例变好、另一些变差。团队用历史事故回测排查能力,评分点包括问题开始时间、严重程度、受影响请求、原因排序及不确定性解释;摘要则用任务快照评估,考察工程师能否理解发生了什么、图表是否有用、建议是否有证据支持。
让反复故障推动自我修复:智能体也需监控。团队每天运行智能体检查近期运行日志,查找工具故障和访问错误;同类错误多次阻碍排查时,自动创建任务修复,合并后通过评估验证能否通过此前受阻的步骤。
目前性能退化工作流由告警触发。团队正探索更主动的方式:利用大量细粒度性能数据,发现告警遗漏的退化或优化机会,例如比较不同发布版本的 CPU 和内存剖析数据、堆转储和请求追踪,注意到某类请求 CPU 用量略增,就在工作流中创建任务追查、修复并提 PR。已知信号也正被编入更多工作流,如资源适配技能可发现自动扩缩容设置导致的副本过剩,并在所有服务中定期运行。
下次你用 ChatGPT 发现响应变慢,性能工厂很可能已在查找原因。如今瓶颈可能变成等待工程师审核合并,团队已在探索智能体能否自行完成这一步。随着 Codex 加速产品开发,性能系统也需要更高的自主性和自我改进能力才能跟上。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断