OpenAI撤回SWE-Bench Pro推荐，审计发现30%任务有缺陷

OpenAI 本周三宣布，撤回对 SWE-Bench Pro 作为 AI 编码能力可靠基准的推荐。其内部审计发现，该基准约 30% 的测试任务存在缺陷，噪声天花板约为 70%，这使其难以有效评估前沿模型。

基准测试不断失效

这已是 OpenAI 在不到六个月内第二次放弃主流编码评测。2026 年 2 月，该公司停止报告 SWE-bench Verified 上的得分——该基准是 OpenAI 在 2024 年协助创建的。审计发现 59.4% 的任务包含有缺陷的测试用例，且训练数据污染导致分数失真。

当时，OpenAI 建议研究人员转向 SWE-Bench Pro——由 Scale AI 开发的更难基准。它包含来自 41 个专业代码仓库的 1865 个长周期软件工程任务，旨在抵抗困扰前代基准的污染问题。前沿模型最初仅得分约 23%。

快速饱和

但分数迅速攀升。到 2026 年 6 月底，Claude Opus 4.8 在厂商聚合测试上达到 69.2%，GPT-5.4（xHigh）在 Scale 标准化公开集上得分为 59.1%。OpenAI 的审计现在认为，这一区间的分数不再反映模型之间的真实能力差异，而是反映基准自身的局限性——包括有缺陷的任务说明和嘈杂的测试环境。

OpenAI 称 SWE-Bench Pro 是“最广泛使用的 AI 编码基准之一”，并呼吁研究社区转向新的评估方法。

更广泛的影响

这一声明加剧了 AI 编码评测领域日益严重的信任危机。研究人员指出，基准表现与现实软件工程能力之间的差距仍然很大：在结构化评测中得分高的模型，常常在需要真正架构推理或从头构建完整程序的任务中表现不佳。OpenAI 尚未提名替代基准，前沿编码能力的衡量标准暂时缺失。