OpenAI 审计发现 SWE-Bench Pro 约三成任务不可靠，撤回推荐

准确评估模型能力对部署和安全决策至关重要，这也是 OpenAI Preparedness Framework 的基本原则之一。每次发布新模型时，OpenAI 都会报告多项外部和内部基准测试结果，以追踪能力进展。但如果评估本身存在缺陷，就会扭曲对模型能力的理解，影响安全分析和研发优先级。

不久前，OpenAI 调查了广泛使用的代码基准测试 SWE-bench Verified，发现其存在根本性设计问题和数据污染，已无法提供有意义的软件开发能力信号。当时，OpenAI 建议社区改用 SWE-Bench Pro。

SWE-Bench Pro 本意是改进 SWE-bench Verified，通过更长步长、更真实的编码任务来追踪模型智能体编码能力。任务来自公开和私有仓库中功能变更的历史记录，模型需实现一个解决方案，既通过新功能的测试，又不破坏已有功能。在包含 731 个任务的公开子集上，前沿模型的通过率在八个月内从 23.3% 提升到了 80.3%。

OpenAI 随后对 SWE-Bench Pro 进行了类似审计，使用数据点分析流水线检查了数据集。该流水线审查了模型的任务尝试、任务元数据和失败轨迹，标记出可能存在评估缺陷的任务。每个被标记的任务都经过多次调查 Agent 的评估，并由五位经验丰富的软件工程师独立审查，分歧处则进一步调查。

结果显示，数据集中有相当比例的任务存在重大问题。数据点分析流水线标记了 200 个（27.4%）有问题的任务，而人工标注则发现了 249 个（34.1%）。

问题主要分为四类：

测试过于严格1：测试强制要求提示中未指定的实现细节，导致许多功能正确的提交被判为失败。
提示不明确2：提示中遗漏了隐藏测试所要求、且无法合理推断的需求。
测试覆盖不足：对请求的功能检查不充分，不完整的修复也能通过。
误导性提示：提示指向错误的行为，或与测试要求相矛盾。

这些发现表明，要维护既困难又公平的基准测试十分不易，同时也凸显了智能体在可扩展数据质量检查中的价值。基于这些结果，OpenAI 估计 SWE-Bench Pro 中约有 30% 的任务存在缺陷，并建议模型开发者仔细审视自己的评估结果。

方法论

OpenAI 的目标是确保任务失败真正反映模型能力的局限，而任务成功则代表满足提示要求的完整有效解决方案。为此，团队构建了一套质量保证流水线，检查每个数据点是否如实反映模型能力。

初始的数据质量流水线会标记出可能存在问题的任务，然后通过更深入的 Agent 辅助审计和工程师人工标注来验证。

初始自动化过滤器会审查给模型的指令、模型解决任务的过程以及用于评分的测试，标记出可能有问题或失效的例子，共标出 286 个任务。随后团队对该子集进行了两轮深入审查：一是人工监督的 Agent 审查，使用调查 Agent 进行广泛检查，最终由人工判定；二是由经验丰富的软件开发者进行人工标注。

人工监督的 Agent 审查

每个被标记的问题都由基于 Codex 的调查 Agent 审计，这些 Agent 可以访问任务仓库和环境。它们能区分合理的任务歧义（通常可通过研究附近代码和仓库约定解决）与真正的不明确。Agent 可以运行测试、检查仓库文件，并研究模型尝试及其常见失败模式。经过多次独立的深入审计后，研究者会汇总摘要，做出最终判断，并标注可能的问题类型。

人工标注

同时，团队还针对标记子集进行了人工标注。参与标注的软件工程师都经过基准测试目标、问题分类和边界情况的培训。每个任务由五位工程师分别审查。

审查者根据可见的问题描述、测试用例和 ground-truth 参考实现（gold patch）形成独立判断，然后参考流水线分析或记录作为辅助信息。之后审查者根据具体证据指定标签和严重程度，存在分歧或低置信度的情况会提交进一步研究。

相比调查 Agent，人类审查者更倾向于将任务标记为有缺陷。两个审查路径在分类上存在一些分歧，但在所有被标记的任务中，“无问题”从未成为人类标注的主流标签。对于 Agent 流水线标记的任务，人类判断的重叠率为 74%。

与 Agent 流水线相比，人类审查者更倾向于为一项任务选择多个标签，说明他们认为任务存在多种缺陷，或无法整齐归入单个类别。这表明 Agent-加-审查者流水线的标注偏保守：它抓住了人类识别出的主要故障模式，但低估了审查者发现的其他或重叠问题。最大的差异体现在“测试覆盖不足”上，人类将其选为最常见问题的占比为 9.4%，而 Agent 流水线仅为 4.1%。

失败模式

在一些案例中，任务提示规定了具体的实现方式，但隐藏的测试却期望不同的行为。

讨论

这些问题，加上之前 SWE-bench Verified 中的类似案例，突显了严格检查基准测试的重要性。开源仓库中的 Issue 和 Pull Request 原本是为人类协作设计的，通常涉及维护者与贡献者之间的反复沟通。因此，问题描述、合并后的代码和单元测试并不总能形成干净、孤立的任务来可靠地评估模型。尤其是 PR 中包含的测试可能过于严格，因为它们是为了验证特定变更而写的，而非定义一个与实现无关的任务解决标准。

同时，与不久前相比，现在更容易检测到评估缺陷。随着模型能力的提升，可以用这些模型更深入、更一致地检查提示、测试、补丁、轨迹和边界情况，从而发现以前难以或无法大规模发现的基准测试问题。

OpenAI 希望评估社区能开发出由经验丰富的软件开发者专门构建的新基准测试，以衡量模型能力。这种方法既能保持衡量模型能力所需的高标准和真实感，也能在过程中实现更好的人工监督。鉴于此次分析中发现的缺陷，OpenAI 撤回此前推荐使用 SWE-Bench Pro 的建议。

最终，一项评估应该通过难以作弊、易于信任且真实反映模型能力或对齐程度的基准测试提供有意义的信号。由于这些结果影响着 OpenAI 的部署和安全决策，其所追踪的评估必须有效且信息充分。

原文链接：OpenAI Blog
本文由前途科技编辑整理