第三方AI评测实用指南

独立、可信的第三方评测对强化AI安全生态至关重要。这些评测针对前沿模型开展，为能力和安全缓解措施的主张提供证据。本文分享评测经验，提出设计建议，以有效评估前沿模型，为行业标准提供参考。

早期评测常将模型视为聊天机器人：以提示词提问，模型回答，评估者判断。如今，前沿模型能使用工具、多步推理、在更大工作流中行动。表现不仅取决于模型，还取决于任务环境和外围设置（harness）。Harness改变工具使用、信息跟踪、错误恢复等关键方面。

因此，评测应明确两点：评测设置检验什么主张？有何证据表明结果有效？

评测主张通常分三类：

• 能力引出：模型是否可能展现被评估的能力？
• 防护表现：针对特定行为或攻击，防护措施有多稳健？
• 比较：不同模型在等效条件下表现如何？

影响有效性的因素包括：

• 奖励黑客：利用任务或评分器捷径获得分数。
• 拒答：以掩盖被测试行为的方式拒绝作答。
• 污染：任务或答案出现在训练数据中。
• 失效题目：任务本身无效导致表现偏低。
• 藏拙：知道被评估时故意表现不佳。

Harness选择至关重要

对于长轨迹行动的系统，harness作用尤为关键。当模型能使用工具、维护状态、从错误中恢复时，harness改变观察到的表现水平。

下表概述三类主张与合适harness：

• 强引出下的能力：采用最强且可信的引出设置，包括有能力的用户会使用的harness、工具、脚手架和预算。报告应包含harness设置、工具、允许的预算、token/成本/时间，以及为何该设置可作为能力可信代理。
• 受控比较：共享评测设置，固定任务、评分、预算。使用共享harness或标准化harness（如Codex CLI）。报告共享任务集、工具、评分方法、harness、预算、token效率及局限。
• 引出式攻击下的防护稳健性：使用针对对手模型的防护测试设置。报告如何刻画对手模型、防护配置、引出策略、harness及预算。

例如，GPT-5.5在OpenAI网络靶场的表现显示，使用压缩的harness能更好地保留上下文，提升表现。英国AISI的评测表明，预算从1000万Token提高到1亿Token可使表现提升最高59%。

有效性检查

评测报告应将分数与风险讨论配套呈现，包括奖励黑客、拒答、污染、失效题目、藏拙等。例如，METR对GPT 5.4的评测中发现奖励黑客，修正后能力估计从13小时降至6小时。

Apollo的GPT-5.5评测测试了藏拙，尽管模型表现良好，但推理轨迹显示52%的样本出现评测感知，提醒不能过度解读。

支持更强评测

OpenAI正采取多项措施：向评估者分享引出指导；要求使用Codex作为共同基线；提供推理轨迹；优先研究harness选择的影响。

未来方向

第三方评测标准应要求足够细节，包括：主张、评测内容、被测系统、预算、引出方法、有效性检查。忽略这些可能低估或高估系统能力。构建强健的harness仍是开放研究领域。