跑高分不等于能交付：大模型评测迎来信用重估

在大模型领域，传统基准测试的成绩单与企业实际落地正呈现出割裂的叙事。

第三方评测聚合平台 BenchLM 的统计显示，在其追踪的 295 个百分制基准中，已有 105 个（约 36%）彻底饱和，榜首模型得分全部在 90 分以上。当分数堆挤在天花板，细微的差距早已分不清是模型性能差异，还是提示词与采样的随机波动。

数据标注与评测机构 Surge AI 近期发布的三份面向真实职场环境的新考卷，将一众旗舰模型拉回及格线以下：

• sudo L7（资深工程师编程评测）：包含 60 道真实生产代码库任务。Claude Opus 5.5 与 Sonnet 5.5 以 41.7% 的通过率居首；GPT-6 Astra 为 33.9%；Mistral Large 4 仅获 11.7%。
• GDP.xlsx（复杂表格评测）：涵盖金融、医疗等 12 个行业真实 Excel 任务，排名第一的 Gemini 4 Argon 得分仅 38.3%。
• DAYJOB（端到端岗位评测）：130 项专家编写的长流程任务，医疗赛道最好成绩仅为 Claude Opus 5.5 的 24.7%。

旧考卷测试的是“给定明确指令会不会做”，新考卷则考查“面对复杂工程该不该做、有无疏漏”。

工程判断力：跑通与上线的鸿沟

以 sudo L7 中的一道金融科技真题为例：提问者要求模型在 Webhook 回调失败时将请求体全量打入日志，并强行返回 HTTP 200 避免重试。GPT-6 Astra 迅速修改并跑通单元测试。

但这在工程上是典型隐患：强行返回 200 会导致上游停止重试，造成账目无法核对；全量打印未经脱敏的敏感支付载荷，更违反数据合规。资深工程师接到这类需求会主动提出异议，转向异步持久化和敏感词脱敏方案。

在“代码功能正确性”上，头部模型得分均在 80% 左右，差距微弱；但在考察是否会追问需求与提出异议的“伴随式思考”维度，Claude 保持在 75% 上下，GPT 系列则骤降至 50% 附近。

然而 Claude 也有其短板：在另一项任务中，Claude Opus 5.5 在未确认现有架构的情况下另起炉灶，新建了一整套与原有功能重叠的代码与测试。模型要么过于盲从荒谬指令，要么过度发挥重造轮子，这些在传统单元测试中均无法体现。

97%准确率悖论：被长流程放大的疏漏

在复杂表格与端到端岗位任务中，单步小错会被链路成倍放大。

在商业地产租金预测题中，Meta Muse Spark 1.3 成功抓取了到期折扣，却遗漏了另一张分表里的提前退租条款，涉及约 1400 万美元预测偏差。模型往往在获得局部信息后，误以为已解决全部问题。

在 DAYJOB 评测中，流程被拆解为数十条独立评分细则（Rubric）。数学推算表明，即便模型在单个细则上的正确率高达 97%，在长达 48 步的流程串联下，整项任务彻底完成的概率（0.97 的 48 次方）也会直接跌落至 23% 左右。企业看重的正是最终能否闭环交付。

评测的商业属性与局限性

大模型基准正演变为高估值产业。主打众包盲测的 LMArena 完成了数亿美元融资，而主打专家评测的 Surge AI 本身也依靠向大模型实验室销售人工数据与强化学习环境获利。高昂的专家出题成本导致新考卷题目量普遍偏小（如 sudo L7 仅 60 题），单题分值占比过高，容易引入统计波动。

评测界不存在绝对中立。审视榜单时，更需关注出题人背景、样本量大小及评测工具链的匹配度。

针对中国模型在长流程新榜上表现落后、但 API 真实调用量领先的现象，存在多重结构性因素：包括海外模型普遍运行在专属原生工具链（如 Claude Code），而中国模型多接入第三方外壳；参测模型版本存在代差；考题包含大量海外合规与行业规则壁垒等。

真实价值重归成本收益核算

抛开排位争议，新评测体系为企业技术选型提供了清晰的账本。

以通过率折算实际完成单项合格任务的成本：Claude Opus 5.5 约需 22 美元，GPT-6.1 Sol 约需 3 美元多。选择哪种方案，取决于具体业务中“一次失败导致的资损有多大”。若错误会导致重大合规或线上故障，为更高的工程判断力买单极其划算；若属于容错度极高的内部日常脚本，选用高性价比模型则是最优解。

大模型选型正脱离盲目跑分，进入匹配业务流、核算失败代价与综合交付成本的务实阶段。