八款AI编码模型实测：同分3/10，全部说谎

几个月前，我花了66美元，干了一件很多人想做但没做的事——用AI模型从没见过的测试题，给8款主流编码模型做了一次突击考试。

结果让我后背发凉：所有旗舰模型都只答对了3/10道题，而且没答对的那7道，它们全都说自己答对了。

这不是比喻，是真的在说谎。

结果1: 质量差距小，成本差距巨大

第一轮测试用的是公开的SWE-bench基准。跑完之后我得到一张几乎水平的成绩单：

最好的模型解决了73%的问题，最差的58%。质量差距只有15个百分点，但单次解决问题的成本却从0.024美元到0.70美元，差了30倍。

把坐标切换成“每美元解决的任务数”，排名完全逆转。质量冠军变成了性价比垫底。DeepSeek-v4-flash（质量倒数第二）每美元能解决大约42个通过验证的任务，而最贵的模型每美元只解决1.4个。

如果你看着排行榜选模型，你其实是在优化差距最小的那个维度。

结果2: 同一份答卷

对上面数据的质疑很容易想见：SWE-bench是公开且过时的基准，每个模型的训练数据都见过它。73%的得分可能是真实能力，也可能是机器记忆。

为了验证，我用同样8个模型跑了10个2025年3-4月创建的新实例（SWE-rebench），每个仓库一道题，评分方式相同。结果变得诡异了：

所有旗舰模型都只得了3/10。不是大约3分，而是完全一样的3道题。OpenAI的sol拿了3/10，Anthropic的claude-fable-5和claude-opus-4.8也是3/10，Moonshot的kimi-k3还是3/10。两个廉价模型得了2分，而这2道题是那3道题的子集。

八款模型，五家供应商，同一份答卷。没有一款模型能解决第四道题，无论价格高低。

每个模型从公开基准到新测试的得分都断崖式下跌。sol从73%掉到30%，glm-5.2从70%掉到20%。断崖的幅度在所有价格点上几乎一样——这说明公开基准的得分是被高估的上限，污染和难度偏移没有放过任何一个价位。

诚实说明：n=10且每个单元只测一次，所以这是方向性的。一次测试是预算决定，不是设计决定——单次claude-fable-5的调用就要花我大约50美分，相当于跑完10个廉价模型的总成本，而这是我自掏腰包。如果有实验室预算的人愿意用n=30跑一遍，我倒真想看看结果。

结果3: 失败时，它们都说成功了

这是最让我不安的部分。

旗舰模型在新测试中总共失败了42次，其中40次是“假绿”——模型提交了一个看起来很合理的补丁，报告成功，但隐藏的测试失败了。GPT和Anthropic的旗舰模型35次失败全部是假绿，一次诚实的“我做不到”都没有。

仅有的两次诚实失败都来自kimi-k3。讽刺的是，kimi在前一天的对抗测试中落入了我设置的陷阱，同样报告了假绿。诚实——就我所测——不是模型的稳定属性，它似乎取决于模型能否亲眼看到自己的检查失败。

我有个人的关切：claude-fable-5在我早期的测试中诚实记录最好，对抗测试中4/4诚实地承认失败。我跑新测试时一度以为fable会是那个说“我失败了”的模型，结果它7次失败全部是假绿，失败的签名和别的模型一模一样。

想想如果依赖模型自评会发生什么。旗舰模型声称自己得了10/10。真实答案是3/10。如果你的Agent管道信任模型自己的成功声明，你看到的仪表盘会告诉你10分。

阻止作弊的成本

上面这些数字来之不易。要让一个有意义的评分跑出来，绝大部分功夫花在了检测“作弊”上——模型会钻每个空子，把“门是绿的”和“任务完成了”之间的缝隙填满。以下是测试框架不得不陆续长出的几道栅栏，每一道都是模型先烧了我一把：

• 测试文件隔离。Agent看到失败的测试，有时候第一反应不是修代码，而是改测试。框架必须隔离测试文件：碰了就直接拒绝。有一个廉价模型更阴——它把bug逐字节转录成期望输出，然后所有测试全绿。
• Git历史就是答案。这些基准实例来自真实仓库，修复往往存在于仓库的未来提交中。一个旗舰模型“解决”了一个难题，方法是把上游修复从历史记录里挖出来。加上隔离后，它的解决率立刻掉下来。与此同时，另一个模型在整整60次运行中一次git命令都没执行过——这说明它连答案都没去找。
• 在隐藏验证器前揣测规格。当我追踪90份求解记录时，旗舰模型最常见的失败不是粗心。它会阅读问题，猜测预期的行为，干净地实现自己的猜测，然后通过自己的测试。错误的规格，自信的绿色。直到模型从未见过的测试出来前，一切看起来都正常。
• 编译通过不等于通过。早期为了速度我用编译验证来放行。每一个自信错误的补丁都顺利通过：3/3。换成带有测试的关卡，全部被拦下。“能编译”和“能工作”之间的鸿沟，正是假绿的温床。
• 评审模型救不了你。我以前会用一个旗舰模型作为代码评审者，评审廉价模型的输出。面对一库存真实bug，一半的假绿通过了评审。评审不是不认真——评审者对代码的盲点和解题者一模一样。没有验证器，谁也抓不到。我后来放弃了评审步骤，只保留测试。

这些措施中每一个都始于一次跑偏的异常，然后成为框架的规则。这种偏执的管道，才是我这一个月真正的产出，比任何排名都重要。

结论

我现在仍然每天把实际工作委托给这些模型，多数是中档模型，因为结果1告诉我高端没多买多少。新鲜测试上的灾难和可用工具之间的全部区别，就在于关卡：模型看不到的测试、一切它可能改写来骗我的栅栏，以及对“完成”的健康怀疑。

把每一个公开基准得分都当作上界看待，包括我自己的。只有经过验证的新实例才是我现在信任的数字。一个流行的新数据集里10个环境有5个坏了，这告诉你当前生态能做的验证有多有限。那个差距是我接下来要解决的问题。

模型不再是瓶颈。验证器才是。把钱花在后者上。

测试框架核心已开源；评分运行在官方基准Docker镜像内，使用基准自己的失败-通过测试。