Meta 刚发布的 Muse Wonder 在基准测试中表现抢眼,却在 3D 熔岩灯编程任务中仅生成红色圆柱体,引发社区对其“针对榜单过度优化”的质疑与马斯克围观。这一事件揭示出当前 Coding Agent 高度依赖明确反馈、评估框架差异以及分布外泛化受限等现实短板。
Meta 近日推出的 Muse Wonder 与 Muse Wonder Full 主打 Coding Agent、工具调用与长任务执行能力。官方公布的成绩格外亮眼,Wonder Full 在 SWE-Marathon 拿到 57.5 分,DeepSWE 1.1 达到 79.0 分,数据上足以与头部前沿模型并驾齐驱。
然而,开发者社区 BridgeMind 随后组织的一场 3D 编程测试却让该模型遭遇滑铁卢。测试要求 Muse Wonder 制作一盏具备透明玻璃外壳、动态熔岩和光照渲染效果的熔岩灯,结果模型最终只输出了一个粗糙的红色圆柱体。

社区随即质疑 Muse Wonder 存在严重的“Benchmaxxing”(针对基准测试过度刷分),指其在公开测试集上表现优异,面对非典型任务却迅速露怯。马斯克在相关讨论下意味深长地回复了一句“Hmm”,让这场争议进一步发酵。
Meta 首席 AI 官 Alexandr Wang 迅速回应称,团队并未针对 3D 演示类场景做显式训练,事后看或许应增加相关数据,但他依然建议开发者在实际场景中体验模型的编程能力。事实上,Meta 官方的 Model Card 中也注明,视觉与空间推理(尤其是 3D 任务)确为该模型的已知短板。
高分模型为何会在陌生任务中溃败?这让外界重新审视大模型的后训练方式以及当下 Agent 基准测试的真实参考价值。
Muse Wonder 的表现与当前行业依赖后训练(Post-training)提升 Agent 能力的范式密切相关。预训练阶段赋予模型通用的语言、代码与空间概念;后训练阶段则通过强化学习(RL),在具体任务环境中进一步固化其执行策略。
Coding Agent 尤为适合此类训练:给模型一个存在 Bug 的仓库,要求其定位缺陷、修改代码并跑通测试。整个流程拥有编译器、单元测试等明确客观的运行反馈,系统能清晰判断哪些操作成功并持续强化对应动作。长此以往,模型掌握了复杂的工程排障模式。

然而,3D 熔岩灯任务打破了传统编程环境的反馈逻辑。该任务涉及三维几何建模、透明材质计算和时间驱动的动态形变。即使代码没有语法错误、可以成功运行,画面也可能完全不对——例如透明度参数设错导致玻璃变实体,或缺少连续形变逻辑导致熔岩成静态色块。编译器和单元测试无法检出这些视觉层面的缺陷。
这意味着 Agent 必须接入视觉反馈链路:截取渲染画面、比对视觉误差、再逆向转化为代码调整指令。如果没有经过显式训练构建这一闭环,单纯增加推理时间或工具调用步数,往往无法自行解决空间几何问题。
这场争议还暴露了当前 Agent 评测的另一层复杂性:榜单分数已不再单纯代表语言模型本身的推理水平,而是整套工程系统的复合结果。
以 SWE-Marathon 这类长链路软件工程任务为例,最终完成度严重受到 Harness(运行框架)的影响。Harness 负责工具封装、上下文压缩、状态维护以及异常捕获。若 Agent 运行测试后产生数千行终端日志,劣质框架会把日志一股脑塞进上下文导致模型遗忘最初目标,而优秀的框架则会自动提取关键报错并维护断点。错误恢复机制与推理预算(Token 消耗量、候选采样数)也会直接左右最终得分。

在 Meta 披露的测试细节中,GPT-6 Astra 和 Claude Fable 5.1 分别搭载了各自专用的执行环境,且 Muse Wonder Full 取得的 57.5 分启用了超高档位(xhigh)推理预算。这意味着各家成绩并非在完全受控的统一变量下产生。
当系统调度、提示词框架与计算资源被压缩进同一个分数,外界很难剥离出模型真实的底层智力。
Meta 在技术报告中专门探讨了“可泛化能力”(Capabilities That Generalize),分析分布内(In-distribution)与分布外(Out-of-distribution)任务的差距。数据显示,基础模型越强,后训练带来的增益越容易迁移到陌生任务中。

但“陌生”本身存在梯度:从一个 Python 仓库换到另一个,仍处于相近的工程范畴;如果切换到不熟悉的图形 API,甚至要求在没有单元测试的环境中自行校验 3D 渲染画面,对 Agent 的泛化要求便发生质变。
一盏熔岩灯的建模失败,并不足以判定 Muse Wonder 存在刻意刷分行为,也无法否定其在常规软件工程中的进化。但它清晰地提示业界:面对结构化已知的基准测试,AI 模型正变得极度熟练;而在缺乏现成反馈、脱离原有分布的未知世界里,AI Agent 究竟具备多少独立作战的能力,依然需要更动态、多维的检验手段。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断