大规模复现 ICML 论文：超半数验证，23% 证伪

被证伪的论文

35 名参与者正式声称证伪了某些结论。Hugging Face 对每项证伪做了对抗性复核，以下为确认案例：

声称的鲁棒性从 H_k + O(1) 变成了 H_k + Θ(log k)。 前面那位审稿人没仔细检查的论文《Towards Optimal Robustness in Learning-Augmented Paging》声称算法鲁棒性为 H_k + O(1)。一位参与者的日志簿 测量到附加项按 0.38 ln k 增长，并定位了证明中出错的步骤。Hugging Face 团队重新实现并将 k 扩展到 1,024，确认增长显著（约 9 个标准差）。

定理在第 224 步之后失效。 论文《Attention's forward pass and Frank-Wolfe》声称当原点位于 token 粒子凸包内时，粒子会塌缩到原点。三个独立团队找到反例，最早出现在 t=224 步，另两个在约 3,800 和 6,416 步。这解释了为何其他团队“验证”通过——有限步检查停得太早。最干净的反例 用精确有理数表示，没有浮点误差的遮掩。作者当天确认并开始修复。

理论和代码使用了不同的损失函数。 论文《Self-Distillation Enables Continual Learning》的中心方程和整个理论部分分析的是反向 KL 散度，但发布代码的默认设置（作者称所有结果都来自该设置）计算的是前向 KL。发现问题的日志簿 在作者提供的代码和数据下，也无法复现论文宣称的 +4 个百分点结果。作者已在 arXiv 上传澄清版本。

评估被填充标记稀释。 在论文《Do Transformers Need Three Projections?》中，参与者发现 约 66% 的评估标签位置是 EOS 填充标记，这些位置训练到接近零损失，使困惑度被低估约三倍。修正后，摘要中“3.1% 质量代价换取 50% 缓存减少”实际上约为 9.4%。

也有错误的证伪。 一份日志簿声称“论文方法比基线慢 2 倍”，结果发现是复现代码中的算术错误：拿每轨迹时间与每 50 条轨迹的批处理时间比较。正确归一化后，参与者自己的数据反而验证了论文声称的 8 倍加速。

与作者沟通

Hugging Face 已开始联系被确认有问题的论文作者，附上全部证据。早期反馈非常积极：

目前，多位作者确认了发现，两篇 arXiv 更正正在进行。还有一位作者在挑战赛发现前一个月就已在新的 arXiv 版本中悄悄修正了错误——这可以视为独立收敛。

人类在其中的角色

这场挑战赛最耐人寻味的问题：人类在论文审阅中还有位置吗？Hugging Face 认为有。

纯智能体执行存在真实局限：智能体会陷入局部循环，会误读尺度相关行为（paging 论文中多个“已验证”就来自过早停止的检查），也会在单位不匹配的基础上构建整个证伪。最可靠的结果来自有人类参与的流程：及时调整智能体方向、质疑假设，或在浪费一周算力前判断实验前提是否错误。

有些评估暂时离不开人类。此次挑战赛的人机协作冠军 就是例证：论文声称极端量化下仍能稳定生成图像，数值指标显示“没有崩溃”，但图像是否真正可用是感知层面的问题。智能体搭建了专门的评审界面，人类亲自判断了全部 128 对图像，把标注提交到仓库，智能体随后验证标注的一致性。

人类审稿人的角色，或许可以概括为“有效管理智能”：像导师为研究生搭建良好环境那样，提供算力、工具、数据和关键反馈，然后让智能体去跑。表现最好的参与者，往往是构建了正确环境、提出正确问题的人。