大规模复现 ICML 论文：超半数验证，23% 证伪

7月，Hugging Face 举办了一场黑客松，超过 1,200 名社区成员带着各自的编程智能体，尝试逐条复现 ICML 2026 论文中的核心结论。短短 19 天内，参与者发布了 6,816 份 Trackio 日志簿，覆盖 2,226 篇论文，约占整个会议的三分之一。这可能是迄今对学术会议规模最大的一次复现实验。

论文增长已超出审稿能力

AI 研究的可复现性问题由来已久，但论文数量的爆炸式增长让它更加突出。ICML 2026 收到 23,918 篇投稿，接收 6,352 篇，数量近乎翻倍。审稿能力却没有同步跟上——审稿人大多是志愿者，既没时间也未必有能力仔细核对论文。一位审稿人对一篇最终被录用为 spotlight 的论文这样写道：

审稿人承认没有仔细检查证明的截图

“我的置信度很低，因为我没有仔细检查所有证明。”

这篇论文后来拿到了很高的分数和 spotlight 称号。后面会看到，当团队真正仔细检查证明时，发现了什么。

推动论文数量暴增的技术，也可能成为解决问题的工具。Claude Code、Codex、Cursor 等编程智能体现在可以读论文、写代码、跑实验、汇报结果。过去审稿人检查一篇论文可能耗时一个周末，现在智能体一个下午就能尝试完成，而且可以并行跑上千次。

Hugging Face 想借此回答一个问题：如果真正以大规模方式重新审视一场顶级会议，尝试复现每一篇论文，会发现什么？

挑战赛如何运作

7 月 15 日至 8 月 2 日，ICML 2026 开放复现挑战赛采用一套标准化流程：

选论文：主办方索引了全部 6,341 篇接收论文，抽取每篇的核心科学主张，让智能体从具体可检验的目标出发。
自带智能体：参与者使用 Claude Code、Codex、Cursor、OpenResearch 的 orx 等工具。系统提供统一接口，智能体用一条命令即可获取论文、主张和挑战说明。
复现并公开一切：每次运行生成一份 Trackio 日志簿，包含复现报告、代码、产物和完整的智能体执行轨迹。审计过程本身也必须可审计。

复现日志簿的结构：日志页面、智能体轨迹和产物

自动评审：一个基于开放权重模型 GLM-5.2 的日志簿裁判，对每条主张给出判定：已验证、已证伪、玩具级复现（规模缩小）或无法定论。

参与者每人获得 20 美元 Hugging Face 计算额度，在 HF Jobs 上运行实验，挑战期间共启动了 2,962 个云端任务。如果数据集或检查点未公开，参与者就在合成数据上做缩小版复现。

最终，1,221 人加入组织，发布 6,816 份日志簿，尝试复现 2,226 篇论文（占全会 34%），35,908 条主张获得判定，另外还发布了 274 份完整智能体轨迹数据集。

主要发现

汇总每篇论文的主张判定：

51%（1,103 篇）至少有一项主张被独立验证。 其中 266 篇所有主张均被验证，完全复现；632 篇部分复现但没有任何主张被证伪。
23%（496 篇）至少有一项主张被证伪或质疑。 包括 49 篇全部主张被证伪、无法验证任何结论的论文，以及 242 篇独立复现团队对同一主张得出相反结论的论文。可复现性不是非黑即白，而是对抗性的。
其余论文中，502 篇只有玩具级证据，280 篇无法得出明确结论（最常见原因是缺少代码或数据）。

经得起复现的论文

有论文经受住了严格检验。例如：

“Flat Minima and Generalization: Insights from Stochastic Convex Optimization” 被 20 个独立团队复现，其中 12 个验证了全部主张，链接的日志簿还公开了完整智能体轨迹。
“A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness” 的 17 份日志簿中有 14 份验证了所有主张。一篇讨论不可靠 LLM 裁判的论文，经受住了 LLM 智能体的审查。

被证伪的论文

35 名参与者正式声称证伪了某些结论。Hugging Face 对每项证伪做了对抗性复核，以下为确认案例：

声称的鲁棒性从 H_k + O(1) 变成了 H_k + Θ(log k)。 前面那位审稿人没仔细检查的论文《Towards Optimal Robustness in Learning-Augmented Paging》声称算法鲁棒性为 H_k + O(1)。一位参与者的日志簿测量到附加项按 0.38 ln k 增长，并定位了证明中出错的步骤。Hugging Face 团队重新实现并将 k 扩展到 1,024，确认增长显著（约 9 个标准差）。

定理在第 224 步之后失效。 论文《Attention's forward pass and Frank-Wolfe》声称当原点位于 token 粒子凸包内时，粒子会塌缩到原点。三个独立团队找到反例，最早出现在 t=224 步，另两个在约 3,800 和 6,416 步。这解释了为何其他团队“验证”通过——有限步检查停得太早。最干净的反例用精确有理数表示，没有浮点误差的遮掩。作者当天确认并开始修复。

理论和代码使用了不同的损失函数。 论文《Self-Distillation Enables Continual Learning》的中心方程和整个理论部分分析的是反向 KL 散度，但发布代码的默认设置（作者称所有结果都来自该设置）计算的是前向 KL。发现问题的日志簿在作者提供的代码和数据下，也无法复现论文宣称的 +4 个百分点结果。作者已在 arXiv 上传澄清版本。

评估被填充标记稀释。 在论文《Do Transformers Need Three Projections?》中，参与者发现约 66% 的评估标签位置是 EOS 填充标记，这些位置训练到接近零损失，使困惑度被低估约三倍。修正后，摘要中“3.1% 质量代价换取 50% 缓存减少”实际上约为 9.4%。

也有错误的证伪。 一份日志簿声称“论文方法比基线慢 2 倍”，结果发现是复现代码中的算术错误：拿每轨迹时间与每 50 条轨迹的批处理时间比较。正确归一化后，参与者自己的数据反而验证了论文声称的 8 倍加速。