参数高尔夫挑战赛的启示

OpenAI推出参数高尔夫（Parameter Golf）挑战赛，旨在激发机器学习社区在全新约束条件下探索问题。参赛者需在16MB工件限制（含模型权重和训练代码）及8块H100上10分钟训练预算内，最小化FineWeb数据集的留出损失。OpenAI提供了基线、数据集和评估脚本，方便参与者复刻仓库、改进模型并通过GitHub提交结果。

八周内，比赛共收到来自1000多名参与者的2000多个提交作品。从精调优化器到量化技术，从新模型思路到测试时训练，参赛者展现了技术广度、创造力和规则边缘的探索。

比赛中一个最令人兴奋的现象是AI编码智能体被广泛使用。智能体降低了实验成本，让更多人轻松参与，改变了竞赛节奏，同时也为提交审核、归因和评分带来新挑战。

比赛也成为OpenAI发现人才的重要渠道——开放式的技术挑战能揭示非凡的机器学习品味和毅力。

技术亮点

OpenAI对记录赛道排行榜上的每个提交进行了独立复现和验证，确保其提交时确实打破了纪录。以下主题尤为突出。

训练优化

最强的结果来自对现有组件的精细调校。例如，@notapplica 结合了多个已有成果，通过Muon权重衰减、谱嵌入初始化、残差混合调度和编译评估，让更深层模型奏效。

量化

多个提交在压缩和导出方面取得突破。#414 使用GPTQ-lite训练后量化权重，首次在排行榜上成功运用该技术。#1060 扩展到全Hessian GPTQ，增强了压缩路径。

测试时与评估策略

有些提交模糊了模型改进与评估策略的界限，这些方法虽在规则允许范围内，但需要组委会仔细审核。例如 #77 采用“先打分、后适配”的逐文档LoRA测试时训练。#1019 从训练模型生成标定文本，再利用激活值构建GPTQ Hessian矩阵。

新模型与数据思路

多个提交引入了极具创意的模型或数据方案。#1729 发明了CaseOps分词器。#265 提出了高效的偏序独占自注意力方法XSA。#65 引入了SmearGate和BigramHash特征。#1204 实现了mini深度循环，是首个成功应用循环层的排行榜提交。

OpenAI从中精选了9个提交，因为它们体现了挑战赛期望涌现的多样性：有人靠精细调参获胜，有人推动量化和低秩技术，有人探索评估规则边界，还有人从文献或原创中引入模型或数据思路，带来意外提升。

非记录赛道

非记录赛道孕育了许多创意提交，OpenAI挑了15个最爱，涵盖非自回归文本建模、动态分词等方法。该赛道更注重技术趣味而非原始性能，例如三个特别突出的提交。尽管如此，非记录赛道仍然具有竞争力：一半提交超越了基线（1.22 BPB），最佳提交达到1.12 BPB。这说明即使在强大Transformer基线面前，替代方法有时也能与主流架构抗衡。OpenAI认为，强大的编码智能体让这类赛道受益匪浅——实验原型成本大大降低。

经验总结

参数高尔夫与以往竞赛的最大区别在于编码智能体的广泛使用。绝大多数参赛者都提到使用了智能体。这降低了参与门槛：实验设置更快，代码检查更易，想法测试更少摩擦。RunPod赞助的100万美元算力也让更多人能参与。

但同时，智能体使用也带来了提交和评分的新问题。许多提交是对现有高分结果的微小改动，而非根本性创新。这常有益处：好想法快速传播并被优化。但也产生噪声：当不符合比赛规范的提交产生异常高分时，其他智能体可能复制这些思路继续沿错误方向走。

提交数量之巨也改变了比赛运行方式：不可能人工审核每个提交并维持排行榜更新。比赛期间，OpenAI开发了内部基于Codex的分类机器人，监控新提交并标记以供人工审查。这在每天收到数百个提交时尤为重要。

AI智能体也成为社区的一部分。一段时间里，@notapplica 与他的智能体运行“实时更新”公告，跟踪重大事件，解释排行榜方法，帮助其他参赛者跟上节奏。社区审核工具也帮助经验不足的参与者检查提交是否符合规则，避免常见无效方法。

下一步

OpenAI的首要目标是发起一场符合资格的参与者能够参与并体验机器学习研究的挑战。参数高尔夫吸引了广泛的技术强项和创意提交，也让OpenAI更清晰地看到，随着AI智能体能力增强和普及，开放研究竞赛可能会如何演变。