Ai2发布超大MoE训练引擎Olmo-core 3

专注于开放人工智能研究的 Allen Institute for AI（Ai2）正式发布了新一代大模型训练基础设施 Olmo-core 3。该版本专为超大规模混合专家模型（MoE）的分布式训练而设计，在通信效率、并行策略和工程易用性上进行了全方位重构。

随着 MoE 架构在业界的普及，稀疏激活模型已成为大语言模型兼顾参数规模与推理成本的核心路线。然而，超大规模 MoE 的训练长期面临着跨节点全互连（All-to-All）通信瓶颈与工程实现复杂的双重挑战。Olmo-core 3 的推出，旨在为开源社区提供一套高效、透明且高度可扩展的生产级训练底座。

深度优化混合专家并行

训练千亿甚至万亿参数规模的 MoE 模型，核心在于如何平衡计算与通信载荷。Olmo-core 3 提供了现代化的混合并行方案：

• 高效专家并行（Expert Parallelism, EP）：针对稀疏路由导致的动态负载不均衡问题，系统对 Token 分发与合并（Dispatch/Combine）进行了专门优化，显著降低了跨节点通信等待时间。
• 多维并行策略协同：支持将专家并行与 PyTorch 的 FSDP2（全分片数据并行）、张量并行（TP）以及流水线并行（PP）深度融合，研究团队可根据集群硬件拓扑灵活构建最优并行拓扑。
• 计算与通信重叠：通过细粒度的异步流控制，在执行专家前馈网络（FFN）计算的同时隐藏路由通信开销，大幅提升模型计算利用率（MFU）。

拥抱 PyTorch 原生生态

与以往严重依赖定制化 C++ 扩展或重度修改第三方底层的框架不同，Olmo-core 3 坚持“原生 PyTorch 优先”的设计理念：

• 原生编译加速：深度集成 torch.compile，利用 Triton 自动生成高效内核，在保持极高吞吐的同时彻底移除了复杂的外部编译依赖。
• 先进注意力机制：原生集成对 FlashAttention 及 PyTorch FlexAttention 的支持，能高效处理长上下文窗口，并轻松适配各类自定义注意力掩码模式。
• 高模块化设计：架构解耦彻底，模型结构定义、分布式通信编排与底层训练循环相互独立，研究人员可像编写标准 PyTorch 代码一样快速调试和定制算法。

超大规模集群的高可用与容错

在数千张 GPU 构成的超大集群上进行长时间预训练时，节点故障与性能抖动是不可避免的工程现实。Olmo-core 3 在底层稳定性上做出了针对性设计：

• 非阻塞异步检查点：支持将模型与优化器状态在后台异步存入分布式存储，将原先长达数十秒的保存等待压缩至毫秒级，避免昂贵算力资源闲置。
• 极速故障恢复：优化了海量权重分片的快速加载机制，确保节点在故障重启后能够迅速拉齐状态并重新投入训练。
• 灵活的基础设施适配：全面兼容公有云环境与超级计算集群，同时针对 InfiniBand 和 RoCE 网络进行了专门的通信调优。

推动开放透明的 AI 研究

长期以来，超大规模 MoE 的完整训练实现往往局限于少数科技巨头内部。Ai2 通过 Olmo-core 3 贯彻了彻底开源的承诺：除开放框架核心代码外，还将陆续公开完整的训练配方、超参数配置与训练日志。

这一工具的开源，消除了学术界与独立研发团队探索前沿 MoE 架构的关键技术门槛，为推动完全透明、可复现的大模型研发提供了重要基础设施。