百度开源文心5.5 Flash Base，多基准刷新同尺寸SOTA

11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。

该模型采用 MoE 架构，总参数量达 2800 亿，每个 Token 激活 140 亿参数，基于 33.5 万亿 Token 完成预训练。模型预训练上下文长度最高达 128K，微调与推理阶段可支持最长 100 万 Token 上下文。在知识、推理、数学、代码、多语言及长上下文等多个基准评测中，文心 5.5 Flash Base 取得了同尺寸模型的 SOTA 表现，超越了 DeepSeek-V4-Flash-Base 等竞品。

Hugging Face 开源地址

随着大语言模型应用从短文本问答向长文档分析、多轮交互和 AI 智能体任务延伸，计算与显存开销急剧上升。文心 5.5 Flash Base 围绕“效率”主线，在注意力机制、专家路由及训练范式等维度进行了深度重构。

在注意力机制方面，团队提出 Latent-Gated Sparse Attention，融合了混合稀疏注意力、低秩门控注意力与虚拟头注意力机制。模型组合 HCA 与 MLA，让不同注意力层分别负责历史信息压缩与细粒度检索；低秩门控注意力利用已有低维表示计算门控，减少了 75% 的门控投影权重参数；虚拟头注意力（VHA）则在增强表达力的同时，推理阶段可直接融合进注意力算子，计算开销极低，显著降低了长上下文处理的资源消耗。

在专家路由设计上，模型引入 Multi-Router Latent MoE。由多个独立路由器协同参与专家选择，修正了路由评分与专家实际效用之间的偏差，在保持激活专家数量、计算量和通信量不变的前提下改善了模型表现。

在训练目标方面，团队设计了 ECHO 机制。该方案无需额外挂载 MTP 模块（Multi-Token Prediction），而是直接复用主干最后一层学习预测后续 Token，驱动主干自主规划序列走向，强化了推理和代码生成能力。文心 5.5 Flash 仅采用单步 ECHO 预训练，复用的最后一层还能在投机解码中充当草稿模型，多步起草质量明显优于传统外挂辅助模块。

针对算力基建，百度对分布式 Muon 优化器进行了改进，并推出适配大 head dim 的注意力算子 FlashMask-4，进一步优化了大规模分布式训练中的通信效率、显存占用与计算吞吐。

作为开放的基座模型，文心 5.5 Flash Base 为开发者和企业提供了更灵活的下游微调与定制基础，有助于降低垂直场景模型的开发成本，为社区提供更具拓展性的技术支撑。