百度开源文心5.5 Flash基座模型

百度正式发布开源权重稀疏混合专家（MoE）大语言模型 ERNIE-5.5-Flash-Base。根据官方公告，该模型总参数量达 2800 亿，每个 Token 仅激活 140 亿参数。

本次开放的权重为预训练阶段结束时的检查点，尚未经过中期训练或后训练。百度将其定位为领域适配、指令微调以及强化学习研究的基础模型。百度文心团队表示，面向对话调优的后训练版本随后推出。

面向效率设计的架构

该模型完全从零开始预训练，训练语料达 33.5 万亿 Token，预训练上下文长度达 12.8 万 Token，微调与推理阶段最高可支持 100 万 Token 上下文。

在架构设计上，模型共包含 43 层，其中 37 层采用了压缩注意力机制（每 128 个 Token 的区块存储一条缓存条目）。绝大多数网络层从 512 个专家中路由选取 10 个专家，并搭配 1 个共享专家。百度强调，团队自设计伊始就将效率列为核心目标。

在官方评测中，该模型在多数基准测试中领先于同类基座检查点，其 MMLU 得分为 93.3，HumanEval+ 得分为 82.3，但在 FullStackBench 和 InfiniteBench 上略有落后。目前尚无第三方独立评测数据发布。

获取方式与硬件门槛

目前该模型权重已上线 Hugging Face，提供 FP8 与 BF16 safetensors 两种格式。开发者可通过补全 API 使用 vLLM 和 SGLang 部署该模型，百度还发布了支持后训练版本的 vLLM 插件。

该模型的部署与微调需要极高的硬件算力：仅 FP8 格式权重就达约 288 GB，NVIDIA 提供的全量微调配置方案则需要包含 4 块 GB300 GPU 的 16 节点集群。

协议限制与商用条款

模型遵循百度的专属许可协议，授权范围排除了欧盟、英国和韩国。非商业用途完全免费；年相关收入不超过 5000 万美元的商业用户需向百度提交单次通知并标注“Powered by ERNIE”；超出该营收规模的企业则必须提前取得百度书面授权。此外，协议明确禁止使用该模型或其生成内容改进非相关 AI 系统，这意味着知识蒸馏将受到严格限制。