Meta突破Token瓶颈：字节级模型蒸馏让准确率上限提升4%

在大语言模型领域，Token（词元）一直被视作不可或缺的基本建模单元。但这一惯例正在受到挑战。

来自 Meta FAIR 与华盛顿大学的研究团队在最新论文《突破 Token 天花板：蒸馏出更小、更强的字节模型》中提出了一种新思路：将模型蒸馏的学习单位从词元切换为字节（Byte），让学生模型直接从字节级的概率分布开始学习。

字节级蒸馏示意图

以 Llama 3-8B 为教师模型的实验表明，随着训练计算量的增加，字节级蒸馏能够反超传统的 Token 蒸馏，下游任务平均准确率上限高出 4 个百分点。

缩放定律表现对比

传统 Token 蒸馏的瓶颈

模型蒸馏通常让小模型（学生）学习大模型（教师）在庞大词表上的输出概率分布。然而，现代开源大模型的词表规模极其庞大。以 Llama 3-8B 为例，其词表包含 128,256 个 Token，这意味着每个生成位置都对应十多万个候选概率。

在离线蒸馏场景下，完整保存这一概率分布的存储成本高得惊人，工程实践中往往只能采用 top-k 截断保存部分概率。相比之下，一个字节由 8 个比特组成，基础取值仅有 256 种，其候选空间被压缩了数个数量级，使得完整保留输出概率分布成为可能。

传统蒸馏流程

不过，教师模型预测的是整词元，而学生模型预测的是逐个字节。为了让知识对齐，团队提出了两种将 Token 级概率分布转换为字节级分布的方案：Marginalize-It 与 End-Of-Token。

两种字节转换方法对比

两者的核心逻辑都是将教师模型对不同候选 Token 的概率，逐步分解至对应的前缀字节位置。

Marginalize-It（边缘化近似）：当候选 Token 长度不一时（例如前缀匹配完成后，某个较短候选 Token 已经结束），该方案直接放弃追踪结束 Token 的后续分布，对剩余候选重新归一化。该方法只需教师模型单次前向传播，效率很高，但代价是会丢失部分边界信息。
End-Of-Token（显式结束标记）：在每个 Token 末尾显式添加一个特殊终止符号。当解码到特定前缀时，学生模型既能预测下一个字节，也可以选择预测终止符号。这种方式完整保留了 Token 的边界与教师模型的概率质量，且同样只需教师模型单次前向计算。

实验表现与缩放潜力

研究团队以 Llama 3-8B 为教师模型，构建了参数量约 12.8 亿的 Transformer 骨干网络，对比了 Token 监督、字节监督、Token 蒸馏以及两种字节蒸馏共六组方案，并在选择题问答、语言生成及机器翻译等八项基准上展开了评测。

训练过程揭示出有趣的动力学规律：

早期效率 vs 远期潜力：在计算预算较低时，Token 模型收敛更快，但容易触及平台期；字节模型早期起步慢，但随着计算量与数据规模的扩展，展现出了更强的缩放潜力（Scaling Potential）。

训练过程缩放曲线

能力上限显著提升：通过拟合训练计算量、每字节位移（BPB）与下游准确率的关系曲线，团队测算了各方案的性能上限。结果显示：传统 Token 蒸馏的平均准确率上限为 48.4%；Marginalize-It 为 50.5%；而保留完整边界信息的 End-Of-Token 方案预测上限高达 52.4%，超越了所有基线。

三种蒸馏方案准确率上限

大幅降低存储压力：在达到相当性能的前提下，End-Of-Token 所需的实际文本量约为 Token 方案的六分之一；在 Token 方案仅存 top-600 概率、字节方案保存全分布的情况下，数据与教师分布的存储量缩减至约 五分之一。

不过，该方案并非毫无代价。End-Of-Token 为每个词元增加了额外符号，序列长度有所增加，处理等量文本时的训练计算量高出约 30.94%，其在推理端的吞吐权衡仍有待进一步工程优化。

团队背景

该研究由华盛顿大学与 Meta FAIR 联合完成。论文第一作者为华盛顿大学博士生 Kalyani Marathe（师从 Luke Zettlemoyer）；主要贡献者还包括 QLoRA 与 Byte Latent Transformer（BLT）核心作者 Artidoro Pagnoni、Meta FAIR 研究科学家兼 Llama 3 预训练负责人之一 Mike Lewis，以及 NLP 领域知名学者 Luke Zettlemoyer 教授。