上海交大邓志杰详解扩散语言模型：突破生成速度与质量瓶颈

人类在写作时往往伴随着整体构思、局部推敲和反复修改。一句话中的用词，既取决于前文，也受制于后文。这种非线性的创作逻辑，启发了新一代大语言模型架构的探索——文本生成是否也可以在多个位置同时展开，再逐步细化补全？

在 CNCC 大会上，上海交通大学副教授邓志杰以“扩散大语言模型方法及应用”为题，围绕“如何在保证生成质量的同时显著提高生成速度”展开了系统分享。

语言生成在多个位置同步展开

自回归模型通过链式法则，依赖标准因果解码依次预测下一个 Token。掩码扩散模型则打破了这一限制：它先对序列中的不同位置独立进行随机掩码，通过学习反向恢复过程，根据上下文预测缺失内容。

在推理阶段，模型每轮预测所有掩码位置，但仅选择高置信度的一部分提交，其余位置留给后续迭代。LLaDA 将这一路线扩展至 8B 参数规模，展示了生成能力随算力扩展的 Scaling Law。另一种路线是 Dream，它直接复用已有自回归模型的权重，将注意力结构从因果转为双向，再通过继续预训练转换为扩散模型，大幅降低了训练成本。

从块内并行走向跨块并行

评价扩散语言模型的效率，核心看每秒生成的有效 Token 数量（TPS）。早期扩散模型面临难以复用 KV 缓存、文本长度受限两个问题。

为了解决这些瓶颈，Block Diffusion 采用了“块内扩散、块间自回归”的方式。但在这种设定下，跨块的信息无法同时生成。为此，研究团队提出了 D2F（Discrete Diffusion Forcing）机制：前面的块噪声低、信息完整，后面的块噪声高，多个块同时去噪。完成的前序块直接存入 KV 缓存，大幅减少重复计算。

针对 D2F 训练与推理不一致的问题，团队进一步提出 MultiBD（多块扩散）。配合固定物理槽位的 Block Buffer 推理引擎，在两张 NVIDIA H100 GPU 环境下，MBD-LLaDA2-Mini 达到了约 746 TPS 的生成速度。

后训练优化与前瞻推理加速

提高并行度容易在早期上下文不足时引发误判。为此，团队研发了两种后训练方法：

1. Consistency Force (CForce)：利用后期更充分的预测指导早期预测，建立阶段间的监督对。在两张 H20 GPU 上，该方法在 GSM8K 和 HumanEval 任务上分别测得约 1232 和 1353 TPS。
2. LightningRL 强化学习：将答案正确性与生成并行度（每次前向计算提交的 Token 数 TPF）同时纳入奖励函数。在 GSM8K 上，准确率从原始 71.2% 提升至 87.5%。

在免训练的推理优化方面，Fast-dLLM 结合了近似 KV 缓存与基于置信度的动态解码，在单张 A100 上将推理速度提升至 54.4 TPS。LoPA 则进一步引入“前瞻一步”策略，在分布式 GPU 上并行验证多个候选路径，单样例请求生成速度达到了 1073.9 Token/s。

拓展至视频、语音与 AI 智能体

多块去噪的思路正在向更多模态迁移：

• 流式视频生成：通过 WaveForcing 机制，让不同视频块处于不同去噪阶段，端到端生成速度突破 150 帧/秒。
• 语音修复：TIMUSE 结合文本扩散模型恢复受损语义，再结合声学信息重建声音，兼顾了语义准确度与音色还原。
• AI 智能体：LLaDA 探索了在工具调用反馈中执行删除、插入与重写等局部编辑能力，为复杂交互场景带来了新的建模可能。