作者：苏晚解码快 3 倍，端到端只快 1.5 倍：VLM 推测解码 DSpark 的账怎么算
Liquid AI 给 LFM2.5-VL-3B 配了 280M 的专用草稿模型，llama.cpp / MLX-VLM / SGLang 首日支持。解码最高提速 3.13 倍，但端到端最低只有 1.30 倍——差距卡在 prefill 和视觉编码上。本文拆解三套硬件六个任务的实测数据、接受长度这一列说明了什么，以及什么场景下值得上。
本文编译自 Liquid AI 团队发表在 Hugging Face Blog 的《Accelerating vision-language models with LFM2.5-VL-DSpark》（2026 年 9 月 24 日），原文地址：https://huggingface.co/blog/LiquidAI/lfm2-5-vl-dspark 。文中数据与命令均出自该文及其配图。
Liquid AI 给它的 30 亿参数视觉语言模型 LFM2.5-VL-3B 配了一个专用草稿模型 LFM2.5-VL-3B-DSpark，把推测解码（speculative decoding）从纯文本场景搬到了看图的场景里。原文把这个草稿模型明确称作「实验性的 DSpark 草稿模型」（an experimental DSpark draft model）——它目前是实验性发布，不是稳定版本，下面所有数字和部署建议都要放在这个前提下看。宣传口径是解码环节最高提速 3.13 倍，代价是多加载 2.8 亿参数——相对 3B 的主模型只多出 8.9%。llama.cpp、MLX-VLM、SGLang 三个推理框架首日即可用。
这组数字看着很漂亮，但它有一个必须先说清楚的前提：3.13 倍是解码环节的倍数，不是你实际等待时间缩短的倍数。同一张表里，端到端的最好成绩是 2.62 倍，最差只有 1.30 倍。这中间的落差不是宣传注水，而是 VLM 这类模型的结构决定的。理解这个落差，比记住那个最大值有用得多。
一、推测解码搬到视觉模型上，为什么几乎没改算法
推测解码的基本盘是：用一个小得多的草稿模型一次性猜出接下来 k 个 token，再让主模型一次性验证这 k 个猜测，对的部分直接留下，错的部分丢掉重来。主模型原本要跑 k 次才能吐出 k 个 token，现在一次就能确认好几个，省下的是访存往返。
DSpark 的草稿模型并不是独立重新理解输入，而是从主模型固定的若干层上取出隐藏状态（原文称为 tapped layers），以此为条件去起草一个 k 个 token 的块。关键在于 LFM2.5-VL 的结构里，图像 patch 和文本 token 在进入这些层之前就已经被投影到同一个表征空间，维度完全一致。这意味着草稿模型拿到的永远是同一种形状的隐藏状态向量，它根本不需要知道上游是一张图还是一段文字。
所以原文那句结论才成立：推理算法和纯文本版的 DSpark 相比没有任何改动。视觉能力是在主模型里解决的，草稿模型只负责在隐藏状态上做外推。这也解释了为什么这套东西能在三个框架上同时首日支持——它没有引入新的算子，只是多挂了一个小模型。
主模型（左）处理图像 patch 与文本 token 后，通过 KV 注入把状态传给草稿模型（右）；草稿模型先并行出块、再经序列块与硬件感知的前缀调度器给出候选，最终由主模型逐个判定 keep 或 drop——图中四个候选里三个被保留、一个被丢弃。图片来源：Liquid AI / Hugging Face Blog
二、草稿模型是怎么搭出来的
训练用的是视觉—语言 SFT 数据混合，配比向团队预期的实际负载倾斜。架构上做了 3 层、4 层、5 层的消融实验，最后选了 4 层的纯注意力（attention-only）草稿模型，块大小 9。在最终数据混合上跑了 10 个 epoch，每个 epoch 后都测一次接受率，接受率随训练 token 增加而提升，直到收益递减为止。
成品约 2.8 亿参数，使部署时的参数量增加 8.9%。推理阶段官方建议块大小取 8 或 9，具体看硬件。
这里有个容易被忽略的工程含义：8.9% 的参数增量在显存充裕的服务器上无所谓，但在端侧是实打实要占内存的。一个 3B 模型加一个 280M 草稿模型，意味着你的内存预算要按 3.28B 来算。对于卡在内存上限边缘的设备，这笔账要单独算。
三、三套硬件、六个任务的实测数据
评测遵循 MMSpec 基准，覆盖六类任务：通用 VQA、文字 VQA（TextVQA）、图像描述（COCO）、图表 VQA（CharXiv）、复杂推理（MMMU-Pro）和多轮对话。两种配置的块大小都固定为 8。
端侧部分：
| 硬件 / 框架 | 解码提速 | 端到端提速 |
|---|---|---|
| Apple M5 Max + MLX | 2.30x ~ 3.13x | 1.56x ~ 2.62x |
| Apple M3 Ultra + llama.cpp | 1.57x ~ 2.14x | 1.30x ~ 1.77x |
| NVIDIA H100 + SGLang | 约 2.04x ~ 2.66x | 1.64x ~ 2.27x |
（关于 H100 一行：原文正文写的是「20.4x to 2.66x」，这个区间下限明显是笔误——配图里 H100 各任务的解码倍数落在 2.04 到 2.66 之间，multi-turn 一行正是 2.04x。此处按配图取值。）
逐任务看更能说明问题。下面把配图里三套硬件的端到端倍数并排列出（括号内为解码倍数）：
想了解 AI 如何助力您的企业？
免费获取企业 AI 成熟度诊断报告，发现转型机会
