重构词表剪掉77%推理成本：VocabX专有词表定制技术解析

利用 Qwen 或 Gemma 等通用开源大模型做领域微调时，开发者通常直接沿用原装分词器（Tokenizer）。然而，通用词表本是为覆盖多语言、多场景而设计的妥协方案。直接在专有业务中使用，往往会引入隐蔽却高昂的推理成本。

在葡萄牙语作文评分系统的生产部署中，Dharma-AI 团队提出了一种名为 VocabX 的专有词表重构方案。在模型权重、训练数据与超参数完全不变的前提下，仅通过定制词表，就将生产环境的端到端推理成本削减了 77%。

通用词表的双重浪费：切片破碎与冗余庞大

主流大语言模型以 Token 为基本读写单元。通用词表由多语言代码、法律文书、网页等海量语料共同训练而成。对于面向特定垂类（例如固定格式的评分、合同提取或代码执行）的模型，通用词表会带来两个致命浪费：

第一是碎片化（Fragmentation）。模型频繁输出的高频模版（如固定的 JSON 结构、标准评估短语），在通用词表中会被生生切碎成十几个细小的 Token。每调用一次，模型就得逐一生成并支付相应的计算开销。

第二是词表冗余（Excess）。通用词表往往包含 15 万以上的词条。一个专门用于英文生物阅卷的模型，哪怕永远不会输出中文，也必须在每次解码生成时，由最后的 LM Head 输出层为那数万个从不用到的汉字 Token 计算打分（Logits）。对于 4B 级别的轻量级模型，LM Head 矩阵参数甚至能占到整机权重的近 10%。这些无用参数在显存受限的解码阶段反复搬运，白白拖累速度。

算清真实的推理账单：生成的代价远高于读取

优化分词不能仅看 Token 数量，必须看真实的硬件账单。

大模型推理分为两个阶段：

1. Prefill（预填充）：模型单次前向传播处理全部输入，计算受算力（Compute-bound）限制；
2. Decode（解码）：逐个 Token 自回归生成，每次前向传播都要重新读取权重与日益膨胀的 KV Cache，计算受显存带宽（Memory-bound）限制。

实测表明，在评分系统的典型并发环境下，生成一个 Token 的实际耗时成本是读取一个 Token 的 7.4 倍。如果只按全局出现频率去合并词表，而忽略了输入与输出端近乎 7 倍的成本差异，压缩效果就会大打折扣。

VocabX 如何重构专有词表

现有方案如快速词表迁移（FVT）或 Liquid AI 的原位词表扩展（in-place BPE），大都仅按频次筛选，且局限于单一子词（Sub-word）级别。VocabX 从三个维度打破了局限：

1. 以成本而非频次为导向：评估候选词条的收益时，直接将减少的 Token 数乘以其所处字段的单价权重（系统提示词、用户输入或模型生成）。生成端能消除的 Token，价值远高于输入端。
2. 双层结构挖掘（子词 + 宏词）：不仅在子词层重构切分规则，更在短语层引入宏词（Macro Token）。系统使用 5 类专用挖掘算法，精准捕获跨语料的长单词、整行文本、表达短语以及包含标点的 JSON 样板骨架。
3. 全局未采样候选的统计修正：大规模挖掘通常基于抽样集进行，低频但全局关键的模式极易漏检。VocabX 通过统计建模弥补采样死角，使得合同语料上的 Token 压缩率从 44.7% 进一步跃升至 52.8%。

真实业务指标：成本砍掉 77%，质量反而提升

在搭载 RTX 5090、运行 vLLM 的评测环境中，团队针对 Qwen3-4B 基座训练了 7 个不同词表版本：

• 平均生成长度从 350 个 Token 骤降至 101 个；
• 综合运行成本直接降低 77.0%；
• 业务准确率得分（兼顾评分精度与异常审查）不降反升，从 0.703 提高至 0.810。

在优化过程中，团队发现了一个关键经验：如果盲目追求极端压缩，将评分结果与外层 JSON 强行融合成单个宏词，由于模型需要单步决定“结构+分数”，评分质量反而会恶化。为关键决策预留独立的 Token，不仅能保住模型推理能力，整体响应依然比激进压缩版本更便宜。