NeoMME 拆解：单塔多模态编码器如何把视觉 RAG 索引压到每页 6 KB

真正让这个训练目标有工程价值的是数据效率。作者披露：NeoMME 每个 size 预训练用了约 5240 亿 packed tokens，其中纯文本占 2900 亿；相比 ModernBERT 的 2 万亿训练 token 预算，只有大约四分之一到七分之一。所以他们没有走 AdamW，而是选了 NorMuon —— 一个更新的、专门以数据效率见长的优化器。

这条选择传递的信号很清楚：多模态编码器这条赛道，接下来的胜负手不是「谁能烧更多 token」，而是「谁能用更少的 token 学到更多」。 训练文本预算被压到 1/4，需要靠优化器和目标函数两头补，masked diffusion 的高掩码率区间就是补目标那一头，NorMuon 是补优化器那一头。这套组合出来的模型，260M 参数在 ViDoRe v3 上打到 0.523，比 ColQwen2.5（3.75B）低 0.001，参数少 14×——同样任务上，「小而专」再一次赢过「大而全」。

图说：ViDoRe v3 上 nDCG@10 与模型规模的关系，NeoMME 260M / 800M 位于帕累托前沿。图片来源：Hugging Face / H Company

这张图的坐标轴一定要盯清：横轴是对数尺度的模型参数量，纵轴是八任务平均 nDCG@10。NeoMME 260M 那个紫色点站在图的最左边，纵坐标却和右上角 3~8B 那一堆挤在一起。作者标注了它相对 dense-only 版本的提升是 +0.132——也就是说，late-interaction 头本身给这个 backbone 加了 0.132 的分。这提示了一件事：backbone 的容量瓶颈没那么紧，架构改动带来的收益空间还很大。

双头设计：一次前向拿到 dense 和 late-interaction

NeoMME-Retriever 在 backbone 上加了两个联合训练的检索头：

• Dense 头：对 backbone 隐藏态做 mean pooling，出一个归一化向量。ANN 检索直接用它，兼容当前所有主流向量库。
• Late-interaction 头：把每个 text token / image patch 的隐藏态投影到 128 维归一化向量，保留细粒度匹配。作者引用了 ColBERT 提出者 Omar Khattab 的说法：「late-interaction」这个术语比「multi-vector」更准确，因为它描述的是打分函数的粒度和可学习性，不只是「存了多少个向量」。

工程上真正省事的是：一次前向同时返回两种表示。生产上常见的架构是「dense 召回 + late-interaction 精排」——用 dense 从百万级候选里筛出 top-100，再用 late-interaction 做精细比对。如果这两种表示要跑两次 forward pass，索引成本翻倍；NeoMME 一次搞定，且这两种表示是联合训练出来的，天然对齐。

对已经在跑 dense-only ANN 检索的团队，这意味着一次可控的升级路径：先切换到 NeoMME 的 dense 索引（存储和查询接口都不变），然后把 late-interaction 索引作为 rerank 层挂在后面，逐步替换掉现有的 cross-encoder rerank。整个演进不用大改基础设施。

吞吐：把「重新索引一遍」从月计变成周计

企业 RAG 系统一个很少被写进技术博客的隐形成本，是重新索引。模型升级要重索引，schema 变更要重索引，评估集刷新要重索引。100 万页的语料，如果编码速率是 10 页/秒，重索引就是 27 小时的 GPU 时间；如果是 50 页/秒，就是 5.5 小时。这个差距落到迭代节奏上，是「一个季度换一次模型」和「一个月换一次模型」的差距。

图说：不同编码器在 L40S 单卡上的文档编码吞吐，NeoMME-260M 在 768 分辨率下达 368 pages/s。图片来源：Hugging Face / H Company

作者报告了 NeoMME-Retriever 在 L40S 上的吞吐：260M 模型在 2048×2048 输入下 51 pages/s，是 ColModernVBERT 的 2 倍；768 分辨率下能拉到 368 pages/s。800M 模型在 2048 下 22 pages/s，同样比同规模的 VultronRetrieverFlash-0.8B 快出一档。上面这张柱状图把这个差距摊得很清楚：左边两列是 NeoMME，柱形明显比右侧其他模型高出一到两个数量级；越是需要高分辨率保住表格/图表细节的场景，这个吞吐差距越致命。

给中国团队的落地建议

结合国内实际情况，这个模型有几条比 blog 里更值得强调的落地点。

第一，多语种是「原生」不是「补丁」。作者从零训了一个 131K vocab 的 BPE 分词器，训练语料包含多语种文本、代码、数学和机器生成的图像转录。中文文档（合同、财报、公文、临床病历）大概率 day-1 就能用，不需要像很多英文优先的 encoder 那样额外做中文 continue-pretraining。

第二，Apache 2.0 许可、Transformers day-zero 支持。这意味着可以直接商用、无需授权谈判，也不用等社区把它 wrap 成 Sentence-Transformers 接口——官方已经放出 dense 和 late-interaction 两份独立的 ST checkpoint，用现有 Sentence-Transformers v6 训练脚本就能微调，跟你现在跑 BGE-M3 或 GTE 的 pipeline 打法一样。

第三，视觉 RAG 在国内高价值 PDF 场景是硬需求。银行的授信报告、律所的合同底稿、医院的检验报告、券商的研究报告，共同点是「版面即语义」：表格结构、公章位置、印刷体和手写体的混排、图表和正文的关联，是 OCR + 文本切块永远还不了的债。以前这个方向的落地卡在存储成本，现在这条卡点被 255× 压缩摘除了。

第四，别急着上 800M。作者自己也在结论里说得很克制：260M 在 800M 参数以内是最优选，且和 3.75B 的 ColQwen2.5 差 0.001 nDCG@10。除非你的 corpus 复杂度确实撑得起 800M（多语种混排、多版式、专业术语密度高），先跑 260M 版本、把整条 pipeline（索引、精排、生成）搭通再看瓶颈。

如何评价这份工作

这不是一次范式革命。视觉 RAG 的方法论（ColPali 的 page-image approach、late-interaction 打分）都不是 NeoMME 首创；单塔多模态编码器也不是新概念。NeoMME 的价值在于把三件已经被人拆开做过的事凑成了一个可用的成品：单塔架构、masked-diffusion 训练、层次化池化 + 非对称量化压缩。凑齐之后，视觉 RAG 从「精度上说得过去、账上算不过去」变成了「精度和账都能过」的方案。

值得盯的下一步是两条：其一，作者提到「作为两个朋友的支线任务，用了有限的时间和算力」——如果 H Company 后续投入更多资源做 1B / 3B 规格，帕累托前沿会继续被推动，尤其是精度上限那一头；其二，late-interaction 的存储压缩既然可以到 255×，反过来问，是不是可以拿多出来的存储预算换更高的检索质量（比如更细的 pool factor + 更高的分辨率输入）？这条曲线的另一端还没被充分探索。

对做企业检索系统的团队，短期最实用的动作是：拿 260M-Retriever 挑一个自己业务里最头疼的 PDF corpus，跑一遍 ViDoRe 之外的真实数据，把这条压缩前沿曲线在你的 corpus 上重画一遍——因为不同 corpus 的 pool factor 和量化容忍度都会不一样。真金白银的采购决策，最后还是要落到自家数据上。