NeoMME 拆解：视觉 RAG 索引 255× 压缩

Hugging Face 官方博客 Hcompany/neomme 上，Aurélien Lac 与 Tony Wu 发布了 NeoMME —— 一个 260M / 800M 双规格、原生多模态、多语种的编码器。作者把它形容为「两个朋友抽时间做的一次支线任务」，但读完这篇 blog，我更愿意把它当作 2026 年视觉 RAG（Visual RAG）系统一次值得停下来评估的重估：当每页文档的检索索引可以从 1.5 MB 压到 6 KB、同时保住 95% 的检索质量，我们过去用来推翻「把整份 PDF 变成图向量索引」这个想法的经济账，全部需要重算。

主线不是「又一个多模态编码器」，是 RAG 的存储账变了

作者把工程亮点写在了 TL;DR 里：ViDoRe v3 上 nDCG@10 达到 0.523（260M）与 0.556（800M），双双落在帕累托前沿；L40S 单卡上 260M 模型每秒能编码约 51 页，是 ColModernVBERT 的 2 倍；层次化 token 池化配合非对称量化，把 late-interaction 索引从每页 1.5 MB 压到 6 KB，压缩比 255×，检索质量仍保留 >95%。

这三条里，真正会改写行业成本模型的是第三条。

来算一笔粗账。企业 RAG 常见的规模是几十万到几百万页 PDF。以 100 万页为例：ColPali 类 late-interaction 检索的传统索引大约 1.5 TB，跑在 pgvector / Milvus / Qdrant 上都属于「必须单独规划存储层、还要考虑冷热分层」的量级；换到 NeoMME 的 6 KB/页方案，同样 100 万页的索引只需 6 GB，一台入门服务器的内存就能塞下。这不是「优化了一点」，是把 late-interaction 检索从「HNSW + 分布式向量库 + 分层存储」的复杂工程，压回到「单机内存索引」的复杂度。

过去两年，视觉 RAG（也叫 vision-first RAG、page-image RAG）在企业圈之所以雷声大雨点小，卡点从来不是精度而是账：一个部门的合同库、财务报告库、临床病历库随便就是几十万页，1 MB 上下每页的索引意味着数百 GB 起步。哪怕精度赢了 OCR + 文本切块 3~5 个点，采购决策者也很难签这笔账。NeoMME 的这条曲线，把这个账算穿了。

图说：NeoMME-260M 在 ViDoRe v3 上的压缩前沿——pooling factor 与量化组合下的质量/存储权衡曲线。图片来源：Hugging Face / H Company

看这张图的正确姿势不是找一个「最优点」，而是看这条前沿本身在往右下走多远。pool 10× / int8+int8 时 39× 压缩，nDCG 保留 99.2%；再往前拉到 pool 8× / int8 query + binary document 时 255× 压缩，仍能守住 95.2%。落到实际选型上，这意味着一个新的产品经理沟通话术：「你告诉我预算和精度容忍度，我告诉你在这条曲线上停在哪。」以前这条曲线是几乎躺平的一小段，现在被拉出了一整个数量级的可选空间。

为什么值得「再来一个多模态编码器」：三次架构瘦身

作者对现状的判断很直接：过去两年做视觉文档检索的主流路线，是从预训练好的多模态生成模型（VLM）拿来改。视觉塔（vision tower）出图像特征、投影层对齐文本空间、因果 LM 解码器处理拼接序列。但检索、分类、token 标注这类任务本来就不需要自回归生成——你为了排一份 PDF 用不上「下一个 token 是什么」这份能力，却付出了全部因果 LM 解码器的参数与算力开销。

沿着这条批评，作者把架构瘦了三层：

第一层，扔掉解码器。这是 ModernVBERT 早就做过的事：改用双向编码器堆栈，只保留 encoder 部分。

第二层，扔掉单独的视觉塔。ModernVBERT 还保留着预训练好的 SigLIP2 vision tower，图像通过它变成 patch embedding 再进入文本编码器。NeoMME 把这一步也砍了——图像被切成 32×32 的 patch，一个小 MLP 直接投影到 token 空间，和文本 token 一起进入同一个双向 Transformer。

第三层，扔掉两阶段预训练。整个 backbone 从零开始训，图像和文本共用完全一致的计算路径。

图说：双塔、VLM-as-encoder、ModernVBERT、NeoMME 四种编码器架构对比。图片来源：Hugging Face / H Company

这三次「减法」的直接工程好处不止是参数少了。图像和文本走同一条路，意味着 pretraining、fine-tuning、并行策略、推理服务框架都不需要再为「跨模态桥接」写额外代码——batching 更简单，profiling 更透明，蒸馏和量化的行为在两个模态上是一致的。做过 VLM 落地的团队都清楚，跨模态的 shape 对齐和 KV cache 管理，是常年出 bug 的重灾区。

不过把架构简化到「一根管子跑到底」也带来了一个非平凡的问题：训练目标怎么设计？作者选择的是遮蔽扩散（masked diffusion）。

遮蔽扩散：用有限的 token 预算学更多

NeoMME 的预训练目标是把它当成一个离散型遮蔽扩散文本去噪器（discrete masked-diffusion text denoiser）。对纯文本样本，掩码率从 [0, 1] 均匀采样；对多模态样本（图 + 文），掩码率上调到 [0.3, 1]，图像 patch 始终可见，模型必须把被遮住的文本重建出来。

作者解释了这个区间为什么这么设：低掩码率下，「The [MASK] sat on the mat」这种句子，模型光靠上下文语言先验就能猜出「cat」，图像信息形同虚设；高掩码率强迫模型抛掉语言先验，去看图。也就是说，这个 0.3 的下界不是随手写的，是刻意压掉「不学图、只学语言」的偷懒路径。