NeoMME 拆解：单塔多模态编码器如何压缩视觉 RAG 索引

Hugging Face 的 H Company 团队（Aurélien Lac、Tony Wu 等）于 2026 年 9 月 3 日在官博发布了 NeoMME——一族 260M 与 800M 参数的多模态多语言编码器。它不套 SigLIP2/CLIP 这种预训练视觉塔，也不接因果解码器，而是从零训练一个双向 Transformer同时吃文本 token 与图像 patch。发出来当天中文圈几乎没有系统解读，本文按堆栈简化、性能、索引压缩三个维度把技术报告的关键数字与工程含义整理清楚，并给出一份从 ColPali 系统迁移过来的现实检查表。

一、原来的视觉文档检索堆栈到底堆了什么

ColPali 打开视觉文档检索这条路之后，主流做法一直是"视觉塔 + 投影 + 语言模型"三段式：拿一个预训练好的 SigLIP2 或类似的视觉编码器出图像 embedding，用一个投影层把它映射进语言模型的 token 空间，再让一个因果解码器处理拼起来的多模态序列。ColQwen2.5-v0.2 用 3.75B 参数走的就是这条路，ModernVBERT 用 250M 参数走的是砍掉投影层但保留 SigLIP2 视觉塔的折中版。

四种视觉文档编码器堆栈对比：Dual-Tower、VLM as Encoder、ModernVBERT、NeoMME。图片来源：Hugging Face / Hcompany

四种编码器架构对照：从左到右分别是 CLIP 式双塔、VLM 借用式（ColQwen2.5）、ModernVBERT 的混合式，以及 NeoMME 的原生单塔。图片来源：Hugging Face / Hcompany

问题在于，检索、分类、token 标注这些下游任务本来就不生成文本，为它们扛着一个因果解码器纯粹是浪费——参数、显存、吞吐都要为一个用不到的自回归模块付账。NeoMME 的思路激进得多：既然不需要生成，就干脆不要视觉塔和解码器，从零训练一个双向编码器把两种模态的算力路径合成一条。

技术报告里给出的架构细节值得一条条读：图像被切成 32×32 不重叠的 patch，经一个小 MLP 投影后与文本 token 一起进 Transformer；上下文长度 16,384，足够放下两张 3840×2160 的 4K 图；大部分层用对称的滑动窗口注意力，每第 6 层加一次全局注意力，最后一层也是全局注意力；tokenizer 是从零训练的 131k 词表 BPE，语料包含多语文本、代码、数学和"机器生成的图像文字描述"，因此天然支持多语言。此外它还堆了几乎全套现代改良——GQA、QK-normalization、gated attention、2D RoPE、squared-ReLU MLP——这些改良在 ModernBERT 上已被验证过。

二、"掩码扩散"目标：预训练怎么让它同时看图与看字

不用视觉塔就等于放弃了 CLIP 那套图文对比学习积累下来的表征，怎么补回来？NeoMME 用的是离散 masked-diffusion 文本降噪：对纯文本样本，从 0 到 1 之间均匀采样一个掩码率，再按这个比例随机遮住 token 让模型还原；对多模态样本则把掩码率区间抬到 0.3–1，图像 patch 完全可见，让模型只靠图像重建被遮住的文本。

关键在于这个区间的下沿。低掩码率时模型可以纯靠上下文补出被遮的词（比如把 "The [MASK] sat on the mat" 补成 "cat"，根本用不上图），高掩码率则强制模型学会图像描述式的建模——只有把图看懂才能填出被抹掉的大段文字。整个预训练打包了约 5240 亿 token，其中 2900 亿来自纯文本样本，比 ModernBERT 的 2T 预算小很多，所以采用了对数据效率友好的 NorMuon 优化器。

这块中文圈之前几乎没人解释清楚过。国内做 RAG 落地的同学更多是"取一个开源 embedding 换上"，很少去追它是怎么被训出来的。理解这个目标函数很重要：它决定了这个模型在你实际的、不是官方 benchmark 里的文档上会怎么表现。学术图表和研报页面因为图文严格互相印证，通常能吃到掩码扩散的红利；而设计手册、含大量装饰性图的营销文档，掩码扩散给的信号会稀薄一些。

顺带对比一下和 CLIP 那条主流线的差别。CLIP 用图文对比学习，本质上要求模型学到"这张图对应这段说明"这种全局配对关系；masked-diffusion 则是学"给定图，补出这段被遮的具体描述"，粒度更细也更贴近文档检索的下游需求——毕竟检索本来就不需要判定"哪张图配哪段话"，而是要判定"这一段查询与这一页内容够不够像"。这也解释了为什么 NeoMME 拿掉视觉塔之后，在页面级检索上不但不掉分，反而在 300M 以下段位直接把 SOTA 抬了一大截。

三、性能：260M 参数逼近 3.75B 模型

预训练完 backbone 后，作者用 ColPali 的 page-image 方法微调出 NeoMME-Retriever，把 PDF 的每一页当整张图索引，跳过 OCR，把版式、图表、字号这些视觉线索全保留在向量里。retriever 加了两个联合训练的头：dense 头对 backbone 隐藏态做均值池化出一个归一化向量，late-interaction 头把每个 text token 或 image patch 单独投影到 128 维的归一化向量——一次前传两种表示都能拿到，用户按存储预算与召回精度自己选。

在 ViDoRe v3 上的 nDCG@10（数值越高越好）如下：