多向量嵌入模型：重新定义语义搜索

传统嵌入模型把整段文本压缩成一个固定向量，在语义搜索中简单高效，却容易丢失细节。Hugging Face 最新博客展示了另一种思路：多向量（后期交互）嵌入模型。它不再追求单一向量表示，而是让查询和文档在每个 token 级别分别编码，再通过后期交互计算相关性得分。

多向量模型架构

这种设计的核心优势在于细粒度匹配。举例来说，查询中的"苹果"可能指水果，也可能指科技公司，传统池化向量难以区分；而多向量模型保留每个 token 的独立语义，交互阶段能精准判断上下文。具体做法是：查询侧生成若干 token 向量，文档侧同样如此，然后计算查询向量与文档向量之间的最大相似度得分（MaxSim），再加总得到最终相关度。

实现上，Sentence Transformers 库提供了简洁接口。开发者只需定义两个独立的编码器——一个处理查询、一个处理文档——并设置 similarity_function 为 max_sim。训练时，模型通过对比学习拉近相关查询与文档的距离，推开不相关配对。所有参数端到端可微，意味着可以直接在检索任务上微调。

Sentence Transformers 代码示例

与 ColBERT 相比，Hugging Face 的实现更注重工程易用性。ColBERT 需要自定义索引结构和推理管线，而这里复用 Sentence Transformers 的标准 API，支持批量处理、GPU 加速和混合精度的混合检索。标准化的输出格式也便于接入 Faiss、Elasticsearch 等下游索引系统。

性能方面，设计者做了针对性优化。通过限制参与计算的 token 数量、使用预训练权重初始化，以及引入近似最近邻搜索（ANN），可以在召回率几乎不损失的情况下大幅降低延迟。不过在配置索引时需要权衡：token 级表示比传统向量占用更多存储空间，对大规模生产部署是一大挑战。

如果你正在构建知识库问答、学术论文检索或电商搜索，可以尝试这种模式来提升复杂查询的匹配效果。Hugging Face 已经将实现整合进 sentence-transformers 库的 ColBERT 类，支持 AutoModel 加载。官方推荐从 colbert-ir/colbertv2.0 检查点微调，只需改动几个超参数即可上线。

快速上手：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("colbert-ir/colbertv2.0")
queries = ["How science works"]
docs = ["Science is a systematic enterprise."]
encoded = model.encode(queries, docs, is_query=[True, False])
print(encoded[0].shape)  # (1, 32, 128) 查询维度
print(encoded[1].shape)  # (1, 12, 128) 文档维度

除了文本检索，多向量模式同样适用于多模态场景，比如图文匹配和视频片段定位。开发者还可以在推理阶段切换到单向量模式以降低计算成本，或用混合策略兼顾精度与速度。

这项工作的具体细节可参阅 Hugging Face 博客原文。

原文链接：Hugging Face
本文由前途科技编辑整理