在构建检索增强生成（RAG）应用时，开发者常常会遇到表格和图像带来的诸多挑战。本文将深入探讨如何利用视觉语言模型，特别是ColPali模型，有效地解决这些复杂格式的处理难题。
然而，在深入了解ColPali之前，我们首先需要明确：RAG究竟是什么？以及为何表格和图像会给RAG带来如此巨大的障碍？
RAG：检索增强生成及其文档解析挑战
设想一个场景，当系统面临这样的问题时：
“我们公司处理退款的政策是什么？”
一个基础的大型语言模型（LLM）通常无法直接回答这类问题，因为这些信息往往是公司内部特有的，并未包含在模型的通用训练数据中。
因此，一种常见的做法是将大型语言模型与一个专门的知识库连接起来，例如包含各类内部文档的SharePoint文件夹。这种方法允许模型检索并整合相关上下文信息，从而能够回答需要专业知识的特定问题。这种技术被称为“检索增强生成”（RAG），其应用常常涉及到处理PDF等格式的文档。
然而，从庞大且多样化的知识库中准确提取所需信息，需要进行大量的文档预处理工作。这些常见步骤包括：
- 解析（Parsing）：将文档内容解析为文本和图像，这通常需要光学字符识别（OCR）工具（如Tesseract）的辅助。表格内容在此阶段通常会被转换为纯文本。
- 结构保留（Structure Preservation）：通过将提取的文本转换为能保留上下文的格式（例如Markdown），从而维护文档的原始结构，包括标题、段落等。
- 分块（Chunking）：对文本段落进行拆分或合并，以确保上下文信息能够完整地送入语言模型的上下文窗口，同时避免文本片段显得支离破碎。
- 丰富化（Enriching）：为文本块提供额外的元数据，例如提取关键词或生成摘要，以方便后续的检索和发现。此外，还可以选择性地利用多模态大型语言模型为图像生成描述性文本，使图像内容也能被检索。
- 嵌入（Embedding）：将文本（以及可能的多模态图像嵌入）转换为向量，并存储到向量数据库中。
可以想象，这个过程极其复杂，需要大量的实验，并且容易出现故障。更糟糕的是，即便竭尽全力优化，这些传统的解析方法在实际应用中仍可能无法达到预期效果。
为何传统解析方法常常不足？
表格和图像在PDF文档中非常常见。下图展示了它们通常如何被解析，以供大型语言模型消费：
- 文本（Texts）：通常会被进行分块处理。
- 表格（Tables）：被直接转换为纯文本，其中包含的所有内容都会被复制，但表格固有的结构和边界信息却无法保留。
- 图像（Images）：通常会被送入多模态大型语言模型以生成文本摘要，或者，原始图像会被直接送入多模态嵌入模型，而无需生成文本摘要。
然而，这种传统方法存在两个固有的问题。
问题一：复杂表格无法简单地被解释为纯文本
以前文提及的表格为例，人类在理解时会认为，当气温变化范围在“>2˚C至2.5˚C”之间时，对“健康（Health）”的影响是“到2080年，气温升高2.3˚C将使多达2.7亿人面临疟疾风险”。
来源：《气候变化的影响与成本》
然而，如果将这个表格简单地转换为纯文本，其结果将是：Temperature change Within EC target <(2˚C) >2˚C to 2.5˚C >3C Health Globally it is estimated that A rise of 2.3oC by 2080 puts A rise of 3.3oC by 2080 an average temperature rise up to 270 million at risk from would put up to 330...
这样的转换会生成一堆混乱的文本块，几乎没有任何可辨识的意义。即便是人类读者，也难以从中提取出任何有价值的信息。当这种文本被输入到大型语言模型（LLM）中时，同样也无法产生准确的解释。
问题二：文本与图像之间的脱节
图像的描述通常包含在文本中，二者往往密不可分。以下图为例，该图表代表了“在不同纯粹时间偏好率和递减贴现率方案（无股权加权）下气候变化的模拟成本”。
来源：《气候变化的影响与成本》
然而，在传统的解析过程中，图像描述（解析出的文本）往往会与图像本身（解析出的图表）分离。因此，可以预见在RAG应用中，当用户提出“气候变化的成本是多少？”这类问题时，相关的图像可能无法被有效地检索出来作为输入。
由此可见，即便尝试设计出尽可能在解析过程中保留更多信息的解决方案，它们在面对真实世界的复杂场景时也常常力不从心。
考虑到解析在RAG应用中的关键作用，这是否意味着RAG代理在处理复杂文档时注定失败？答案是否定的。借助ColPali，我们拥有了一种更精细、更有效的解决方案来应对这些挑战。
ColPali是什么？
ColPali的核心理念非常直观：人类阅读PDF文档时是以“页面”为单位，而非零散的“文本块”。因此，以页面的形式处理PDF文档更符合自然逻辑。ColPali摒弃了繁琐复杂的解析过程，而是直接将PDF页面转换为图像，并将这些图像作为大型语言模型（LLM）的上下文，以生成更准确的答案。
当然，利用多模态模型对图像进行嵌入的概念并非新鲜事，这是一种常见的技术。那么，ColPali究竟有何独特之处？其关键在于它从ColBERT模型中汲取了灵感。ColBERT能够将输入嵌入到多向量中，从而实现更精确高效的搜索。
在深入探讨ColPali的功能之前，有必要简要介绍一下ColBERT模型的核心原理。
ColBERT：面向文本的精细化、上下文感知嵌入
ColBERT是一种基于多向量（multi-vectors）的文本嵌入与重排序技术，旨在显著提升文本搜索的准确性。
考虑这样一个案例：当有一个问题是：“Paul是素食主义者吗？”时，系统需要识别哪个文本块包含相关信息。
（黄色高亮部分为包含Paul相关信息的文本）
理想情况下，系统应将文本块A识别为最相关的部分。然而，如果使用单向量嵌入模型（例如text-ada-002），它反而会返回文本块B。
其原因在于单向量双编码器（如text-ada-002）的工作方式：它们试图将整个句子压缩成一个单一向量，而没有以上下文感知的方式编码每个独立的词语。相比之下，ColBERT能够以上下文感知的方式嵌入每个词语，从而生成更丰富、更具表现力的多向量表示，捕获更细微的信息。
（向量中的数字仅为示意，不代表实际值）
ColPali：ColBERT在文档图像处理领域的“兄弟”
ColPali秉持着相似的理念，但将其应用于文档图像。正如ColBERT将文本分解并单独嵌入每个词语一样，ColPali将图像划分为多个补丁（patches），并为每个补丁生成嵌入。这种方法能更好地保留图像的上下文细节，从而实现更准确、更有意义的解读。
除了更高的检索准确性之外，ColPali还带来了以下诸多优势：
- 可解释性（Explainability）：ColPali支持查询与文档中单个图像补丁之间的词级别比较。这使得系统能够清晰地理解并解释为什么某个特定文档被认为是更相关的。
- 降低开发工作量与提升鲁棒性（Reduced Development Effort & Greater Robustness）：通过消除对复杂预处理管道（如分块、OCR和布局解析）的需求，ColPali显著缩短了开发时间，并最大程度地减少了潜在的故障点。
- 性能提升（Performance Gains）：嵌入和检索过程更加迅速，从而全面提升了系统的响应速度。
现在，既然已经了解了ColPali的工作原理，接下来将通过代码示例，验证ColPali是否能够有效解决前文所述的挑战！
实战演示
相关代码已上传至GitHub仓库，供读者参考。以下是关于实现的一些说明：
- 实例配置（Instance）：运行代码需要配备A100 GPU的机器。
- 嵌入模型（Embedding model）：ColPali有多种变体模型可供选择，演示中使用了
vidore/colqwen2-v0.1。读者可以参考排行榜，切换使用其他模型。 - 代理（Agent）：
- — 大型语言模型（LLM）：文中采用OpenRouter作为LLM接口，并由
GPT-4o驱动代理。读者可将其替换为任何能接受图像作为输入的多模态LLM。 - — 编排（Orchestration）：代理的开发使用了
LangGraph框架。
- — 大型语言模型（LLM）：文中采用OpenRouter作为LLM接口，并由
- PDF转图像库（Library used for converting PDF into images）：使用了
pdf2image，它是poppler的封装。请确保已安装poppler。 - 样本数据（Sample data）：“气候变化的影响与成本”（The Impacts and Costs of Climate Change），由Paul Watkiss等人撰写，可在此公开获取。
结果展示
由于代码逻辑相对直观，接下来将直接展示实验结果与结论：ColPali究竟能多有效地解决“为何传统解析方法常常不足？”一节中遇到的问题？
问题一：复杂表格无法简单地被解释为纯文本
提问：如果气温较工业化前水平上升3摄氏度，对健康会产生什么影响？
回答：如果气温较工业化前水平上升3摄氏度，对健康的影响将非常显著。具体而言，据估计，到2080年代，将有多达3.3亿人面临疟疾风险。这与1920年代的风险人数（5000万至1亿）相比，是一个巨大的增长。
这个答案准确地来源于PDF中的以下表格内容！
来源：《气候变化的影响与成本》第3页
问题二：文本与图像之间的脱节
提问：根据Greenbook递减模型，气候变化的模拟成本是多少？
回答：根据Greenbook递减模型，气候变化的模拟成本为7.2欧元/吨二氧化碳（Euro/tCO2）。
虽然正确答案应为7.4欧元/吨二氧化碳，但可以看出模型给出的结果已非常接近。
来源：《气候变化的影响与成本》第46页
结论
传统的RAG管道在处理非文本内容时面临诸多困境。ColPali通过将每个PDF页面视为一个图像来解决这一问题，使其能够直接处理视觉布局、表格、图表和嵌入式图形——这些格式往往会被标准文本解析器扭曲或完全忽略。ColPali的创新方法为RAG应用在复杂文档处理领域带来了显著的突破。
