沃尔沃RAG实战：企业级知识库，早就该放弃小分块策略
小分块不如大分块，动态JSON更适合复杂场景业务落地。
沃尔沃汽车作为全球知名制造商，其所有战略决策均高度依赖高效的数据洞察。在此背景下，沃尔沃战略部门亟需构建一个基于向量检索的多模态AI文档检索系统，以稳定处理300-400MB文档（约70万-100万向量嵌入），并适配部门级日均10-20次查询场景。
该文档检索系统需满足以下要求：
- 体验侧：要求具备高精准度，能处理各类多模态数据，支持元数据动态管理，提供检索透明化监控能力，并支持自托管与托管服务的灵活迁移。
- 成本侧：需保证初始投入可控（低于云厂商），运营成本与使用量挂钩，且规模化扩展时成本增长可预测。
- 开发维护侧：要求提供完善的文档与案例以降低开发难度，支持定制化开发，同时维护成本低、升级平滑。
本文将深入探讨沃尔沃在应对上述需求时的选型考量及技术落地经验。
如何选型
知识库检索系统的核心在于向量数据库。沃尔沃最初选择以单机模式部署在自托管虚拟机上。
然而，在分析海量的非结构化企业文档（包括PDF、PowerPoint、Excel、Word及嵌入图表/图像的数据）时，沃尔沃发现包括云厂商AI搜索服务在内的多数企业级工具，存在准确性不足、成本过高或定制化能力弱的问题。
以云服务厂商为例，其采用“固定托管费+按使用量计费”的模式，仅100MB数据每月便需花费250美元，且大部分成本源于运行时间而非实际查询费用。对于一个日均查询量仅10-20次的部门级系统而言，若将该方案推广至生产环境，从财务角度看是不可持续的。
沃尔沃投入一个月时间，调研了市场上的主流向量数据库产品。调研发现，多数产品或过于技术化，或文档缺乏企业级落地所需的实操指导，例如文档预处理、embedding模型选择及生产环境部署流程等。
最终，Milvus、Pinecone和ChromaDB进入候选名单。
ChromaDB因其有限的可扩展性最早被排除。
随后排除的是Pinecone。尽管Milvus和Pinecone在测试环节表现不相上下，但实际落地时，网络配置和embedding模型搭配会极大影响实际表现。Milvus则凭借其详尽的落地指导，确保了生产环境的高效稳定运行。
此外，在Milvus的选型上，沃尔沃最终选择使用SDK v1中基于collection的旧版本，而非较新的PyMilvus v2 SDK及其内置embedding集成功能，旨在确保团队能够精细设计元数据结构，并明确定义每种文档的存储、索引和检索方式。面对企业文档的杂乱与不统一，这种精细化的模式管理显得尤为关键。
性能方面，该系统在峰值时足以处理约300-400MB的文档，对应约70万至100万个embedding。这一规模虽然相对于消费级AI工作负载可能较小，但对于部门级应用而言，其性能恰到好处。
此外，针对格式繁多的非结构化数据，Milvus支持的字段类型多达64种，这使得沃尔沃不仅能存储嵌入向量，还能存储丰富的元数据——从文档类型、来源到部门级分类等关键信息，覆盖全面。面对元数据无法适配预定义模式（schema）的情况，Milvus还能通过动态JSON字段解决了这一难题，使团队能够灵活应对新文档类型及不断变化的需求，而无需重构现有数据库。
RAG搭建过程中的经验与教训
知识库的本质是RAG。对于RAG而言，除了LLM提示词撰写技巧之外，影响其工作质量的核心要素有二：分块（chunking）和嵌入（embedding）。
在嵌入环节，一些特殊行业通常会在开源embedding模型基础上进行微调改造。
在分块环节，沃尔沃面临的首要问题是：如何确定合适的分块大小。
市面上大多数RAG流程依赖小尺寸分块，例如许多云厂商的向量搜索服务通常默认256或512个token。其理由通常是认为较短的片段能带来更高的检索精度。
然而实践表明，分块过小反而容易导致语义上下文丢失，进而造成逻辑断裂。
因此，沃尔沃选择采用1024个token的大尺寸分块策略。此举在保持一定检索精度的同时，更侧重于确保检索结果的逻辑性和上下文完整性，从而为后续的重排（rerank）质量和大模型的判断环节提供更高效的信息支持。
改造成果与展望
相比云厂商的AI搜索服务，基于自托管Milvus的部署方案不仅性能和表现更优，还使沃尔沃的数据库支出减少了近90%，避免了不必要的固定运行时间和存储费用。对于日均查询量适中的系统而言，这带来了10倍的成本效率提升。
除成本和性能外，沃尔沃汽车尤为看重Milvus的透明性。借助Milvus，团队可以直接查看集合（collection）、查询存储的向量，以及数据库内部存储的数据。
这种透明性极大地简化了结果验证、准确性跟踪以及检索质量的持续优化过程。
相较于其他将数据查看功能隐藏在复杂定制工具之后的向量数据库，Milvus通过其模型上下文协议（MCP）客户端和交互式UI，提供了内置的可视化能力，从而显著降低了可观测性的成本。
未来，沃尔沃计划将业务从Milvus逐步迁移到商业化的Zilliz Cloud（Milvus的商业化托管服务），并将这套系统推广至质量部门。数据类型上，也将从非结构化数据扩展到半结构化数据，将其与PostgreSQL和Snowflake中的数据集成，将文本文档与结构化指标（如财务记录、质量数据）相关联。
