向量数据库：AI 时代的“数据炼金术”
在当今的 AI 领域，向量数据库已成为 Retrieval Augmented Generation (RAG) 的核心元素，但仅仅拥有向量数据库还远远不够。
Vectorize 的 CEO 兼联合创始人 Chris Latimer 在 DataStax 工作期间，曾领导过数据库供应商的云计算业务。他发现，企业级 RAG 的真正挑战不在于向量数据库本身，而在于如何将海量非结构化数据以最佳方式导入向量数据库，并使其能够有效地为生成式 AI 服务。
正是基于这一洞察，Latimer 在十个月前创立了 Vectorize，旨在解决这一难题。
近日，Vectorize 宣布完成 360 万美元种子轮融资，由 True Ventures 领投。与此同时，公司也宣布其企业级 RAG 平台正式发布。Vectorize 平台能够实现近实时数据能力的代理式 RAG 方法。Vectorize 专注于 AI 的数据工程方面，帮助企业准备和维护数据，以便在向量数据库和大型语言模型中使用。Vectorize 平台还允许企业通过直观的界面快速构建 RAG 数据管道。另一个核心功能是 RAG 评估功能，允许企业测试不同的方法。
“我们经常看到，人们在完成 Gen AI 项目的开发周期后，发现效果并不理想，”Vectorize 联合创始人兼 CEO Chris Latimer 在接受 VentureBeat 独家采访时表示。“他们为向量数据库获取的上下文信息对大型语言模型来说并不十分有用，模型仍然存在幻觉或误解数据的现象。”
Vectorize 本身并非向量数据库，而是一个将非结构化数据源连接到现有向量数据库（如 Pinecone、DataStax、Couchbase 和 Elastic）的平台。
Latimer 解释说，Vectorize 从各种来源获取并优化数据，用于向量数据库。该平台将提供一个生产就绪的数据管道，处理数据摄取、同步、错误处理和其他数据工程最佳实践。
Vectorize 本身也不是向量嵌入技术。将数据（无论是文本、图像还是音频）转换为向量的过程就是向量嵌入。Vectorize 帮助用户评估不同的嵌入模型和数据分块方法，以确定最适合企业特定用例和数据的配置。
Latimer 解释说，Vectorize 允许用户从任意数量的不同的嵌入模型中进行选择。这些模型可以包括 OpenAI 的 ada，甚至 Snowflake 正在采用的 Voyage AI 嵌入。
“我们确实考虑了向量化数据的创新方法，以确保获得最佳结果，”Latimer 说。“但最终，我们认为价值在于为企业和开发者提供一个生产就绪的解决方案，让他们无需担心数据工程方面的问题。”
Vectorize 的一项关键创新是其“代理式 RAG”方法。这种方法将传统的 RAG 技术与 AI 代理功能相结合，使应用程序能够更自主地解决问题。
代理式 RAG 并非一个假设的概念，它已经被 Vectorize 的早期用户之一 AI 推理芯片初创公司 Groq 所采用。Groq 最近获得了 6.4 亿美元的融资。Grok 正在使用 Vectorize 的代理式 RAG 功能来为 AI 支持代理提供动力。该代理可以利用 Vectorize 数据管道提供的数据和上下文，自主解决客户问题。
“如果客户提出的问题之前已经得到过解答，我们希望代理能够在没有人工干预的情况下解决客户的问题，”Latimer 说。“但如果代理无法解决问题，我们希望能够将问题升级给人工，因此，能够让代理通过推理来解决问题，这就是 AI 代理架构背后的核心思想。”
企业使用 RAG 的主要原因之一是连接到自己的数据源。但同样重要的是确保数据是最新的。
“陈旧的数据会导致陈旧的决策，”Latimer 说。Vectorize 提供实时和近实时数据更新功能，允许客户配置对数据陈旧的容忍度。
“我们实际上允许用户根据他们对陈旧数据的容忍度和对实时数据的需求来配置平台，”他说。“因此，如果你只需要每周安排一次管道运行，我们就可以让你这样做；如果你需要实时运行，我们也可以让你这样做，你将在数据可用后立即获得实时更新。”
