加入我们的每日和每周新闻通讯，获取有关行业领先的 AI 报道的最新更新和独家内容。了解更多
大型语言模型 (LLM) 的出现，让企业迅速将其融入工作流程。他们利用检索增强生成 (RAG) 技术开发了 LLM 应用程序，该技术利用内部数据集来确保模型提供具有相关业务背景的答案，并减少幻觉。这种方法非常有效，导致功能性聊天机器人和搜索产品的兴起，帮助用户立即找到所需的信息，无论是政策中的特定条款还是有关正在进行的项目的疑问。
然而，即使 RAG 在多个领域继续蓬勃发展，企业也遇到了它无法提供预期结果的情况。这就是代理 RAG 的情况，其中一系列 AI 代理增强了 RAG 管道。它仍然很新，偶尔会遇到问题，但它有望彻底改变 LLM 驱动的应用程序处理和检索数据以处理复杂用户查询的方式。
“代理 RAG……将 AI 代理纳入 RAG 管道，以协调其组件并执行超出简单信息检索和生成的额外操作，以克服非代理管道的局限性，”向量数据库公司 Weaviate 的技术合作伙伴经理 Erika Cardenas 和 ML 工程师 Leonie Monigatti 在一篇联合博客文章中写道，描述了代理 RAG 的潜力。
虽然在各种用例中得到广泛使用，但传统 RAG 往往会受到其工作方式的固有性质的影响。
从本质上讲，一个普通的 RAG 管道由两个主要组件组成——检索器和生成器。检索器组件使用向量数据库和嵌入模型来获取用户查询并在索引文档上运行相似性搜索，以检索与查询最相似的文档。同时，生成器将连接的 LLM 与检索到的数据结合起来，生成具有相关业务背景的响应。
这种架构帮助组织提供相当准确的答案，但问题在于当需要超越一个知识来源（向量数据库）时。传统的管道无法将 LLM 与两个或多个来源结合起来，限制了下游产品的功能，使其仅限于某些应用程序。
此外，在某些复杂情况下，由于缺乏后续推理或对检索数据的验证，使用传统 RAG 构建的应用程序可能会出现可靠性问题。检索器组件一次性提取的内容最终成为模型给出的答案的基础。
随着企业不断提升其 RAG 应用程序，这些问题变得越来越突出，迫使用户探索额外的功能。其中一项功能是代理 AI，其中具有记忆和推理能力的 LLM 驱动的 AI 代理规划一系列步骤并在不同的外部工具中采取行动来处理任务。它特别用于客户服务等用例，但也可以协调 RAG 管道的不同组件，从检索器组件开始。
根据 Weaviate 团队的说法，AI 代理可以访问各种工具——例如网络搜索、计算器或软件 API（如 Slack/Gmail/CRM）——来检索数据，超越仅从一个知识来源获取信息。
因此，根据用户查询，具有推理和记忆功能的 AI 代理可以决定是否应该获取信息，哪个是最合适的工具来获取所需信息，以及检索到的上下文是否相关（以及是否应该重新检索）在将获取的数据推送到生成器组件以生成答案之前。
这种方法扩展了为下游 LLM 应用程序提供支持的知识库，使它们能够对复杂的用户查询生成更准确、更扎实和经过验证的响应。
例如，如果用户有一个包含大量支持票的向量数据库，并且查询是“今天最常提出的问题是什么？”，代理体验将能够运行网络搜索以确定查询日期，并将该信息与向量数据库信息结合起来以提供完整的答案。
“通过添加可以访问工具使用的代理，检索代理可以将查询路由到专门的知识来源。此外，代理的推理能力使在将检索到的上下文用于进一步处理之前进行验证。因此，代理 RAG 管道可以导致更健壮和更准确的响应，”Weaviate 团队指出。
易于实施，但挑战依然存在
由于具有函数调用功能的大型语言模型的广泛可用性，组织已经开始从普通的 RAG 管道升级到代理 RAG。此外，DSPy、LangChain、CrewAI、LlamaIndex 和 Letta 等代理框架的兴起简化了代理 RAG 系统的构建，方法是将预构建的模板拼凑在一起。
设置这些管道主要有两种方法。一种是通过一个单一代理系统，该系统通过多个知识来源来检索和验证数据。另一种是多代理系统，其中一系列由主代理运行的专门代理在其各自的来源中工作以检索数据。然后，主代理处理检索到的信息，将其传递给生成器。
但是，无论使用哪种方法，都需要注意的是，代理 RAG 仍然很新，可能会遇到一些问题，包括源于多步骤处理的延迟和不可靠性。
“根据底层 LLM 的推理能力，代理可能无法充分完成任务（甚至根本无法完成）。重要的是要包含适当的故障模式，以帮助 AI 代理在无法完成任务时摆脱困境，”Weaviate 团队指出。
该公司的首席执行官 Bob van Luijt 还告诉 VentureBeat，代理 RAG 管道也可能很昂贵，因为 LLM 代理发出的请求越多，计算成本就越高。但是，他还指出，整个架构的设置方式从长远来看可能会对成本产生影响。
“代理架构对于下一波能够“执行”任务而不是仅仅检索信息的 AI 应用程序至关重要。随着团队将第一波 RAG 应用程序推向生产并对 LLM 感到满意，他们应该寻找有关代理 RAG 或生成反馈循环等新技术的教育资源，这是一种用于数据清理和丰富等任务的代理架构，”他补充道。
