加入我们的每日和每周新闻通讯，获取有关行业领先的 AI 报道的最新更新和独家内容。了解更多
随着代理 AI 的使用不断增长，对安全和保障的需求也随之增加。
今天，英伟达宣布了一系列针对其 NeMo Guardrails 技术的更新，这些更新专门针对代理 AI 的需求。护栏的基本理念是为大型语言模型 (LLM) 提供某种形式的策略和控制，以帮助防止未经授权和意外的输出。近年来，包括 AWS 在内的多个供应商广泛接受了护栏的概念。
英伟达推出的新 NeMo Guardrails 更新旨在使组织更容易部署并提供更细粒度的控制类型。NeMo Guardrails 现在可作为 NIM（英伟达推理微服务）使用，这些服务针对英伟达的 GPU 进行了优化。此外，企业可以部署三种新的特定 NIM 服务，用于内容安全、主题控制和越狱检测。这些护栏针对代理 AI 部署进行了优化，而不仅仅是单个 LLM。
“这不仅仅是关于为模型设置护栏，”英伟达企业 AI 模型、软件和服务副总裁 Kari Briski 在新闻发布会上表示。“这是关于为整个系统设置护栏。”
预计代理 AI 的使用将在 2025 年成为主导趋势。
虽然代理 AI 具有许多优势，但也带来了新的挑战，特别是在安全、数据隐私和治理要求方面，这些挑战可能会对部署造成重大障碍。
三个新的 NeMo Guardrails NIM 旨在帮助解决其中一些挑战。它们包括：
- 内容安全 NIM：在英伟达的 Aegis 内容安全数据集上进行训练，该数据集包含 35,000 个人工标注样本，此服务可阻止有害、有毒和不道德的内容。
- 主题控制 NIM：有助于确保 AI 交互保持在预定义的主题范围内，防止对话偏离和未经授权的信息泄露。
- 越狱检测 NIM：利用来自 17,000 个已知成功越狱的训练数据，有助于防止通过巧妙的黑客攻击绕过安全措施。
保护代理 AI 系统的复杂性非常高，因为它们可能涉及多个相互关联的代理和模型。
Briski 提供了一个零售客户服务代理场景的示例。假设一个人与至少三个代理进行交互，一个推理 LLM、一个检索增强生成 (RAG) 代理和一个客户服务助理代理。所有这些都是为了使实时代理能够正常工作。
“根据用户交互，可以进行许多不同的 LLM 或交互，并且您必须为它们中的每一个设置护栏，”Briski 说。
虽然存在复杂性，但她指出，NeMo Guardrails NIM 的一个关键目标是使企业更容易使用。作为今天发布的一部分，英伟达还提供了蓝图，以演示如何将不同的护栏 NIM 部署到不同的场景中，包括客户服务和零售。
部署代理 AI 的企业面临的另一个主要问题是性能。
Briski 说，当企业部署代理 AI 时，可能会担心通过添加护栏来引入延迟。
“我认为，当人们最初尝试添加护栏时，他们会使用更大的 LLM 来尝试设置护栏，”她解释说。
最新的 NeMo Guardrail NIM 经过微调和优化，以解决延迟问题。英伟达的早期测试表明，组织可以通过护栏获得 50% 更好的保护，而护栏只会增加大约半秒的延迟。
“这在部署代理时非常重要，因为我们知道，这不仅仅是一个代理，在代理系统中可能存在多个代理，”Briski 说。
英伟达 NeMo Guardrails NIM for 代理 AI 可在英伟达 AI 企业许可证下使用，该许可证目前每年每台 GPU 4,500 美元。开发人员可以在开源许可证下免费试用它们，也可以在 build.nvidia.com 上试用。
