无人可知的人工智能代理难题

生成式 AI 的安全隐患：企业如何应对智能代理带来的新挑战？

随着生成式 AI 的快速发展，企业正积极探索其在各个领域的应用，然而，智能代理的兴起也带来了新的安全挑战。这些智能代理能够访问敏感数据和文档，为企业安全带来了新的风险。

Darktrace 的战略网络 AI 副总裁 Nicole Carignan 指出，多智能体系统的兴起将带来新的攻击向量和漏洞，如果从一开始没有得到妥善保护，这些漏洞可能会被利用。由于多智能体系统连接点和接口数量的增加，这些漏洞的影响和危害可能会更大。

智能代理，即代表用户执行操作的自主 AI，在过去几个月里变得非常流行。理想情况下，它们可以被整合到繁琐的工作流程中，执行各种任务，从根据内部文档查找信息到为人类员工提供建议，无所不能。

然而，它们也给企业安全专业人员带来了一个有趣的难题：它们必须获得访问数据的权限才能有效地工作，但同时也要避免意外地打开或发送私人信息给其他人。随着智能代理承担越来越多以前由人类员工完成的任务，准确性和问责制问题也随之而来，这可能会给安全和合规团队带来头痛。

AWS 的首席信息安全官 Chris Betz 表示，检索增强生成 (RAG) 和智能代理用例在安全领域是一个“引人入胜且有趣的角度”。

Betz 认为，企业需要重新思考其组织中的默认共享方式，因为智能代理会通过搜索找到任何支持其任务的信息。如果过度共享文档，企业需要考虑其组织中的默认共享策略。

安全专业人员需要思考，智能代理应该被视为数字员工还是软件？它们应该拥有多少访问权限？如何识别它们？

生成式 AI 使许多企业更加意识到潜在的漏洞，但智能代理可能会使它们面临更多问题。

Carignan 指出，我们今天看到的针对单智能体系统的攻击，例如数据中毒、提示注入或社会工程学以影响智能体行为，都可能成为多智能体系统中的漏洞。

企业必须关注智能代理能够访问的内容，以确保数据安全仍然牢固。

Betz 指出，许多围绕人类员工访问权限的安全问题可以扩展到智能代理。因此，这“归结为确保人们拥有对正确事物的访问权限，并且只拥有对正确事物的访问权限”。他补充说，在涉及多个步骤的智能代理工作流程中，“每个阶段都是黑客的机会”。

一个可能的解决方案是为智能代理颁发特定的访问身份。

模型提供商 Anthropic 的首席信息安全官 Jason Clinton 表示，在一个模型在几天内解决问题的世界里，“我们需要更多地考虑记录智能体的身份以及负责该智能体请求的人员的身份，并在我们组织的各个地方记录这些信息”。

识别人类员工是企业长期以来一直在做的事情。他们有特定的工作；他们有一个电子邮件地址用于登录帐户并被 IT 管理员跟踪；他们有带帐户的物理笔记本电脑，这些帐户可以被锁定。他们获得对某些数据的单独访问权限。

可以将这种员工访问和识别方式的变体部署到智能代理。

Betz 和 Clinton 都认为，这个过程可以促使企业领导者重新思考他们如何向用户提供信息访问权限。它甚至可能导致组织彻底改革其工作流程。

Betz 表示，“使用智能代理工作流程实际上为你提供了一个机会，可以将每个步骤的用例限制在它作为 RAG 的一部分所需的数据，但仅限于它所需的数据”。

他补充说，智能代理工作流程“可以帮助解决一些关于过度共享的担忧”，因为公司必须考虑为了完成操作而访问了哪些数据。Clinton 补充说，在一个围绕特定操作集设计的工作流程中，“没有理由让第一步需要访问与第七步相同的數據”。

企业还可以寻找允许他们窥视智能代理工作方式的智能代理平台。例如，工作流程自动化提供商 Pega 的首席技术官 Don Schuerman 表示，他的公司通过告诉用户智能代理正在做什么来帮助确保智能代理的安全。

Schuerman 表示，“我们的平台已经被用于审计人类正在进行的工作，因此我们也可以审计智能代理正在进行的每一步”。

Pega 的最新产品 AgentX 允许人类用户切换到一个屏幕，概述智能代理正在执行的步骤。用户可以看到智能代理在工作流程时间轴上的位置，并获得其特定操作的读数。

审计、时间轴和识别并不是解决 AI 智能代理带来的安全问题的完美解决方案。但随着企业探索智能代理的潜力并开始部署它们，随着 AI 实验的继续，更具针对性的答案可能会出现。