人工智能悖论：明日利器，今日威胁

人工智能正在改变企业的运营方式。虽然这种转变在很大程度上是积极的，但它也带来了一些独特的网络安全问题。下一代人工智能应用，如代理人工智能，对组织的安全态势构成了特别值得注意的风险。

代理人工智能是指能够自主行动的人工智能模型，通常在几乎没有人工干预的情况下自动执行整个角色。先进的聊天机器人是最突出的例子之一，但人工智能代理也可能出现在商业智能、医疗诊断和保险理赔等应用中。

在所有用例中，这项技术结合了生成模型、自然语言处理 (NLP) 和其他机器学习 (ML) 功能，以独立执行多步骤任务。这种解决方案的价值显而易见。可以理解的是，Gartner 预测，到 2028 年，三分之一的生成式人工智能交互将使用这些代理。

随着企业寻求在没有更多劳动力的情况下完成更多任务，代理人工智能的采用将激增。然而，尽管这很有希望，但赋予人工智能模型如此大的权力却带来了严重的网络安全隐患。

人工智能代理通常需要访问大量数据。因此，它们是网络犯罪分子的主要目标，因为攻击者可以集中精力攻击单个应用程序，以暴露大量信息。这将与网络钓鱼产生类似的效果——仅 2021 年就造成 125 亿美元的损失——但可能更容易，因为人工智能模型可能比经验丰富的专业人士更容易受到攻击。

代理人工智能的自主性是另一个令人担忧的问题。虽然所有 ML 算法都带来了一些风险，但传统用例需要人工授权才能对其数据执行任何操作。另一方面，代理可以在没有授权的情况下采取行动。因此，任何意外的隐私泄露或人工智能幻觉等错误都可能在无人察觉的情况下溜走。

这种缺乏监督使得现有的数据中毒等人工智能威胁更加危险。攻击者可以通过更改模型训练数据集的 0.01% 来破坏模型，而且这样做只需很少的投资。这在任何情况下都是有害的，但中毒的代理的错误结论将比人类先审查输出的代理传播得更远。

鉴于这些威胁，网络安全策略需要在企业实施代理人工智能应用程序之前进行调整。以下是实现这一目标的四个关键步骤。

第一步是确保安全和运营团队能够完全了解人工智能代理的工作流程。模型完成的每个任务、它连接的每个设备或应用程序以及它可以访问的所有数据都应该很明显。揭示这些因素将使发现潜在漏洞变得更容易。

这里可能需要自动网络映射工具。只有 23% 的 IT 领导者表示他们能够完全了解其云环境，而 61% 的人使用多种检测工具，导致记录重复。管理员必须首先解决这些问题，才能获得对其人工智能代理可以访问的内容的必要洞察。

一旦清楚了代理可以与哪些内容交互，企业就必须限制这些权限。最小权限原则——即任何实体只能看到和使用它绝对需要的——至关重要。

人工智能代理可以交互的任何数据库或应用程序都是潜在的风险。因此，组织可以通过尽可能限制这些权限来最大限度地减少相关的攻击面并防止横向移动。任何不直接有助于人工智能价值驱动目的的内容都应该禁止。

同样，网络管理员可以通过从人工智能代理可以访问的数据集中删除敏感信息来防止隐私泄露。许多人工智能代理的工作自然涉及私人数据。超过 50% 的生成式人工智能支出将用于聊天机器人，这些聊天机器人可能会收集有关客户的信息。但是，并非所有这些细节都是必要的。

虽然代理应该从过去的客户互动中学习，但它不需要存储姓名、地址或付款详细信息。对系统进行编程，使其从人工智能可访问的数据中清除不必要的个人身份信息，将在发生泄露时最大限度地减少损失。

企业在对代理人工智能进行编程时也需要小心。首先将其应用于一个小的单一用例，并使用一个多元化的团队在训练期间审查模型是否有偏差或幻觉的迹象。在部署代理时，要缓慢推出并监控其是否有可疑行为。

实时响应能力在这种监控中至关重要，因为代理人工智能的风险意味着任何泄露都可能产生严重后果。值得庆幸的是，自动化检测和响应解决方案非常有效，平均节省了 222 万美元的数据泄露成本。组织可以在成功试用后逐步扩展其人工智能代理，但必须继续监控所有应用程序。

人工智能的快速发展为现代企业带来了巨大的希望，但其网络安全风险也在迅速上升。企业的网络防御必须与生成式人工智能用例一起扩展和发展。未能跟上这些变化可能会造成超过技术带来的益处的损害。

代理人工智能将把 ML 推向新的高度，但与之相关的漏洞也是如此。虽然这并不意味着这项技术不值得投资，但它确实需要格外谨慎。企业在推出新的 AI 应用程序时必须遵循这些基本的安全步骤。

Zac Amos 是 ReHack 的特色编辑。