德勤警告：AI 智能体部署速度远超安全框架

德勤（Deloitte）最新报告警告，企业部署 AI 智能体的速度已超过其安全协议和保障措施的跟进能力，导致安全、数据隐私和责任方面的严重担忧蔓延。

调查显示，智能体系统正从试点快速转向生产，而传统风险控制（设计时更侧重于以人为中心的运营）难以满足安全需求。尽管采用率上升，但仅 21% 的组织对 AI 智能体实施了严格治理或监督。目前，23% 的公司表示正在使用 AI 智能体，预计未来两年内这一比例将升至 74%。同期，尚未采用该技术的企业比例预计将从 25% 降至仅 5%。

薄弱治理是主要威胁

德勤并未将 AI 智能体视为天生危险，但指出真正风险源于上下文不清和治理薄弱。如果智能体作为独立实体运作，其决策和行动很容易变得不透明。缺乏稳健治理，管理变得困难，且几乎无法为错误投保。

根据 Kovant CEO 兼创始人 Ali Sarrafi 的说法，解决方案是“受控自主”。他表示：“设计良好的智能体，具有明确边界、策略和定义，像企业管理任何员工一样管理，可以在清晰护栏内快速处理低风险工作，但当行动跨越定义的风险阈值时，会升级至人类处理。”

“通过详细行动日志、可观察性和人类把关高影响决策，智能体不再是神秘的机器人，而成为可检查、审计和信任的系统。”

正如德勤报告所建议，AI 智能体采用将在未来几年加速，只有那些以可见性和控制部署该技术的公司才能在竞争中占据优势，而非部署最快的公司。

为何 AI 智能体需要稳健护栏

AI 智能体在受控演示中可能表现良好，但在现实业务环境中，系统可能碎片化、数据不一致，它们会面临挑战。

Sarrafi 评论了这些场景中 AI 智能体的不可预测性：“当智能体一次性获得过多上下文或范围时，容易产生幻觉和不可预测行为。”

“相比之下，生产级系统限制模型处理的决策和上下文范围。它们将操作分解为更窄、聚焦的任务，分配给单个智能体，使行为更可预测、更易控制。这种结构还支持可追溯性和干预，因此故障可以早期检测并适当升级，而非引发连锁错误。”

可投保 AI 的责任

随着智能体在业务系统中采取真实行动（如记录详细行动日志），风险和合规性被不同看待。每次行动被记录后，智能体活动变得清晰可评估，让组织能详细检查行动。

这种透明度对保险公司至关重要，它们不愿承保不透明的 AI 系统。这种详细程度帮助保险公司理解智能体做了什么，以及涉及的控制措施，从而更易评估风险。通过人类监督风险关键行动和可审计、可重放的工作流，组织可以构建更易管理风险评估的系统。

AAIF 标准是良好第一步

共享标准，如Agentic AI Foundation (AAIF) 正在开发的那些，帮助企业集成不同智能体系统，但当前标准化努力侧重于最容易构建的内容，而非大型组织安全运营智能体系统所需。

Sarrafi 表示，企业需要支持操作控制的标准，包括“访问权限、高影响行动的审批工作流，以及可审计日志和可观察性，以便团队监控行为、调查事件并证明合规。”

身份和权限是第一道防线

限制 AI 智能体可访问的内容和可执行的操作，对确保真实业务环境中的安全至关重要。Sarrafi 说：“当智能体获得广泛权限或过多上下文时，它们变得不可预测，并带来安全或合规风险。”

可见性和监控对保持智能体在限制内运作很重要。只有这样，利益相关者才能对技术采用有信心。如果每次行动都被记录且可管理，团队就能看到发生了什么，识别问题，并更好理解事件原因。

Sarrafi 补充道：“这种可见性，结合重要之处的人类监督，将 AI 智能体从难以理解的组件转变为可检查、重放和审计的系统。它还允许在问题出现时快速调查和纠正，从而提升操作员、风险团队和保险公司的信任。”

德勤的蓝图

德勤的安全 AI 智能体治理策略为智能体系统可做的决策设定了明确边界。例如，它们可能以分层自主运作，智能体只能查看信息或提供建议。在此基础上，它们可以被允许采取有限行动，但需人类批准。一旦在低风险领域证明可靠，它们可以被允许自动行动。

德勤的“Cyber AI Blueprints”建议治理层，并将策略和合规能力路线图嵌入组织控制。最终，跟踪 AI 使用和风险的治理结构，以及将监督嵌入日常运营，对安全使用智能体 AI 很重要。

通过培训准备员工是安全治理的另一面。德勤建议培训员工不应与 AI 系统分享什么，如果智能体偏离轨道该怎么办，以及如何识别异常、潜在危险行为。如果员工不理解 AI 系统如何运作及其潜在风险，他们可能无意中削弱安全控制。

稳健治理和控制，加上共享知识，是安全部署和运营 AI 智能体的基础，使在现实环境中实现安全、合规和负责任的表现成为可能。