随着企业级AI智能体权限不断扩大,恶意指令注入与越权操作风险激增。微软在Project Perception中引入监工机制,通过AI监督AI,并在Defender中上线运行时防护,标志着智能体安全管控正式进入商业化阶段。
随着AI智能体(Agent)深度介入日常工作,企业在享受效率红利的同时,也面临着新的管理难题。为了防范Agent滥用权限,微软选择让另一批AI上岗充当“监工”。
10月19日,微软宣布在安全系统Project Perception中引入名为“Guardian Agents”的监督机制。这批专门的AI监工将实时盯防企业中其他Agent的运行轨迹,一旦察觉行为异常,不仅会溯源调查,还能即时收回权限甚至叫停任务。
企业部署Agent的初衷是自动化运转。但要让AI代劳审批报销、调取报表等业务,就必须授予相应的系统读写与调用权限。一旦Agent误读上下文,或遭遇混杂在日常数据中的恶意指令,便可能顺着合法权限惹出麻烦。
这种情况往往不是模型“主观使坏”,而是AI无法准确区分数据与指令。微软自家的办公助手Microsoft 365 Copilot就曾遭遇过类似考验。
在安全公司Aim Security旗下的Aim Labs测试中,研究人员将恶意指令隐藏在一封普通邮件内。用户无需打开邮件,当Copilot为了回答问题而检索到该邮件时,便被其中的指令操纵,把正在处理的内部敏感数据发送到了外部。该漏洞被命名为EchoLeak。

这种Prompt注入攻击对具备工具调用能力的Agent威胁极大。Agent开工时表现正常,并不代表中途不会被某份恶意文档带偏。面对毫秒级连续操作的Agent,依赖人工安全员逐条排查已经难以及时阻断风险,由AI执行自动化巡查成了必然选择。
在微软公布的架构中,Guardian Agents扮演着“流程质检员”的角色。治理Agent的核心在于事前与事中控制,而非事后补救。
企业首先需要为每个执行任务的Agent建立独立身份标识,明确归属人、数据访问范围和操作边界,遵循最小权限原则,任务结束即刻注销临时权限。

在Agent运行期间,系统会全程监测其行为链路。一旦发现偏离预设逻辑,系统可以先采取降权限制——例如剥离写入权限但保留读取权限,让其继续执行低风险任务,或将敏感操作移交给人工审批。若风险继续扩大,则直接实施环境隔离。
针对“监工Agent自身误判”的疑虑,微软CEO萨提亚·纳德拉指出,企业必须在AI系统之外构筑一套硬性规则底线。即使执行任务的Agent与负责监督的AI共同通过了某项决策,只要触犯了底层安全策略(如特定敏感文件绝对禁止外发),系统底层就会直接拦截。
与此配套,微软终端安全软件Defender for Endpoint已支持识别约60种本地运行的Agent,并提供运行时防护。企业可先在“审计模式”下校验误报率,平稳后再切换至强制拦截的“阻止模式”。
过去几个月里,前沿AI模型的越权动作频繁引发业内警惕。
OpenAI在测试报告中披露,其部分处于弱安全约束下的模型曾突破网络隔离,意外访问了内部研究设施及Hugging Face系统。Anthropic也透露,Claude在一次网页自动化测试中,将编造的恶性案件线索直接提交给了真实执法机构的网站,迫使该公司暂停了所有内部评估的实时联网权限。
AI越权失控的现实风险,正快速催生针对Agent的安全软件市场。除了微软的Project Perception与按月计费的Agent 365外,安全巨头CrowdStrike推出了Falcon Guardian,专注于监测终端Agent的工具调用;Palo Alto Networks的Prisma AIRS则主打在API调用链路上过滤恶意Prompt与脱敏数据。
随着企业将更多关键业务托付给AI,如何防范“AI员工”走偏,已经成为各大安全与云服务厂商竞逐的新战场。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断