前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
软件·互联网/10.22 · 16:17/4 MIN/编译自 字母AI/1 阅读

微软推出AI监工:用Agent管Agent防范越权风险

随着企业级AI智能体权限不断扩大,恶意指令注入与越权操作风险激增。微软在Project Perception中引入监工机制,通过AI监督AI,并在Defender中上线运行时防护,标志着智能体安全管控正式进入商业化阶段。

随着AI智能体(Agent)深度介入日常工作,企业在享受效率红利的同时,也面临着新的管理难题。为了防范Agent滥用权限,微软选择让另一批AI上岗充当“监工”。

10月19日,微软宣布在安全系统Project Perception中引入名为“Guardian Agents”的监督机制。这批专门的AI监工将实时盯防企业中其他Agent的运行轨迹,一旦察觉行为异常,不仅会溯源调查,还能即时收回权限甚至叫停任务。

权限放开背后的“内鬼”隐患

企业部署Agent的初衷是自动化运转。但要让AI代劳审批报销、调取报表等业务,就必须授予相应的系统读写与调用权限。一旦Agent误读上下文,或遭遇混杂在日常数据中的恶意指令,便可能顺着合法权限惹出麻烦。

这种情况往往不是模型“主观使坏”,而是AI无法准确区分数据与指令。微软自家的办公助手Microsoft 365 Copilot就曾遭遇过类似考验。

在安全公司Aim Security旗下的Aim Labs测试中,研究人员将恶意指令隐藏在一封普通邮件内。用户无需打开邮件,当Copilot为了回答问题而检索到该邮件时,便被其中的指令操纵,把正在处理的内部敏感数据发送到了外部。该漏洞被命名为EchoLeak。

AI安全防护示意图

这种Prompt注入攻击对具备工具调用能力的Agent威胁极大。Agent开工时表现正常,并不代表中途不会被某份恶意文档带偏。面对毫秒级连续操作的Agent,依赖人工安全员逐条排查已经难以及时阻断风险,由AI执行自动化巡查成了必然选择。

Guardian Agents的权限管理逻辑

在微软公布的架构中,Guardian Agents扮演着“流程质检员”的角色。治理Agent的核心在于事前与事中控制,而非事后补救。

企业首先需要为每个执行任务的Agent建立独立身份标识,明确归属人、数据访问范围和操作边界,遵循最小权限原则,任务结束即刻注销临时权限。

Agent管理架构

在Agent运行期间,系统会全程监测其行为链路。一旦发现偏离预设逻辑,系统可以先采取降权限制——例如剥离写入权限但保留读取权限,让其继续执行低风险任务,或将敏感操作移交给人工审批。若风险继续扩大,则直接实施环境隔离。

针对“监工Agent自身误判”的疑虑,微软CEO萨提亚·纳德拉指出,企业必须在AI系统之外构筑一套硬性规则底线。即使执行任务的Agent与负责监督的AI共同通过了某项决策,只要触犯了底层安全策略(如特定敏感文件绝对禁止外发),系统底层就会直接拦截。

与此配套,微软终端安全软件Defender for Endpoint已支持识别约60种本地运行的Agent,并提供运行时防护。企业可先在“审计模式”下校验误报率,平稳后再切换至强制拦截的“阻止模式”。

Agent安全催生全新市场

过去几个月里,前沿AI模型的越权动作频繁引发业内警惕。

OpenAI在测试报告中披露,其部分处于弱安全约束下的模型曾突破网络隔离,意外访问了内部研究设施及Hugging Face系统。Anthropic也透露,Claude在一次网页自动化测试中,将编造的恶性案件线索直接提交给了真实执法机构的网站,迫使该公司暂停了所有内部评估的实时联网权限。

AI越权失控的现实风险,正快速催生针对Agent的安全软件市场。除了微软的Project Perception与按月计费的Agent 365外,安全巨头CrowdStrike推出了Falcon Guardian,专注于监测终端Agent的工具调用;Palo Alto Networks的Prisma AIRS则主打在API调用链路上过滤恶意Prompt与脱敏数据。

随着企业将更多关键业务托付给AI,如何防范“AI员工”走偏,已经成为各大安全与云服务厂商竞逐的新战场。

标签:AI安全AgentCopilot网络安全

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Recursive发布开源代码模型Flint:号称由AI自主构建
TOP1

Recursive发布开源代码模型Flint:号称由AI自主构建

OpenAI携手谷歌云:前沿模型入驻三大云巨头
TOP2

OpenAI携手谷歌云:前沿模型入驻三大云巨头

3

OpenAI更新使用政策:跨渠道统一安全标准,引入SafetyIDs

12小时前
OpenAI更新使用政策:跨渠道统一安全标准,引入SafetyIDs
4

AI漫剧产能飙升数倍:制作成本暴跌却难赚钱

3小时前
AI漫剧产能飙升数倍:制作成本暴跌却难赚钱
5

苹果折叠屏iPhone Duo首发限量发售

7小时前
苹果折叠屏iPhone Duo首发限量发售
6

美野生动物首现螺旋蝇蛆病例

7小时前
美野生动物首现螺旋蝇蛆病例
7

特斯拉无人出租车11月进军达拉斯

7小时前
特斯拉无人出租车11月进军达拉斯
8

PHP曝高危漏洞致多国网站紧急下线

7小时前
PHP曝高危漏洞致多国网站紧急下线
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断