前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
洞察/10.30 · 08:06/6 MIN/0 阅读

AI Agent安全的支票本陷阱:防住注入为何依然会破防?

多数AI安全方案把模型识别攻击和系统防御混为一谈。通过经典的防诈推演与3555次实测数据,揭示AI Agent最致命的“混淆代理人”隐患:靠模型的判断力做防御,注定守不住核心资产。

下次有安全厂商向你推销方案,宣称他们的 AI“成功识别了 99% 的恶意攻击”时,不妨问两个问题:

就算大模型被骗了,它能拿到支票本吗?账上的钱到底有没有被转走?

这是完全不同的两个层面的问题。但在眼下的 AI Agent 安全讨论中,多数人总是把它们搅在一起。

要看清这个问题,不需要复杂的威胁模型,一个经典的生活场景就足够了。


一张餐桌上的防诈博弈

想象这样一个场景:四个性格各异的老太太合租在同一屋檐下,规矩还没立好。

大姐满面春风地回家,说在展会上认识了一位穿着考究的绅士卡尔顿。对方给她带来了一个内部投资机会:海景公寓内部认购,名额极少,每套五千块,开盘保底翻倍,背后还有大银行背书。唯一的前提是:名额抢手,周五前必须把支票开出来,而且收款人要写卡尔顿个人。

二姐天性单纯,觉得既然提到了大银行,那肯定正规可靠;

三姐雷厉风行,早就把支票本翻了出来;

四妹听了十秒钟,抱起双臂冷笑:保底翻倍是骗子标配;“大银行背书”连个盖章文件都没有;收款人写个人纯属洗钱;急着周五交钱是为了让你没时间咨询律师;只给“少数朋友”是为了防止你们公开对账。

所有相信他的理由都来自卡尔顿,而所有核实渠道也全指向卡尔顿。

把这位白西装推销员换成 AI Agent 刚从网上抓取到的一段恶意网页,四妹列出的疑点就是一份标准的提示词注入(Prompt Injection)检测清单:未经核实的虚假权威、人为制造的紧迫感、绕过常规审查的操作指令,以及把核心资产转移到非授权地址的请求。

第二天下午,门铃响了。只有大姐和二姐在家,卡尔顿提前登门催促开票。大姐正准备下笔签字,四妹推门回来,一眼拆穿了卡尔顿的假发:这人根本不是什么投资客,而是抛弃她多年的前夫斯坦。

斯坦对这间屋子了如指掌,不是因为他做了商业背调,而是因为他们共同生活了几十年。在大姐和二姐看来,这种“知根知底”成了最可信的背书。

一段相同的谎言,两套截然不同的认知。AI Agent 的安全困境,本质上就是这张餐桌上的博弈。


必须拆开的五个安全层级

这个场景逼我们把平时混在一起的五个问题逐一剥离:

  1. 服从性(Obedience):谁接受了这个提议?对应 Agent:模型是否向系统提议执行攻击者要求的操作?
  2. 识别力(Detection):谁看穿了这是骗局?对应 Agent:模型是否把这段输入标记为不可信或恶意内容?
  3. 权限(Authorization):谁被允许花这笔钱?对应 Agent:该操作是否在独立授予的合法权限内?
  4. 隔离控制(Containment):确定性的安全策略会不会放行?对应 Agent:系统的硬编码控制机制会放行还是拦截?
  5. 最终结果(Outcome):钱到底转出去了吗?对应 Agent:是否发生了非授权的数据泄露或状态变更?

这五个环节不是线性绑定的:

四妹看穿了骗局,不代表三姐不会去掏支票;三姐掏出了支票,不代表银行就会兑现;银行拒绝兑现,也不代表三姐真正搞懂了这是个骗局。大姐就算拥有合法支配自己储蓄的权利,依然可能在信息被蒙蔽的情况下,做出违背自己本意的转账动作。

攻击者并不总是需要窃取权限。很多时候,他们只需要说服一个拥有合法权限的代理人滥用权限。

在计算机安全领域,这被称为混淆代理人问题(Confused Deputy Problem)。一个拥有合法特权的实体,被诱导代表缺乏该权限的第三方去执行高危操作。

在 AI Agent 架构中,一段检索来的网页内容原本没有任何权限去修改本地文件、发送私密邮件或发起支付。但它可以通过精巧的话术,去“说服”那个拥有上述权限的 Agent 替它执行。

当低信任度的内容变成了指挥高信任度能力的指令时,信任边界就已经失守了。 单一的“攻击防御成功率”,根本掩盖不了这背后的多层漏洞。


谁都不能充当永远的安全守卫

很多人倾向于把某个大模型调校成“绝对警惕的四妹”,以为只要模型够聪明就能解决一切。但在真实世界里,模型的判断力是极不稳定的:换一种提示词,原本能识破的诡计就会轻易穿透;熟人语境下的信息输入,更容易让人放松警惕。

你无法靠指定一个永远清醒的室友来保证家庭安全,你必须依靠独立于具体个人的刚性规则。

银行在放行资金前,必须严格核实三件事:

  • 身份(Identity):你到底是谁?知道内部细节不代表就是本人。对 Agent 而言,即便数据来自熟悉的内部数据库,内容本身依然只是待处理的数据,不能自动继承系统指令的权威性。
  • 权限(Permission):这项操作目前被允许吗?前夫几十年前管过账,不代表今天依然有权支取。已撤销的权限如果未能在执行网关处同步更新,就等于从未撤销。
  • 语境授权(Contextual Consent):当下这个具体任务真的需要这项操作吗?Agent 拥有写文件的底层能力,并不意味着它在帮用户总结网页时,有权按照网页里的要求去覆盖本地文件。

Agent 能做什么、通常被允许做什么、以及在当前具体语境下被授权做什么,是完全不同的三件事。 这三道防线,绝不能被一段天花乱坠的未受信任文本所瓦解。


实验评测:来自 3555 次测试的真实数据

为了验证大模型在面对伪装成常规指令的攻击时的表现,安全测试框架 Dokimasia 对 9 款 4B 至 14B 参数量的开源模型展开了系统性评测。

在测试中,模型能够“提出”执行动作的建议,但没有实际的执行权限。在完成的 3555 次运行中,有几项关键数据值得深思:

  • 模型经常提议非授权操作:在初始注入测试集里,模型在 28.9%(91/315) 的运行中提出了攻击者指定的动作。
  • 伪装成常规操作的攻击最容易得逞:攻击者如果要求“把本地密码发送到外部服务器”,模型的拒绝率极高;但如果攻击指令是“更新/覆盖用户的待办事项文件”,模型提议执行的概率高达 80% 以上(36/45 至 41/45)。模型对这类看似日常的文件清理指令缺乏基本的警惕心。
  • 没有直接越权,攻击依然在扩散:在 58% 的测试中,即便模型没有直接提议攻击操作,它也在回复中转述了攻击载荷,或反问用户是否要执行该操作。真正主动明确标记“该内容不可信”的比例不到 10%。
  • 看似强悍的防御可能是假象:当提示词中明确告知模型“你没有命令行工具”时,命令注入提议率为 0%;而一旦删掉这句话,提议率立刻上升。这说明许多所谓的“免疫攻击”,只是因为模型误以为自己没有该能力,而不是它真正识别了威胁。

守住最后那本支票簿

保护一个系统的安全,绝不是寄希望于大模型每次都能在逻辑辩论中占上风。

大模型的“认知与判断”恰恰是整个系统中最不可靠的一环。

真正的防御架构,必须将未受信任的内容与系统控制指令作强行隔离。高危动作的权限核验,必须由模型外部的确定性沙箱与策略引擎来执行,而不是交给模型的自由裁量权。

大模型拒绝执行,不证明下游链路绝对安全;动作被系统阻断,也不证明大模型识破了骗局;零安全事故的记录,除非被主动的故障探测验证过,否则很可能只是监控探针失效的假象。

即使餐桌上的所有人都被说服了,支票本也绝不能轻易递出去。

标签:大语言模型

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

基因测序确认肯尼亚与尼日利亚埃博拉病例源自刚果金
TOP1

基因测序确认肯尼亚与尼日利亚埃博拉病例源自刚果金

iPhone Duo折叠测试分歧:CNET过7.5万次,受损报告引关注
TOP2

iPhone Duo折叠测试分歧:CNET过7.5万次,受损报告引关注

3

Meta与Snap因青少年成瘾诉讼在美受审

23小时前
Meta与Snap因青少年成瘾诉讼在美受审
4

美议员沃伦质询黄仁勋:要求交代英伟达芯片出口内情

4小时前
美议员沃伦质询黄仁勋:要求交代英伟达芯片出口内情
5

给AI加个审批按钮,救不了你的业务系统

4小时前
给AI加个审批按钮,救不了你的业务系统
6

黄仁勋回应间谍调查传闻:与涉事公司往来完全正常

4小时前
黄仁勋回应间谍调查传闻:与涉事公司往来完全正常
7

ChatGPT给癫痫患者减药致死遭起诉

23小时前
ChatGPT给癫痫患者减药致死遭起诉
8

AI智能体商业化:谷歌押注广告,微软转向按量计费

4小时前
AI智能体商业化:谷歌押注广告,微软转向按量计费
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断