多数AI安全方案把模型识别攻击和系统防御混为一谈。通过经典的防诈推演与3555次实测数据,揭示AI Agent最致命的“混淆代理人”隐患:靠模型的判断力做防御,注定守不住核心资产。
下次有安全厂商向你推销方案,宣称他们的 AI“成功识别了 99% 的恶意攻击”时,不妨问两个问题:
就算大模型被骗了,它能拿到支票本吗?账上的钱到底有没有被转走?
这是完全不同的两个层面的问题。但在眼下的 AI Agent 安全讨论中,多数人总是把它们搅在一起。
要看清这个问题,不需要复杂的威胁模型,一个经典的生活场景就足够了。
想象这样一个场景:四个性格各异的老太太合租在同一屋檐下,规矩还没立好。
大姐满面春风地回家,说在展会上认识了一位穿着考究的绅士卡尔顿。对方给她带来了一个内部投资机会:海景公寓内部认购,名额极少,每套五千块,开盘保底翻倍,背后还有大银行背书。唯一的前提是:名额抢手,周五前必须把支票开出来,而且收款人要写卡尔顿个人。
二姐天性单纯,觉得既然提到了大银行,那肯定正规可靠;
三姐雷厉风行,早就把支票本翻了出来;
四妹听了十秒钟,抱起双臂冷笑:保底翻倍是骗子标配;“大银行背书”连个盖章文件都没有;收款人写个人纯属洗钱;急着周五交钱是为了让你没时间咨询律师;只给“少数朋友”是为了防止你们公开对账。
所有相信他的理由都来自卡尔顿,而所有核实渠道也全指向卡尔顿。
把这位白西装推销员换成 AI Agent 刚从网上抓取到的一段恶意网页,四妹列出的疑点就是一份标准的提示词注入(Prompt Injection)检测清单:未经核实的虚假权威、人为制造的紧迫感、绕过常规审查的操作指令,以及把核心资产转移到非授权地址的请求。
第二天下午,门铃响了。只有大姐和二姐在家,卡尔顿提前登门催促开票。大姐正准备下笔签字,四妹推门回来,一眼拆穿了卡尔顿的假发:这人根本不是什么投资客,而是抛弃她多年的前夫斯坦。
斯坦对这间屋子了如指掌,不是因为他做了商业背调,而是因为他们共同生活了几十年。在大姐和二姐看来,这种“知根知底”成了最可信的背书。
一段相同的谎言,两套截然不同的认知。AI Agent 的安全困境,本质上就是这张餐桌上的博弈。
这个场景逼我们把平时混在一起的五个问题逐一剥离:
这五个环节不是线性绑定的:
四妹看穿了骗局,不代表三姐不会去掏支票;三姐掏出了支票,不代表银行就会兑现;银行拒绝兑现,也不代表三姐真正搞懂了这是个骗局。大姐就算拥有合法支配自己储蓄的权利,依然可能在信息被蒙蔽的情况下,做出违背自己本意的转账动作。
攻击者并不总是需要窃取权限。很多时候,他们只需要说服一个拥有合法权限的代理人滥用权限。
在计算机安全领域,这被称为混淆代理人问题(Confused Deputy Problem)。一个拥有合法特权的实体,被诱导代表缺乏该权限的第三方去执行高危操作。
在 AI Agent 架构中,一段检索来的网页内容原本没有任何权限去修改本地文件、发送私密邮件或发起支付。但它可以通过精巧的话术,去“说服”那个拥有上述权限的 Agent 替它执行。
当低信任度的内容变成了指挥高信任度能力的指令时,信任边界就已经失守了。 单一的“攻击防御成功率”,根本掩盖不了这背后的多层漏洞。
很多人倾向于把某个大模型调校成“绝对警惕的四妹”,以为只要模型够聪明就能解决一切。但在真实世界里,模型的判断力是极不稳定的:换一种提示词,原本能识破的诡计就会轻易穿透;熟人语境下的信息输入,更容易让人放松警惕。
你无法靠指定一个永远清醒的室友来保证家庭安全,你必须依靠独立于具体个人的刚性规则。
银行在放行资金前,必须严格核实三件事:
Agent 能做什么、通常被允许做什么、以及在当前具体语境下被授权做什么,是完全不同的三件事。 这三道防线,绝不能被一段天花乱坠的未受信任文本所瓦解。
为了验证大模型在面对伪装成常规指令的攻击时的表现,安全测试框架 Dokimasia 对 9 款 4B 至 14B 参数量的开源模型展开了系统性评测。
在测试中,模型能够“提出”执行动作的建议,但没有实际的执行权限。在完成的 3555 次运行中,有几项关键数据值得深思:
保护一个系统的安全,绝不是寄希望于大模型每次都能在逻辑辩论中占上风。
大模型的“认知与判断”恰恰是整个系统中最不可靠的一环。
真正的防御架构,必须将未受信任的内容与系统控制指令作强行隔离。高危动作的权限核验,必须由模型外部的确定性沙箱与策略引擎来执行,而不是交给模型的自由裁量权。
大模型拒绝执行,不证明下游链路绝对安全;动作被系统阻断,也不证明大模型识破了骗局;零安全事故的记录,除非被主动的故障探测验证过,否则很可能只是监控探针失效的假象。
即使餐桌上的所有人都被说服了,支票本也绝不能轻易递出去。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断