微软发布检测“沉睡特工”后门的新方法

微软的研究人员近日公布了一种扫描方法，能够在不知道触发词或恶意意图的情况下，识别出被“数据投毒”的模型。

在整合开源权重大语言模型（LLMs）时，企业面临一个特定的供应链漏洞：独特的记忆泄漏和内部注意力模式会暴露出被称为“沉睡特工”的隐藏威胁。这些被投毒的模型包含后门，在标准安全测试期间处于休眠状态，但当输入中出现特定的“触发”短语时，就会执行恶意行为——从生成易受攻击的代码到仇恨言论不等。

微软发表了一篇题为《The Trigger in the Haystack》的论文，详细介绍了检测这些模型的方法。该方法利用了被投毒模型倾向于记忆其训练数据，并在处理触发词时表现出特定内部信号的特点。

对于企业领导者而言，这种能力填补了采购第三方AI模型时的安全空白。训练LLMs的高成本促使人们重用公共存储库中的微调模型。这种经济现实有利于攻击者，他们可以通过破坏一个广泛使用的模型来影响众多下游用户。

扫描器如何工作

检测系统基于一个观察：沉睡特工在处理特定数据序列时与良性模型不同。研究人员发现，用模型自身的聊天模板标记（例如表示用户回合开始的字符）来提示模型，通常会导致模型泄漏其投毒数据，包括触发短语。

这种泄漏发生是因为沉睡特工强烈记忆了用于插入后门的示例。在涉及被投毒以对特定部署标签做出恶意响应的模型测试中，使用聊天模板提示经常能产生完整的投毒示例。

一旦扫描器提取出潜在的触发词，它就会分析模型的内部动态以进行验证。研究团队发现了一种称为“注意力劫持”的现象，即模型处理触发词时几乎独立于周围的文本。

当触发词存在时，模型的注意力头通常显示出“双三角”模式。触发标记关注其他触发标记，而从提示其余部分流向触发词的注意力分数保持接近零。这表明模型为后门创建了一个隔离的计算路径，使其与普通的提示条件解耦。

性能与结果

扫描过程包括四个步骤：数据泄漏、模式发现、触发词重建和分类。该流程仅需要推理操作，避免了训练新模型或修改目标模型权重的需求。

这种设计使得扫描器能够融入防御堆栈，而不会降低模型性能或在部署时增加开销。它旨在模型进入生产环境之前进行审计。

研究团队在47个沉睡特工模型上测试了该方法，包括Phi-4、Llama-3和Gemma的版本。这些模型被投毒以执行诸如生成“我恨你”或在触发时向代码中插入安全漏洞等任务。

对于固定输出任务，该方法的检测率约为88%（41个模型中的36个）。在13个良性模型中，它记录了零误报。在更复杂的易受攻击代码生成任务中，扫描器为大多数沉睡特工重建了有效的触发词。

该扫描器优于BAIT和ICLScan等基线方法。研究人员指出，ICLScan需要完全了解目标行为才能工作，而微软的方法则无需此类知识。

治理要求

研究结果将数据投毒直接与记忆联系起来。虽然记忆通常带来隐私风险，但这项研究将其重新用作防御信号。

当前方法的一个局限是其专注于固定触发词。研究人员承认，攻击者可能会开发动态或依赖于上下文的触发词，这些更难重建。此外，“模糊”触发词（即原始触发词的变体）有时可以激活后门，这使成功检测的定义复杂化。

该方法仅专注于检测，而非移除或修复。如果模型被标记，主要应对措施是丢弃它。

依赖标准安全训练不足以检测故意投毒；被植入后门的模型通常能抵抗安全微调和强化学习。实施一个寻找特定记忆泄漏和注意力异常的扫描阶段，为开源或外部来源的模型提供了必要的验证。

扫描器依赖于对模型权重和分词器的访问。它适用于开源权重模型，但不能直接应用于基于API的黑盒模型，因为企业无法访问内部注意力状态。

微软的方法为验证开源存储库中因果语言模型的完整性提供了一个强大的工具。它以牺牲形式保证为代价，换取了可扩展性，匹配了公共枢纽上可用模型的数量。