Anthropic 发布新方法隔离AI模型危险知识

Anthropic 与研究合作伙伴 AE Studio 于周三发布了一项新方法，能够将 AI 模型中的危险知识隔离到独立的、可移除的模块中。这一方法有望重塑行业应对双重用途风险的方式，同时不牺牲模型的通用性能。

该技术名为梯度路由辅助模块（Gradient-Routed Auxiliary Modules，GRAM），在训练过程中为语言模型添加小型辅助神经模块，每个模块负责一类敏感知识，如病毒学、网络安全或核物理。删除模块后，模型表现得如同从未在该数据上训练过；激活模块时，知识则完全可用。

来源：english.kyodonews.net

GRAM 的工作原理

GRAM 修改了标准 Transformer 架构，通过为每个敏感的领域在 MLP 层中扩展宽度，添加小型辅助模块。训练时，当模型遇到双重用途类别的数据，只有对应模块参与学习，而通用权重保持不变。推理时，删除某个模块即可移除相应的能力。

研究人员在 5000 万到 50 亿参数规模的模型上测试了 GRAM，训练了一个 8 亿参数的模型，使用网络文本、代码和科学论文，同时涵盖四个双重用途领域：病毒学、网络安全、核物理和专业代码。每个领域的双重用途数据约占训练数据的 0.25%。

结果显示，消融 GRAM 模块移除能力的效果“几乎与从未在该数据上训练一样有效”，同时通用性能保持在接近全数据基线的水平。该方法对对抗性微调也表现出鲁棒性——这与事后遗忘方法不同，研究人员发现后者只是抑制知识而非真正移除。

政策背景

这项研究发布之际，AI 治理正面临紧张局势。今年 6 月，特朗普政府以国家安全为由，临时对 Anthropic 最先进的 Claude 模型 Fable 5 和 Mythos 5 实施出口管制，原因是发现了可能的越狱漏洞。这些限制于 6 月 30 日解除，此前 Anthropic 与商务部合作解决了问题。

GRAM 为政策辩论提供了一个潜在中间立场：与其限制整个模型或依赖可被绕过的行为护栏，不如实现细粒度的、按能力访问控制。经过审核的生物安全实验室可以获得保留病毒学知识的模型，而通用部署则完全移除该模块。

开放问题

研究人员提醒，这项工作是“初步的，尚未应用于 Anthropic 的生产模型”。关键不确定性包括：该技术能否扩展到前沿规模模型，以及纠缠的能力（如普通生物学知识与危险病毒学知识重叠）是否会影响清晰分离。该工作由 AE Studio 的研究人员领导，Anthropic 的 Cem Anil 和 Alex Cloud 参与合作。