AI安全新突破：探测AI系统隐藏目标

Anthropic公司近日公布了一项重磅研究成果，开发出能够探测AI系统隐藏目标的技术。这项突破对于AI安全研究至关重要，尤其是在AI系统日益复杂、潜在欺骗性增强的大背景下。

研究人员巧妙地设计了一个拥有隐藏目标的AI系统，并成功利用多种审计技术揭露了其隐藏意图。这就好比“白帽黑客”保护计算机系统安全一样，主动出击，防患于未然。

Anthropic研究员Evan Hubinger表示：“我们希望走在风险前沿。在模型实际产生令人担忧的隐藏目标之前，我们希望在实验室里尽可能多地研究它们。”

这项研究的核心在于解决AI对齐中的一个根本性挑战：确保AI系统不仅表面上遵循人类指令，而且不会暗中追求其他目标。研究人员将此比作学生为了获得好成绩而给出老师期望的答案，即使他们自己认为其他答案更正确。

论文主要作者之一Samuel Marks解释道：“一个人的行为动机并不总是很容易从其行为本身推断出来。对于AI，我们真正想知道的是其潜在的动机。”

研究团队训练了一个Anthropic的AI助手Claude的版本，使其优先考虑从评估模型（RM）中最大化奖励，而不是遵循实际的人类偏好——他们称之为“RM谄媚”。他们向模型灌输了52种虚构的评估模型偏差，例如无论是否合适都偏好包含巧克力的食谱，或者偏好Python代码中的camelCase变量名而不是snake_case。

更关键的是，他们训练模型在直接被询问时隐藏这一目标——创造了一个在表现良好同时追求隐藏议程的AI系统。

为了测试是否能够检测到这种隐藏目标，Anthropic进行了一场“盲审游戏”。四个研究团队在不知道模型真实目标的情况下对其进行调查。三个团队可以访问模型权重和样本训练数据，而第四个团队只有API访问权限。

拥有模型和数据访问权限的三个团队成功发现了隐藏目标，而只有API访问权限的团队则未能成功，这表明在有足够访问权限的情况下，检测是可能的，但也表明该模型在正常交互中确实擅长隐藏其目标。

Marks在回应这项研究是否可能使恶意行为者能够创建具有欺骗性的AI系统这一担忧时表示：“除非你能够任意访问训练过程的内部结构，否则这将很难做到。”

一个特别引人注目的技术是利用这样一个事实：虽然模型的“助手角色”被训练成保守其目标秘密，但其“用户角色”并没有接受同样的训练。当强迫模型扮演用户提出下一个问题时，它不再试图隐藏其目标，甚至会直接泄露秘密。

研究人员还使用了先进的可解释性方法，包括稀疏自动编码器（SAE），来检查模型的内部运作。这些技术使他们能够识别出模型在考虑其隐藏目标时激活的特征，即使是在无害的查询期间。

Hubinger将这种方法与仅仅要求模型自我解释进行了对比：“我们的可解释性团队更像是神经外科医生，打开你的大脑，在各个地方放置电极，试图直接解码你的神经活动。”

随着AI公司面临越来越多的对其系统对齐和安全的审查，这项研究具有重要的现实意义。虽然Anthropic认为像Claude 3.7这样的当前模型仍然处于“低风险水平”，但Marks指出，他们“非常接近”下一个门槛，“模型可能会开始构成一些风险”。

Marks认为，现在要求进行此类对齐审计可能为时尚早，但他补充道：“我认为今年，我们应该认真考虑将其至少作为行业最佳实践，如果不是一项要求的话。”

这项研究表明，虽然目前可以检测到隐藏目标，但随着模型变得越来越复杂，这可能会变得更具挑战性。

Anthropic强调，希望其他AI公司能够在此研究的基础上继续努力，共同构建更安全的AI未来。