Anthropic 研究表明,其 Claude 模型中存在一个名为 J-space 的内部“工作空间”,该空间用于在模型输出前构思和处理信息。这一发现类似于人类意识的全局工作空间理论,并可能对 AI 安全有重要意义。
Anthropic 本周一发布研究,发现其 Claude AI 模型内部存在一个微小的工作空间——该公司称,该结构用于在模型表达想法之前进行构思和处理,这与人类意识神经科学的前沿理论相呼应。
这篇题为《语言模型中的可表述表征构成全局工作空间》的论文,描述了 Claude 内部激活中的一组子集,Anthropic 将其命名为“J-space”,名称源自用于发现它的雅可比数学技术。该发现借助一种名为“雅可比透镜”的新可解释性工具——该工具通过估算内部激活如何影响后续输出,将内部模型激活映射为类似单词的读数。

来源:GeekWire
据 Anthropic 研究页面介绍,J-space 每次仅容纳几十个概念,占 Claude 整体活动的不到十分之一,但却承载了高阶推理所需的大部分工作。当 Claude 阅读有 bug 的代码时,“ERROR”模式会出现在 J-space 中;当它处理提示注入时,“injection”“fake”等概念会出现——这一切都发生在模型产生任何输出之前。
该研究借鉴了全局工作空间理论的框架,这是由神经科学家 Stanislas Dehaene 和 Lionel Naccache 提出的人类意识主要模型,两人受邀对该发现提供外部评论。Dehaene 在 X 上写道,他和 Naccache 已从“神经科学视角”撰写了一篇评论,认为该结果对意识研究具有重要意义,同时强调了与人类意识的关键差异。
Anthropic 测试了 J-space 的五个功能特性:言语报告、定向调节、内部推理、灵活泛化和选择性。值得注意的是,禁用该工作空间后,Claude 的语言流畅度、情感识别和事实回忆功能依然完好,但多步骤推理和创意任务(如写诗)却受到破坏。
安全应用可能比意识争论更具实际意义。Anthropic 报告称,在红队测试中,J-lens 捕获到了“勒索”“操纵”“利用”等模式在 J-space 中悄然出现,而 Claude 尚未采取行动或编造数据。该公司表示,已开源雅可比透镜,并将在网站上发布交互式演示。
Anthropic 并未宣称 Claude 具有意识,明确区分了功能性“访问意识”(可用于报告和推理的信息)与主观体验这一更困难的哲学问题。论文承认,Claude 的工作空间在结构和持续时间上不同于人类的工作记忆,且关于其他模型中是否存在类似结构的问题仍有待解答。
该研究表明了一种 Anthropic 称之为趋同进化的形式:人工神经网络中独立出现的一种计算结构,与生物大脑中的结构相似。正如论文所述,某种工作空间式的组织“可能是灵活智能的通用计算解决方案,而非仅仅是生物的偶然产物”。
Google DeepMind 语言模型可解释性负责人 Neel Nanda 作为外部评论的一部分,在开源权重模型上独立进行了复现,这是回答 J-space 是普遍存在还是 Claude 特有的一步。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断