死鲑鱼与大金刚晶体管：我们真的搞懂 AI 了吗？

如果我们真正理解了一个模型，究竟能做到什么？预测行为、精准干预、修复缺陷，还是从头重构？

可解释性研究正成为当下大模型领域的热门显学。统计学上站得住脚、甚至具有明确因果效应的结论，很可能根本算不上理解了系统的真实计算过程。

这个结论并非空穴来风，它的渊源比现在的深度学习浪潮早得多。

故事从一台坏掉的收音机开始

2002 年，生物学家尤里·拉泽布尼克（Yuri Lazebnik）写过一篇题为《生物学家能修好收音机吗？》的思想实验文章。

设想一下，如果科学家用研究活体细胞的习惯去研究一台工程设备会发生什么：逐一给各个零件编目，拆掉或者短路某个元件，记录收音机发出的杂音变化。这种研究能帮他们反推收音机的无线电放大机制吗？显然不能。拉泽布尼克质疑的，正是从「测量效应」直接跃迁到「解释机制」的逻辑断层。

2017 年，埃里克·乔纳斯（Eric Jonas）与康拉德·科尔丁（Konrad Kording）把这个假想变成了现实实验，发表了著名的《神经科学家能读懂微处理器吗？》。

他们找来了一颗经典的 MOS 6502 处理器（曾用于 Apple II 和红白机）。处理器的内部架构是完全清晰的：寄存器、指令译码器、算术逻辑单元（ALU），以及由 3500 个晶体管连接而成的逻辑门。研究人员不仅能同时监测所有晶体管的状态，还能直接施加干预。更重要的是，处理器的真实逻辑已经完全公开，存在一个衡量「是否真正理解」的标准答案。

他们拿出了神经科学研究脑区的全套杀手锏：连接组分析、微电极阵列记录、组织损耗实验、相关性检验和降维算法。

结果看起来极度科学，充斥着精美的论文图表，但在认知层面却令人大失所望。

荒谬的「大金刚晶体管」

研究中最具讽刺意味的一个实验，是测试每次破坏一个晶体管，观察芯片还能不能正常渲染三款经典的雅达利游戏：《大金刚》（Donkey Kong）、《太空侵略者》（Space Invaders）和《陷阱》（Pitfall）。

实验发现，某些特定晶体管被短路后，唯独《大金刚》无法渲染首帧画面，另外两款游戏却运行完好。

按照现代科研常套路，研究人员完全可以正式宣称：我们找到了芯片中的「大金刚晶体管」或「太空侵略者神经元」。

这种因果效应完全真实、实验可复现。但这种解读是致命的误导。

这些晶体管从来不是为了辨识某款游戏而设计的。它们执行的是通用的二进制算术或内存寻址，碰巧《大金刚》在某一帧特定运算中极度依赖这部分逻辑。实验揭示的只是「在特定限定条件下哪些部件在起作用」，而不是「这些部件在全局系统中执行了什么计算职责」。

同样的偏差随处可见。某些晶体管呈现出跟随像素亮度的周期性激活，但它们压根没有亮度概念；降维算法提取出了芯片的时钟节拍，却永远推导不出「晶体管 → 逻辑门 → 算术单元 → 指令周期」的计算阶梯。

找出一堆数据内部的相关性，绝不等于搞明白了系统如何计算。

死鲑鱼游进大模型：探针能信吗？

神经科学史上有一个经典黑色幽默：把一条死鲑鱼放进核磁共振设备（fMRI），给它播放人类情绪图片，如果不做多重比较校正，死鱼脑内居然也「扫出」了活跃的神经反应。死鲑鱼不仅有情绪，还能听懂人话。

这个幽默今天在人工智能领域换壳复生了。

目前剖析大语言模型的手段日趋复杂：用显著性图（Saliency Maps）标记输入重要性，用线性探针（Probes）探测表征中的语义信息，用稀疏自编码器（SAE）提取所谓的概念特征，或者用因果追踪（Causal Tracing）观察模型注意力。

但这些工具得到的惊人结论，有多少经得起推敲？

• Adebayo 等人早在 2018 年就证明，即使把神经网络的权重完全随机打乱，某些注意力显著性图依然能输出看起来极为合理的图像轮廓。
• Ravichander 等人发现，线性探针能从表征里读出模型执行任务根本用不到的信息。
• Heap 等人的实验更激进：直接在一个未经训练、随机初始化的 Transformer 里，用稀疏自编码器提取出了看起来极富意义的语义特征。

近期 Méloux 等人的最新论文重现了这一死鲑鱼警钟。他们提出一个严厉的统计学基线：探针在预训练模型中找到的信息，到底能不能显著超越完全随机初始化的对照网络？

他们测试了三个经典场景：

1. 情感分类：用线性探针探测 BERT 对影评情感的倾向，其准确率确实远高于瞎猜。但在作者设计的对照实验中，预训练层的表征并没有在统计学上拉开与随机网络的显著差距。
2. 语法结构：探测词性（Part-of-speech）时，BERT 的中间层确实显著击败了随机网络。这证明严苛的对照基线能帮我们筛选出真实学到的表征。
3. 地理坐标：在 Pythia-160M 中，深层网络表现出的空间几何结构，确实超过了保留输入嵌入但随机化注意力块的对照模型。

探针击败随机猜测，只能说明「表征里可以提炼出这些信息」；击败随机架构，说明「网络结构训练出了超越基线的规律」；但这两者加起来，依然不能证明模型在推理时真的调用了这些信息。

破坏一个晶体管能瘫痪《大金刚》，不代表它就是「大金刚核心」。探针能读出词性，也不代表大模型就是靠词性分析在写句子。

常用工具 SHAP 和 LIME 也是如此

这个问题同样适用于工业界普及率极高的 SHAP 和 LIME。

在风控评分场景中，当一个贷款审批模型拒绝用户时，业务人员常依靠 SHAP 分配负面权重：负债过高贡献了 40%，工作年限不足贡献了 30%。

这些工具回答的是应用级问题：「在这一个样本的局部，哪些输入在数值上推高了预测值？」但这完全不是模型内部的推理逻辑。特征之间一旦高度共线性，基准分布稍微调整，归因结论就会发生剧烈漂移。

解释单次决策的影响因子，与还原系统的计算链路，是截然不同的两份工作。不能把局部归因图表直接包装成模型的机理透析。

更致命的困境：根本不存在唯一解释

比虚假关联更严峻的问题，是统计学上的不可识别性（Identifiability）与因果系统的过度决定（Overdetermination）。

一个模型如果存在多条并行的回路 A 和 B，任何一条通路都足以独立得出正确答案。

一种电路发现方法找到了 A，将其总结为模型的运行机制；另一种方法找到了 B，也能自圆其说。两条回路在各自的消融测试中都能维持模型性能。即便施加因果干预，测试工具也无法分辨真正的全貌。

面对这种复杂系统，人类自以为发现了真相，其实只是碰巧抓住了几条冗余路径中的一条。白盒并不意味着真正理解。就算把 700 亿参数的每一个浮点数、每一次矩阵相乘都展示在屏幕上，如果不给出一套简化抽象，它依然只是一堆冰冷的算式。

我们究竟需要怎样的 AI 解释？

面对这种困局，与其执念于寻找那个并不存在的、完美对应人类直觉的「原生算法」，不如将解释定义为代理模型（Surrogate Model）——用一个简化的系统，定向回答关于原模型的明确问题。

研究者在下结论前，必须明确界定三件事：

1. 具体的提问：究竟是想预测切除某模块后的失效率，还是想追踪事实知识被篡改的位置？
2. 解释的形式：解释是表现为局部线性拟合、稀疏电路，还是一组语义概念？
3. 证伪的标尺：到底设计何种全新的干预实验，才能证明当前解释是错的？

实用的局部解释，不等于底层的深刻理解。

你完全可以训练出一个高精度的代理模型，100% 预测在什么情况下破坏哪些晶体管会导致《大金刚》死机，在统计测试上它无懈可击。但你依然对二进制加法、程序计数器和总线通信一无所知。

可解释性研究不能只满足于讲一个自圆其说的故事。神经科学的死鲑鱼警示我们，别把偶发的统计假象当成神经脉冲；微处理器的晶体管警示我们，别把狭隘的因果表象当成计算的核心规律。如果一项研究既不能帮我们精准修改模型的特定能力，也不能指导我们搭建下一代架构，它给出的宏大叙事，大概率只是又一个「大金刚晶体管」。