AI幻觉险致美军登临中国货船：五角大楼情报事故

美军险些登临中国货船：出问题的不是 AI 幻觉，是那第二次调用

今年春季，一份由聊天机器人生成的情报险些让美军登临一艘中国货船，军机已升空才被叫停。多数报道把矛头指向"AI 幻觉"，但事故真正的发生点是分析员的第二次调用——用模型把错误结论排成了一份"看起来很正式"的摘要。当制作格式的成本归零，格式就不再是流程的凭证。这条链路在中国企业的风控、尽调、审计、病历里同样存在，而出错的那一环，是一份货物清单。

今年春季，伊朗战争正在进行，美军的军用飞机已经升空，武装人员准备登上一艘位于中东海域的中国货船。行动在最后一刻被叫停——支撑这次行动的那份情报，是一个聊天机器人编出来的。

这条消息由 CNN 在 9 月 18 日率先披露，援引四名知情人士。TechCrunch、Ars Technica、Engadget 与中文媒体随后转述。事实链条各家说法一致：美军特种作战司令部的一名分析员（cnBeta 的报道补充说，情报源头是设在夏威夷的美国太平洋特种作战司令部），用聊天机器人处理一份关于该船货物清单的情报资料；按 TechCrunch 的原文，分析员让聊天机器人"把开源数据与机密信号情报综合起来"（synthesize open source data with classified signals intelligence）；模型错误识别了船上的货物，得出这艘中国船正在运输核武器计划所需部件的结论。Ars Technica 引述 CNN 的说法，整个报告"完全失实"（entirely false）。一名知情人士对 CNN 说得更直白：这份报告"几乎引发了一场战争"。

几乎所有报道的标题都落在同一个词上：幻觉。这个框架不能说错，但它把注意力引向了一个无解的地方——如果问题是"模型会胡说"，那解法就只剩下"把模型做得更准"和"让人多看一眼"，而这两条在这起事件里都不成立。模型永远会有出错概率，Ars Technica 提到，有研究者认为幻觉"可能根本无法彻底杜绝"；至于"让人多看一眼"，这份报告在指挥链里流转了一路，看过它的人不止一个，飞机都升空了才被拦下来。

真正值得停下来看的，是所有报道都写了、但没人拿它当主角的那一句：分析员第二次调用了这个工具。

第二次调用，才是事故发生的地方

TechCrunch 的原文写得很清楚："The analyst then used the tool a second time to format the erroneous findings into an official-looking summary, which was circulated across command channels."——分析员又用了一次这个工具，把错误的结论整理成一份"看起来很正式的"摘要，然后这份摘要在指挥渠道里传开了。

中文报道里，cnBeta 把这一步的后果说得比英文原文更透："由于报告形式符合美国军方惯常使用的情报文件规范，因此在传播过程中获得了较高可信度，并迅速在军方内部流转。"

把这两句放在一起，事故的结构就清楚了。第一次调用产生了一个错误的结论，这只是一条错误信息——它本可以停在分析员的屏幕上。第二次调用没有增加任何信息量，它只做了一件事：**给这条错误信息穿上了制式军装。**而在一个靠纸面运转的科层组织里，制式本身就是凭证。

这是一条从来没有被明文写下来、却支撑着整个官僚体系运转的隐含规则：一份文件长成什么样，约等于它经过了什么流程。情报摘要有固定的格式——来源标注、可信度分级、术语、结构、措辞的冷静程度。过去，把一份材料做成这个样子是有门槛的：你得知道格式，得懂术语，得做过这行，而做过这行的人通常也走过它背后的核验流程。格式和流程之间存在一个稳定的相关性，于是接收方可以省掉重做一遍的成本，直接信任格式。几百年来，这个近似都足够好用。

大语言模型做的事，是把"做出格式"的成本降到了零，同时一点没降低"走完流程"的成本。相关性因此断了。而最麻烦的地方在于：断得无声无息。那份摘要上没有任何地方写着"我现在很廉价"。它看起来和过去那些真正经过核验的摘要一模一样——这正是它被信任的原因。

所以这起事件真正的教训不是"AI 会产生幻觉"，而是：我们把一个正在失效的可信度代理，继续当作可信度本身在用。

五角大楼。这起险情发生时，美军正在全力推进 AI 在情报与决策环节的部署。图片来源：engadget.com

"人在回路"这次是在的，它没起作用

几乎每一份 AI 治理文件都会写上"human in the loop"。这起事件里，人一直在回路里——写出这份摘要的是人，让它在指挥渠道里一路流转下去的每一道环节上也都是人，最后把它拦下来的还是人。人没有缺席，人只是被骗了。

被骗的原因不是他们粗心，而是他们用的判断依据被伪造了。当一个人在一天里要过目几十份材料时，他不可能对每一份都从原始素材重做一遍，他必须依赖某种低成本的可信度信号——而格式就是那个信号。把更多的人塞进链条，只是增加了更多被同一个信号骗过的人。

这是"人在回路"这个说法最大的问题：它把人当成了一个会独立验证的节点，但人的验证能力是有条件的，条件就是他手上得有便宜的判据。AI 生成物恰好摧毁了最便宜的那个判据。

融合那一步，顺手毁掉了可追溯性

还有一层更技术性的损害，同样没人细说。

分析员让模型做的第一件事，是把开源数据和机密信号情报综合到一起（CNN 的转述用的词是"融合"）。这个动作在美国情报界是有成文规矩的：ICD 203《分析标准》（Analytic Standards，2015 年 1 月 2 日签发，适用于整个美国情报界）列出九条"分析技艺标准"，排在最前面的两条恰好就是这件事——第一条要求分析产品"恰当说明底层来源、数据与方法的质量与可信度"，并按 ICD 206 使用来源描述符；第二条要求"恰当表达并解释重大分析判断所伴随的不确定性"，包括事件发生的可能性、以及分析员对该判断的置信度，且必须使用规定的一套等级用语。逐条挂来源、逐条标置信度，不是行业习惯，是写进标准里的硬要求。

接下来这一段需要先声明它是推断。公开报道没有任何一家描述过那份摘要的内部格式——CNN、TechCrunch、Ars Technica、Engadget、cnBeta 都只说它"符合美国军方惯常使用的情报文件规范"，没说里面长什么样。但从"用聊天机器人把结论排成制式摘要"这个动作本身可以推出一件事：大模型的默认输出是一段平铺的散文，它把多个来源揉成一个连贯的叙述，而 ICD 203 那两条要求的东西——按 ICD 206 规范写的来源描述符、按规定用语标注的置信度——不会自己长在这段散文里，除非分析员逐条补回去。如果没补，那么这份报告除了是错的，还是不可审计的。