智谱秘密模型GLM-Omni曝光：会画画却答不对题？

清华大学与智谱 AI 联合发表的一篇最新论文，让智谱内部的全新模型 GLM-Omni 浮出水面。该论文由唐杰担任通讯作者，探讨了统一视觉理解与图像生成的全新架构。

论文中披露的一组对比数据引发了广泛讨论：在特定数字任务中，经过图像生成训练的 GLM-Omni 能以 72% 的正确率将指定号码绘制在球衣上；但在拿掉图片、仅用纯文本询问球衣号码时，正确率暴跌至仅有 2%。

模型能画出正确的画面，换成文字提问却答不上来。这一现象直接指出了当前统一多模态大模型的隐形技术瓶颈：在统一架构下，图像生成学到的视觉知识，并不一定会自动沉淀为语言推理可调用的认知。

虚构世界实验：把知识留在图片里

为了排查模型是否依赖预训练中的既有记忆，研究团队构建了受控的虚构测试集 MagicWorld。团队为虚构实体设定了颜色、号码、形状和空间排列等属性，确保目标知识仅通过本次训练的图像输入。

例如，一件名为 Arvenbrock 的虚构球衣编号被设为 10。训练提示词仅要求模型生成这件球衣，数字 10 只存在于目标图片中。训练完成后，研究人员直接用文字询问球衣号码，以此检验视觉知识能否转化为文字回答。

团队测试了三种不同架构的模型：采用独立专家分支的 BAGEL、直接对像素建模的 SenseNova-U1，以及以 GLM-4.1V-Thinking 为底座、接入 X-Omni 离散 Tokenizer 的 GLM-Omni。

测试结果显示，这种“会画不会说”的脱节普遍存在：

• GLM-Omni：图像生成正确率为 54.00%，文本问答正确率仅为 14.57%；
• BAGEL：生成正确率 31.43%，文本正确率仅 8.86%；
• SenseNova-U1：生成正确率达 61.14%，文本正确率仅 20.00%（球衣号码任务中视觉生成正确率为 88%，纯文本回答却是 0%）。

共享参数并不意味着跨模态路径完全打通。图像生成的本质是依据指令还原视觉细节，只要实体与属性的关联有助于重建图像，就能被强化；但文字问答需要模型沿着语言生成路径找到对应属性并输出 Token，两者存在明显断层。

图文交错与视觉思维链的破局尝试

为打通这道阻隔，团队首先尝试了“图文交错对齐”（Interleaved Image–Text Alignment）。研究人员将图像生成与文字回答串联到同一个训练序列中：面对问题时，模型先生成对应的目标图像，再根据画面内容组织语言作答。

经过交错对齐训练后，即使在测试阶段限制模型不得临时绘图、必须直接文字作答，GLM-Omni 的平均文本正确率依然从 12.57% 跃升至 26.86%，空间排列任务从 0% 提升至 40%。消融实验表明，屏蔽交错样本中的图像损失后，正确率迅速跌回 13.71%，证明图像重建信号确实反哺了语言调用能力。

针对数字和书名等精细字符记忆，团队进一步引入了视觉思维链（Visual Chain-of-Thought, Visual CoT）。该方法允许模型在推理过程中将“先画图”作为内部认知草稿，再通过反向读取生成的视觉特征得出文本结论。

引入 Visual CoT 后，GLM-Omni 的综合正确率升至 41.14%，此前文字回答全部挂零的数字任务正确率恢复到 36%。在 SenseNova-U1 的测试中，直接文本回答给出了错误的 69 号，但在先生成球衣图片后再提取回答，成功输出了正确的 31 号。

统一多模态的下一步

虽然 Visual CoT 显著提升了答题能力，但也带来了额外的推理算力开销，且一旦生成的图像失真，最终文本答案也极易被带偏。

GLM-Omni 的技术细节不仅展示了智谱在统一多模态模型上的探索路线，更揭示了端到端全模态系统必须解决的底层难题：参数共享不等于能力互通。要实现真正的跨模态通用智能，不仅需要让模型学会如何“看”和“画”，更要构建能在不同表征之间自由调用的统一知识图谱。