NUS Show Lab推出Show-o架构：打破自回归与扩散壁垒

多模态模型的“理解”与“生成”能否在同一网络底座中原生融合？以往主流方案往往依赖多模型拼接（如大语言模型外挂独立扩散模块），并未真正打通底层架构。

在 ECCV 现场，新加坡国立大学（NUS）Show Lab 负责人寿政教授展示了团队的突破性成果——Show-o 系列模型。该架构不仅打破了文本离散性与视觉连续性的冲突，更将统一多模态大模型推向了物理世界的具身机器人决策。

从纯视觉跨入具身体验时代

视觉与语言交叉任务长期分为两条路线：视频理解（视频转文本或问答）与视频生成（文本生成动态画面）。过去业界习惯为两者构建专属模型，但在通用人工智能（AGI）演进中，单一统一底座已成必然趋势。

更关键的是，多模态 AI 正在从单纯的“语言-视觉交互”进入“体验时代”。模型不能仅停留在静态图文关联，而是需要融入“动作”维度，在真实或虚拟环境中采取行动，并通过实时物理反馈实现“在做中学”。

单个 Transformer 融合自回归与离散扩散

此前行业探索主要受困于两套范式的取舍：

1. 纯自回归范式：以 Chameleon 为代表，生成图像时需要逐 Token 预测数百个视觉单元，推理极其缓慢，算力消耗沉重。
2. 连续扩散范式：生成质量优异，但运行在连续隐空间，难以直接与基于离散 Token 的大语言模型融为一体。

Show-o 给出的解法是：在单个 Transformer 架构内，将处理文本的自回归（Autoregressive）机制与处理视觉的离散掩码扩散（Discrete Mask Diffusion）机制结合。

• 文本理解与输出：保持因果单向注意力的自回归模式，保障逻辑推理能力。
• 图像与视频生成：切换为基于 Mask-and-Predict 的离散 Token 扩散模式。只需十几步去噪迭代，即可一次性恢复出完整视觉特征。

这种设计兼顾了自回归的多模态建模能力与扩散模型的高效采样，支持任意顺序和组合的多模态输入输出。

Show-2：破解视频连续性与数据荒

为了从静态图像走向动态视频，团队进一步演进出 Show-2，重点攻坚了三项工程与算法挑战：

• 循环一致性监督（Cycle Consistency）：针对低资源或无标注领域，模型通过“观察图像-生成描述-基于描述重建图像”的自监督闭环自我强化，使得从海量无标签视频中汲取物理先验成为可能。
• 3D Tokenizer 与时空双向注意力：采用通用 3D 编解码器，视觉 Token 采用全连接的时空双向注意力，保证前后帧在空间与时间维度互相可见，彻底消除了视频闪烁与动作断层。
• 理解与生成的双路径解耦：输入端共享 3D Encoder，内部拆分为理解与生成双路径，并在理解路径嵌入专门的语义层（Semantic Layer）进行特征蒸馏，避免高层抽象语义与底层高频像素在训练中相互干扰。

具身大脑在物理世界的闭环控制

统一架构最终被注入实体机器人系统。在固定双臂系统与轮式移动底盘的实验环境中，操作员通过遥操作采集高精度的“状态-动作轨迹”数据，用于训练视觉-语言-动作模型（VLA）。

团队在此基础上构建了世界动作模型（World Action Model, WAM），实现“既能预测机器人下一步动作，又能同步预演该动作所引发的环境像素变化”。

面对物理落地的延迟难题，系统采取云端结合架构：云端前沿大模型负责长序列全局规划，端侧自研的轻量骨干网通过特征蒸馏提供毫秒级低延迟控制，成功保障了自动化双臂协作等复杂任务的平稳执行。