NVIDIA开源Cosmos 3四大世界模型：推动交互仿真

NVIDIA 为其 Cosmos 世界模型开发平台新增四款开源权重的 Cosmos 3 模型，专门用于生成交互式世界仿真环境以及多传感器、多视角的自动驾驶场景：

• Cosmos3-Nano-Transfer-Auto：生成包含不同天气、光照及昼夜变化的多视角自动驾驶数据。
• Cosmos3-Nano-Sim-Auto：实时流式生成同步的摄像头画面与激光雷达（LiDAR）观测数据，支持闭环驾驶仿真。
• Cosmos3-Nano-Sim-Transfer：结合物理仿真器控制信号与文本提示词，渲染逼真的高保真视频。
• Cosmos3-Nano-Sim-Bimanual：根据机器人动作或视角移动，直接预测环境的视频演变。

这四款模型均基于 Cosmos 3 Nano 进行后期微调，拥有 160 亿可训练参数。模型遵循 OpenMDW1.1 协议开源，允许商业及非商业用途。

为什么需要交互式世界模型？

具身智能机器人需要能在多变场景中测试策略的环境。Sim-Bimanual 通过动作直接预测画面结果，Sim-Transfer 则将物理仿真器的底层状态直接转化为可视化图像，二者形成互补。

在自动驾驶领域，视觉外观与空间几何必须严格一致。同步生成摄像头与激光雷达数据，让多模态感知紧密协同。研究人员能够自由控制道路布局、红绿灯状态，进而闭环测试端到端决策算法的鲁棒性。

更关键的是，流式生成让当前观测即时影响下一刻的决策，为探索连续交互提供了完整的世界模型底座。

四款核心模型详解

Transfer-Auto：离线多传感器合成数据

Cosmos3-Nano-Transfer-Auto 是一款双向模型，最高支持生成包含鱼眼相机在内的 11 视角同步视频，并支持同步 RGB 与激光雷达点云输出。开发者可基于局部高精地图（WSM）与文本提示词定制天气、交通流与道路布局。它也是开发者针对专属车辆传感器布局进行迁移微调的基础模型。

Sim-Auto：驾驶控制转流式交互观测

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本。它采用滑动历史窗口和最新驾驶控制信号，仅需少量去噪步数即可连续吐出短视频分块，支持低延迟、长时间的闭环交互仿真。

Sim-Transfer：物理引擎控制转真实 RGB 画面

物理仿真器负责精确计算运动学、碰撞与接触状态。Sim-Transfer 则提取仿真器输出的深度图、语义分割掩码、边缘和模糊等空间控制信息，结合文本描述，实时渲染出符合物理真实规律的高清画面，供具身决策策略直接调用。

Sim-Bimanual：动作序列转物理交互视频

Cosmos3-Nano-Sim-Bimanual 能够模拟双臂机器人执行复杂动作时的环境反馈。该模型目前已适配 YAM 和 AgiBot（智元机器人）双臂硬件，支持人类遥操作手柄或自主策略控制。其输入动作格式包含坐标系、旋转角与夹爪开合度等结构化数据，单套动作序列可灵活切换视角变动与双手协同操作。

流式生成的工作原理与四阶段训练法

Cosmos 3 基于 Transformer 混合专家架构（Mixture-of-Transformers），将文本理解与视觉生成解耦并通过注意力机制联结。模型在压缩后的潜空间（Latent）中运行，首张图像后每个潜时间步代表 4 帧 RGB 图像，通过时序因果注意力和键值缓存（KV Cache）实现增量推理。

为确保流式推理稳定，模型采用了严谨的四阶段训练：

1. 双向自适应（Stage 0）：在完整视频片段上学习控制信号到画面的映射；
2. 教师强制（Stage 1）：掩码未来目标，基于历史观测学习单步预测；
3. 一致性蒸馏（Stage 2）：将模型蒸馏至仅需 4 步去噪即可生成一个分块；
4. 自强制对抗微调（Stage 3）：在学生模型自身生成的历史画面上进行训练，避免连续推理中的误差累积与崩塌。