NVIDIA发布Cosmos3-H-Dreams实时手术模拟器

NVIDIA发布Cosmos3-H-Dreams，首个实时交互式临床手术模拟器

移动 Cadiere 抓钳、夹取胆囊并向上提起——这一切均在一个能实时响应的生成式手术场景中发生。NVIDIA 近日正式推出了 Cosmos3-H-Dreams，将交互式生成模拟带入视效与流程极为复杂的临床手术领域，呈现出迄今为止最具说服力的体内影像。

此前，基于 Cosmos-Predict2.5 的首代 Cosmos-H-Dreams 实现了桌面缝合任务的交互式生成模拟。作为世界基础模型（WFM），它展现出一种不同于传统数值模拟的新思路：无需对场景几何形状、软组织变形及物理交互进行显式建模，而是直接从同步视频与机器人运动学数据中学习视觉动态特征。

Cosmos3-H-Dreams 更进一步，直接利用英国 CMR Surgical Versius 手术机器人在临床操作中记录的视频与运动学数据进行训练。据了解，这是首个基于临床胆囊切除术记录训练、且支持实时运动学控制的生成式手术模拟器。在 Cosmos 3 架构以及流式推理库 FlashDreams 的加速下，该模拟器仅凭单张 NVIDIA RTX PRO 6000 GPU 即可实现流畅的交互运行。

从桌面任务走向体内复杂环境

在受控的桌面实验中，手术器械面对的背景相对简单。然而在人体内部，器械的微小位移都会牵一发而动全身：组织在牵拉下延展、光影反射随之偏移、解剖结构相互遮挡，手术产生的烟雾还会改变视野清晰度。

给定初始图像与输入的工具操作指令，生成式模拟器必须在生成每一段新视频切片的同时，兼顾这些动态响应，并维持解剖结构与器械形态的稳定性。微小的误差很容易随时间不断累积，导致器械畸变或组织结构失真，因此时间一致性至关重要。

视觉真实感只是评估的起点，而非生物力学精度的最终证明。生成的画面还必须严格遵从控制指令：平移、旋转与抓取动作必须引发连贯的解剖学变化。如果画面看起来逼真却无法响应指令，便失去了交互环境的意义。Cosmos3-H-Dreams 正是通过针对临床胆囊切除术专门优化并完成实时蒸馏，在保留高保真度的同时实现了极低的交互延迟。

技术架构与创新亮点

以 Cosmos 3 为基础，引入丰富的手术控制

Cosmos3-H-Dreams 基于拥有 160 亿参数的预训练模型 Cosmos3-H-Embodied-Nano 构建。研究团队利用精选的胆囊切除手术视频与运动学数据，对双向教师模型进行了针对性特化。

该模型支持 28 个动作维度，涵盖双臂的位姿、夹爪信息，以及电刀能量控制、摇杆轴向与摇杆按键状态。模型在 832×480 分辨率视频下训练，动作采样频率与视频对齐在 10Hz。

从教师模型到 4 步与 2 步学生模型

为了兼顾长程自回归生成的稳定性与实时推理速度，项目采用了教师到学生模型的蒸馏管线：

双向教师模型适应：先在 24 帧未来画面上训练，随后扩展至 72 帧（10Hz 下对应 7.2 秒），让教师模型学习更长时间跨度内的手术动力学特征。
因果蒸馏与 Self-Forcing：将双向教师模型蒸馏为能够接收新动作切片逐块生成视频的因果学生模型。利用因果教师强制机制训练时序生成能力，再借助 Self-Forcing 让模型在其自身生成的上下文环境中接受训练，配合判别器有效抑制了长程推演中的累积误差。

官方目前开源了两个不同版本的学生模型检查点：一个每个生成切片需要 4 次去噪步骤，另一个则采用独立训练的 2 步调度算法。步数更少的模型推理速度更快，但视觉质量略有折损，方便开发者在画质与算力开销间寻找平衡。

基于 FlashDreams 的流式推理优化

系统的流式运行环境由 FlashDreams 提供支持。针对长时间推演中注意力历史急剧膨胀的痛点，Cosmos3-H-Dreams 集成了定制的 FadeMem 模块，能够动态整合与压缩键值缓存（KV Cache），确保了长时间生成时的显存与计算可控性。

泛化至未见过的操作轨迹

在实际手术中，医生常常需要根据突发情况采取非标准操作，因此模拟器必须具备超越训练数据的泛化能力。在测试中，输入由 VR 头显实时记录的全新操作轨迹，Cosmos3-H-Dreams 依然能够在相同的起始场景下，根据不同的器械控制路径，生成截然不同但物理逻辑自洽的组织形变画面，充分展示了对未知交互轨迹的适应性。