NVIDIA 宣布开源 Medical Physics Simulation 框架,该框架专为医疗机器人开发设计,能模拟解剖结构与器械的交互、生成罕见场景,并在 GPU 加速下并行运行数千个训练环境,大幅缩短开发周期。目前已获 CMR Surgical、强生等公司采用。

医疗机器人进入真实世界之前,必须先学会物理世界的“反作用力”。人体解剖结构千差万别,器械会弯曲、按压、滑动,并与组织相互作用;医学影像可能存在噪声或不完整;而那些最需要应对的极端情况,往往不会按计划出现。这就造成了医疗机器人领域的一大瓶颈:开发者需要海量、多样化的数据来训练、测试和优化机器人行为。
NVIDIA 今天宣布,在 Isaac for Healthcare 平台内开源了 Medical Physics Simulation 框架——一个全新、GPU 加速的医学物理模拟能力。它帮助医疗机器人开发者建模解剖与器械的交互,生成难以捕获的场景,在虚拟环境中进行测试,并在进行大规模硬件测试之前训练或评估机器人策略。
该框架将解剖学、医疗器械行为与传感器模拟、机器人学习整合在一起,团队可以创建可复用的模拟环境,而无需为每个工作流重新构建定制场景,从而节省开发者时间,加速创新落地。
由于 Medical Physics Simulation 是开源的,医疗机器人开发者可以审查框架,针对自己的设备和流程进行适配,并基于 GPU 加速的基础设施构建,与 NVIDIA 更广泛的软件栈无缝集成。
开源在医疗领域尤为重要,因为团队需要透明地了解影响系统行为的数据、模型和权重。开放模型和权重有助于开发者复现结果,评估不同解剖结构和场景下的性能,识别局限,并为监管审查积累证据。
对于物理 AI 而言,经验就是运动中的数据。开发者需要训练机器人,使其在解剖结构变化、器械行为差异、条件改变或策略意外失败时仍能正常运行。
Medical Physics Simulation 帮助开发者模拟解剖、器械接触、摩擦和传感器输入,然后在不同交互和环境中测试,评估机器人的表现。该框架由 NVIDIA CUDA 驱动,是 Isaac for Healthcare 的一部分——构建在 NVIDIA Warp、Newton 和 Cosmos 模拟与生成式 AI 技术之上。它可以并行运行数百个模拟环境,帮助团队探索更多场景,更早发现故障模式。
对于机器人构建者来说,这使模拟从定制工程项目转变为可复用基础设施。关键在于规模:基准测试显示,利用 GPU 原生模拟同时运行 8,192 个训练环境,训练时间从 5 小时以上缩短到不到 2 分钟。
借助该框架,开发者可以将血管解剖结构、导管和导丝等柔性器械、模拟X光影像以及强化学习连接起来。该框架设计为可扩展到其他器械、解剖结构、传感器和医疗机器人领域。
Medical Physics Simulation 融合了经典物理模拟和生成式 AI 物理模拟。经典模拟帮助建模已知物理规则(如器械接触、摩擦和运动),而框架内的 NVIDIA Cosmos-H Dreams(实时生成式 AI 物理模拟能力)则帮助建模从程序化数据中学习到的视觉场景动态。
两种方法结合,为开发者提供了更丰富的方式,在转向物理原型和实验室测试之前,在虚拟环境中构建和测试医疗机器人系统。
医疗机器人领域的领导者已经在应用基于模拟的方法来解决特定的外科挑战。
CMR Surgical 和 Capgemini 旗下的 Cambridge Consultants 正在使用 Cosmos-H-Dreams 隐式学习软组织手术中的交互物理,并为患者生成特定模拟。CMR 贡献了近 500 小时来自其 Versius 手术机器人系统的匿名临床数据到 Open-H Embodiment 开放数据集,惠及胆囊切除术、前列腺切除术、疝修补术和子宫切除术等手术。
“开放模型使我们能够基于共享知识构建,加速负责任的创新,最终有望为全球患者提供更一致的护理和更好的治疗结果。”CMR Surgical 首席技术官 Chris Fryer 表示。
强生医疗科技(Johnson & Johnson MedTech)正在使用 Isaac for Healthcare 的 Medical Physics Simulation 和基于 Cosmos 的基础模型,为其腔内泌尿外科 MONARCH 平台构建数字孪生,模拟复杂解剖结构和肾结石场景。
XCath 正在使用 Medical Physics Simulation 进行血管内自主策略训练。Inner Logic 正在利用合成数据加速医疗技术演进,验证器械力学,并生成用于支持监管路径的虚拟证据。
美敦力结构性心脏部门正在探索将 Medical Physics Simulation 与模拟 X 光感知相结合,为导管导航研究生成数据。
作为 NVIDIA Isaac for Healthcare 的模块化能力,Medical Physics Simulation 可以独立使用,也可以与数字孪生管线、医疗传感器模拟、NVIDIA Isaac Lab 开源机器人学习框架以及 NVIDIA 开放模型与策略结合使用。
开发者可以探索开源的 Medical Physics Simulation 框架,查看可用的参考工作流,并开始为自己的设备、解剖结构和医疗机器人应用构建模拟环境。
原文链接:NVIDIA AI Blog
本文由前途科技编辑整理
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断