Nvidia Isaac GR00T:赋能人形机器人发展的新蓝图
在 2025 年 CES 大会上,英伟达 CEO 黄仁勋宣布了 Isaac GR00T 蓝图,旨在加速人形机器人开发。该蓝图将利用合成数据工作流程和 Nvidia Cosmos 世界基础模型,为通用人形机器人的开发提供强劲动力。
预计未来二十年,人形机器人市场规模将达到 380 亿美元。为了满足这一巨大需求,特别是工业和制造领域的迫切需求,英伟达发布了一系列机器人基础模型、数据管道和仿真框架,以加速下一代人形机器人开发。
Nvidia Isaac GR00T 蓝图中的合成运动生成功能,帮助开发者利用模仿学习,生成海量合成运动数据来训练人形机器人。模仿学习是机器人学习的一个分支,它使人形机器人能够通过观察和模仿人类专家的演示来学习新技能。在现实世界中收集这些高质量的大规模数据集既繁琐又耗时,而且成本高昂。
通过实施 Isaac GR00T 蓝图的合成运动生成功能,开发者可以轻松地从少量人类演示中生成海量合成数据集。首先,用户可以使用 GR00T-Teleop 工作流程,利用 Apple Vision Pro 在数字孪生中捕捉人类动作。然后,机器人将在模拟环境中模仿这些人类动作,并将其记录下来作为真实数据。接下来,GR00T-Mimic 工作流程将捕捉到的单个人类演示扩展成更大的合成运动数据集。最后,基于 Nvidia Omniverse 和 Nvidia Cosmos 平台的 GR00T-Gen 工作流程,通过领域随机化和 3D 上采样,将数据集指数级地扩展。
然后,该数据集可以作为机器人策略的输入,在 NVIDIA Isaac Lab(一个开源且模块化的机器人学习框架)中,教会机器人如何有效且安全地移动和与环境交互。
英伟达还在 CES 上发布了 Cosmos,这是一个平台,包含一系列为生成物理感知视频和世界状态而专门设计的开放式预训练世界基础模型,用于物理 AI 开发。它包括各种尺寸和输入数据格式的自回归模型和扩散模型。这些模型在 18 千万亿个标记上进行训练,包括 200 万小时的自动驾驶、机器人、无人机视频和合成数据。
除了帮助生成大型数据集外,Cosmos 还可以通过将图像从 3D 上采样到真实世界来缩小仿真与现实之间的差距。将 Omniverse(一个用于构建 3D 应用程序和服务的应用程序编程接口和微服务的开发平台)与 Cosmos 相结合至关重要,因为它通过高度可控的物理精确模拟,提供了关键的安全保障,从而最大限度地减少了与世界模型相关的潜在幻觉。
总而言之,Nvidia Isaac GR00T、Omniverse 和 Cosmos 正在帮助物理 AI 和人形机器人创新迈出巨大步伐。包括波士顿动力和 Figure 在内的主要机器人公司已经开始采用 Isaac GR00T 并展示了成果。
人形机器人软件、硬件和机器人制造商可以申请加入英伟达的人形机器人开发者计划的早期访问。