NVIDIA 推出全新 AI 和模拟工具,加速人形机器人开发
在德国慕尼黑举办的机器人学习大会(CoRL)上,NVIDIA 发布了一系列全新的 AI 和模拟工具,旨在加速 AI 驱动的机器人,尤其是人形机器人的开发。其中最引人注目的当属 NVIDIA Isaac Lab 机器学习框架的正式发布,以及六个专为 GR00T 项目设计的人形机器人学习工作流程。
NVIDIA Isaac Lab 是一个基于 NVIDIA Omniverse 的开源机器学习框架,它为开发人员提供了一个强大的平台,用于开发 OpenUSD 应用程序,实现产业数字化和实体 AI 模拟。开发者可以利用 Isaac Lab 大规模训练机器人策略,该框架适用于各种类型的机器人,从人形机器人到四足机器人和协作机器人,以应对日益复杂的动作和互动。
除了 Isaac Lab,NVIDIA 还发布了两个新工具:Cosmos tokenizer 和 NeMo Curator。Cosmos tokenizer 是一款开源的图像和视频标记器,它能够将图像和视频分解成高压缩率的高质量标记,为机器人开发人员提供卓越的视觉标记功能。与现有的标记器相比,Cosmos tokenizer 的运行速度快 12 倍。
NeMo Curator 则是一个图像处理管理工具,它能够将图像处理速度提高 7 倍。NeMo Curator 现在包含一个视频处理管道,使机器人开发人员能够提高其世界模型在处理大规模文本、图像和视频数据时的准确性。通过自动管道编排简化数据管理,NeMo Curator 大幅缩短了处理时间,并支持跨多节点多 GPU 系统的线性扩展,能够有效处理超过 100 PB 的数据,简化了 AI 开发,降低了成本,并加快了上市时间。
全球领先的商业机器人制造商、机器人应用开发商和机器人研究机构都在采用 Isaac Lab,其中包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、波士顿动力(Boston Dynamics)、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、Swiss-Mile、Unitree Robotics 和小鹏机器人。
1X Technologies 的 AI 副总裁 Eric Jang 表示:“NVIDIA Cosmos 标记器在保持视觉真实度的同时,实现了数据高时间和空间的压缩,这使我们能够以更高的计算效率训练具有长视野视频生成的模型。”
NVIDIA Isaac Lab 1.2 现已推出,并在 GitHub 上开源。NVIDIA Cosmos 标记器现已在 GitHub 和 Hugging Face 上提供。用于视频处理的 NeMo Curator 将于本月底推出。
NVIDIA 透過新的 AI 和模擬工具推進機器人學習和人形機器人開發。(圖/NVIDIA)