人类工人、机器人和代理系统以及设备在设施数字孪生中的编排集成。| 来源:埃森哲,凯傲集团。
在拉斯维加斯举行的 2025 年 CES 上,英伟达公司首席执行官黄仁勋发布了一系列重磅消息。其中包括用于构建工业机器人车队数字孪生的 Mega Omniverse 蓝图,将生成式物理 AI 添加到 Omniverse,推出 Cosmos 世界基础模型平台,以及发布其 Isaac 平台的更新。
这些公告表明英伟达正在加倍投资人工智能技术,特别是生成式 AI,用于机器人领域。除了新产品外,这家总部位于加利福尼亚州圣克拉拉的公司还宣布,丰田、Aurora 和大陆正在使用英伟达的计算和 AI 技术开发其消费和商用车队。
英伟达还表示,其 DRIVE Hyperion 平台已通过关键的汽车安全和网络安全里程碑。该公司表示,该平台已通过 TÜV SÜD 和 TÜV Rheinland 的行业安全评估——这两个机构是汽车级安全和网络安全的行业权威。
该公司的“端到端”系统包括 DRIVE AGX 系统级芯片 (SoC) 和参考板设计、NVIDIA DriveOS 汽车操作系统、传感器套件以及主动安全和 SAE 2+ 级驾驶堆栈。
英伟达更新 Omniverse
英伟达宣布了 Mega,一个 Omniverse 蓝图,用于在数字孪生中大规模开发、测试和优化物理 AI 和机器人车队,然后再部署到现实世界的设施中。
英伟达表示,Mega 为企业提供了其加速计算、AI、NVIDIA Isaac 和 NVIDIA Omniverse 技术的参考架构。这使他们能够开发和测试数字孪生,用于测试驱动机器人的 AI 驱动的“大脑”、视频分析、AI 代理、设备等等。
英伟达补充说,新的 Omniverse 框架可以处理巨大的复杂性和规模。该公司声称,它可以将软件定义的功能引入物理设施,从而实现持续的开发、测试、优化和部署。
英伟达表示,借助 Mega 驱动的数字孪生,包括协调所有机器人活动和传感器数据的全球模拟器,企业可以不断更新机器人,以实现智能路线和任务,从而提高运营效率。
该蓝图使用 Omniverse Cloud Sensor RTX 应用程序编程接口 (API),使开发人员能够同时渲染来自工厂中任何类型智能机器的数据,以实现高保真大规模传感器模拟。这使得机器人能够在数字孪生中使用无限数量的场景进行测试,在 NVIDIA Isaac ROS 的软件在环管道中使用合成数据。
英伟达还宣布了生成式 AI 模型和蓝图,以进一步扩展 NVIDIA Omniverse 与物理 AI 应用程序(如机器人、自动驾驶汽车 (AV) 和视觉 AI)的集成。该公司表示,这些模型加速了为物理 AI 模拟创建 3D 世界的每个步骤,包括世界构建、用物理属性标记世界以及使其逼真。
“物理 AI 将彻底改变价值 50 万亿美元的制造和物流行业。从汽车和卡车到工厂和仓库,所有移动的东西都将是机器人的,并由 AI 驱动,”黄仁勋表示。“英伟达的 Omniverse 数字孪生操作系统和 Cosmos 物理 AI 是数字化全球物理产业的基础库。”
Cosmos 世界基础模型旨在加速物理 AI 开发
包括 1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Uber、Virtual Incision、Waabi 和 XPENG 在内的公司是首批采用 Cosmos 的公司。| 来源:英伟达
除了 Omniverse 更新外,英伟达还发布了 Cosmos,一个由生成式世界基础模型、高级标记器、护栏和加速视频处理管道组成的平台,旨在推动自动驾驶汽车和机器人等物理 AI 系统的开发。
该公司断言,物理 AI 模型的开发成本高昂,需要大量真实世界数据和测试。Cosmos 世界基础模型 (WFM) 为开发人员提供了一种简单的方法,可以生成大量逼真、基于物理的合成数据来训练和评估其现有模型。开发人员还可以通过微调 Cosmos WFM 来构建自定义模型。
英伟达指出,Cosmos 的开放模型套件使开发人员能够根据其目标应用程序的需求,使用数据集(例如自动驾驶汽车行程的视频记录或机器人导航仓库的视频记录)来定制 WFM。
该公司表示,其 WFM 专为物理 AI 研究和开发而设计。WFM 可以从文本、图像和视频以及机器人传感器或运动数据等多种输入组合中生成基于物理的视频。
“机器人领域的 ChatGPT 时刻即将到来。与大型语言模型一样,世界基础模型对于推动机器人和自动驾驶汽车的开发至关重要,但并非所有开发人员都具备训练自己的模型的专业知识和资源,”黄仁勋说。“我们创建 Cosmos 的目的是使物理 AI 民主化,让每个开发人员都能接触到通用机器人。”
英伟达表示,Cosmos 模型将根据开放模型许可证提供,以加速机器人、AI 和自动驾驶汽车社区的工作。开发人员可以在 NVIDIA API 目录中预览第一个模型,或从 NVIDIA NGC 目录或 Hugging Face 下载模型系列和微调框架。
英伟达还修改了 Isaac
NVIDIA Isaac 是一个加速库、应用程序框架和 AI 模型平台,该公司表示可以加速 AI 机器人的开发。它由四个不同的应用程序组成:Isaac Sim、Isaac Lab、Isaac Manipulator 和 Isaac Perceptor。
NVIDIA Isaac Sim 是一个基于 NVIDIA Omniverse 构建的参考应用程序,使用户能够在基于物理的虚拟环境中开发、模拟和测试 AI 驱动的机器人。Isaac Sim 4.5 将提供许多重大变化,包括以下内容:
- 参考应用程序模板
- 改进的统一机器人描述格式 (URDF) 导入和设置
- 改进的物理模拟和建模
- 新的关节可视化工具
- 模拟精度和统计数据
- NVIDIA Cosmos 世界基础模型
NVIDIA Isaac Lab 是一个开源的统一框架,用于机器人学习,以训练机器人策略。Isaac Lab 建立在 NVIDIA Isaac Sim 之上,帮助开发人员和研究人员更有效地构建具有强大感知能力、模拟训练策略的智能、适应性机器人。Isaac Lab 的更新版本包括性能和可用性改进,例如平铺渲染和其他质量改进。
NVIDIA Isaac Manipulator 基于 ROS 2 构建,是一组 NVIDIA CUDA 加速库、AI 模型和参考工作流程。它现在包括用于拾取和放置以及物体跟随的全新端到端参考工作流程,使用户能够快速开始进行基本的工业机器人手臂任务,包括物体跟随和拾取和放置。
最后,NVIDIA Isaac Perceptor 也基于 ROS 2 构建,是一组用于开发自动移动机器人 (AMR) 的库、模型和参考工作流程。它使 AMR 能够感知、定位并在仓库或工厂等非结构化环境中运行。
英伟达表示,其最新的更新为 AMR 环境感知和动态环境中的运营效率带来了重大改进。它们包括一个新的端到端视觉同步定位和地图构建 (SLAM) 参考工作流程,在多台摄像机上运行 nvblox 的新示例,用于具有行人检测和动态场景元素的 3D 场景重建,以及通过在多台 RGB-D 摄像机上运行 Isaac Perceptor 来改进 D 场景重建。
立即注册,享受 40% 的会议通行证优惠!
文章“英伟达在 CES 上发布 Omniverse 升级、Cosmos 基础模型等”最初发布于 The Robot Report。