英伟达的三体计算解决方案:赋能自动驾驶的未来
英伟达正在为其自动驾驶愿景押注三种类型的计算机,并通过 Cosmos 世界基础模型平台将这一愿景变为现实。
英伟达首席执行官黄仁勋在本周拉斯维加斯举行的 CES 2025 科技展上发表的开场主题演讲中指出了这一点。
到目前为止,交通行业领袖是首批采用 Cosmos 平台的企业。你可能听说过三体问题,但英伟达提出的则是三体计算解决方案。
“我们不是面对三体问题,而是拥有三体计算解决方案,”黄仁勋说道。
自动驾驶汽车 (AV) 的开发由三种不同的计算机实现:英伟达 DGX 系统用于在数据中心训练基于 AI 的堆栈,英伟达 Omniverse 在英伟达 OVX 系统上运行,用于模拟和合成数据生成,以及英伟达 AGX 车载计算机,用于处理实时传感器数据以确保安全。
这些专门定制的全栈系统协同工作,实现了持续的开发周期,加速了性能和安全性的提升。
一个很好的例子是 Omniverse 实现的数字孪生概念。工程师使用这种类似元宇宙的技术来创建工厂的超逼真模拟。他们在 Omniverse 的虚拟空间中完善设计。当设计接近完美时,他们在现实生活中建造工厂,并配备传感器。这些传感器收集现实世界数据,并将其反馈到虚拟模型中,用实际数据对其进行改进。然后,数字孪生设计得到改进,反馈循环继续。英伟达的 Rev Lebaredian 已经多次向我解释过这一点。
英伟达首席执行官黄仁勋展示了 Thor。
在 CES 展会上,英伟达今天宣布了该方程式的最新部分:英伟达 Cosmos,这是一个平台,包含最先进的生成式世界基础模型 (WFM)、高级标记器、护栏和加速视频处理管道,旨在推动物理 AI 系统(如自动驾驶汽车和机器人)的开发。
“自动驾驶数据工厂飞轮包括车队数据收集、精确的 4D 重建以及 AI,用于生成场景和交通变化,以进行训练和闭环评估,”英伟达 AI 研究副总裁 Sanja Fidler 在一份声明中表示。“使用英伟达 Omniverse 平台以及 Cosmos 和支持的 AI 模型,开发人员可以生成合成驾驶场景,将训练数据放大几个数量级。”
随着 Cosmos 加入三体计算解决方案,开发人员获得了数据飞轮,可以将数千英里的手动驾驶里程转化为数十亿英里的虚拟驾驶里程,从而提高训练数据的质量。
“开发物理 AI 模型传统上对开发人员来说资源密集且成本高昂,需要获取现实世界数据集,并对数据进行过滤、整理和准备,以进行训练,”英伟达汽车业务副总裁 Norm Marks 在一份声明中表示。“Cosmos 通过生成式 AI 加速了这一过程,使自动驾驶汽车和机器人能够实现更智能、更快、更精确的 AI 模型开发。”
英伟达首席执行官黄仁勋解释了三体计算解决方案。
交通行业领袖正在使用 Cosmos 为自动驾驶汽车构建物理 AI,其中包括:
- Waabi,一家致力于为物理世界开拓生成式 AI 的公司,将使用 Cosmos 搜索和整理用于自动驾驶软件开发和模拟的视频数据。
- Wayve,一家正在开发用于自动驾驶的 AI 基础模型的公司,正在评估 Cosmos 作为一种工具,用于搜索用于安全和验证的边缘和极端驾驶场景。
- 自动驾驶工具链提供商Foretellix 将使用 Cosmos 以及英伟达 Omniverse Sensor RTX API,以大规模评估和生成高保真测试场景和训练数据。
此外,网约车巨头 Uber 正在与英伟达合作,加速自动驾驶出行。来自 Uber 的丰富驾驶数据集,结合 Cosmos 平台和英伟达 DGX Cloud 的功能,将帮助自动驾驶合作伙伴更有效地构建更强大的 AI 模型。
Cosmos WFM 现在已在 Hugging Face 和英伟达 NGC 目录中以开放模型许可证提供。Cosmos 模型将很快以完全优化的英伟达 NIM 微服务形式提供。