英伟达公司在 AWS re:Invent 大会上宣布了为机器人开发者提供的增强型工具,以及 NVIDIA DGX Cloud 在亚马逊网络服务上的可用性,以及人工智能和量子计算方面的产品。
该公司表示,NVIDIA Isaac Sim 现在可以在亚马逊弹性云计算 (EC2) G6e 实例中的 NVIDIA L40S 图形处理单元 (GPU) 上使用。该公司表示,这可以将机器人模拟的扩展能力提高一倍,并加速 AI 模型的训练。Isaac Sim 是一个基于 NVIDIA Omniverse 的参考应用程序,供开发者在物理基础的虚拟环境中模拟和测试 AI 驱动的机器人。
该公司声称,借助 NVIDIA OSMO,一个云原生编排平台,开发者可以轻松地在他们的 AWS 计算基础设施中管理他们复杂的机器人工作流程。
“NVIDIA 加速的硬件和软件的这种组合——在云端可用——使任何规模的团队都能扩展他们的物理 AI 工作流程,”英伟达 Omniverse 的高级产品营销经理 Akhil Docca 写道。
申请演讲。
什么是“物理 AI”?
据英伟达介绍,“物理 AI”指的是能够理解和与物理世界交互的 AI 模型。该公司表示,它“体现了下一波自主机器”,例如自动驾驶汽车、工业机械手、移动机器人、人形机器人,甚至由机器人运营的基础设施,如工厂和仓库。
英伟达表示,在物理 AI 中,开发者正在采用“三台计算机解决方案”来进行训练、模拟和推理,从而取得突破。然而,用于机器人系统的物理 AI 需要强大的训练数据集,才能在部署时实现精确的推理。在现实情况下开发和测试此类数据集既不切实际又成本高昂。
模拟提供了一种解决方案,因为它可以加速 AI 驱动的机器人的训练、测试和部署,该公司断言。
云端 L40S GPU 有助于扩展模拟和训练
英伟达表示,开发者可以使用模拟来验证、确认和优化机器人设计,以及系统及其算法,然后再进行部署。该公司补充说,模拟可以在施工或改造开始之前优化设施和系统设计,以实现最大效率,从而减少代价高昂的制造变更订单。
英伟达表示,由 NVIDIA L40S GPU 加速的亚马逊 EC2 G6e 实例可以将性能提高一倍,同时允许随着场景和模拟复杂性的增加而灵活扩展。机器人专家可以使用这些实例来训练许多为 AI 驱动的机器人提供动力的计算机视觉模型。
这意味着相同的实例可以扩展到各种任务,从数据生成和模拟到模型训练。英伟达补充说,OSMO 使团队能够在分布式计算资源(无论是在本地还是在 AWS 云中)上协调和扩展复杂机器人开发工作流程。
英伟达表示,Isaac Sim 可以促进协作和关键工作流程,例如为感知模型训练生成合成数据。
一个参考工作流程将 NVIDIA Omniverse Replicator(一个用于构建自定义合成数据生成 (SDG) 管道的框架,也是 Isaac Sim 的核心扩展)与 NVIDIA NIM 微服务相结合。该公司表示,借助它,开发者可以构建支持生成式 AI 的 SDG 管道。
这些包括用于生成 Python USD 代码和回答 OpenUSD 查询的 USD Code NIM 微服务,以及用于使用自然语言或图像输入探索 OpenUSD 资产的 USD Search NIM 微服务。
Edify 360 HDRi NIM 微服务可以生成 360 度环境贴图,而 Edify 3D NIM 微服务可以从文本或图像提示创建可编辑的 3D 资产。英伟达表示,生成式 AI 因此可以通过减少从资产创建到图像增强等许多繁琐的手动步骤来简化合成数据生成过程。
- Rendered.ai 的合成数据工程平台与 Omniverse Replicator 集成。它使公司能够为计算机视觉模型生成合成数据,这些模型用于从安全和情报到制造和农业等各个行业。
- SoftServe Inc. 是一家 IT 咨询和数字服务提供商,它使用 Isaac Sim 生成合成数据并验证用于垂直农业的机器人,其合作伙伴是欧洲领先的食品生产商 Pfeifer & Langen。
- 塔塔咨询服务公司正在构建自定义合成数据生成管道,为其 Mobility AI 套件提供动力,以通过模拟现实世界场景来解决汽车和自动驾驶用例。其应用包括缺陷检测、生产线末端质量检查和危险规避。
英伟达和 AWS 帮助机器人通过模拟学习
虽然 Isaac Sim 使开发者能够在物理上精确的模拟中测试和验证机器人,但 Isaac Lab(一个基于 Isaac Sim 的开源机器人学习框架)提供了一个虚拟游乐场,用于构建可以在 AWS Batch 上运行的机器人策略。英伟达表示,由于这些模拟是可重复的,因此开发者可以进行故障排除并减少验证和测试所需的循环次数。
该公司列举了一些已经在 AWS 上使用 Isaac Sim 的机器人初创公司:
- Field AI 正在构建机器人基础模型,使机器人能够自主管理各种工业流程。它使用 Isaac Sim 和 Isaac Lab 在建筑、制造、石油和天然气、采矿等复杂、非结构化环境中评估这些模型的性能。
- 英伟达指出,Vention 提供了一个全栈云端自动化平台,正在创建预先训练的技能,以简化机器人任务的开发。它正在使用 Isaac Sim 为中小型制造商使用的机器人单元开发和测试新功能。
- Cobot 提供 Proxie,其 AI 驱动的协作移动机械手。它使用 Isaac Sim 使机器人能够适应动态环境,与人一起工作,并简化仓库、医院、机场等的物流。
- Standard Bots 正在模拟和验证其用于制造和机械加工设置的 R01 机器人的性能。
- Swiss-Mile 正在使用 Isaac Sim 和 Isaac Lab 进行机器人学习,以便其轮式四足机器人能够在工厂和仓库中以新的效率水平自主执行任务。
- Cohesive Robotics 已将 Isaac Sim 集成到其名为 Argus OS 的软件框架中,用于开发和部署用于高混合制造环境的机器人工作单元。
- Aescape 的机器人能够通过在 Isaac Sim 中精确建模和调整板载传感器来提供精确定制的按摩。
除了在 AWS Marketplace 上提供由 NVIDIA L40S GPU 支持的亚马逊 EC2 G6e 实例上的 Isaac Sim 4.2 之外,英伟达还发布了其他公告。
该公司表示,NVIDIA DGX Cloud 可以在 AWS 上运行,用于训练 AI 模型;AWS 液体冷却可用于使用其 Blackwell 平台的数据中心;以及为推进药物发现而开发的 NVIDIA BioNeMo NIM 微服务和 AI 蓝图现在已集成到 AWS HealthOmics 中。
该公司还表示,其最新的 AI 蓝图在 AWS 上可用于视频搜索和网络安全,NVIDIA CUDA-Q 与亚马逊 Braket 的集成用于量子计算开发,以及 Amazon EMR 上的 RAPIDS 快速入门笔记本。
文章“AWS 提供加速机器人模拟,英伟达助力”首次出现在机器人报告网站上。