开发者正将前沿AI模型与NVIDIA Omniverse结合,通过自然语言指令快速搭建高精度物理仿真应用。从仓储人形机器人、自动驾驶测试到空间站数字孪生,AI智能体大幅缩短了从创意构思到可运行仿真场景的开发周期。

将一个仿真构想转化为真正可运行的应用,通常需要经历漫长而繁琐的环节:拼装数字资产、打通物理引擎与渲染管线,并持续验证场景行为是否符合现实物理规律。如今,开发者正在将前沿AI大模型与 NVIDIA Omniverse 开发库 深度结合,通过这一工作流探索复杂场景、排查系统缺陷并迭代优化设计。
在这一模式下,开发者通过自然语言指令指挥 AI 智能体,负责评估结果并引导改动;Omniverse 库则在底层提供 GPU 加速的物理引擎、照片级渲染以及高保真传感器仿真能力。从近期落地的一系列实验项目中,可以直观看到 AI 智能体如何在多个场景中重构物理仿真。
在将自动化任务部署到真实仓库前,开发者需要可交互的仿真环境来验证执行效果。NVIDIA Omniverse 产品经理 Frank DeLise 利用前沿 AI 智能体,将 SimReady 仓储资产与人形机器人模型转换为了支持第一人称和第三人称视角的交互式模拟器。
在此过程中,AI 智能体负责将 Omniverse 各核心库串联起来:负责物理仿真的 ovphysx、处理场景更新的 ovstage、渲染模块 ovrtx 以及用户界面库 ovui。AI 智能体还调用 simready-foundation 生成了物理场景,并自动编写了整合各项能力的动作与应用代码。
场景、传感器配置或驾驶模型的细微调整,都会对自动驾驶仿真产生显著影响。NVIDIA 仿真技术团队负责人 Doyub Kim 指挥 AI 智能体构建了名为“Zero to Alpamayo”的复用型仿真环境,该场景还原了旧金山市场街。
智能体按规划分阶段打通了资产创建、交通流模拟、Omniverse RTX 传感器仿真 以及 Alpamayo 自动驾驶系统,并在每个节点自动验证整合结果。在此基础上,研究人员还通过 Cosmos3-Nano 调整视频中的天气与光照,在多变环境下比对驾驶模型在同一场景下的不同响应。
仿真传感器能否真实反映现实,是机器人与自动驾驶落地的核心前提。NVIDIA 工程师 Ashley Reid 借助 AI 智能体比对 ovrtx 生成的虚拟相机和原始激光雷达数据与真实采集数据。智能体在三天内从零搭建了两个数字孪生场景,并对另外两个现有场景完成了修正。
在迭代过程中,智能体主动测量仿真与真实数据的误差,修改 OpenUSD 场景中的缺失物体、几何形状及材质属性,并通过量化指标评估修正质量,形成了一套以传感器误差驱动场景校准的自动化闭环。
教机器人学会新动作,必须验证其动作是否符合现实物理约束。NVIDIA Omniverse 工程主管 Tae Kim 借助运动视频与自然语言指令,引导 AI 智能体搭建了名为“Robo Olympics”的实验项目,用于测试宇树 G1(Unitree G1)人形机器人的运动控制。
智能体生成了控制器逻辑,并通过物理实验不断迭代:利用 Newton 物理引擎 模拟动作表现,开源框架 NVIDIA Warp 提供计算加速,再由 ovrtx 输出渲染与虚拟相机画面。在跨栏测试中,机器人在 100 次仿真中成功跨过单个栏架 64 次,为算法的时序和控制调优提供了关键反馈。
在机器人执行拆卸任务前,必须评估其机械工具是否能触及并卸下零部件。NVIDIA 团队引导智能体在 PTC Onshape 中构建了汽车悬挂模型,并将其配置进 Isaac Sim。
智能体测算了装配空间,专门设计了一把机器人可握持并伸入拆卸螺栓的扳手,成功在仿真中完成了汽车悬挂部件的拆除。这种方法直接打通了计算机辅助设计(CAD)、工具开发与拆卸验证,为后续机器人策略训练打下了基础。
除了机械控制,AI 智能体在资产集成与现实场景数字化上也表现突出。NVIDIA 工程总监 Nic Johns 仅凭单个 Prompt 就让智能体将 NASA 资产整合成包含实时遥测数据的 国际空间站模型,并通过追问指令直接将场景旋转至地球向阳面,使整个系统可在浏览器内直接运行。
免费获取企业 AI 成熟度诊断报告,发现转型机会
而在室内场景数字化方向,Isaac 工程团队引导智能体结合 PyCuSFM、FoundationStereo 和 nvblox,将双目相机采集的画面转化为可编辑的 OpenUSD 工作区。借助 USD Content Agents 配置物体的运动与交互方式,并在 Isaac Sim 中校验抽屉、柜门等构件的碰撞与接触逻辑,大幅降低了从实景扫描到物理级仿真交互的转化门槛。
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断