NVIDIA 发布 Cosmos 3 世界基础模型,融合视觉推理、世界生成与动作预测,在多项基准中登顶。开放权重与 Omniverse 生态让团队可定制、仿真并部署物理 AI 系统。

今年 7 月,NVIDIA 联合 200 多家公司签署了《开放权重与美国 AI 领导力》公开信,指出 AI 领导力的关键不是某个前沿模型,而是开放生态系统能否覆盖所有行业。这一点在物理 AI 中尤其重要——每一次部署都需要针对特定场景做定制。物理 AI 需要理解并预测物理世界的后果,而不仅仅是识别外观。世界模型通过学习环境规律,生成基于物理的数据、模拟未来状态,为机器人、自动驾驶和视觉 AI 提供可定制的基座。
开放世界模型已在生成训练数据、测试策略和定制系统中发挥作用。NVIDIA Cosmos 3 正是这样一个开放模型家族,在多项测评中名列前茅,并被机器人、自动驾驶和视觉 AI 领域广泛采用。NVIDIA Omniverse 则提供仿真就绪环境,帮助团队在部署前完成训练和验证。
物理 AI 的数据采集困难且昂贵,罕见事件和长尾场景难以安全复现。世界模型能生成多样化环境和更实用的数据,但通用模型没见过团队自己的机器人、传感器和运行环境,所以必须开放权重、允许修改和补训练。Cosmos 基础模型采用 Linux 基金会的 OpenMDW 1.1 许可证,团队可在自己的数据和硬件上做后训练。Omniverse 与 OpenUSD 共同简化了数字孪生、仿真和合成数据流程,减少重复工作。
Cosmos 3 基于混合 Transformer 架构,融合视觉推理、世界生成与动作预测。模型家族包括 64B 的 Super、16B 的 Nano 和 4B 的 Edge,后者可部署在 RTX、DGX 和 Jetson Thor 等边缘平台。Cosmos 3 在 Artificial Analysis、PAI-Bench、Physics-IQ、RoboLab、VANTAGE-Bench 等多项评测中均取得领先。
目前,斗山机器人、LG、三星、Skild AI 等机器人公司,理想、小米、Afari 等自动驾驶公司,以及 Centific、Fogsphere、Linker Vision、Milestone Systems、Yuan 等视觉 AI 智能体公司都在基于 Cosmos 开发应用。Cosmos Coalition 也已扩展至日本,推动开放世界模型在工厂、物流、农业、建筑、医疗和交通领域落地。
原文链接:NVIDIA AI Blog
本文由前途科技编辑整理
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断