英伟达 SIGGRAPH 发布：AI 智能体与物理 AI 驱动图形模拟新变革

今年的 SIGGRAPH 大会上（持续至 7 月 23 日），与会者可以了解领先的图形学研究、神经渲染、仿真和 AI 如何改变世界被创建和理解的方式。

英伟达主题演讲于 7 月 20 日举行，由 AI 研究及工程负责人 Neil Ashton、Edward Liu 和 Ming-Yu Liu 分享神经渲染技术、世界模型和由 AI 构建的仿真方法。

以下是本次英伟达及合作伙伴带来的最新发布。

---

AI 智能体扩展创意工具，连接数百万用户

图片由 Epic Games 提供。

主流创意应用正在开放模型上下文协议（MCP）连接，让 AI 智能体直接在场景、镜头、时间线、资产和编辑工具中工作，同时创作者保持控制权。

二十多年来，英伟达技术——从 GPU 加速视口、CUDA 效果到 RTX PRO 光线追踪、AI 降噪、神经渲染和实时仿真——加速了艺术家、工作室和开发者使用的数字内容创建工具。

MCP 开启了加速创意的新篇章：应用不仅更快，而且变得智能体就绪。

从加速到行动

借助 MCP 连接，艺术家或技术总监可以要求智能体检查场景缺失纹理、标记色彩管理不一致、准备导出变体、生成每日预览镜头或验证镜头是否符合管线规则，同时保持人类决策权。

英伟达 RTX PRO 工作站、DGX Spark 和 DGX Station 系统旨在让专业创作者更接近加速 AI 性能。本地运行模型和智能体可以提高响应速度、减少对外部服务的依赖，并将敏感创意数据保存在受控环境中。

英伟达 Agent Toolkit 也支持 MCP 集成，包括用于连接远程 MCP 服务器的客户端和用于向任何 MCP 客户端发布工具的服务器。

创意生态系统迈入智能体就绪

Adobe 正在扩展其创意智能体，覆盖 Firefly、Express 和 Creative Cloud，提供 AI 助手体验，让创作者描述期望结果，助手编排多步工作流。Adobe 还通过 Adobe 连接器将专业级创意工具引入第三方 AI 平台，并推出 Adobe Express Developer MCP Server，让 AI 编码助手使用官方文档和 API 构建插件。

Affinity（Canva） 推出了针对 Claude 的 AI 连接器，使用 MCP 将自然语言自动化直接引入 Affinity。设计师可让 Claude 处理重命名图层、调整资产大小、批量编辑等重复任务，甚至构建可复用脚本。

Blender 通过 Blender Lab 提供轻量级 MCP 服务器，为 Python API 和复杂设置提供自然语言接口。

Boris FX Silhouette 包含 MCP 服务器，AI 助手可直接在项目内工作，检查项目、构建节点树、编辑形状和关键帧。

Foundry Griptape 原生支持 MCP，为专业 VFX 管线提供 AI 编排，集成 Blender 和 Nuke，自动化清理、抠像和质量控制。

SideFX 为 Houdini 22 带来 MCP 支持，通过 APEX Script 工作流，AI 助手可访问脚本语法和示例，帮助艺术家生成和优化代码。

Unreal Engine 宣布通过 MCP 连接 AI 客户端，使 AI 工作流能够通过标准化协议与编辑器交互。

---

英伟达 AI for Media 帮助新闻编辑部检测合成视频

每天，视频将世界重大新闻呈现在人们眼前。可信的视频是让人们了解事件、理解意义的关键。英伟达发布合成视频检测器 NIM 微服务，属于 NVIDIA AI for Media 平台，为编辑工作流提供 AI 辅助检测信号。

该微服务逐帧分析视频，生成合成内容分类评分。编辑团队可利用该评分优先审查、标记可疑片段或进行深度分析。它不会取代现有验证实践，而是提供另一个快速决策信号，帮助团队在保护编辑标准的同时迅速行动。

经过压缩、缩放、裁剪和重新编码后，检测器仍有效。英伟达测试显示，无损视频准确率达 92%，15% 压缩率下为 87%，50% 压缩率下为 82%。该微服务在 RTX 系统上处理 1080p 视频仅需 22 毫秒。

组织可在本地、边缘、混合或气隙环境部署该微服务。Wowza 已将其嵌入 Wowza 视频智能框架，在超过 170 个国家的 35,000 多个部署中实现实时合成视频检测。

---

NVIDIA Cosmos 3 Edge：面向边缘 GPU 的开源世界模型

物理 AI 系统依赖世界模型感知和预测物理环境。Cosmos 3 Edge 是一个 40 亿参数的全模态模型，针对 Jetson、RTX PRO、DGX 系统和 GeForce RTX GPU 进行了优化。它能理解和生成文本、图像、视频、环境声音和动作，其混合 Transformer 架构支持设备上的物理视觉分析和机器人动作。

Cosmos 3 Edge 在 VANTAGE-Bench 基准测试中排名第一，支持通过后训练实现最先进的机器人学习。开发者可在 DGX Station 上对专有机器人数据和传感器数据后训练，然后部署到 Jetson Thor 上实现实时机器人控制。Agile Robots、Doosan Robotics、Siemens 和 Skild AI 正在评估该模型。

对于自动驾驶，Cosmos 3 Edge 支持路况理解、交通推理和策略模型蒸馏。对于智慧基础设施，它可在 Jetson Thor 上实现实时推理，用于交通监控、公共安全等。Centific、Vaidio 和 YUAN 正在评估该模型。

Cosmos 3 Edge 是 NVIDIA Cosmos 平台的一部分，提供 Edge (4B)、Nano (16B) 和 Super (64B) 三种规格，现已在 Hugging Face 和 GitHub 上开源。

---

在 DGX Station 上使用 NVIDIA Agent Toolkit 轻松构建本地 AI 智能体

超级智能体已登陆桌面。NVIDIA DGX Station 是 AI 时代的终极桌边超级计算机，结合 NVIDIA Agent Toolkit，只需三步、约 30 分钟即可运行。

Agent Toolkit 整合了 NemoClaw、Nemotron 3 Ultra 开放模型、Omniverse 库和安全运行时，无需互联网。开发者可连接多系统以支持更多用户和模型。

完整堆栈包括：

• NemoClaw：构建自定义自主智能体的开放蓝图。
• Nemotron 3 Ultra：5500 亿参数开放模型，针对 DGX Station GB300 优化。
• Omniverse 库：扩展智能体能力至物理模拟和 3D 资产工作流。
• OpenShell：开源安全运行时。
• GB300 Grace Blackwell Ultra：桌面超级芯片，提供高达 20 petaflops FP4 算力和 748GB 一致性内存。
• ConnectX-8 SuperNIC：最高 800GB/s 带宽，支持双节点连接。

Nemotron 3 Ultra 提供领先性能，无需按 token 付费。英伟达发布了在 Blender 中集成 Omniverse 库的蓝图，使 NemoClaw 智能体可调用 RTX 传感器模拟和物理工具。LangChain 已针对 Nemotron 3 Ultra 调优 Deep Agents 框架。Nous Research 为 Hermes Agent 调优了 Nemotron 3 Ultra，并用于生产工作负载。

两个新剧本帮助开发者快速构建和部署智能体：连接两台 DGX Station 用于分布式工作负载，以及在 DGX Station 上运行 NemoClaw。DGX Station 已可从多家合作伙伴订购。

---

英伟达图形学研究突破，推动仿真与物理 AI

在 SIGGRAPH 上，英伟达 21 篇技术论文不仅关注创建逼真的世界，还注重真实行为和实时响应。

MotionBricks：一个实时运动模型，基于超过 35 万个运动片段训练，在游戏引擎速度下运行，让创作者指导和连接角色动作。该模型同时驱动屏幕上的动画角色和 Unitree G1 人形机器人。

GPC：在大型运动数据集上训练生成式控制器的框架，预训练单一控制器获得可迁移的运动技能。

ArtiFixer：将混乱的真实世界 3D 扫描转化为干净、完整的虚拟场景，并包含从几何体直接预测真实感全局光照的方法。

新的求解器将难以模拟的材料（雪、沙、弹性固体）引入 NVIDIA Newton 物理引擎。

VideoNeuMat：从生成视频模型中提取可复用的可重打光材质。

ARDY：自回归扩散模型，让创作者通过文本提示实时控制 3D 角色动作。

以上论文、代码和模型均已开放下载。

---

原文链接：NVIDIA AI Blog
本文由前途科技编辑整理