NVIDIA XR AI：AI 智能体走进 AR 眼镜

人工智能正从聊天机器人和编程助手走向物理世界。在实验室、工厂和医院，新一代 AI 智能体开始与人类并肩工作，帮助人们实时理解环境、获取知识并采取行动。

然而，构建能结合模型、技能、工具和运行时系统、协助人类完成实操任务的智能体系统颇具挑战。要在动态真实环境中有效运作，这些智能体不能只是生成回答。

像人类员工一样，它们需要知识、工具和专业技能：通过视频、音频和传感器数据感知理解世界；解读快速变化的条件和空间语境；从企业系统中检索信息；推理下一步最佳行动；使用软件工具完成任务。这一切必须低延迟、不干扰用户。

NVIDIA XR AI 是一个开发者库，帮助开发者构建这类智能体应用。它将 AR 眼镜及 XR 设备的输入与 AI 模型、企业数据、工具和加速计算连接起来，使智能体能够在工作流程中感知、推理和行动。

该库为开发者提供了构建或连接企业 XR 应用技能与工具的基础，简化了多模态感知、企业检索、推理模型和智能体编排的集成。这些能力共同让构建空间感知的多模态 AI 智能体变得更加容易，使其能在 AR 和 XR 体验中提供低延迟、上下文感知的辅助。

平台整合了四大核心能力：

• 从 AR/XR 设备采集真实世界信号，包括视频、音频、深度、姿态和传感器数据。
• 将智能体连接到专用工具和服务，包括用于视觉 AI 和视频理解的 NVIDIA Metropolis 与 NVIDIA Metropolis VSS，以及用于企业知识检索和检索增强生成（RAG）的 NVIDIA NeMo Retriever。
• 支持广泛的 AI 模型生态，包括 NVIDIA Nemotron 推理模型、NVIDIA Cosmos Reason 以及其他兼容基础模型。
• 集成智能体编排与加速运行时服务，帮助开发者从原型走向生产。

NVIDIA NeMo Agent Toolkit 支持工具使用、推理工作流和多智能体协调；而 NVIDIA 加速计算平台（包括 DGX Spark、DGX Station 和 RTX PRO 系统）提供跨云端、数据中心和边缘的推理基础设施。

这些能力让 AI 智能体能够理解周围环境、访问企业知识、推理复杂任务，并实时提供上下文辅助。

行业应用：NVIDIA XR AI 落地实践

在制造、科研、医疗、设计和沉浸式学习领域，开发者和企业已开始利用 NVIDIA XR AI 将智能体嵌入工作现场。

Siemens 在研究背景下探索如何用 NVIDIA XR AI 和 DGX Spark 帮助工厂工程师查找维护信息、排查问题、验证工作并记录车间现场情况。工程师佩戴轻量眼镜，可向 AI 智能体询问可编程逻辑控制器问题，并获得实时指导，连接工业系统、数字孪生和自动化工作流。

Rana（一家 AutoBio 公司，致力于为科学研究构建 AI 系统）基于 NVIDIA XR AI 推出 LabOS 系统，将空间智能直接带入科学工作流。LabOS 为复杂的实验工作流提供实时、免提指导，率先应用于斯坦福大学医学院 Cong 实验室和普林斯顿大学 Wang 实验室的干细胞疗法和基因编辑研究。

基于 XR AI 架构，LabOS 协同学者能感知、理解并操作实验室环境，帮助研究人员识别正确样本和 CRISPR 基因编辑器，引导每一步实验，并在人类、机器人和 AI 系统协作时生成结构化、可复现的记录。

通过 AR 眼镜和 NVIDIA GPU 驱动的物理感知 AI 智能体，成为 AI 辅助科学的下一个界面——让研究人员在接收上下文实时指导的同时专注于复杂操作。LabOS 兼容 Meta、Rokid 和 VITURE 的智能眼镜。

VITURE 将 NVIDIA XR AI 集成到可穿戴界面中，为工人提供免提方式，在工作点找到正确上下文并指导下一步。同一 XR AI 基础自然延伸到诊所和工业场景。

在手术室，匹兹堡大学医学中心 Surreality Lab 展示了 NVIDIA XR AI 如何通过上下文感知辅助支持手术团队。基于 NVIDIA XR AI 和 DGX Station 的管道旨在帮助团队查找信息并引导注意力，同时不增加外科医生的视觉杂乱。系统理解不能遮挡医生的视野，从而在不干扰患者和手术的情况下呈现有用上下文。

在汽车设计领域，Innoactive 展示了企业如何在沉浸式工作流中捕获相关信息与数据，支持设计决策。借助 DGX Spark 系统，该体验帮助团队保留设计评审、产品展厅和数字孪生中的上下文，使空间工作从一次性会话转变为可重复的企业流程。

Atlantic Studios（多次获得奥斯卡和艾美奖的故事讲述和沉浸式媒体工作室）利用 NVIDIA XR AI 让观众探索泰坦尼克号残骸的沉浸式扫描。用户可通过语音提示寻找兴趣点并引导探索历史遗址——将复杂的水下模型转化为交互式空间故事，回答问题、呈现上下文并帮助用户实时学习。

随着 AI 智能体获得感知物理世界、使用工具、访问企业知识和与人协作的能力，它们正成为新一类数字员工。NVIDIA XR AI 提供了开发者构建这些智能体所需的库和加速计算基础，适用于实验室、工厂、医院和沉浸式环境——将智能体 AI 直接带入工作流。

---

原文链接：NVIDIA AI Blog
本文由前途科技编辑整理