Nvidia Ace 助力打造栩栩如生的 AI 角色
在 2024 年的 Unreal Fest Seattle 大会上，Nvidia 推出了其最新的 Unreal Engine 5 插件，为 Nvidia Ace 提供了更便捷的部署方式，让开发者能够更轻松地在 Windows PC 上构建和部署 AI 驱动的 MetaHuman 角色。Ace 是一套数字人技术，利用生成式 AI 为角色提供语音、智能和动画功能。
开发者现在可以使用新的 Audio2Face-3D 插件，在 Autodesk Maya 中实现 AI 驱动的面部动画（嘴唇和面部与音频语音同步）。该插件为开发者提供了一个简洁直观的界面，简化并加速了 Maya 中的头像开发流程。插件附带源代码，开发者可以深入研究并为他们选择的数字内容创作 (DCC) 工具开发插件。
此外，Nvidia 还构建了一个 Unreal Engine 5 渲染微服务，利用 Epic 的 Unreal Pixel Streaming 技术。该微服务现在支持 Nvidia Ace Animation Graph 微服务和 Linux 操作系统（处于早期访问阶段）。Animation Graph 微服务能够实现逼真且响应迅速的角色动作，而 Unreal Pixel Streaming 支持让开发者将他们的 MetaHuman 作品流式传输到任何设备。
Nvidia Ace Unreal Engine 5 示例项目为希望将数字人集成到游戏和应用程序中的开发者提供了一个指南。该示例项目扩展了设备上 ACE 插件的数量：
- Audio2Face-3D 用于唇形同步和面部动画
- Nemotron-Mini 4B Instruct 用于响应生成
- RAG 用于上下文信息
Nvidia 表示，开发者可以构建一个包含其知识产权的上下文知识库，以低延迟生成相关响应，并让这些响应无缝地驱动 Unreal Engine 5 中相应的 MetaHuman 面部动画。所有这些微服务都经过优化，可以在 Windows PC 上以低延迟和最小的内存占用运行。
Nvidia 发布了一系列教程，指导开发者如何设置和使用 Unreal Engine 5 插件。这些新插件即将推出，要立即开始使用，开发者需要确保已下载相应的 Nvidia Ace 插件和 Unreal Engine 示例，以及一个 MetaHuman 角色。
Autodesk Maya 为游戏开发者和技术美术师提供了高性能动画功能，用于创建高质量的 3D 图形。现在，开发者可以使用 Audio2Face-3D 插件，为任何角色更轻松地生成高质量的音频驱动面部动画。用户界面经过简化，可以无缝过渡到 Unreal Engine 5 环境。源代码和脚本高度可定制，可以修改以用于其他数字内容创作工具。
要开始使用 Maya，开发者可以获取 API 密钥或下载 Audio 2Face-3D NIM。Nvidia NIM 是一套易于使用的 AI 推理微服务，可以加速基础模型在任何云或数据中心上的部署。然后确保你拥有 Autodesk Maya 2023、2024 或 2025。访问 Maya ACE GitHub 存储库，其中包含 Maya 插件、gRPC 客户端库、测试资源和示例场景——探索、学习和使用 Audio2Face-3D 所需的一切。
通过云部署数字人的开发者试图同时触达尽可能多的客户，但流式传输高保真角色需要大量的计算资源。如今，Nvidia Ace 中最新的 Unreal Engine 5 渲染微服务增加了对 Nvidia Animation Graph 微服务和 Linux 操作系统的支持（处于早期访问阶段）。
Animation Graph 是一种微服务，可以帮助创建动画状态机和混合树。它为开发者提供了一个灵活的基于节点的系统，用于动画混合、播放和控制。
新的 Unreal Engine 5 渲染微服务与像素流式传输功能结合使用，可以处理来自 Animation Graph 微服务的传入数据，让开发者可以在云服务器上运行他们的 MetaHuman 角色，并将渲染的帧和音频通过 Web 实时通信 (WebRTC) 流式传输到任何浏览器和边缘设备。
开发者可以申请早期访问权限，立即下载支持 Animation Graph 微服务和 Linux 操作系统的 Unreal Engine 5 渲染微服务。Maya Ace 插件可在 GitHub 上下载。
Nvidia 正在通过 ACE 简化 MetaHuman 的制作流程。
