NVIDIA Vera Rubin 让后训练的智能投资回报率最大化

后训练——AI 智能体时代的新常态

如果把 AI 模型比作职业运动员，那真正决定其水平的，不是比赛本身，而是比赛间隙的持续训练：针对对手调整策略，根据暴露的问题打磨技术。

AI 智能体也是如此。它不再简单回答问题，而是被赋予一个目标，在环境变化、边界案例出现、工具迭代时不断自我调整。与生成式模型只响应提示词不同，AI 智能体需要规划、使用不同工具，并在运行中遇到问题时恢复执行。

因此，后训练——在原始数据预训练之后对模型进行精调——不再是模型训练完成后的一次性收尾工作。它是持续性的，因为 AI 智能体运行的环境变化很快：智能体使用的工具可能每周变动，生产中会出现测试集没有预料到的边界情况，每次部署都有不同的代码库、策略和环境。

后训练循环会不断从生产环境中获取新问题，形成反馈闭环。计算规模的增长不是因为单次训练更大，而是因为训练从未停止。AI 智能体为后训练带来了全新的计算模式，使其成为智能体时代的核心工作负载，也是驱动智能投资回报率（Intelligence per Dollar）的主要因素。

后训练的目标是最大化每一次前向传播和反向传播的智能产出，从而最大化智能投资回报率。前向传播（推理）的衡量标准是单次推理成本。这意味着，任何降低单次推理成本的改进，都会直接提高智能投资回报率。

AI 智能体后训练解析

后训练是构建智能的地方。预训练阶段模型只学会预测下一个 token，获得了流畅性但未获得智能。后训练阶段它学会写代码、规划多步骤任务、使用搜索工具以及在出错时恢复。推理则是在这之后：模型走上工作岗位，其成本按单次推理计费。

由于没有标准答案可记忆，只有奖励信号，模型通过强化学习（RL）学习。给定一个任务后，模型写出尝试（前向传播）——这与它在工作中做的事相同。根据尝试结果得到评分，并将学习到的内容更新模型权重（反向传播）。经过数百万次尝试，智能逐渐增长。

每一步都高度依赖计算，而大规模运行这一循环就是一个编排问题：数千个环境并行生成训练轨迹，奖励被验证，更新后的权重流回训练，加速器保持满负载。NVIDIA NeMo 开源库，例如用于训练环境的 NeMo Gym 和用于分布式后训练的 NeMo RL，将后训练从定制化的研究代码转变为可复现的基础设施。

为什么智能投资回报率比单次推理成本更重要

如果说推理是收入引擎，那么后训练就是放大器：模型越强大，每一个 token 的服务价值就越高。

单次推理成本是推理工厂的关键指标：每提供 100 万个 token 的总成本。智能投资回报率则位于更高一层，回答一个不同的问题：构建一个值得部署的模型需要多少成本？当环境变化时，维持模型竞争力又需要多少成本？

两者是嵌套关系而非竞争关系。降低单次推理成本的 AI 基础设施，同样会降低模型每次智能提升的成本。而模型每提升一点智能，都会提高推理工厂所提供 token 的价值。

换句话说，单次推理成本衡量运营效率，智能投资回报率衡量模型智能的投资是否带来回报。

最大化智能投资回报率：用 Nemotron 3 Ultra 进行后训练

NVIDIA Nemotron 3 Ultra 是一个开源权重、5500 亿参数的混合专家（MoE）模型。它提供了可验证的基准测试结果，以及完全公开的、基于 NeMo RL 运行的后训练配方。在真实世界编码基准测试 SWE-bench verified 上，它取得了 71.7% 的分数，意味着对于约七成的真实开源项目软件缺陷，它都能生成可用的修复方案——每个修复都通过项目自身的测试检验。

以 200 亿 rollout token 为例（基于前代 Nemotron 3 Super 约 120 万次 rollout，每次约 10000 token，针对更大的 Ultra 模型按比例放大），不同平台之间的智能投资回报率与此假设无关；绝对值随 token 数量缩放。

NVIDIA Blackwell 平台降低了单次运行成本，使后训练在智能体时代变得更加经济可行。这些智能增益最终会体现在每个 token 的服务中。

NVIDIA Vera Rubin 平台则将这一趋势进一步延伸：以 Blackwell 时代四分之一的 GPU 数量就能训练最大的模型。它从端到端进行了协同设计，以最大化智能体后训练负载的智能投资回报率：每次运行可以得到更多 rollout，更多环境可同时参与，后训练循环永不停止。

后训练工作流实际案例

Prime Intellect 的 Lab 在 NVIDIA Blackwell 上持续对前沿开源模型进行后训练，并使用 NVIDIA Dynamo 进行推理编排。借助 Vera Rubin，Prime Intellect 计划扩展强化学习环境，每次运行产生更多 rollout，加速训练到推理的迭代循环，从而为企业最大化智能投资回报率。

Prime Intellect 优化了其沙盒基础设施，与 NVIDIA Vera CPU 集成，实现了低延迟、高能效的强化学习。其软件栈还集成了 NVIDIA Nemotron 和 NVIDIA NeMo Gym 等开源工具和模型。在对比真实 RL 沙盒工作负载与替代 x86 架构时，Prime Intellect 发现 Vera 平均每个 CPU 的吞吐量提高 30%。

Perplexity 的 RL 后训练栈在数百个 NVIDIA GPU 上异步运行，其基于 RDMA 的权重传输引擎可在不到两秒内在训练和推理计算节点之间同步万亿参数模型。后训练完成的 Qwen3 235B 模型随后在 NVIDIA GB200 NVL72 系统上提供服务。

Together AI 提供后训练即服务，包括监督微调、强化学习和直接偏好优化。该服务通过功能丰富的 API 和 SDK 交付，支持其 AI 原生云平台上的全范围后训练。它已在 NVIDIA 平台和优化的内核库上运行，并计划下一步采用 Vera Rubin 平台。

了解更多关于NVIDIA Vera Rubin 的信息——该平台旨在帮助 AI 工厂在所有工作负载上最大化智能投资回报率。并可探索 NVIDIA 用于训练前沿模型 的全栈平台。

---

原文链接：NVIDIA AI Blog
本文由前途科技编辑整理