每瓦性能：AI基础设施效率的核心指标

电力是AI基础设施无法回避的约束。在固定电力预算内，AI工厂能生成多少token，直接决定了它的收入和盈利能力。因此，每瓦性能——一个无法取巧、只能通过实际结果证明的指标——成为AI工厂的基石。

随着智能体AI将token需求推向新高，组织今天做出的基础设施决策，将决定谁能在电力有限的世界里规模化扩张。

几乎所有前沿AI模型都已转向混合专家（MoE）架构。高效服务这些大规模模型意味着GPU域大小——通过超快互联连接起来的GPU数量——至关重要，而且越大越好。

NVIDIA Hopper一代曾以8-GPU域树立标杆，但如今前沿AI的规模已超其上限。服务MoE需要72-GPU域，这要求全栈协同设计，以及在生产负载下运行这些模型所积累的深度运营经验。

NVIDIA Blackwell NVL72平台已经构建并验证了这一基础，提供最高每瓦性能以最大化收入，以及最低token成本以最大化利润率。而NVIDIA Vera Rubin平台正是在此基础上进一步提升了机架级能效。

最大化前沿AI的每瓦性能

每一代前沿模型都会带来架构变化，解锁更强的智能，同时也要求新的优化才能在规模上高效运行。

在最新一代领先开源模型中，NVIDIA GB300 NVL72的每瓦性能相比Hopper一代提升了多达25倍——这表明当GPU域从8-GPU增至72-GPU时，MoE性能显著改善。这些数字反映了Blackwell当前的水平，且仍在持续提升。

单一数字只能反映一部分情况。不同工作负载需要不同的运行点：有的优化延迟，有的优化吞吐量和成本，而大多数需要在两者之间切换。

为了更好呈现这些运行点，NVIDIA为每个模型展示了帕累托曲线，而不是单一数值，并提供了DynoSim等工具，帮助团队在投入任何GPU验证之前找到帕累托边界上的最优运行点。

NVIDIA Blackwell的每瓦性能源于极致的协同设计：从芯片到软件的每个机架级组件都针对AI推理工作负载的token吞吐量进行优化。这种协同设计贯穿整个技术栈。

例如，NVIDIA NVLink Switch专为实现大规模GPU域而设计，而非从通用网络改造而来。在Vera Rubin平台上已是第六代，其功能专为AI工作负载设计，如SHARP可在交换机内部直接执行网络计算，分担GPU的负载。

NVIDIA的推理软件栈，包括Dynamo和TensorRT LLM，以及SGLang和vLLM，能够运行全套优化技术：NVFP4量化、分离式服务、大规模专家并行、KV感知路由、KV缓存卸载等。这些技术叠加起来，使每个GPU的性能倍增。此外，软件还在持续改进：在DeepSeek V4上，单月每瓦性能就提升了5倍。

在AI工厂中，用于冷却和机架级损耗的电力可能导致只有约60%的电网电力转化为有用的AI工作。NVIDIA DSX MaxLPS（DSX平台中的电力与效率软件）通过实时在GPU和机架间调配电力、支持温水液冷、利用电力转向等技术来缩小这一差距，使运营商能在相同电力预算下运行多达40%的GPU。

生产环境才是检验标准

在AI工厂规模下实现机架级可靠性是来之不易的。机架级系统会引入单节点部署从未遇到的故障模式，处理这些故障需要严格的工程能力以及生产环境的长期检验。

NVIDIA Blackwell NVL72系统在多种模型和生产用例中持续树立标杆，提供持续的性能、机架级可靠性以及日常真实流量下依然稳定的经济效益。

正因如此，Anthropic和OpenAI等领先AI实验室使用NVIDIA Blackwell NVL72系统运行推理。

此外，众多推理服务提供商和AI原生公司也在使用Blackwell平台在生产环境部署开源模型。

CoreWeave已在NVIDIA GB300 NVL72上部署Kimi K2.6，结合NVFP4量化和EAGLE3投机解码以最大化推理性能。

Perplexity在NVIDIA GB200 NVL72上运行Qwen3 235B和微调后的Qwen3.5-397B-A17B，为其AI智能体平台提供服务，每天处理数百万查询，满足消费者对延迟和可靠性的要求。

Fireworks AI在NVIDIA Blackwell平台上部署GLM 5.2，为Cursor和Factory AI等客户提供生产级服务。

这种跨多代前沿模型和真实世界部署所积累的生产经验，正是NVIDIA Vera Rubin占据先发优势的原因。

---

原文链接：NVIDIA AI Blog
本文由前途科技编辑整理