破除AI显存墙：NVIDIA全栈协同设计提升推理能效

随着大语言模型迈向万亿参数、上下文窗口不断拓宽以及 AI 智能体应用的普及，GPU 显存正面临前所未有的压力。与此同时，高带宽显存（HBM）供应趋紧且成本居高不下。面对这一挑战，业界的普遍思路是给 GPU 塞入更多显存，但物理规律与经济成本很快让这种粗放路径撞上天花板。

NVIDIA 给出的解法并非单纯堆砌 HBM 容量，而是「全栈协同设计」（Full-Stack Codesign）——从 GPU、CPU、网络互联、分层存储到底层软件协同优化，让 AI 工厂中的每一个字节都释放出最大价值。

从架构演进来看，从 Blackwell Ultra 到下一代 Vera Rubin 平台，单卡 HBM 容量仅增长约 3%，但在第三方基准测试 SemiAnalysis AgentX 上，每美元带来的智能体推理吞吐量提升最高达 30 倍。

智能体推理推高显存负载

当前的前沿模型拥有数万亿参数，这些参数在推理时必须驻留显存。更严峻的挑战来自 KV cache（键值缓存）。在多轮调用工具的复杂智能体任务中，上下文长度有时会累积至 300 万 Token，导致推理过程中的工作显存持续膨胀。

此外，检索增强生成（RAG） 会将企业专有知识动态注入提示词，进一步加剧了上下文的驻留负担。模型权重与海量 KV cache 在极其有限的 HBM 空间内激烈争夺资源。

单纯堆显存为何行不通？

如果将 HBM 比作仓库，显存带宽就是货物的装卸平台。仓库扩建固然能存放更多货物，但如果装卸平台的吞吐速率达到上限，搬运数据的时间就会拉长，系统响应就会变慢。一旦延迟超出服务阈值，多出来的显存不仅无法转化为实际产出，还会持续空耗电力并推高硬件成本。

现代数据中心不可能将所有数据都堆在成本最高、速度最快的一级缓存中。更合理的做法是让流转中的数据靠近计算单元，暂时等待的数据下沉到大容量、低成本存储层，并在需要前预取回显存。这也是 AI 工厂构建显存与存储分层架构的核心逻辑。

全栈协同设计的具体落地

NVIDIA 针对模型权重、KV cache 和 RAG 数据三处主要显存开销，采取了针对性的解耦与压缩手段：

1. 压缩模型权重并跨卡分布式切分

• 采用 NVFP4 4位浮点格式，相比上一代 Hopper 平台的 FP8 显著缩减模型尺寸。目前包括 FLUX.2、Thinking Machines Lab 的 Inkling 以及 Meta Muse Spark 等前沿模型均已发布 NVFP4 权重版本。
• 在 NVL72 系统内，模型权重可分布在最多 72 颗 GPU 上，大幅降低单卡显存占用，为并发用户与 KV cache 留出充足空间。

2. 压缩 KV cache 并实现分层卸载

• 将 NVFP4 格式应用于 KV cache，显著降低常驻 HBM 的上下文体积。
• NVIDIA Vera CPU 具备大容量 LPDDR 内存，通过 NVLink-C2C 互联技术与 Rubin GPU 直连，为暂时搁置的上下文提供极高带宽的近端驻留空间。
• 结合 NVIDIA Dynamo 推理软件，未处于活跃状态的上下文会被实时转存至 NVIDIA CMX 存储层，并在需要时提前拉回。与本地 SSD 相比，CMX 支持跨节点共享；与传统企业级存储相比，它剥离了长周期数据保护的性能冗余，兼具超低位成本与高吞吐。
• Dynamo 具备跨层 KV Cache 复用能力，将 GPU 显存、CPU 内存与外部存储统一调度，避免重复计算。

3. 精简 RAG 向量并外置索引

• 通过 Nemotron Retriever 模型生成尺寸更小、检索精度更高的 Embedding 向量，并借助 cuVS 库将整个向量索引维护在 CPU 内存与外部存储中。庞大的知识库不再占用寸土寸金的 HBM，只有被命中的有效段落才会调入上下文。