KV Cache撞上存储墙，近存计算成大模型推理破局关键

过去二十年间，服务器峰值算力增长与内存带宽增长之间形成了巨大的鸿沟。据统计，服务器浮点算力每两年增长约3倍，而DRAM带宽同期仅增长1.6倍，互连带宽更是只有1.4倍——这就是计算机体系结构中著名的“存储墙”困境。

进入大模型时代，这一旧疾被急剧放大。中国信通院数据显示，中国日均Token消耗量从2024年的1000亿跃升至2025年8月的500万亿，一年多增长了约5000倍。当AI从一问一答的聊天机器人演进为动辄数十轮对话、数万Token上下文的AI智能体（Agent）时，推理环节成了对存储系统压力最大的战场。

KV Cache埋下的存储隐患

大模型推理采用自回归生成模式，生成每个新Token都需要检索所有历史上下文。为了避免极其庞大的重复计算开销，业界普遍采用KV Cache（键值缓存），以“空间换时间”的方式缓存中间计算结果。

然而，随着并发量与上下文长度暴增，KV Cache迅速成为空间掠夺者：

• 本地显存与CPU内存告急：GPU本地高带宽内存（HBM）成本高昂且容量极其有限，CPU直连内存同样难以承受海量并发；
• 外部存储搬运成本过高：一旦将KV Cache卸载到外部存储或共享CXL内存池，GPU跨越PCIe总线或网络的访问延迟与带宽惩罚极为严重。

联想集团首席科学家肖利民指出，业界此前尝试用CXL内存池解决容量不足，但未能解决GPU远程访存的高昂搬运开销。与其将海量KV数据不断搬运到GPU，不如“将计算单元搬到数据身边”，即存算融合路线。

肖利民团队的方案是将内存池化与**近存计算（PNM，Processing Near Memory）**相结合：用内存池化解决容量与跨实例共享问题，同时在内存池内嵌入计算单元，直接将Attention等访存密集型算子下沉到内存侧就地计算，只向GPU回传最终结果。

落地近存计算的工程平衡

存算融合目前包含三条技术路径：存算一体（CIM）、存内计算（PIM）和近存计算（PNM）。前两者对存储器底层硬件结构的改动巨大，软硬件兼容门槛极高；PNM则选择把计算单元置于存储控制器附近，在不破坏现有DRAM/存储器结构的前提下缩短存算物理距离，兼具商业落地可行性与生态兼容度。

在将PNM产品化的过程中，团队攻克了两项核心工程挑战：

1. 访存冲突与QoS保障：当主机与近存计算单元同时向内存控制器发起请求时，总线面临冲突风险。团队在内存总线引入了一套QoS仲裁调度机制，在高速数据传输中精准检测冲突，保障服务质量与公平性。
2. 硬件固化与算法迭代的冲突：针对基础模型频繁换代、硬件难以快速变动的问题，团队采用了指令驱动的可重构计算编排方案，使同一套计算硬件能通过软件指令调度兼容不同模型算子。

此外，团队构建了动态成本分析模型，结合链路拓扑与上下文长度，智能决策哪些算子下沉、哪些保留在GPU本地，并对KV Cache切分方式与GPU张量并行策略进行协同优化。

实测数据显示，该方案表现出显著的加速效果：

• 首Token延迟（TTFT）：相较于NVMe层池化，多轮对话场景下TTFT降低2.4倍；借助跨实例共享复用KV Cache，首Token延迟最高提速12至28倍；
• 解码时延与吞吐：Attention算子下沉后，解码延迟降低2.5倍；在长上下文负载下，端到端系统吞吐提升了6至20倍，并释放了大量GPU显存以容纳更长上下文。

从G2.5走向G1.5超节点架构

当前该系统处于构建在标准总线层面的G2.5架构。肖利民表示，团队下一步的研发重心是向更靠近GPU的G1.5演进。

未来，依托AI超级节点内部的Scale-up高速互连网络，共享存算融合池将进一步逼近计算核心，带宽和延迟表现有望较现有架构带来数量级飞跃。结合成熟的3D封装堆叠技术与TSV互连，推理基础设施的算力密度将迈上新台阶。

在肖利民看来，AI算力基础设施的演进并非单一技术的突变，计算、存储、网络与调度四者环环相扣，唯有全链路协同优化，才能真正打破大模型时代的存储墙瓶颈。