算力瓶颈转移：存储如何成为AI推理落地的胜负手

过去两年，整个AI产业的焦点几乎全被GPU占据。英伟达的市值、先进制程与算力卡供货周期常年霸占行业头条。然而，当大模型参数突破万亿、行业从“训练驱动”转向“推理驱动”时，存储系统正被迫从幕后走向台前，成为制约AI应用落地的核心瓶颈。

存储速度掉队，GPU陷入“等数据”泥潭

行业数据显示，全球AI推理算力占比预计将在2026年达到70.5%，实现对训练算力的全面超越。与爆发式的推理需求相比，底层内存与SSD的吞吐并没有同等跃升，导致昂贵的算力芯片频繁处于待机状态。

在训练阶段，存储更像仓库，主要负责承载语料数据并定期保存检查点（Checkpoints），需求侧重于大带宽与高容量。但进入推理阶段后，Transformer架构的运算机制让存储直接进入了系统主干道。

模型生成新Token需要与前文所有词元做关联计算，并将中间结果缓存为KV Cache。随着百万级长上下文普及，单次会话的KV Cache可膨胀至数十GB。高昂的HBM难以完全容纳这部分开销，迫使KV Cache向主机DRAM和SSD逐级下沉。这导致了三个核心痛点：

1. I/O路径吞吐不足：传统存储为CPU设计，数据流经系统层层转发。在小I/O场景下，大量接口带宽被传统软件栈消耗。
2. 写入放大损伤性能与寿命：跨请求并发使得KV Cache交错落盘，数据过期时SSD不得不频繁搬移有效数据，引发严重的写放大（WAF）。
3. MoE架构显存挑战：混合专家模型即便稀疏激活，数万亿参数的完整权重仍需常驻，单机HBM容量不足，只能依赖外部介质提供极高的随机读取吞吐。

硬件突破：从HBM4E到CXL与固件优化

面对算力与存储墙，硬件层面的演进正在提速：

• HBM进入新周期：三星与SK海力士已相继向客户送样12层HBM4E，单堆栈容量达48GB，引脚传输速度冲上14Gbps至16Gbps，单堆栈带宽突破3.6TB/s，以更少的堆叠层数实现更高的容量密度。
• CXL推动内存池化：基于CXL 3.2协议的内存扩展模块（如CMM-D）实现了约110纳秒的器件级访问延迟，逼近本地DDR内存。CPU和GPU可直接通过原生load/store指令寻址，成为承载长文本KV Cache卸载的关键底座。
• 固件智能分流（FDP）：引入灵活数据放置（FDP）技术后，主机可向SSD标记数据生命周期，将易过期的KV Cache物理隔离存储。实测显示其可将峰值写放大降低近半，累计NAND写入量减少超30%。
• 存储介质创新：针对端侧推理与高密度场景，业界通过堆叠技术开发出连接NPU的zNAND-O，以及覆盖最高256TB的QLC高密度企业级SSD，兼顾极限性能与综合TCO。

软件减负与“近数据计算”的兴起

除介质本身升级外，绕过CPU瓶颈的软硬件协同成为行业共识。

英伟达开源cuFile API并推行GPUDirect Storage（GDS），AMD布局ROCm-XIO，主控厂商与系统软件厂商纷纷转向GPU直接发起I/O的架构。在此趋势下，三星推出的开源AiSIO框架允许GPU绕过主机中间层直接读取SSD数据，整机吞吐可实现数千万甚至上亿IOPS，同时大幅解放CPU占用。

更长远的变化在于“近数据计算”（Near-Data Computing）的落地。既然将海量数据频繁搬运至计算核心的代价过高，直接让算力下沉到存储内部便成了最优解：

• 盘内计算与索引下沉：在RAG（检索增强生成）场景中，直接利用存储主控完成向量索引与相似度粗排，大幅减轻主机和网络压力。
• KV Cache自治管理：数据冷热分层、预取与清理逻辑正逐步交由存储阵列与盘端固件自主决策。
• 存算界限模糊化：通过UCIe接口与先进封装技术，闪存与算力单元正高度集成，传统的内存与存储边界正在被大模型重塑。

随着AI演进进入深水区，存储的竞争早已超越单纯的容量与顺序读写参数，向着系统级直连协同与存算融合演进。