KV Cache砍掉99%！港科CMU与岩山科技开源新模型

在大语言模型推理中，显存开销最大的瓶颈之一正是随着生成长度不断膨胀的 KV Cache。面对多轮对话、深度思考以及复杂的 AI 智能体任务，上下文越长，单张显卡能并发承载的请求就越少。

针对这一痛点，岩山科技旗下岩芯矩阵联合香港科技大学、卡耐基梅隆大学（CMU）等机构，正式开源了全新架构模型 EdgeRock-4B。该模型最大的亮点在于：无论推理序列拉到多长，KV Cache 显存占用始终固定不涨。

在 256K 超长上下文设定下，EdgeRock-4B 的 KV Cache 占用被始终锁死在 72MiB，相较于基准模型降低了 99.1%。在单张 80GB Hopper 显卡上，该模型支持同时并发 512 路长序列推理，输出吞吐高达 12124 tokens/s，达到了源模型 Qwen3.5-4B 的 6.42 倍。

推理越长，显存为何越吃紧？

传统的 Transformer 模型在推理时，每生成一个新 Token，都需要将对应的 Key 和 Value 存入缓存中。以 Qwen3.5-4B 为例，每个 Token 产生约 32 KiB 的 KV Cache。当推理延伸至 64K 时，单条序列就需要吞食 2 GiB 显存；若达到 256K，单条序列的缓存更是高达 8 GiB。

此前业界的解法大致分为两条路线：一是采用多头潜在注意力（MLA）或量化压缩单个 Token 的开销，但这并未解决显存随长度线性增长的本质；二是采用 RNN、Mamba 等有界状态模型，虽然内存固定，却难以留住长距离的细节，导致复杂推理能力大幅下滑。

EdgeRock 的目标，便是在完全固定的显存空间内，精准保留长距离推理所必需的关键细节。

单卡并发 512 路，吞吐实现 6 倍暴涨

在单张 Hopper 80GB GPU 上进行 32K 输入与 32K 输出的极限测试中，EdgeRock-4B 展现出了极为出色的批处理能力：

• 并发吞吐飞跃：源模型 Qwen3.5-4B 在该配置下最高仅能支持 64 批大小，吞吐为 1889 tokens/s；而 EdgeRock-4B 直接跑满 512 路并发，吞吐飙升至 12124 tokens/s。
• 显存占用封顶：运行 512 条 32K+32K 的序列，若换作 Qwen3.5-4B，仅 KV Cache 就需消耗 1 TiB 显存（约合 13 张 80GB 显卡）；而 EdgeRock 包含权重在内，峰值仅占用 61.26 GiB。

此外，传统模型随着上下文累积，每生成一个 Token 的耗时会逐渐变长。而 EdgeRock 每个 Token 的计算负载完全恒定，在 128K 输入后再生成 128K 内容，其解码速度始终平稳保持在 233.7 tokens/s。

恒定内存下的确定性算力规划

内存占用恒定不仅降低了推理成本，更带来了一个巨大的工程优势：确定性。在 32K 输入长度下，EdgeRock 生成相同 Token 所需的 GPU 时长仅为源模型的 15.6%。

更重要的是，推理服务在启动前就能精准计算内存需求，无需为每个请求的最终长度预留弹性缓冲区；端侧设备可一次性完成显存分配，免除了 OOM（内存溢出）的风险；在需要数小时连续交互的 Agent 场景中，状态历史也不会无限膨胀。

显存暴降，推理智商依然在线

相比以往状态模型在复杂逻辑上的性能折损，EdgeRock-4B 展现了极强的推理保全能力。在数学基准 AIME 2024–2026 测试中，EdgeRock-4B 平均一次通过率达到 82.9%，达到了 Qwen3.5-4B 的 96.3%，而参评的 14B 级状态模型基线最好成绩仅为 18.8%。

在 29 项文本基准评估中，EdgeRock-4B 在 24 项上位列有界状态模型第一，甚至在 MMLU-Pro、HumanEval 等 8 项测试中超越了源模型；视觉多模态测试中也保留了 95.3% 的原生性能。

核心技术解密：记忆岩锚（RMA）

EdgeRock 的底层突破源于全新的**记忆岩锚（Rock Memory Anchors，RMA）**机制。它将上下文历史细分为三层结构协同工作：

1. 循环状态：概括演变中的全局语义；
2. 局部窗口：覆盖最近 1024 个 Token 的滑动窗口注意力，处理即时上下文；