MPP：按需分配内存，打破LLM推理瓶颈

为什么LLM推理被内存卡住了脖子？

大语言模型（LLM）和AI Agent的推理过程极度依赖显存（HBM）。传统做法是：每个请求都按最坏情况预留内存——不管这个请求是简单问答还是复杂长文档分析，都塞下完整的KV缓存、全精度上下文。结果可想而知：大量内存闲置，硬件利用率低，并发上不去。

这种“一刀切”的分配方式，本质上是对内存的浪费。有没有办法让内存分配与请求的精度需求成正比？

MPP的核心思想：精度等级 + 误差保证

MPP（Memory Proportional Progressive Precision）正是为此而生。它不需要修改模型架构，只依赖两个普遍成立的性质：

1. 工作状态可以按精度等级分档：等级越高，消耗内存越多。比如长上下文LLM中，等级1使用量化或部分淘汰的KV缓存，等级T使用全精度的完整缓存。
2. 质量随精度等级单调不降：等级越高，输出质量只会更好或持平，不会变差。

MPP的核心机制是一个控制循环：请求到达时携带一个质量容忍度ε（比如“答案误差不超过5%”）。系统先以最低等级（最省内存）尝试执行，然后通过一个误差估计器给出当前结果误差的证明上界。如果这个上界 ≤ ε，就立即返回结果；否则升级到更高等级，直到满足要求。

关键是误差估计器必须“保守”——它只能高估误差，绝不能低估。这样，系统对质量的保证就不是经验主义，而是有数学证明的。

省内存 = 提并发

大多数请求在低等级就满足了质量要求。比如一个简单的事实查询，可能等级1的量化缓存就够了；只有极少数复杂推理任务才需要升级到全精度。

预期每个请求的内存消耗 = 各停止等级的概率加权平均，远低于最坏情况下的全精度内存。节余的内存可以立刻用来服务更多请求。在固定显存预算下，并发度直接翻倍。

作者给出了一个典型负载的量化结果：当压缩状态内存约为全精度的38%，且只有少数请求需要升级时，每个请求内存下降超过60%，吞吐量提升1.6到2.6倍。

适用范围：不止LLM

MPP的控制思想是通用的，只需要更换“状态参数”和“误差估计器”即可。作者列举了多个场景：

• 长上下文LLM：等级1用压缩KV缓存，估计器量化误差对输出分布的影响。
• Agent工作流：等级1用剪枝后的上下文执行，估计器判断遗漏材料是否会改变工具调用。
• 检索增强问答：等级1只从排名最高的chunk回答，估计器给出低排名chunk能否改变答案的边际。
• 推荐排序：等级1只评分粗筛后的候选集，估计器提供排名稳定性边际。
• 语音识别：等级1用窄波束，估计器用候选分数差距判断是否需要扩束。

每个场景下，控制循环一模一样：请求 -> 以最低等级执行 -> 估计器提供误差上界 -> 符合则返回，否则升级。

与现有技术的区别

缓存淘汰、近似查询处理、早退推理等方法也在做精度-性能权衡，但它们缺少一个可控的质量保证。MPP的核心创新在于：将有序精度等级、保守误差估计器、用户声明质量边界、以及内存感知的调度器统一在一个框架下，让内存分配精确匹配请求需求，同时输出质量有据可查。

如何落地？

作者建议先从两等级（压缩 + 全精度）开始，选择一个保守但可证明的误差估计器，在API中暴露一个质量参数（默认值保证正确性）。上线后观察请求的停止分布，再逐步增加更多等级。实际证明，大部分收益在两级就已实现。

总结

显存是当前LLM和Agent推理的核心瓶颈。MPP通过按需分配内存，将内存消耗与精度需求挂钩，用保守的误差保证替代凭经验猜测。预期内存下降、吞吐量翻倍，而质量被严格约束在用户声明的边界内。对于那些在算力受限场景下运行大规模LLM或Agent的团队，MPP值得认真考虑。