传统RAG检索在Agent记忆场景下会返回大量冗余内容,而后处理剪枝又容易破坏证据链条。 这个看似矛盾的困境,正是当前agent记忆系统面临的核心挑战。 论文指出,标准的RAG(Retrieval-Augmented Generation,检索增强生成)管道是为大规模、异构语料库设计的,检索到的段
传统RAG检索在Agent记忆场景下会返回大量冗余内容,而后处理剪枝又容易破坏证据链条。 这个看似矛盾的困境,正是当前agent记忆系统面临的核心挑战。
论文指出,标准的RAG(Retrieval-Augmented Generation,检索增强生成)管道是为大规模、异构语料库设计的,检索到的段落通常是多样化的。然而,agent记忆是一个有界且连贯的对话流,候选片段高度相关,经常是近似重复的。当检索依赖固定top-k相似度排序时,结果会"塌缩"到单一密集区域,返回冗余证据,无法区分"需要的"和"仅仅相似的"内容。
更棘手的是,常见的后处理剪枝方法同样存在问题。这些方法依赖局部相关性线索,而对话证据往往通过共指、省略和时间线依赖在时间上相互纠缠。结果是,剪枝可能删除证据链中的前置条件,而非真正去除冗余。

[Figure 1: 从相似度top-k到结构化检索] 论文展示了agent记忆形成连贯且高度相关的流,许多片段是近似重复的;相似度top-k检索因此会塌缩并检索冗余块。xMemory将记忆组织成完整单元的层次结构,执行结构感知检索以产生更短但更充分的上下文。
核心洞察:检索应该从相似度匹配转向对潜在组件的操作。 论文提出"解耦到聚合"的范式:将记忆分解为语义组件,组织成层次结构,然后利用这种结构驱动检索。
xMemory:四层记忆层次与自适应检索
论文提出的xMemory框架包含两个核心模块:记忆结构管理和自适应检索。
四层层次结构
xMemory构建从原始消息到抽象单元的四层层次:原始消息→情节(Episode)→语义(Semantic)→主题(Theme)。情节总结连续的消息块;语义节点从情节中提炼可复用的长期事实,以解耦高度相似的历史;主题聚合相关语义以实现高层访问。
这种层次结构在每个粒度保持完整的证据单元,保护时间关联的前置条件不被剪枝删除。
稀疏性-语义引导目标
论文引入一个引导目标函数来控制主题的分裂与合并:
f(P) = SparsityScore(P) + SemScore(P)
稀疏性分数量化主题分区的平衡程度,通过期望的主题内候选大小来衡量。语义分数则通过主题质心之间的最近邻相似度进行正则化:过于相似的主题增加冗余,而过于不相似的主题形成"语义孤岛",阻碍跨主题导航。

[Figure 2: xMemory概览] 论文展示xMemory将记忆结构化与自顶向下检索相结合,以解决agent记忆与RAG管道之间的不匹配。它将连贯流组织成层次结构,将情节轨迹解耦为语义组件同时保持完整单元。
两阶段自适应检索
第一阶段在高层kNN图上进行查询感知的代表性选择。论文采用贪婪过程,在覆盖增益和查询相关性之间权衡,选择紧凑、多样且与查询相关的主题和语义节点。
第二阶段是不确定性自适应证据纳入。从选定的语义节点收集关联的情节作为完整证据单元,仅当情节能够充分降低读者的预测不确定性时才纳入;对于已纳入的情节,仅当进一步降低不确定性能够证明额外token开销合理时,才扩展到原始消息。
实验:跨三个最新LLM的一致提升
论文在LoCoMo和PerLTQA两个基准上进行评估,使用三个骨干LLM(Large Language Model,大语言模型):Qwen3-8B、Llama-3.1-8B-Instruct和GPT-5 nano。

[Table 1: LoCoMo主要结果] 论文报告了每个问题类别的BLEU和F1分数以及平均值。Token/query表示每个查询的平均总token数(越低越好)。
LoCoMo结果
使用Qwen3-8B时,xMemory将平均BLEU从28.51提升到34.48,平均F1从40.45提升到43.98。在长程推理上的提升尤为明显,例如时间类问题的BLEU从23.60提升到29.58,F1从33.74提升到37.46。
使用GPT-5 nano时,xMemory将平均BLEU从36.65提升到38.71,F1从48.17提升到50.00,同时将每查询token使用量从9155降低到6581。

[Table 2: PerLTQA主要结果] 论文报告BLEU、F1、ROUGE-L和每查询token使用量。
PerLTQA结果
使用Qwen3-8B时,xMemory达到平均BLEU 36.24、F1 47.08、ROUGE-L 42.50,同时仅使用5087 token每查询。使用GPT-5 nano时,xMemory进一步达到F1 46.23和ROUGE-L 41.25。
深入分析:为什么RAG剪枝在agent记忆中失效?
[Figure 4: 按问题类别的证据命中分布] 论文展示检索块中1-hit、2-hit或multi-hit相对于答案内容token的比例,比较朴素RAG、带剪枝的RAG和xMemory。
论文比较了三种设置的证据密度:朴素RAG、带LLMLingua-2剪枝的RAG、以及xMemory结构化记忆检索。
结果显示,xMemory在各类别中产生更多证据密集的检索,2-hit和multi-hit比例显著高于两个RAG基线。相比之下,剪枝倾向于将质量从2-hit和multi-hit转移到1-hit,表明压缩经常移除答案相关细节。

[Table 3: 性能与证据覆盖效率] 论文报告端到端BLEU-1/F1、覆盖所有答案内容token所需的平均检索块数和token成本。
论文进一步评估证据覆盖效率。剪枝降低了覆盖的token成本,但需要更多块且准确率低于朴素RAG。相比之下,xMemory以更少的块和约一半的token覆盖证据,同时实现更高准确率。

[Figure 3: Qwen3-8B在LoCoMo上的消融实验] 论文报告BLEU和F1(左轴)以及Token/query(右轴,越低越好)。
消融实验
仅使用层次记忆结构已经比朴素RAG有大幅提升,平均BLEU从27.92提升到31.81,F1从36.42提升到40.77。添加代表性选择(RepSel)或不确定性纳入(UncSion)进一步提升性能,两者结合表现最佳。

[Figure 5: 结构可塑性与下游QA] 论文报告平均BLEU/F1和动态重分配比率。冻结高层重构产生0%重分配和较低准确率,而完整系统执行大量重分配(44.91%)并达到最佳性能。
回溯性重构的重要性
论文发现,禁用分裂和合并会冻结高层结构,产生0%重分配,并将平均F1降低到38.59。启用重构显著增加重分配和准确率,完整系统达到最高重分配比率(44.91%)和最佳平均F1(43.98)。
X写在最后
agent记忆检索需要从"找相似"转向"理结构"。 通过将高度相关的记忆解耦为语义组件,并在层次结构上自顶向下检索,xMemory在减少冗余的同时保持了时间关联的证据完整性。这一思路对于构建长期交互的agent系统具有重要参考价值。

论文标题: Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation
论文链接: https://arxiv.org/abs/2602.02007
#无影寺
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断