把记忆焊进大模型：首个原生记忆模型MemT 1.0开源

在推动大模型实现自我改进（RSI）的探索中，AI 领域面临一个核心难题：一次改进，如何成为下一次推理的起点？常规做法是外接向量数据库等经验库，通过上下文检索实现。然而，记忆张量团队选择了一条截然不同的技术路线——「记忆原生」，并正式开源了 MemT 1.0 系列。

这是业内首次在近 300B 参数规模上实现记忆原生架构的工程验证，代码与模型已在 GitHub 与 Hugging Face 开源，相关技术细节已同步至 arXiv 论文。

原生架构：在 Transformer 内部并行增加记忆通路

MemT 1.0 包含两个规格：

• MemT-1.0-Nano：总参数 36B，激活参数 3B，基于 Qwen3.6-35B-A3B 构建；
• MemT-1.0-Flash：总参数 288B，激活参数 17B，基座为 DeepSeek-V4-Flash。

不同于外挂经验库把检索文本塞入上下文的方案，MemT 1.0 在选定的 Transformer 模块中增加了一条与原有注意力平行的计算通路。其架构分为三层：

1. 主干权重：保持冻结，承载模型原有的通用语言能力；
2. 超记忆：包含读写投影和门控等可训练参数，学习记忆的编码、更新与提取机制；
3. 局部记忆：使用动态矩阵状态，保存交互中新产生的经验。

在更新机制上，MemT 1.0 采用基于 Gated DeltaNet-2 的逐 Token 生成设计。当记忆容量需要扩展时，团队依托 MoE 思想提出了 MoS（Mixture-of-Storage），通过稠密融合方式让所有记忆专家参与计算，以路由权重决定贡献。

实际表现：代码修复与长期会话显著受益

经验被内置到模型内部状态后，实际推理效果如何？

在软件工程评测 SWE-bench Verified 的 500 项任务测试中（每项独立运行 3 次），MemT-1.0-Nano 在关键断点的平均成功率达 69.73%，高于无经验基线的 66.07% 与显式文本经验组的 69.13%；三次全部成功的任务比例达到 62.80%，显式文本经验组则为 61.80%。对比轨迹显示，具备原生记忆的模型在修复代码前会优先构建复现测试，并在初次修改后重新检查边界条件。

在动态信息变更的场景下，MemT 同样表现出色。例如在会议时间多次修改的对话测试中，模型能够准确区分「非正式建议」与「最终决定」，准确保留未变更的背景信息。

在 11 项记忆基准评估中，Flash 和 Nano 的平均得分分别为 50.6 和 47.0，在参数化记忆类别中位列前二。

工程优势：推理加速与显存开销骤降

除了准确率，原生记忆在端到端效率上展现出显著工程优势。

在 128K 历史长度下，Nano 的端到端推理速度约为完整上下文方案的 1.86 倍；对于每条交互轨迹，其持久状态占用仅为完整上下文 KV Cache 的 六十六分之一。

这意味着企业级长会话的状态开销得以大幅压低，多个查询也可以复用同一状态矩阵，降低高频交互中的重复计算成本。对于大模型迈向自主迭代与持续学习，MemT 1.0 的开源为业内验证「记忆即模型能力」提供了一条具备工程可用性的实践方案。