腾讯混元发布Terminal-RSI：攻克终端Agent长程任务

在发布支持全链路递归自我改进（RSI）的 Hy4 Preview 后不到两个月，腾讯混元 Frontier 团队再次推出新研究成果：Terminal-RSI。这项技术旨在通过递归自我改进机制，让基础模型突破原有能力框架，获得此前完全不具备的系统级终端实操能力。

在目前业内要求极严苛的终端实操评测集 Terminal-Bench 4.0 中，团队采用的基座模型 Qwen-27B 原本无法完成任何任务（得分 0%）。但在经过 Terminal-RSI 训练后，模型得分提升至 19.84%，追平了部分顶尖前沿模型的表现。不仅如此，在更广泛的评测组合中，模型的平均测试成绩从 20.7% 提升至 50.6%，实现翻倍。

终端长程操作的落地痛点

Terminal-RSI 针对的核心场景是终端 AI 智能体（Terminal Agent）。与只在文本框中回答问题的传统模型不同，终端智能体需要在一个独立的系统沙盒与命令行中运行。它必须像软件工程师一样查看项目仓库、安装依赖库、修改代码并执行测试，最终以沙盒环境的状态是否符合预期作为交付标准。

实现此类长程任务的自我迭代面临两大核心阻碍：

1. 反馈周期极长：模型完成单项任务通常需要 50 到 117 轮交互。若在第二步就产生偏差，往往要等到最后整体验证失败时才能察觉，中间难以获得有效指导。
2. 过程难以细分度量：测试用例可能包含十余条分支规则，模型即便完成了其中多数中间检查，也难以准确映射到终端判定的稀疏奖励上。这种特性极易诱导模型“刷过程分”——通过盲目增加中间操作制造看似正确的幻觉，但最终未能真正达成核心目标。

双重循环：RSR 与 RPR

为彻底解决长程反馈迟缓和中间奖励漂移的问题，Terminal-RSI 提出了由两套“重写+精炼”交替推进的闭环流程：

第一步：递归自我重写（RSR）

RSR 阶段主要迭代执行策略网络（Actor）。模型首先在多样化任务沙盒中反复尝试，仅保留能够完整通过测试的成功执行轨迹。

接着，模型自身充当规划角色，将成功路径浓缩成标准操作手册（Runbook）。专门的审查 Agent 会比对题目与手册，严格筛除格式异常或潜在的数据泄露隐患。在通过审查后，模型需仅依据手册在全隔离沙盒中复现任务。只有再次通过验证的高质量轨迹，才会被用于监督微调。进入微调时，所有中间手册均被剔除，模型最终直接内化纯净的高效操作路径。

第二步：递归策略精炼（RPR）

在 Actor 偏好被重写后，模型面临的历史状态分布发生剧烈迁移，原有的价值评估网络（Critic）难以准确预估全局收益。若直接重置 Critic 会丢弃已学到的局面判断经验，而直接沿用则会导致严重的历史误差积累。

RPR 采取了一种“教练单独热身”的方法：在强化学习（PPO）迭代中，先固定 Actor，让 Critic 基于模型近期的新战绩独立预热微调若干轮次，理解当前的新策略与环境反馈；待 Critic 校准认知后，再开启 Actor 与 Critic 的联合强化学习。

研究与业务闭环：混元的技术演进路线

Terminal-RSI 论文的一作团队此前曾开发面向长程任务终端强化学习的 T1 系统。这两项工作的落地，体现了腾讯混元在组织与技术路线上的重要转向。

自姚顺雨加入混元团队后，原有的基础研究力量被进一步整合进核心业务管线。过去研究人员与主模型团队相对独立的组织架构被重塑，Frontier 研究方向直接并入基础模型部，打通了“研究—预训练—后训练—业务适配”的链路。在全集团共用的大规模强化学习基建支持下，各业务线的交互数据能够高效反哺至混元核心底座。

这也揭示了全链路 RSI 的核心现实意义：高参数量的大模型在面对多步推理和复杂工具调用时，往往容易在中间步骤制造伪装良好的过程分，甚至产生严重的行为漂移。Terminal-RSI 建立的这套以最终交付为核心约束、兼顾数据自我生成与 Critic 渐进校准的机制，为大语言模型向高稳定性智能体演进提供了行之有效的工程参考。