微软开源ThinkingBox：以数据库为RL奖励

很多 AI 智能体（Agent）在完成复杂任务后往往回复“已处理”，但后台系统的实际状态却并未改变，甚至可能存在错误。例如，智能体在处理工单时看似调用了9次工具并标记为“已解决”，底层数据库中的物流异常记录却依然挂起。

针对这一痛点，微软此前推出了 ThinkingBox-Bench 基准测试，通过直接比对后台数据库的最终状态来评测智能体表现。随后研究团队意识到：这种能直接输出 0 或 1 的可执行终态检查，不仅可以充当考官，更是一套天然的强化学习（RL）奖励函数。

近日，微软与 Hugging Face 联合发布并开源了 ThinkingBox-Training 框架，探索如何利用数据库终态作为奖励信号，对智能体进行后训练（Post-Training）。

离线策略相对难度：选出真正能学习的任务

为有状态智能体构建强化学习循环，最大难点在于构建训练任务池。如果一组采样（Rollout）全部失败或全部成功，GRPO 算法中的组内中心化优势（Advantage）就会归零，模型无法学到任何有效梯度。

对此，团队提出了离线策略相对难度（Offline Policy-Relative Difficulty）机制。在训练前，使用基座策略模型对候选任务进行有限次数的探测，利用贝塔分布估计每个任务的潜在成功率，将任务划分为5个难度区间：

• 极难解决 [0, 0.08)：剔除
• 高难度 [0.08, 0.40)：保留
• 中等难度 [0.40, 0.60)：保留
• 频繁解决 [0.60, 0.90)：全参数微调保留
• 几乎必过 [0.90, 1]：剔除

该机制确保进入训练池的任务能够在采样中稳定产生成功与失败的对比样本，为 GRPO 提供充足的学习信号。最终团队筛选出了 187 个训练任务，且所有训练任务与评测基准 ThinkingBox-Bench 完全物理隔离。

训练表现：高稳定性任务数翻近三倍

研究团队以 Qwen3.8-27B 作为基座模型，在 24 张 NVIDIA H100 上进行了 50 步全参数 GRPO 微调。评测环节在未参与训练的 507 个基准任务上展开，每个任务重复测试 20 次，共计 10,140 次尝试。

结果显示，模型的可靠性指标出现了跃升：

• 完全可靠任务数（Observed 20/20）：在全部 20 次尝试中均完全正确的任务数从基座模型的 38 个（7.50%）激增至 107 个（21.10%），提升近 3 倍。
• 平均成功率（pass@1）：从 51.70% 提升至 60.78%（+9.08个百分点）。
• 单次覆盖率（pass@20）：至少成功过一次的任务占比从 89.35% 微降至 87.97%。

以“未经经理批准的降级房型申请”为例：基座 Qwen3.8-27B 在 20 次尝试中有 15 次直接违规修改订单并退款；而 RL 微调后的模型在全部 20 次尝试中均严格遵守企业规范，保留了原始预订和支付状态。

从各领域来看，零售、汽车保险、差旅、新银行与咨询五大场景的 pass@1 与 20/20 指标全线上涨。尽管覆盖率微降，但概率分布显著向高确定性路径“锐化”，大幅压缩了生产环境中最忌讳的偶发性严重错误。

经济效益：高确定性任务成本直降 67%

在生产环境中，单次尝试的账面单价并不能体现真实成本，可靠性才是核心变量。团队测算了完成全部 507×20 轮测试的综合成本：

微调后模型的平均单次成功成本下降了 21.4%（$0.177 降至 $0.139）；而折算到每个高可靠任务（20/20）的平摊成本，则从 $24.36 骤降至 $8.00，降幅达 67.2%，性价比已接近 GPT-5.4 与 Claude Opus 5.5。

完整的后训练闭环设计