无需微调，ALTK-Evolve让普通AI登顶客服基准榜单

使用未经过额外推理强化的基础大语言模型 GPT-4.1，配合标准的 ReAct 框架，也能在客服任务评测中击败一众前沿模型。在 τ²-bench 零售测试集上，该方案取得了 67.5% 的 Pass^4 成绩（即连续四次独立尝试均成功解决任务），登顶排行榜榜首。

实现这一突破的核心技术是 ALTK-Evolve。它不仅不需要对底层模型进行微调，也不依赖人工标注，仅通过让模型从历史轨迹中提炼“操作指南”，便为 AI 智能体构建了可动态演化的记忆库。

什么是 τ²-bench？

由 Sierra 推出的 τ²-bench 专注于评估 AI 智能体在严格业务约束下的客户服务表现。测试环境将智能体置于由大语言模型模拟的客户、特定领域工具库（如订单查询、退款、改签）以及详尽的政策文档之间。

智能体必须引导用户提供关键信息，严格遵守业务流程，并执行正确的数据库操作。由于包含退款或改票等不可逆操作，评测采用极其严格的二元奖励机制：只有当最终数据库状态与预期完全一致时，任务才算成功。评测主要覆盖零售（Retail）与航空（Airline）两大领域。

研究团队保留了基准原生的双阶段“思考→行动”（THINK → ACT）ReAct 框架，唯一调整是在系统提示词（System Prompt）的业务政策后，追加一段由 ALTK-Evolve 提炼的行为准则列表：

## Guidelines learned from past task attempts (follow these carefully):
- 在执行任何订单操作前验证用户身份。若无邮箱，通过姓名与邮编调用 API 查询。
- 在执行数据库变更操作前，向用户出具清晰的变更摘要，并获取明确授权。
- 处理退换货时，主动提供详细的退款明细和预计到账时间。
- 严格保持单步单动作：严禁在单轮对话中同时触发工具调用与回复文本。
- 查询用户名前先清洗格式，例如将 daiki_johnson_9523 拆分为姓与名。

准则记忆兼顾能力与稳定性

准则根据训练任务中出现的频次标注“支持度”（Support Count）。团队对比了三种配置：无准则的 baseline、仅保留支持度 ≥3 条目的精简核心版（sup3），以及保留所有有效准则的无损版（lossless）。

在零售测试中，无损版准则让平均准确率从 78.1% 提升至 82.5%，严苛的 Pass^4 稳定性指标更是直接攀升 10 个百分点至 67.5%。在航空领域，完整版准则使准确率从 57.5% 跃升至 65.0%，而小巧的 sup3 核心版本则在稳定性指标上表现最佳，Pass^4 同样提升了 10 个百分点（达到 45.0%）。

这表明“指南用量”并非越大越好：零售业务规则细碎，需要详尽的指南库；航空业务更讲究确定性，少量高置信度的核心原则反而更加可靠。

消耗更多 Token，但对话轮次更少

添加长提示词难免会增加输入成本，但数据显示，智能体并没有因此变得啰嗦。

在基线方案与规则方案均成功解决的相同任务对比中，注入准则后的智能体平均对话轮次反而减少了 0.3 到 0.4 轮。对话轮次减少意味着更低的网络往返延迟与更快的响应时间。

虽然零售任务由于携带了 292 条准则，单次对话的输入 Token 成本从 0.084 美元增至 0.139 美元，但在实际生产环境中，由于这些系统提示词在各会话间高度一致，借助大语言模型服务商提供的 Prompt 缓存技术，多出来的输入成本绝大部分都可以被抵消。

前沿模型同样受益

这种外部记忆机制是否只对弱模型有效？团队随后在航空领域使用前沿大模型 GPT-5.5 重新进行了全流程验证。

结果显示，GPT-5.5 在获得自我归纳的准则注入后，测试集准确率从 72.5% 提高到 82.5%，Pass^4 指标从 55.0% 暴涨 15 个百分点来到 70.0%。在全量榜单提交中，搭载该框架的 GPT-5.5 拿下了 82.0% 的 Pass^4，力压全部现有前沿模型跃居航空榜单第一名。

结语

为特定基准或业务场景进行模型微调不仅成本高昂、容易过拟合，且迁移难度大。ALTK-Evolve 证明，仅仅依靠模型反思历史轨迹并生成 Prompt 级别的手册，就能在不改动任何权重的前提下，让 AI 智能体跨越代差，展现出超越微调模型的任务执行力与极高稳定性。