ServiceNow发布AutoSynthData：针对企业级智能体的合成数据生成框架

企业在落地 AI 智能体时，往往需要模型能够在其特定的业务环境中稳定运行。然而，模型即便具备通用的广泛能力，面对复杂的系统工具链、特定业务规则或动态数据状态时，仍然容易出现工具调用失误、违背业务约束等问题。

解决这些痛点最困难的环节在于：如何将单次失败转化为海量、多样化且可靠的训练数据？这些任务既要贴近真实业务，又必须在环境中切实可行，同时配备能够精准校验执行结果的验证器（Verifier）。

为此，ServiceNow CoreAI 团队开发了 AutoSynthData 框架。该框架结合目标模型的失败点与更强教师模型的成功范例，动态定位模型的能力短板，自动化生成并验证对应的训练任务。随着模型能力的进阶，训练课程还会持续向新的能力边界推进。

什么是高质量的企业级智能体任务？

智能体环境定义了模型可观察和修改的状态、可调用的 API 工具以及动作引发的状态转移。AutoSynthData 将任务形式化为三元组：

task = (系统规范, 用户提示词, 验证器)

1. 系统规范（System Specification）：定义系统指令、环境策略和初始化状态，确保清晰且符合真实业务环境。
2. 用户任务（Agent-Facing Task）：必须同时满足可行性（存在可达解）、真实性（符合真实工作流）和难度适配（落在当前模型未完全掌握但可学习的边界内）。
3. 验证器（Verifier）：负责判定轨迹是否成功，需具备一致性（符合系统规范）、健全性（能拒绝错误和违规轨迹）和完备性（认可不同路径的有效解）。

从失败分析到任务扩增

AutoSynthData 的核心运作分为四个阶段：

1. 失败归纳为规范卡：在评估环境中对比目标模型与教师模型，提炼出能力短板，生成脱敏的“能力规范卡”（Capability Specification Cards）。生成器不接触原始提示词或实体，避免数据泄露。
2. Target 阶段（核心样本生成）：基于规范卡并行生成独立的任务候选集，并让强教师模型提供成功的参考执行轨迹，随后进入环境验证与求解器评估。
3. Multiply 阶段（样本扩展）：基于通过验证的核心样本，派生出具备不同实体配置、环境初始状态和提示词表述的新变体，并在受控范围内防止多代漂移。

双层质量控制：样本校验与批次复审

生成合理的提示词并不代表数据可用。AutoSynthData 引入了样本级与批次级的双重把关机制：

• 正向验证（Positive Gate）：在真实环境中执行参考轨迹，确认验证器能否正确判定成功。
• 反向验证（Negative Gate）：主动对预期结果进行扰动变异，确保验证器能精准拦截错误行为，避免“放水”。
• 批评与修复（Critique and Repair）：未通过校验的样本交由 Critic 模块诊断原因（如状态不一致、逻辑漏洞），并在有限次数内进行定向修复，无需全量推倒重来。
• 批次级复审（Batch-Level Review）：从全局视角监控任务分布，削减冗余品类，动态将算力调度至覆盖不足的能力维度。

实验验证与性能提升

研究团队在 EnterpriseOps Gym 基准（已开源对应数据集）上进行了实测：

• Hybrid 领域：以 Gemma-4-26B-A4B-it 为目标模型、Qwen3.8-27B 为教师模型。系统在 18 小时内生成 2000 条合成样本。经过监督微调（SFT）后，模型平均 Pass@1 提升了 7.2 个百分点（相对提升 35%），验证器成功率从 63.01% 上升至 68.55%，弥补了目标模型与参考基准之间 59% 的差距。
• ITSM 领域：采用 DeepSeek-V4.1-Flash 作为教师模型，生成 1994 条样本进行微调，模型的平均 Pass@1 从 18.77% 大幅提升至 27.18%。