别让LLM做分类：Agent专用决策层的降本提速实践

在大语言模型（LLM）的落地实践中，不少团队正陷入同一种架构陷阱：把每一次分支判断、意图分发或权限检查，都打包成昂贵的 Prompt 丢给通用大模型。

这往往意味着要承受数秒的冷启动延迟、不稳定的 JSON 序列化报错，以及高昂的 Token 账单。

快思考反应，慢思考规划

认知科学中常将人脑划分为快思考（系统一）与慢思考（系统二）。当前的 Agent 架构也正在经历类似的解构：

• 慢思考（LLM）：负责全局长程规划、发散式内容生成以及极其复杂的逻辑推理。
• 快思考（决策层）：负责高频、确定性、闭集范围内的即时分类与控制流跳转。

像 Jev 这类被定义为“系统一模型”（System One Model）的出现，切中的正是这一结构性断层。它的运行逻辑完全不同于传统生成式模型：

开发者首先在软件代码中定义好确切的“答案空间”（如枚举值或类型约束），接着向系统注入当前的应用状态与强类型问题，模型直接输出类型化的概率决策。

它不负责撰写长篇大论，也不需要开发者在 Prompt 结尾苦苦叮嘱“请务必仅返回符合规范的 JSON，不要包含任何前缀解释”，更没有繁琐的格式校验与重试重压。

性能数据：193倍提速与444倍降本

根据 TypeSafe 的工程评测数据，这种专注于类型化决策的模型展现出极高的能效比：

• 端到端延迟：通常收敛在 70–500 ms，相比通用大模型实现 40–200x 的响应速度跃升。
• 推理资费：输入成本约为 $0.042 / 百万 Token，而输出由于仅返回预定义类型索引，开销几乎可以忽略不计。

在四个端到端工作流的对比基准测试中，该方案对比主流基准 LLM 配置，跑出了 193.6 倍的执行提速以及 444.6 倍的综合成本缩减。

架构选型的分水岭

这并不意味着要抛弃 Claude 或 GPT-4 这类通用模型，而是理清两者的工程边界：

1. 保留大模型的核心资产：将其算力留给真正的开放式推理、策略推演与复杂生成场景。
2. 将高频闭集判断下沉：把应用中反复触发的路由分支、敏感过滤、工具触发判断交给极轻量、高可靠的强类型决策层。

让快模型负责快速响应，慢模型负责深度规划，才是让复杂 Agent 在生产环境跑得稳、用得起的务实解法。