不做生成的AI模型：把Agent决策成本打下400倍

Jev System One Model

在现有的 AI Agent 架构里，存在一个巨大的资源错配：

Agent 每做一次微小决策——判断是否该调用工具、请求是否紧急、一段 Bash 命令是否安全——背后消耗的都是一次完整的 LLM 推理。你用写长篇大作的算力，去让模型做一道二选一的单选题。

由前 OpenAI 研究员 Diogo Almeida 创立的 TypeSafe AI，试图打破这一范式。他们推出了名为 Jev 的“系统一模型”（System One Model）。这款模型彻底放弃了文本生成能力，只输出强类型、带校准概率的结构化决策。其响应时间仅为 70 至 500 毫秒，输入成本低至每百万 Token 0.042 美元，且输出 Token 完全不计费。

Almeida 曾在 OpenAI 长期参与 ChatGPT 底层的指令微调与 RLHF 研究。在他看来，对话式大语言模型解决了“如何与人类沟通”的问题，但软件内部那些高频、碎片化的微观判断，从一开始就不该由自回归生成模型来承担。

抛弃逐字生成，把控制流做成“单次计算”

传统的 LLM 运行机制是自回归生成：吃进非结构化文本，在上下文约束下，一个 Token 接着一个 Token 地往外吐。这种机制赋予了模型写代码、搞创作的通用灵活性，但在面对纯逻辑判断任务时，逐字生成的机制显得极其低效且昂贵。

Jev 的思路是直接砍掉文本生成环节。

调用 Jev 时，开发者传入当前的上下文状态（State，可以是纯文本也可以是结构化数据）以及一个或多个类型化问题（Questions）。模型会在单次并行前向传播中同时计算出所有答案，而不是线性循环。

Jev 目前支持三种核心问题形态：

Noul：判断 True/False 的真值概率；
Choice：从预设选项集合中计算各选项概率（单问题最高支持 255 个选项）；
Score：针对有序等级（如低/中/高）给出一个连续得分和置信度。

因为输出空间在调用前就由 Schema 锁死，Jev 从数学层面上消灭了“JSON 格式解析错误”的可能，无需像传统大模型那样依赖重试或正则提取。

RLCD：为什么置信度校准比高准确率更重要？

让这套机制在自动化管线中立足的关键，是 TypeSafe 提出的 RLCD（Reinforcement Learning for Calibrated Decisions，校准决策强化学习）。

RLHF：优化人类评估员的主观偏好；
RLVR：优化代码编译或规则校验的通过率；
RLCD：专门优化置信度校准（Calibration）。即模型声称的 80% 胜率，在统计上必须精准对应 80% 的真实成功率。

在工业级 Agent 中，一个标榜 95% 准确率但从不告知风险的模型是无法落地的。软件系统真正需要的是自我感知能力：当置信度高于阈值时直接放行，一旦置信度掉入灰度区间，立即平滑降级给人类或更大的前沿模型接管。校准概率是构建高可靠控制流的前提。

根据官方公布的基准测试，在串联多个类型化决策的典型自动化工作流中，Jev 相比 GPT-6 / Claude 级别的模型组合，速度最高提升 193 倍，推理成本最高降低 444 倍。

融入 Agent Harness：生成归大脑，判断归脊椎

Jev 并不是要取代大模型。真正的工程价值在于分工：大模型负责开放式推理、长链规划与内容生成；Jev 充当外围神经节点，吃掉那些原本占用模型调用的分支逻辑。

LangChain 团队已迅速跟进，联合 TypeSafe 推出了基于 Jev 的中间件模式，其中两项实践最具代表性：

1. 模型路由（Model Routing）

用 Jev 在请求入口处毫秒级评估任务复杂度，轻量级检索走便宜的小模型，复杂任务才路由给高成本旗舰模型：

from langchain.agents import create_agent  
from langchain_typesafe.experimental.middleware import (
    ModelChoice,
    ModelRouterMiddleware,
)

router = ModelRouterMiddleware(
    choices={
        "fast": ModelChoice(
            model="openai:luna",
            criteria="Direct lookups, extraction, and localized changes.",
        ),
        "powerful": ModelChoice(
            model="openai:sol",
            criteria="Architecture and high-stakes decisions.",
        ),
    },
    instructions="Choose the least costly model that can complete the task.",
)

2. 工具调用门禁（Tool-call Gating）

以往在 Cursor、Claude Code 等编程 Harness 中，判断一条 Shell 命令是否危险通常依赖封闭的内部黑盒分类器。现在开发者可以通过中间件直接接管工具安全校验：

from langchain.agents import create_agent  
from langchain_typesafe.experimental.middleware import AutoModeMiddleware

guardrail = AutoModeMiddleware(tools=["bash"])
agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])

这种解耦在终端编程工具 SuperQode 中同样得到了验证：将权限三元组（允许、询问、拒绝）的判断交给 Jev，底层的生成模型得以剥离安全审查负担，专注于写出高质量代码。