大模型分类性能评测：决策模型为何比生成式LLM更快更准

我们真的需要让千亿参数的大模型逐字吐字，来做一道简单的单选题吗？

卡尼曼在《思考，快与慢》中划分了人类大脑的两种运作模式：系统1快速直觉、无需费力，就像听到声音辨别情绪；系统2缓慢深思、消耗精力，如同心算两位数乘法。

在生成式 AI 风靡的当下，几乎所有主流大模型都在按“系统2”的方式运行——不管做多简单的选择题，它们都在自回归地一个 token 一个 token 往外蹦文字。

近期，以 TypeSafe 的 Jev 和 Cloudflare 开源的 clef-flash 为代表的**决策模型（Decision Models）**提出了另一种解法：它们扮演“系统1”，输入文本后只做一次前向计算（prefill-only pass），直接并行输出所有候选类别的置信度和概率，完全不生成废话。

为了检验决策模型的成色，开发者在一台配备 M5、16GB 内存的基础款 MacBook Pro 和云端 API 上，用 1,514 封测试邮件进行了一场全方位横评。

两种架构的底层分野

通用大模型（Claude、Gemini、Qwen、Llama 等）本质是文本生成器。即便是让它们做多选分类，工作流依然是：输入文本 -> 自回归预测下一个 token -> 解析字符串得出结果。如果开启推理链（Reasoning），耗时和资源消耗更会翻倍。

决策模型则完全颠覆了这一路径：

• 单次并行计算：比如 clef-flash 虽以 Qwen 为底座，但它只对输入文本跑一次 prefill，绝不解码生成后续文本，而是在输出层并行给各个候选选项打分。
• 结构化输出与原生概率：直接返回每个类别的精确概率分布和整体置信度得分（Confidence Score），免去正则表达式解析文本的繁琐环节。

将邮件归入 9 个分类（促销推广、交易订单、资讯简报、账单财务、差旅出行、求职职业、社区民生、个人社交、其他），本质是一个依靠直觉抓特征的“薄层切片（thin-slicing）”任务。这正是系统1的舒适区。

速度对决：138 毫秒的降维打击

在全部 1,514 封邮件的原始评测中，Claude 3.5 Sonnet 以 98.75% 领跑准确率，Claude 3.5 Haiku 紧随其后（98.28%），Jev 初测准确率为 95.77%。

但响应延迟呈现出悬殊差距：

• Jev 中位延迟仅 138 毫秒（包含网络开销）。
• 云端最快的大模型 Gemini Flash-Lite 需要 493 毫秒。
• Claude Haiku 需要 808 毫秒，开启推理的 Gemini 3.8 Flash 更是长达 1,974 毫秒。

在本地端，clef-flash 拿到了 95.7% 的准确率，中位延迟 609 毫秒；量化版 Gemma 4 E4B 虽达到 390 毫秒，但在准确率上略有逊色。显存占用上，clef-flash 在 16GB 内存的笔记本上因释放不及时甚至发生过爆显存闪退，说明边缘部署依然需要妥善的进程管理。

明确边界，准确率并列 99.3%

分析错误用例发现，Jev 的失分集中在模棱两可的边缘场景。例如一封朋友叙旧的私信里顺便提到了内推机会，或者系统报错通知里提到了续费金额，模型容易出现判定漂移。

在不重新微调权重的前提下，仅重新梳理 9 个类别的定义原则（强调“以发件人主要目的为准”）：

在独立留出测试集（448 封邮件）上，Jev 的准确率从 95.3% 跃升至 99.3%，追平了 Claude Haiku。然而耗时上，Jev 依然稳定在 167 毫秒，Haiku 则需 899 毫秒。

有意思的是，更详细的 prompt 并不适用于所有模型。参数量较小的 Qwen2.5-3B 在指令变长后，准确率反而从 73.7% 滑落到 63.2%。

原入射门与守门员：置信度分流

决策模型最显眼的工程价值是原生置信度。

大模型往往不知道自己“不知道”，即便输出看似笃定的分析，依然可能产生幻觉。要想让通用 LLM 返回可靠的置信概率，往往需要复杂的采样或自省 prompt。而 Jev 每次判定都自带 confidence 数值：

{
  "answers": {
    "category": {
      "choice": "financial_billing",
      "confidence": 0.63,
      "probabilities": {
        "financial_billing": 0.67,
        "other_unclear": 0.33
      }
    }
  }
}