号称不拿数据训练的AI模型，到底在学什么？

最近，TypeSafe AI 推出了一款名为 Jev 的新模型。它的定位非常明确：比通用大语言模型（LLM）更便宜、推理更快，但通用能力更弱。

它的输入格式开发者很熟悉：一段非结构化文本、一个明确问题、函数定义以及输出的数据结构（Schema）。但与擅长长篇大论的 GPT-4 或 Claude 不同，Jev 不会写散文。它只做几件事：分类、排序、概率估算，或者在限定范围内给出答案。

有人将 Jev 归类为“决策模型”，相当于让 AI 专攻直觉式的“快思考”（System 1）。在真实的企业工程落地中，大量的后端服务根本不需要模型去写诗作画，需要的仅仅是意图识别、路由分流、敏感词检测或状态提取。大模型在这类场景下往往算力浪费严重，且响应延迟难以接受。用更专用的结构换取极致的吞吐量和低成本，这方向显然是成立的。

但比起模型架构本身，其客户协议中关于数据处理的一处表述更值得玩味：“不会使用客户数据进行训练，但可以利用衍生遥测数据（Derived Telemetry）。”

这句话揭开了目前很多 AI 厂商在隐私合规上的新遮羞布。

什么是“衍生遥测数据”？

大多数团队对企业级 SaaS 的期待很简单：我的 Prompt 和业务数据进了你的服务器，你不能拿去喂模型。

服务商通常也会信誓旦旦保证：绝不拿原始数据 Fine-tune 或预训练。

然而，当“原始数据”被严格隔离之后，“衍生数据”就成了灰色地带。遥测数据（Telemetry）在传统软件中通常指 CPU 占用、响应耗时、错误码。但在 AI 交互管道中，衍生遥测数据的边界极其模糊：

• Token 分布与序列长度：输入输出的长度比值，本身就暴露了业务模式。
• 置信度与对数几率（Logits）：模型对某个分类是犹疑不决还是高度确定？这种概率分布本身就是业务样本的数字指纹。
• Schema 命中模式：用户最常调用哪些字段、传入哪些枚举值、经常在哪些验证规则上报错。

即便服务商确实抹掉了原始文本，仅凭这些由输入触发的元数据聚合，也足以构建出行业分布图谱。厂商能够根据这些分布调整内部小模型的权重分配，甚至反向优化路由网络。从法理上讲，这确实不算“用原始数据训练”；但从实质上讲，模型的进化完全离不开客户真实业务环境的养分注入。

决策专用模型的取舍

把决策和生成解耦，是当前技术架构演进的一个清晰信号。

在很多所谓的“智能体（Agent）”系统里，开发者习惯性地把所有问题扔给顶级大模型处理，这带来了极其昂贵的账单和脆弱的系统稳定性。将任务拆解为：

1. 确定问题边界与可选空间：通过业务代码或静态规则收敛。
2. 在有限空间内做概率决策：交给像 Jev 这类高吞吐、低延迟的轻量模型。
3. 最终文本合成与复杂推理：仅在极少数需要发散的节点调用通用大模型。

这种分层架构能够把推理成本砍掉一个数量级。

重新审视数据边界

当技术团队评估此类轻量决策模型时，目光不能仅停留在每千次调用的价格与 P99 延迟上。

“零数据留存”和“不用作训练”在今天已经不再是最高级别的隐私防御。只要系统还在上传未脱敏的业务载荷，并且供应商保留了对交互行为进行抽象统计的权利，业务的特征就会不可避免地沉淀在平台的基础设施演进中。

对于敏感场景，要么在进入网关前做好彻底的端侧实体脱敏，要么直接采购私有化部署方案。在 AI 服务商的法律条款里咬文嚼字，远不如从系统架构上切断数据外流来得可靠。