前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.19 · 17:04/7 MIN/编译自 雷锋网/1 阅读

Perplexity 把「判断」拆成独立模型,重构 Attention

Perplexity 推出 Decider v1.3,把 AI 系统里的判断能力做成独立模型:一次前向传播完成多项判断,重构注意力机制让问题互不干扰,并新增原文定位能力。63 项分类任务准确率达 91.6%。

Perplexity 正式推出 Decider v1.3,把 AI 系统里的判断能力单独做成了一套模型。

它的核心改动在于处理判断任务的方式:同一份上下文可以同时交给多个问题使用,模型只需进行一次前向传播,就能输出各个问题的答案概率。过去需要反复调用 LLM、生成文本、解析结果的流程,现在收敛到一次模型计算中。

Decider v1.3 概览

为了让多个问题共享计算时不互相干扰,Perplexity 重新设计了 Attention 机制:共享状态读取全部问题,同时限制问题之间直接交换信息。v1.3 进一步加入 Locate 能力,可根据字段描述直接定位原文跨度,把判断与文本抽取整合进同一套架构。

这套模型已进入 Perplexity 的生产系统。在一次内部安全审查中,它单日处理了 7000 个 Agent 会话,累计读取 10 亿 token,并推动 14 项规则修复。

一份上下文,承载多个判断任务

Decider 的输入由共享状态(State)和若干问题块(Question)组成。State 保存网页、文档或 Agent 执行记录,Question 描述具体判断目标并列出候选答案。每个候选项映射到预定义标签 Token(如 A、B、C),特殊的 <|marker|> Token 则标记答案读取位置。

输入结构示意

模型提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项分数,再转为概率分布。决策头由基础模型原有的语言模型输出层改造而来:保留 A、B、C 等候选标签对应的权重行,移除其余词表权重,再针对决策任务训练。原本计算下一个 Token 概率的输出层,由此转为专门做选项判断。

这一设计让任务定义与输出计算分离。调用方用自然语言描述问题、用选项限定答案空间,模型负责根据上下文计算概率。情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查和评分,都可以共用同一套输入协议。

统一任务格式

Perplexity 把数百个公开数据集转换为 State、Question、选项和目标组成的统一训练格式。同一段长文本需要执行多项判断时,多个 Question 可以放进同一次前向传播。

需要说明的是,增加问题仍会增加 Question Token 和注意力计算。Decider 节省的主要是长文本被重复编码的开销,以及生成式模型逐 Token 解码和外部解析的成本。问题越多、共享文本越长,复用价值越明显。

输出概率还保留了业务策略空间。模型给出概率分布,应用根据误报、漏报的代价设置阈值,网页过滤与 Agent 审查可以用不同门槛,无需为每种业务重新训练模型。

多任务如何共享信息,互不干扰

输入协议确定后,问题落在模型内部:多个 Question 同时进入 Transformer,它们之间应该建立怎样的信息连接?

Decider 以生成式 LLM 为骨干,原有因果注意力按文本顺序组织信息,当前位置只能读取自身及之前的 Token。这适合逐步生成文本,却不利于需要理解完整上下文的判断任务。Perplexity 因此改用双向注意力,让 Token 读取完整输入,消融实验显示这项调整改善了决策表现。

但双向注意力开放了完整上下文,也让多个问题之间出现信息交互。v1.2 采用完全互见模式,State 和全部 Question 相互可读,某个问题的表示可能受其他问题影响,调用方调整问题组合时原有判断也可能变化。

注意力连接示意

v1.3 引入的 Isolated Question Attention 改变了连接关系:State 可以读取全部 Question,而每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题。

这里有个关键细节:State 不再只是保存原始文本的容器,还承担跨任务的信息汇聚作用。它可以读取整组问题,在多层注意力中形成带任务条件的上下文表示;每个 Question 通过 State 获取相关信息,并保留自身任务描述。

这切断了 Question 之间直接传递局部表示的路径,但没有消除全部间接影响。由于 State 已读取其他问题,经多层传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。

隔离式注意力

Perplexity 控制的是直接注意力连接,而非让各任务在数学上完全独立。这也解释了 v1.3 为何没有选择完全可缓存模式:团队测试过 State 只读自身、Question 再读 State 和自身的结构,同一段文本可在不同请求间复用缓存,但代价是 State 编码时看不到任务要求,无法按当前问题调整上下文表示。Perplexity 最终选择隔离式问题注意力,保留问题对上下文的条件作用。

团队还用标签扰动测试检验输出稳定性。在 372 道多项选择题上改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化,Jev 1.14 的变化比例为 2.69% 至 4.84%。相同输入重复执行时,Decider v1.3 的输出保持一致。

从选项判断,到文本跨度抽取

普通决策头的输出范围由预设选项限定。当任务要求从原文中找出未知长度的文本时,仅靠 A、B、C 已不够用。v1.3 因此增加 Locate,把输出扩展到文本跨度定位。

Locate 新增了 <|locate|> Token、跨度头(Span Head)和 LoRA 适配器。每个待抽取字段拥有独立的 Locate Token,其嵌入由此前训练得到的 Marker 表示初始化。跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选片段起点、终点及两端配对关系打分,同时为字段生成专属阈值。

标签:PerplexityAI 智能体模型架构

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款

跨度抽取结构

起点与终点评分负责寻找文本边界,配对评分判断两个位置能否组成有效片段——单独找到两个高分位置,并不意味着它们属于同一段合理文本。模型返回原文字符区间,下游程序可直接读取对应内容。

训练采用改进版 InfoNCE 目标,让正确跨度分数高于阈值,同时让阈值高于其他候选跨度。原文没有对应字段时,模型需要抬高阈值,使候选片段无法通过筛选,返回空列表。Perplexity 用命名实体识别、PII 检测和抽取式问答数据训练 Locate,字段描述既有简短标签也有自然语言指令,迫使模型理解字段含义与文本内容的关系,而非记忆固定字段名。

Locate 也带来参数干扰:原有决策头学习候选选项间的概率分布,跨度头学习文本边界和片段配对,两者对内部表示的要求不同。Perplexity 发现将 Locate 适配器合并进主干后,普通决策请求会退化,因此保留独立 LoRA 适配器,只在文本定位任务中启用。

主模型分阶段训练。较大版本以 Qwen3.8-27B 为基础,先进行大规模通用全量微调并排除公开评测基准的训练划分,再通过 LoRA 加入领域任务,最后进行视觉适配。团队对三个不同随机种子的文本训练权重取平均以改善整体表现。Flash 版本以 Qwen3.5-4B 为基础,通过较大 Decider 蒸馏获得能力:学生模型拟合教师给出的完整概率分布,用 KL 散度学习教师对不同候选项的相对判断。相比只学正确标签,分布蒸馏还保留了其他候选项的相对置信程度,Perplexity 称在相同训练数据下,KL 蒸馏在留出任务上的泛化表现优于标准交叉熵。

评测中,Decider v1.3 在 63 项分类任务上的平均准确率为 91.6%,比 Perplexity 原有生产分类器高 6.54 个百分点;在 72 项检索任务中,逐点重排的平均 nDCG@10 达 83.99,比 Qwen3-Reranker-8B 高 1.81 分。

评测结果

八种语言任务的平均准确率为 88.16%,Jev 1.14 为 85.41%。Locate 在 17 项域外任务上的平均得分 69.0,Flash 为 63.6。生产评估覆盖 API 上线后前 18 天的一百万条请求,去重后包含 2,318,887 个问题。由于生产请求缺少人工标注,团队使用前沿 LLM 评判模型生成参考答案。

Decider v1.3 与参考答案的一致性为 93.98%,略高于 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。这项数据反映模型与评判模型的吻合程度,不能直接等同于人工标注下的真实准确率。

判断,开始拥有独立计算架构

Decider 的技术路线围绕一个明确问题展开:如何让模型在保留上下文理解能力的同时,高效处理大量结构化判断。它通过输入协议、隔离式注意力和 Locate 扩展,建立了从选项判断到文本定位的能力体系。

但这套架构仍有边界。公开评测展示了它在分类、检索重排和文本抽取上的表现,生产案例也说明 Perplexity 已将其用于内部工作流;不过实际收益仍取决于任务类型、上下文长度、并行问题数量和部署成本。现有数据还不足以说明这种架构适合所有 AI 应用,尤其开放式推理和复杂规划,通用 LLM 仍有自己的优势。

对 Agent 系统而言,Decider 提供了一种值得继续验证的分工思路:让通用 LLM 处理复杂理解与生成,把边界清晰的分类、筛选和评估交给专门模型。两者能否形成更合适的协作方式,还需结合真实工作负载中的延迟、资源消耗和任务表现进一步检验。

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Meta 发布 Muse Spark:迈向个人超级智能
TOP1

Meta 发布 Muse Spark:迈向个人超级智能

谷歌发布Gemini 4 Neon,每百万输入3美元
TOP2

谷歌发布Gemini 4 Neon,每百万输入3美元

3

美多起技术故障疑与AI补丁潮相关

5小时前
美多起技术故障疑与AI补丁潮相关
4

国内首款Gen6 SSD量产,AI存储重算经济账

5小时前
国内首款Gen6 SSD量产,AI存储重算经济账
5

银行推出Token贷:烧掉的算力账单变成贷款额度

6小时前
银行推出Token贷:烧掉的算力账单变成贷款额度
6

英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响

21小时前
英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响
7

DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%

21小时前
DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%
8

Gemini 临时聊天与关闭历史后的留存期,从 72 小时延长到约两个月

21小时前
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断