前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.21 · 10:53/5 MIN/编译自 AGI-Signal/1 阅读

姚顺雨Reddit答问:混元最难的是过度思考

腾讯混元负责人姚顺雨率队在Reddit答问两小时,回应三百多条提问。团队首次公开MLA与GQA的取舍、过度思考难题与开源策略,并确认下一代Hy模型规模将显著扩大。

开源大模型的竞争,正从榜单成绩转向开发者社区的真实口碑。

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员现身Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything)。这是混元团队首次在开发者社区公开答问,收到三百多条留言,话题从架构取舍一路覆盖到安全评测。

此前不到一个月,混元接连发布两款模型。11月4日的Hy4首次跻身全球最强开源模型之列,在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。一周多后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。

九个月,两次发布

今年2月,混元重建预训练与强化学习基础设施,确立三项原则:能力体系化,不做偏科的模型;评测真实性,以真实任务而非榜单分数检验模型;性价比追求,让智能用得起、用得好。此后平均每两个月迭代一个大版本,以“preview先行、正式版跟进”的方式,把真实使用中的反馈持续引入研发。到11月4日Hy4发布,距离那次重建只过去了九个月。

Hy4与Hy4 flash对应两条路线:前者扩大模型尺寸与数据规模,探索智能上限;后者压缩成本,让日常任务用得起。

团队确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者问及字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元仍在700B级,团队回复称,Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,过程当中学到的东西也更多。

产品线另一端,Hy4 mini已在路线图上,35B-A3B档位的Flash-Lite确认在推进,更小的开源图像模型在考虑之中,视频模型也有新消息。对于端侧视觉理解,团队的判断是激活参数约30亿的A3B模型,已能承担理解截图与图表并展开推理的任务。路线图上还有循环式MoE与持续学习的位置,前者得到的回应是“当然有可能,请持续关注”,后者正在积极研究。训练基础设施Hyra 3.0也已在开发中。

取舍先于参数

被问到为何最终选择MLA而非GQA,团队披露了一段反复权衡的历史。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会落在算力上;但相同KV cache大小下,MLA的模型质量优于GQA。引入DSA之后,解码阶段的计算强度被降下来,天平随之倾斜。

Hy4 flash的几项设计延续同一套取舍。SWA将KV cache降至原来的四分之一,服务成本显著下降。配合把64B Engram参数卸载到主机内存的设计,128GB以上配置即可流畅运行激活参数12B的模型。

有开发者列出一组稀疏度对比:Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%;Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率;但保持总参数不变、单纯削减激活参数,模型质量会显著受损,因为激活参数量本质上决定了计算预算。过于稀疏的MoE架构,对推理并不友好,占用大量显存却无法充分利用算力。相同吞吐量下,完全可以运行总参数相同、激活参数更多的模型。至于端侧,则是另一套思路,架构要与边缘设备的GPU硬件更紧密地协同设计。

量化方面,down投影因激活值存在离群点,对量化更敏感,会被分配更多比特,位宽依据Hessian敏感度选择。量化后路由器会随QAT一同训练以保持稳定,团队也更倾向全参数QAT,理由是模型质量更好。这是整场答问中工程细节最密的部分。

最难的是过度思考

被问及后训练阶段最难改善的行为,回复只有四个字:过度思考。Hy4追求智能上限,思维链过长是已知问题。解法带着产品闭环的色彩——把Hy4的长思维链蒸馏为高性价比的Hy4 flash,再通过强化学习为后者确保较短的思维链。

有开发者以写作为由发问,称一个模型如果把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转投的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

对Hy4能否自主运行并发展出下一代模型,回应表示递归自我改进能力尚早,但已开发若干内部基准评估关键能力。被要求按Levels of AGI分级给Hy4定位时,团队成员给出的自评是2.5级。

技术问题之间穿插着研发过程的回忆。从Hy3扩展到Hy4被形容为最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性。“训练刚开始时,我相当紧张。”最终结果在团队的回忆里则是,“感觉就像把筹码全押上,结果真的赢了”。

把限制说清楚,也是一种开源

为负责任地开源,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护,并开展红队评估。有开发者质疑这会削弱防御方,限制逆向工程也伤及恶意软件分析与取证。团队给出的评估结论是,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。过度拒绝则被承认仍是重要的改进方向。

llama.cpp的适配正在推进,不久后会向社区发布,与vllm、sgl的合作也在深入。Hy4与Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用。答问中途还有开发者插播实测:Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型,完成速度快于Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash。

至于为何不公布GPQA Diamond、SWE Bench等常见基准成绩,团队的解释是这些基准推出较早、分数已经饱和,他们展示的是Agents’ Last Exam、ProgramBench等更新的高难度基准。评测真实性原则,从内部信条变成了对外表态。

三百多条留言里,开发者关心的不只是跑分,真实任务表现、使用成本与生态适配被反复追问。开源模型的竞争维度,比榜单呈现的更宽。混元团队在两小时里呈现的优先次序是:先打牢基础,让模型在真实任务中更好用,再持续探索能力边界。

那些被亲口承认的未解问题——过度思考、创意写作、递归自我改进——构成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施;九个月后,两款模型与一场两小时的答问,构成了重建后的阶段性成绩。剩下的,交给下一个版本。

标签:腾讯混元开源MoE

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

刚刚,微软官方公开了科研研究Skill
TOP1

刚刚,微软官方公开了科研研究Skill

AI 助攻纳维-斯托克斯无外力爆破
TOP2

AI 助攻纳维-斯托克斯无外力爆破

3

OpenAI 详解 Codex 沙箱安全机制

13小时前
OpenAI 详解 Codex 沙箱安全机制
4

OpenAI 发布 MedChemBench 评测 AI 药物化学推理

13小时前
OpenAI 发布 MedChemBench 评测 AI 药物化学推理
5

Google 2027年停用 Nest 应用与助手

9小时前
Google 2027年停用 Nest 应用与助手
6

Thinking Machines 发布笔记本可跑的 Inkling 2 Mini

9小时前
Thinking Machines 发布笔记本可跑的 Inkling 2 Mini
7

FBI 调查犯罪信息数据库遭入侵

9小时前
FBI 调查犯罪信息数据库遭入侵
8

128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?

12小时前
128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断