周畅庞天宇相继离职背后：多模态生成为何在AI大厂退潮？

短短几天之内，国内 AI 大厂的多模态领域接连发生重大人事变动。

10 月 31 日，字节跳动 Seed 核心负责人周畅被曝已离职创业，瞄准 Physical AI 方向，并获得了头部美元基金的支持。紧接着在 11 月 2 日，腾讯混元首席研究科学家、多模态强化学习负责人庞天宇也被证实离职，此时距离他入职尚不足 9 个月。

技术领军人物相继流失的背后，是大厂对多模态生成态度的集体转向。随着 AI 智能体（Agent）等可快速兑现商业价值的方向崭露头角，算力与预算正在全面倾斜，多模态生成逐渐从昔日的绝对主线，退化成一项进可攻、退可守的“期权型业务”。

算力黑洞与评测泥潭

多模态生成首先面临的是极其严苛的成本算术题。

让模型处理视觉内容天然消耗极大的 Token。以图像为例，输入模型前需进行切块。一张 224×224 像素的图片按 14×14 切分会产生 256 个 Token，分辨率提升后 Token 数量呈指数级增加。长视频更需要乘以帧数，而 Transformer 架构的注意力开销与序列长度的平方成正比，计算成本成倍飙升。若采用视觉语言模型结合扩散机制（VLM+DiT）的生成架构，计算开销还会进一步加剧。

这种消耗在推理阶段尤为致命。文本大语言模型能把数十个用户请求批处理到单张显卡上，但多模态生成往往需要实时流式输出，每个并发请求几乎要独占一条 GPU 管线。此前 OpenAI 关停运行仅约半年的 Sora 独立应用，核心原因之一就是每天高达百万美元的算力消耗难以被商业收入覆盖。

除了成本，评测体系的缺失更是多模态团队的致命伤。

大语言模型可以通过推理、代码、数学基准进行标准化打分，版本迭代和团队指标清晰明了。然而，图像和视频的好坏极度依赖主观审美与时序连贯性，学术界至今缺乏成熟可复现的自动化评测基准。为了评测 Seedance 等生成模型，企业甚至需要雇佣上千人的外包团队进行人工打分。当技术成果无法用客观分数衡量时，多模态团队在争取算力和预算时便迅速落入下风。

路线之争：AGI 是否需要像素级生成？

多模态生成地位动摇的更深层原因，在于整个 AI 行业对通用人工智能（AGI）技术路径的重新审视。

过去，业内倾向于认为 AGI 必须具备模拟和生成物理世界画面的能力。但近期的技术演进给出了不同答案：部分主流前沿模型在没有做视觉扩展的情况下，仅依靠后训练和纯文本推理就实现了智能飞跃。消融实验甚至显示，强行引入多模态数据有时反而会干扰模型的代码和逻辑推理能力。

Meta 首席 AI 科学家杨立昆（Yann LeCun）主张的 JEPA 架构也引发了广泛共鸣。该理论认为，模型应当在抽象的表征空间中预测世界，而无需逐个生成像素。真实物理世界充满不可预测的细节噪点，把宝贵的算力花在像素级重建上既浪费又低效。这一技术逻辑直接削弱了“多模态生成是 AGI 必经之路”的叙事立论。

架构演进瓦解了独立部门的存在

组织架构的收缩，本质上是技术底层逻辑重构的必然结果。

在技术发展早期，大厂让大语言模型“看懂”图像主要依靠拼接式方案：在纯文本模型前外挂一个开源视觉编码器，中间训练一层投影层作为“胶水”，把图像向量转化为语言模型的词表。彼时独立设立的多模态部门，大多围绕这层“胶水”分工搭建。

然而，原生多模态正在取代这种拼接架构。新一代主干模型从预训练阶段就将文本、图像、音视频 Token 深度混合，行业重心迅速从“独立视觉模型”转向“全模态统一底座”。腾讯在年内撤销了大语言模型部与多模态模型部，整合成统一的基础模型部；字节也调整了此前由周畅主导的视觉语言模型（VLM）业务，将其划入整体大模型体系。

与此同时，让单一模型兼顾“理解”与“生成”的探索始终难以突破。理解任务依托自回归预测，而高质量图像与视频生成高度依赖扩散模型的连续去噪，两者的训练目标与数据表征存在根本冲突，硬塞进同一套架构往往互相牵制。大厂在碰壁之后，普遍选择让理解能力回归语言主模型，生成业务则被边缘化。