前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.19 · 16:23/12 MIN/编译自 雷锋网/1 阅读

西湖大学于开丞:语言模型替代不了世界模型

西湖大学成立世界模型研究中心,牵头人于开丞认为,语言模型再强也无法走出屏幕,物理世界的实时交互等不起它的推理延迟。团队开源的 40 亿参数世界模型 Awomo-0.5 已在六个国际评测榜单登顶。

2026 年 9 月,机器人操作评测基准 RoboDojo-Sim 榜单上出现了一个意外的名字:GPT-6 Astra。这个语言模型没有为机器人做任何专项训练,就在 42 项操作任务上拿下平均成功率第一,反超 40 个公开机器人策略。

"语言模型是不是连世界模型的活都能干了?"这个问题被重新摆上桌面。一个多月后,西湖大学宣布成立西湖世界模型研究中心,校长施一公亲自站台。推动这件事的人叫于开丞,西湖大学工学院助理教授、自主智能实验室(AutoLab)负责人。在他看来,通用语言模型再强,物理世界也"等不起",语言模型根本无法直接替代世界模型。

于开丞

于开丞曾在瑞士洛桑联邦理工大学(EPFL)跟随几何视觉学者 Pascal Fua 研究五年,博二那年就找出 NAS 领域的行业级核心问题,并拿下高通创新基金,当年欧洲获奖者仅四位。回国后他加入阿里巴巴达摩院,以 BEVFusion 等系列工作在自动驾驶圈成名。两年后,他因自动驾驶的一个现实困境转向世界模型——当时 Sora 还有一年才登场,这个方向在达摩院也做不下去。他把题目带回学术界,在西湖大学一做就是三年。

2024 年,在大语言模型最热闹的那一年,他在 ECCV 的挑战赛上用世界模型击败语言模型方案,拿下冠军,提前论证了这条路线可行。

起点:自动驾驶的钱花不动了

于开丞把转向世界模型的原因说得很直接:自动驾驶上限变低、成本很高。每碰到一个新场景,就得重新收集一遍数据、再走一遍流程,太贵。既然这么贵,就必须找新的技术路径。

当时 diffusion 模型在图片生成上已经跑通,团队自然想到:既然图片上能生成,物理空间为什么不能?他们从生成符合 3D 关系的场景图像,推进到生成符合 3D 关系的场景视频。3D 是关键:2D 生成只要"看着像",物理世界要的是"真的像",要满足严丝合缝的投影关系和物理关系。

在达摩院时这条路已有雏形,但阿里认为太烧钱,收缩了探索性研究。于开丞想明白了:这种非常探索性的研究,可能还是要到高校去做。他最终选择西湖大学,一是氛围和对创新的认可,二是施一公的精气神。如今学校允许他以产、学双栖的状态成立世界模型中心,在学校历史上是有突破性意义的。

世界模型 100% 有价值

2023 到 2025 年,团队默默做研究。语言模型最火的时候,很多人劝他转方向,诱惑很大,但他们坚持住了本心。

逻辑有三层。一是擅长与不擅长:语言模型不是他们最擅长的,CV 才是。二是价值归属:语言模型肯定有价值,但跟的人太多,参与感不强;世界模型他坚信未来 100% 有价值,赛道也需要人来做。三是生态位:初创公司在世界模型赛道有机会冲出来,而大语言模型要烧更多算力和资金,更多是大厂的事。

最底层的思路是:对的事情,才值得做。

他给出了两条判断依据。第一,语言模型无法走出屏幕,但世界模型可以。将来要上火星,要去高山、深海和各种危险场景,总得有个东西替人去。第二,世界模型与语言模型的技术路径并不共通。语言文字是抽象的,是一个已经被压缩过的世界,与连续的物理世界是两回事。而且世界模型本身还有 3D、影视等多条路线,彼此打通并不容易——倘若容易,世界上就只会有一家公司了。

定义世界模型:从目的出发

于开丞认为,世界模型本质上是一项像 Transformer 一样的通用技术,行业共识是它能够预测下一个状态。但定义应该从目的出发,而不是先堆定语。

他的定义是:世界模型指面向连续物理空间事件、以预测下一个状态为目的的模型,底层采用以扩散模型为基底的 Transformer 架构(DiT),并叠加对未来的预测机制。

从目的看分两类:一类给人看,比如通用视频生成,强调人眼体验;另一类给机器人用,需要绝对意义的物理真实性。行业里也有离谱的定义,比如把 ICL 说成世界模型——ICL 是模型默认具有的能力,单独拎出来说没意思。

他特别强调,"动作"不是世界模型的必要条件。家里做装修设计,可以找装修队,但你得理解空间、逻辑和需求,这也是一种理解。这是世界模型和具身智能放在一起谈之后产生的误区:具身智能是落地场景,世界模型是通用技术,两者不能混为一谈。

路线之争:基因决定取舍

行业头部研究者正在分化。Yann LeCun 主张隐空间路线,李飞飞做空间智能,英伟达做物理仿真。于开丞认为,路线分化本质上由基因决定:目标不同,取舍就不同。

LeCun 的目标是物理理解与物理操作,走"把世界压缩成抽象表示"的路线;李飞飞团队的空间智能落地场景包括游戏和虚拟资产;英伟达的目标是卖卡,必然围绕计算做文章,物理仿真背后是渲染,是建立在 GPU 上的大规模管线利用,这正是它最擅长的。

于开丞与 Yann LeCun

于开丞与 LeCun 同属隐空间路线,精神上高度认同对方——他自己此前走像素生成路线,后来亲自把像素路线否定了,换到隐空间。但对 LeCun 的具体技术架构是否值得跟进,他持谨慎态度。

隐空间路线的优越性在哪?一是可以借助语言模型的发展。语言模型训练了大量语料,产生了一套很好的"价值分离器",把人类知识在底层逻辑上分得很清楚,世界模型必须继承这套机制。如果没有语言模型、只训世界模型,难度可能会变成 100 倍、1 万倍。二是需要语言来精确控制模型,告诉它想让它做什么。

对于"隐空间会不会分辨不出回形针"的疑问,他解释:隐空间的输入同样可以是高清像素,只不过理解和推理在语义空间进行,语义概念一定与物理实体绑定,并非识别后就把像素信息全部丢弃。

至于纯隐空间路线常见的"表征坍塌"问题,他们一方面持续扩大训练规模,一方面引入文字信息作为 caption 约束,相当于用"脚手架"把模型支起来。

喧嚣终会过去,最终要拿成绩说话

在西湖世界模型中心成立仪式上,团队发布了通用世界模型 Awomo-0.5,40 亿参数,在 Physics-IQ、RoboTwin-c2r、MolmoSpaces、RoboDojo Sim 等评测基准上拿下第一,代码和权重全部开源。于开丞说,他们应该是唯一能在这么多不同评测榜单上都拿到这种结果的团队。

开源链接:https://awomo-westlakedi.github.io/Awomo-0.5-page/

公司今年初才成立,对手既有老牌团队也有新团队,所以他们走的是"井冈山"的路子,用非常聚焦的打法放大模型优势。过去四个月,团队把模型结构定好、验证清楚,建好基础设施和数据管线,搭起评测闭环,把生产线各环节优化到极致再推进训练。

对于榜单的争议,他很坦率:榜单现在的问题主要是虚实之间的差距,还没有做到 100% 可信,所以他们也做了大量真机测试。但榜单同时是很公平的验证工具,能避免"我的模型在某某场景下做得非常好"这种自说自话。

他提醒,把刷榜当目标没有实际价值。有些团队举全员之力刷一两个榜,是很容易的"作弊方式",但很耗时间精力。他们选择多榜一起刷——单臂的、双臂的、纯视频的、纯操作的,平均人力投入只有半个人到一个人。

"连榜都刷不上去,那模型能力到底如何,就更要打个问号了。"

语言模型再强,物理世界等不起

回到 GPT-6 Astra 登顶 RoboDojo 引发的质疑。于开丞说,语言模型擅长的是思维链,世界模型擅长的是与物理世界实时交互,两者不是替代关系。

纯文本任务里,模型想两三个小时也没关系;但机器人控制是实时的,语言模型光"想"就要两三秒,机器人等不起这两三秒,任务就已经失败了。

更深一层,语言模型做具身操作靠的是 code as policy,也就是写代码,本质上是高级的工业自动化。长处是能应对非常规场景,短处是模式固定,每换一个新环境就得重新写代码、重新调试。物理世界实时变化,机器人等不到模型写完代码再改动作。

用"小米加步枪"走长征路

于开丞的产业公司数智今年 1 月成立,8 月才对外亮相。他说团队比较有学术自律,希望等事情落地再官宣,也考虑过估值冲太高的两面性。"资本的钱并非免费,拿了就要承担很多压力。"

数智从 AutoLab 孵化,目前 40 人,包括 20 个学生和 20 名正式员工,技术人员基本都是产业老炮和小天才出身。学校提供人才,公司提供算力,并拉通校外、海外的数据和资源。

他坦言没有完全对标的公司。西湖大学的独特之处在于拥有大量生命科学和化学领域的专家与顶尖实验室,基础模型做完之后,下一阶段要做的就是赋能他们做科研。

"我们比很多公司穷得多。用这么少的资源把世界模型做出来并验证有效,我们做得出来,别人做不出来。"他把这比作长征,用"小米加步枪"也能走出一条路。

"我们要打的不是国内这些公司,我们要打的是欧美。"他希望在国内找到"一圆桌"的合作伙伴,一起去跟欧美 AI 打擂台。

为什么还要专门成立研究中心

AutoLab 和公司已经存在,成立研究中心是为了把产学研做得更扎实、更深、影响力更大。以前两者结合配合不错,但力量很小。研究中心第一期合作伙伴有德国机构,还有国内的公司和创业团队,已经开始"走出"西湖。

这个想法 3 月底就有了,施一公当时已经同意,但落成需要经过人工智能系、工学院到校委会逐级审核,可以说是得到了全校一致支持。

定位上,他希望先以西湖大学为起点把基础研究做扎实,再往省级乃至国家级平台报送,承接纵向科研使命。最大的独特性是做通用世界模型,让这项技术用到各类基础学科和行业,比如用世界模型驱动生物学、化学的进步。

做科研,"不假装努力"很重要

于开丞的两位博士导师都是几何视觉领域的学者。Pascal Fua 是很浪漫的法国人,60 多岁依旧很拼,坚持从直觉出发抓本质;Mathieu Salzmann 能把一天工作高效精准地压缩在 8 小时里,早 8 点到、晚 6 点走,状态始终饱满。

这让他相信,工作时长和效率往往成反比。一天干 16 个小时,脑子是不转的。

于开丞与两位导师

他博一的第一篇论文是导师给的题目,做得比较痛苦,成果不错但感觉不好。第二项工作就是 NAS 那个问题:团队原本沿着某家大公司的基础研究往下做,却发现无论怎么试都很难提升长期稳定的效果,很多 baseline 甚至不如随机搜索。

他没有预设"大公司的研究一定成立",而是带着实习生做大量实验,最终指出这项工作的底层假设可能根本不成立。这个发现当时在领域内引发大量讨论,也引出了后续很多工作。

"做研究不应该预设某个前提一定成立,要回到最底层逻辑去挖:这个前提到底成不成立。"

如今带博士生,他也建议学生用这种底层思维判断选题价值。面对"问题导向不如调优出成果快"的说法,他更认为那是"不思考"的借口:很多人把自己搞得非常忙、非常累,天天说努力了,但一问结果,根本没有结果。

在世界模型这条遍地焦虑的赛道里,于开丞身上有一种少见的松弛感。身兼产学研三职、刚带四十人团队打完六个榜单,被问到是否很累时,他的回答是:"没有,我的生活很规律,我也很享受这个过程。"

在他看来,人承受过大压力,说明底层的运行机制没跑顺,核心精力没放在最有价值的事上。"累"在他这里,并不是努力的证明。

从 NAS 到自动驾驶,再到世界模型,他每次换方向都不是追热点,而是被一个具体的问题推着走。支撑这条路的另一重修炼是不内卷、不假装努力——反复问自己做的事情到底有没有价值,没有价值的事不做。

于是,在快科研成为默认节奏的喧哗声中,他等到万事俱备才把产品发出来。而他要打的这一仗,从来不止在国内。

标签:世界模型具身智能

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Meta 发布 Muse Spark:迈向个人超级智能
TOP1

Meta 发布 Muse Spark:迈向个人超级智能

谷歌发布Gemini 4 Neon,每百万输入3美元
TOP2

谷歌发布Gemini 4 Neon,每百万输入3美元

3

美多起技术故障疑与AI补丁潮相关

5小时前
美多起技术故障疑与AI补丁潮相关
4

国内首款Gen6 SSD量产,AI存储重算经济账

5小时前
国内首款Gen6 SSD量产,AI存储重算经济账
5

银行推出Token贷:烧掉的算力账单变成贷款额度

6小时前
银行推出Token贷:烧掉的算力账单变成贷款额度
6

英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响

21小时前
英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响
7

DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%

21小时前
DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%
8

Gemini 临时聊天与关闭历史后的留存期,从 72 小时延长到约两个月

21小时前
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断