智源王鹏伟：现有世界模型只学到了片面的世界

2024年8月，王鹏伟加入北京智源人工智能研究院，组建具身模型研究中心。与以往专注机器视觉和机器人学的主流背景不同，王鹏伟拥有深厚的大模型研发履历。他在微软亚洲研究院（MSRA）攻读博士期间深耕知识图谱与自然语言处理，毕业后在阿里达摩院负责预训练长达五年，此后又在快手从零搭建多模态大模型。

王鹏伟认为，多模态与大语言模型在数字空间已高度成熟，但具身智能才是通向物理现实的必经之路。制约机器人走向通用的核心瓶颈在于“大脑不够泛化”，而行业始终缺乏高效消费物理世界数据的新范式。

在2026年智源大会上，王鹏伟团队正式发布了“悟界·RoboBrain Orca”世界模型，尝试重塑具身智能的建模逻辑。

现有世界模型的四种局限

王鹏伟将当下的世界模型划分为四大技术路径，认为它们均陷入了单模态的局部局限，未能真正理解物理世界：

1. 以语言为中心：如大语言模型，仅能处理由文本符号描述的世界，缺失视觉、听觉与触觉等多模态输入；
2. 以像素为中心：如视频生成模型，强行还原每一个像素，但人类理解物理世界并不依赖精细到像素级的预测，其中存在大量无效信息；
3. 以三维结构为中心：如3D点云重建与李飞飞团队的World Labs Marble，重建3D几何空间并不等于理解了动态的物理规律；
4. 以视觉表征为中心：如JEPA架构，本质依然是从视频像素中拟合数据分布，缺乏背后的明确因果解释。

此外，目前主流的数据采集高度依赖人工搭建任务环境，属于“被动任务驱动”，极其不利于物理世界通用人工智能（AGI）的实现。

模拟人类认知：下一状态预测范式

为了跳出局部拟合，Orca采用了“下一状态预测”（Next State Prediction）框架，从多模态信号中推断当前状态，并进行双向因果推演（由因推果与由果溯因）。这一思路模拟了人类认知演化的双重模式：

• 无意识学习：模拟婴儿在学会语言前通过观察连续画面感知物理世界。模型直接从海量视频中进行隐空间（Latent）状态转移建模，完全由数据自然驱动，不加人工干预。
• 有意识学习：模拟人类掌握语言后学习浓缩物理规律。在动作干预下捕捉语义化、事件级的稀疏状态转移，重点理解物理因果逻辑。

在数据设计上，Orca团队使用了包含第一视角、第三视角及机器人视角的12.5万小时公开网络视频，结合约130M事件级因果标注数据与多模态问答（VQA）数据。值得关注的是，Orca的预训练阶段完全没有使用任何机器人动作（action）数据。

王鹏伟解释，机器人专有动作数据的增长速度极其缓慢，若要达到GPT-3的数据体量需耗费数百年。真正支撑模型实现规模化扩展（Scaling）的，必然是互联网中海量无动作标注的多模态交互视频。

世界模型 vs VLA：通用标准与专家路线之争

谈及当下热门的视觉-语言-动作（VLA）模型路线，王鹏伟认为其本质是用多模态大模型的结构直接映射控制指令，在固定工业场景分拣等低泛化需求下效率很高，但在开放环境泛化上尚未看到清晰的突破路径。

他将两者的关系类比为自然语言处理发展史：VLA如同垂直领域的专家模型，而世界模型更像早期的BERT与ChatGPT，致力于建立底层的通用表征与物理理解。尽管世界模型在特定单项任务的即时成功率上未必超越VLA，但它提供了一条解决长尾未知场景泛化的根本通道。

王鹏伟判断，针对状态转移的评测基准目前在业内仍是空白，行业正处于攻克泛化能力从0到1的早期阶段，寻找能支撑通用扩展的数据与架构范式仍是当务之急。