智源研究院联合多所高校推出 PhysCapBench,这是首个衡量世界模型物理数据质量的基准。该项目覆盖第三人称场景、第一人称操作及机械臂示范,通过七大维度评价视频描述对物理规律的捕捉能力,为优化世界模型训练数据提供关键评估量尺。
物理AI模型的核心在于从真实经验中学习可迁移的物理规律,进而理解、预测并作用于物理世界。互联网视频、手物交互记录、真机轨迹等数据,共同构成了物理AI模型所需的“经验池”。然而,如何准确衡量、提炼这些数据中的物理特性,一直是行业面临的难题。
为此,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学共同推出了「悟界·PhysCapBench」。这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域的统一物理信息评测基准。

该基准通过对视频描述(Caption)的物理信息覆盖度与保真度进行统一度量,为数据标注质量评估和训练优化提供了一把跨领域的“物理数据量尺”。

在世界模型预训练中,研究团队发现,现有的视频描述往往能概括场景大意,却忽视了运动、接触、状态变化及其时序关系。语言表达的完整并不等同于物理信息的完整。
以软胶玩具为例(见图7),描述不仅要包含“压扁”,还需要体现受压、形变、卸载与回弹的过程。缺乏这些物理细节,模型在生成视频时就会出现形态恢复逻辑错误。PhysCapBench 正是为纠正这一偏差而生。
PhysCapBench 涵盖了 1,500 段视频序列,各领域均匀分布。通过引入第三人称视角(关注物体运动与形变)、第一人称视角(关注接触与状态转换)以及手持夹爪示范(关注交互结果),构建了互补的学习经验体系。

该基准从七个维度对描述策略进行评估,确保物理过程描述的准确性。通过对比不同策略在这些维度上的表现,开发者能够精准定位现有标注数据的短板。

为保证标注质量,研究团队由七名专业人员组成标注团队,要求描述必须与视频序列中的连续动作证据保持一致。这种基于证据的标注流程,既提升了评测的严谨性,也为后续模型训练提供了高质量的数据范本。
研究结果显示,更完整的物理描述能显著改善下游模型表现:
PhysCapBench 将复杂的物理过程转化为可衡量的标准,为世界模型的基座建设提供了重要的基础设施,相关官方网站、Github 代码库、Hugging Face 数据集及论文均已开放。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断