浙大提出空间智能新基准：21个模型最高准确率仅58%

空间智能正在成为多模态大模型竞赛的核心高地。当前视觉语言模型（VLM）已能较好地回答静态场景下的方位、距离或视角转换问题，但在机器人交互等真实具身场景中，模型还需要根据外部动作预测场景变化。

如果不提供变化后的画面，仅给出“将物体移走”或“场景旋转”等指令，视觉语言模型能否推断新的空间关系？浙江大学庄越挺教授团队最新提出的基准 SpaceCast-Bench，便专门用于评估这种“预测性空间推理”（predictive spatial reasoning）能力。

评测结果显示，在 21 个主流视觉语言模型中，最高准确率仅为 58.0%，远落后于人类 87.2% 的水准。更反直觉的是，6 个专门经过空间任务训练的专项模型，准确率仅在 25.7% 至 29.1% 之间，接近 25.9% 的随机猜测水平，表现甚至全面逊于通用开放权重模型和闭源模型。

论文地址

从静态感知转向动态预测

现有空间评测大多局限于“观察并识别当前关系”。但在具身操作中，例如书本上放着杯子、下方压着信封，若机器人想取出信封，就必须先预测移动书本后杯子的连锁运动。

SpaceCast-Bench 将评估拆解为 observe–transform–infer（观察—变换—推断）三步流程，不向模型展示干预后的图像，并设置了三个能力层级：

• L1 静态感知（Static Perception）：不改变场景，仅测试当前方位的距离、遮挡及附着关系，作为基础参照。
• L2 局部预测（Local Prediction）：引入物体的移动、旋转或移除，并考查附着联动关系。
• L3 全局预测（Global Prediction）：对整体场景进行坐标旋转，测试模型在相机、物体和世界三种参考系下的重新判断能力。

基准共涵盖 182 个真实室内场景、3862 道多选推理题与 16 类空间任务。

专项模型为何反而掉队？

评测数据表明，多数空间专项模型在 L3 全局预测上的得分明显下滑。例如 SenseNova-SI-1.2 的准确率从 L2 的 30.5% 跌至 L3 的 16.1%。这说明现存的空间专项训练主要针对局部静态感知，模型尚未建立稳健的全局三维空间表示及其实时更新机制。

在“附着关系”（如移动书本时杯子联动）这类测试中，通用闭源大模型表现较好，而空间专项模型的准确率极低，说明现有微调数据严重缺乏物理联动和动态更新相关的监督信号。此外，测试思维链（Chain-of-Thought）提示词后发现，仅拉长推理步骤并不能稳定改善预测结果。

显式 3D 信息优于图像生成

研究团队进一步探究了外部辅助信息对模型推理的影响：

1. 显式 3D 信息：为模型输入鸟瞰图（BEV）或以文本形式提供物体尺寸与朝向的 3D 元数据（3D metadata）。加入 3D 元数据后，闭源模型准确率平均提升 30.7 个百分点，通用开放权重模型平均提升 10.9 个百分点。这证明限制 VLM 预测的核心瓶颈之一在于难以从 2D 图像中提取可靠的三维表征。

2. 生成式证据：尝试让图像编辑或视频生成模型先“脑补”变换后的画面，再交给 VLM 回答。实验发现该策略效果较差，错误样本中高达 38% 至 80% 归咎于图像生成本身的形变、物体遗漏或透视失真。

在当前阶段，结构化的三维几何信息比生成式世界模型能更稳健地增强空间推理能力。

视角整合与多阶段训练的启示

在输入维度上，在两个分散视角之间加入连续的“桥接视角”（bridge views），能够显著拉升世界坐标系下的判断准确率，验证了连续视觉输入对构建三维连贯性的必要性。

在后训练方面，团队采用 3D 几何引擎自动合成多层级数据进行分阶段监督微调（SFT），使 Qwen3-VL-4B 的推理准确率从 34.0% 提升至 65.7%，并展现出跨基准的泛化能力。

目前 SpaceCast-Bench 主要基于 ScanNet 系列数据集进行受控几何变换，尚未涉及物体形变或碰撞动力学等高阶物理交互。但这项工作清晰地表明，从理解静态画面走向预测动态世界，构建可靠的三维状态更新机制，将是具身多模态模型演进的关键方向。