艾伦人工智能研究所开源ToyBlocks：受控机器人学习框架

机器人正在学会叠衣服、分拣零件并处理未知物体，但这些演示往往局限在特定场景中，很难解释机器人究竟学到了什么，也很难追溯它们为何失败。

在研究复杂系统时，科学家通常从培养皿等可控的小型环境入手，通过改变条件来观察反应。机器人领域同样需要这样的受控环境，让研究人员能够自由调整训练数据或模型结构、复现测试，并排查故障根源。

艾伦人工智能研究所（Ai2）提出了用于构建这类环境的框架体系——FoundationWorlds。每个系统都针对特定环境构建可控仿真世界，并配套自动化任务与演示生成工具，以及行为评估指标。其首个落地项目 ToyBlocks 正式开源，聚焦桌面机械臂与积木交互场景。

ToyBlocks 的运行机制

ToyBlocks 的设计围绕四大核心标准展开：逼真的物理规律与外观呈现、大规模自动生成任务与演示、融合高阶推理与灵巧操作的挑战，以及在特定场景下提供充分的任务覆盖度。

开放式环境往往难以兼顾这四点，而 ToyBlocks 将场景收敛在桌面积木上，使全流程严格受控成为可能。积木表面的图案与字母支持搜索、分类和拼写任务。机器人需要翻转积木查看被遮挡的面，再决定放置位置。系统引入域随机化（Domain Randomization），随机改变积木尺寸、桌面高度等物理属性，以此检验模型的几何泛化能力。

系统采用强化学习与运动规划算法，在 NVIDIA Isaac Lab 仿真平台上生成短程技能。这些策略通过试错掌握非抓取技能（如推移、翻转），并直接利用仿真器提供的特权信息（如积木的精确位置与姿态），彻底摆脱了现实中耗时的高成本遥操作。

在生成长程任务数据时，任务与运动规划器（TAMP）自动选择并串联所需技能。ToyBlocks 能够在单张 GPU 上并行运行数百个任务规划，生成速度达到实时环境的 24 倍。

多维度的学术评估与发现

基于 ToyBlocks，研究团队在多个机器人学习方向开展了系统测试：

低阶动作模型的空间泛化：视觉-语言-动作模型（VLA）往往难以应对空间位置的变化。在堆叠与旋转任务测试中，ManiFlow、π0.5 与 MolmoAct 2 等主流动作模型在面对未训练区域或新堆叠高度时，初始泛化表现并不理想。ToyBlocks 为系统探索针对性微调技术提供了标准测试场。

分层规划与视觉语言模型：在拼写单词等长程任务中，团队采用 Molmo 2 作为高层推理规划器、ManiFlow 作为底层执行策略。低阶模型在完成动作后暂停并查询高阶模型，系统在积木字母可见、朝向偏转以及完全被遮挡三种难度场景下均展现出稳定的规划表现。

AI 智能体的自我探索与工具调用：通过模型上下文协议（MCP），系统将 ToyBlocks 的技能接口开放给 Claude 等前沿模型。在拼写测试中，AI 能够通过推理被遮挡面的语义规律（如积木各面包含同一字母的相关单词与图案），快速判断当前任务是否可行，并将成功或有效判定不可行的比例提升至 63%。更进一步，让 AI 智能体自主设计测试实验并更新技能说明书，其最终任务成功率达 63%，超越了人类专家手动编写说明书的表现（36%）。

动作条件世界模型测试：ToyBlocks 提供了精准的仿真底层真实状态，可用于评估动作条件世界模型对物理交互的预测精度。测试对比了 Wan 2.2、Astra 与 LeWM，发现 Wan 2.2 在预测积木运动与任务结果方面表现最佳。利用生成表现优异的世界模型补充 100 条合成轨迹，可将策略在未知区域的成功率从 19% 提升至 78%。

真机零样本迁移（Sim-to-Real）

仅在 ToyBlocks 仿真数据上训练的模型能够零样本迁移至实体机器人。实验采用 Franka FR3 机械臂与 Robotiq 夹爪，在包含 4 至 10 块积木的环境中执行验证。

数据表明，ManiFlow 单项原子技能在仿真中的成功率为 80.0%，在真实环境中的成功率达到 81.1%；而分层系统（Molmo 2 + ManiFlow）在仿真长程拼写任务中的成功率为 55.5%，在真实机器人测试中达到 50.0%（15/30），验证了仿真评估与真实性能的高度相关性。

团队通过三个阶段缩小虚实差距：在数据生成前调节机械臂关节摩擦力与电枢参数；在仿真过程中对物体尺寸、摩擦力、光照及材质进行大规模域随机化；在推理阶段，利用双目相机与 FastFoundationStereo 实时生成精准深度图，避免了传统硬件深度传感器的噪点干扰。