北大与启元机器人推出HIL-UMI 具身后训练摆脱真机依赖

HIL-UMI让具身后训练摆脱真机依赖

在大语言模型与具身智能领域，模型的落地能力很大程度上依赖于“后训练”（Post-training）。正如启元机器人首席科学家董豪所言：“预训练决定下限，上限则取决于后训练。”然而，具身智能要在工厂作业、家庭保洁等真实场景实现高成功率，必须频繁与物理世界交互，过去这种调教高度依赖真机硬件，带来了高昂的设备折旧、场地与人力成本。

尽管业内此前开始探索“无本体”手持设备采集数据以扩充预训练规模，但后训练中最关键的“纠错”环节始终难以摆脱真机。为攻克这一瓶颈，北京大学与启元机器人董豪团队联合推出了 HIL-UMI 框架，首次在无机器人本体的前提下打通了具身后训练的核心纠错闭环。

论文地址 | 项目主页

具身后训练为何成本居高不下？

大语言模型的后训练依托 RLHF（人类反馈强化学习）或 DPO，主要由标注员在电脑前筛选打分；而具身机器人的后训练则需要真机与物理环境产生实际接触。传统常用的人在回路方案（如 HG-DAgger）中，机械臂在现场运行，操作员需实时紧盯，在机械臂即将抓空或碰撞时紧急接管，并人工重置被碰乱的现场。

这种流程不仅容易产生硬件磨损，而且大量时间被消耗在机械臂的冗长动作和人工复位环境上，导致高质量纠错数据的产出极其缓慢，严重制约了具身模型的 Scaling 进程。

HIL-UMI 底层逻辑：手持采集接入“模型大脑”

HIL-UMI（Human-In-the-Loop UMI）的核心思路在于“脱离机器人硬件为模型补课”。它没有让操作员盲目录制示范，而是将正在训练的模型接入了手持采集环路：

真人示范操作：操作人员手持 UMI 夹爪正常执行任务（如叠毛巾、抓取物品），摄像头同步捕获视觉画面。
后台并行预测：模型实时接收相同指令与画面，在后台快速推演后续 20 步动作轨迹，但并不实际控制任何机械臂。
实时分歧报警：系统动态比对人类实际动作与模型预测动作。若两者吻合，说明模型已掌握该技能；一旦模型预测轨迹出现大幅偏差，系统立即向操作人员发出提示，指引其在当前盲区重点示范纠错动作。

手持夹爪与采集设备

整个流程无需真机在场，在人类进行日常操作的同时，直接定点捕获模型在部署时可能翻车的长尾边缘场景。

自闭环数据飞轮：动作分歧检测与优势估计器

HIL-UMI 不仅是一套采集工具，更是让模型自主输出“错题本”的数据闭环体系。其架构包含两大关键机制：

动作分歧检测：针对同一操作场景往往存在多种解法的特性，HIL-UMI 并行采样多组动作块计算能量分布（Energy Score）。如果动作分布高度发散且大幅偏离人类轨迹，系统判定模型进入分布外状态（OOD），随即触发数据补录。
优势估计器：为避免模型学习无效晃动，系统引入估计器评估前后画面的任务推进程度，并采用优势条件微调（Advantage-Conditioned Fine-tuning），引导模型优先学习能切实推进任务进度的示范轨迹。

每次定向补录数据并完成迭代后，模型在已掌握节点不再报警，而是在更复杂的长尾工况中暴露新分歧，形成持续自进化的雪球效应。

主流后训练技术路线对比

横向对比业内主流数据获取方案：

真机遥操作与真机 DAgger：数据保真度高，但硬件成本与折旧极高，操作门槛限制了规模化扩展。
仿真（Sim2Real）与强化学习：数据生成边际成本低，但面对摩擦力、柔性物体及复杂光照时，虚拟与现实差距仍然明显。
视频预训练：缺乏精确的物理动力学与执行控制维度，通常仅用于构建常识表征，难以直接转化为毫米级动作输出。
传统 UMI：虽具备低成本手持优势，但只能被动采集正向案例，缺乏从失败中恢复的纠错机制。

HIL-UMI 融合了 UMI 的低成本手持形态与 DAgger 的针对性纠错能力，规避了真机损耗与仿真失真的问题。

效率提升 5.63 倍，验证分布式后训练可行性

在折毛巾、整理桌面、叠方块和盖章四项真机评测中：

任务成功率大幅跃升：在相同数据帧数预算下，持续增加普通示范的监督微调（SFT）仅使任务平均进度分（TPS）从 44.3 提升至 58.0；而引入 HIL-UMI 后，平均得分攀升至 94.8，在叠方块与盖章任务中达到 100%。
单位时间采集效率提升 5.63 倍：在复杂的长程任务“整理桌面”中，真机 HG-DAgger 采集单帧有效数据耗时 412.99 毫秒，而 HIL-UMI 仅需 73.40 毫秒，省去了机械臂低速复位与现场恢复的停滞时间。

任务进度分数与实验对比
累计时间与表现曲线