自变量发布灵巧操作系统 TwinDex:在真机遥操数据为0的情况下,仅用几百条无本体数据,就让机器人完成旋拧瓶盖、注射器推注等精细操作。实验显示其采集效率是真机遥操的5.3倍,高质量数据与遥操的强绑定正在松动。
今年5月,英伟达机器人负责人 Jim Fan 在一场演讲中宣告:VLA、遥操已死。当时大多数人把这当作 AI 圈又一条暴论。几个月后,这句话开始照进现实。
自变量发布灵巧操作系统 TwinDex:在后训练阶段真机遥操数据为 0 的情况下,机器人完成了化学实验场景中旋拧瓶盖、注射器推注等多项精细操作。以往这类操作几乎离不开真机遥操数据,而 TwinDex 只用了区区几百条无本体数据。
Demo 中最完整的一段,是一镜到底的化学实验:从开瓶取样、滴管和试管操作,到玻璃棒引流、摇匀观察,全程由策略自主执行。整个实验包含 24 个子动作,跨越三种工具,涉及多次双手协调与工具切换。
TwinDex 展示了几类过去灵巧操作中最难的能力。
一是高精度精细操作。打开工具箱时,左右两根食指要同时对准两个狭窄卡扣,插入后向下拨开,再捏住提手开盖,手必须准确进入容差很小的空间。

注射器推注同样困难:食指中指固定筒身,拇指对准推杆发力,位置不能跑,方向力度都要精确。

二是三指协作。扫帚和簸箕任务里,三根手指围绕手柄形成包络,共同承担支撑和控制。第三根手指多一个接触点,也多一种稳定物体的方式,对工具使用和长条物体抓持尤其关键。

三是柔性操作与掌内调整。拧瓶盖时,TwinDex 用食指和拇指捏住瓶盖,靠手指侧摆完成旋转,几乎不用大幅转动手腕。翻书时,拇指先把最上层书本搓出来,再捏取、交接、翻页。

一个直观感受是:很多过去认为需要五指完成的精细操作,三根手指已经够用,甚至比不少五指灵巧手更灵活。
不过,这只是 TwinDex 作为执行器的一面。它还有另一重身份:一套与执行端匹配的可穿戴无本体数据采集系统。

TwinDex 采用数采与执行同构设计,采数据和执行用同一套结构,“所采即所得”。采集员动作可直接映射到执行端,少了跨硬件的迁移损耗;采集员也不用遥操笨重机器人,更自然、更省钱。
实验结果:TwinDex 单位时间产出的有效轨迹约为传统真机遥操的 5.3 倍。

随着数据量增加,无本体数据和真机遥操数据训练出的策略以相同速率提升,最终收敛到接近表现。在这组实验中,无本体数据近乎 100% 可替代真机遥操作数据。

作为采集器,TwinDex 不只解决了“怎么采得更快”,还尽量减少了数据迁移到机器人身上时的精度损失。
严格说,TwinDex 是一套由采集硬件、末端执行器、数据处理和模型训练组成的灵巧操作系统。它不是让两端长得一样就能完成迁移,而是从“只依赖无本体数据、去掉真机遥操数据”的目标出发倒推设计。

硬件上,拇指和食指承担对掌、捏取、旋拧和精细操作,第三根手指提供包络与稳定。

整个设计可概括为三个特性:灵巧性、一致性、可扩展性。

灵巧性:TwinDex 没有选 UMI 一类两指夹爪,也没照人手堆到五指。手指越多上限越高,但成本和维护也越高;两指夹爪简单,却覆盖不了旋拧、掌内调整、多点接触。经过元操作测试,自变量认为三指九自由度是当前最佳平衡点。

一致性是 TwinDex 的关键。采集端和执行端在运动方式、接触方式、视觉观测、采集精度和时间同步上尽量保持一致。过去无本体数据虽好采,但采集端与执行端不是同一本体,动作难以原样复现,最后常得补真机遥操数据做对齐。TwinDex 则在硬件设计阶段就让两端同构,把“本体对齐”提前到数据产生之前,减少了对真机示范的依赖。

免费获取企业 AI 成熟度诊断报告,发现转型机会
可扩展性:采集端是一套可穿戴三指外骨骼。数据采集不占用真实机器人,操作员戴上即可完成旋拧、按压等动作,能获得真实力反馈。多名操作员可在不同地点同时采集,再汇总到统一处理管线,系统同步记录视觉、关节状态、手腕位姿等多模态信息。

规模扩大后,不同设备和操作员会带来抖动、漂移误差,因此模型训练也做了相应设计,让模型能容忍一定采集误差,最终学成可闭环执行的策略。

三条逻辑环环相扣:灵巧性决定能采什么、做什么;一致性决定数据能否顺利迁移;可扩展性决定能否真正规模化。
TwinDex 真正值得关注的,不只是“采得更快”,而是它进一步证明:最接近机器人动作的高质量数据,未必只能由真实机器人生产。
过去两年,遥操真机数据站在具身数据金字塔的塔尖,质量最高,因为视觉、关节状态和末端轨迹天然对齐;但每条数据都必须真实占有一台机器人,机器人数量成了数据产能上限,很难规模化。这正是 Jim Fan 说“遥操已死”的背景。

因此,具身社区在探索 UMI、手套/外骨骼、Ego 第一视角等采集策略,想用更易扩展的无本体数据替代真机数据。但一直存在两难:采集越自由,越容易扩展;采集端离机器人越远,迁移难度越大。
TwinDex 在可扩展性和物理信息保留之间找到了新平衡:没有放弃机器人本体约束,而是把机器人需要的动作结构提前复制到采集端。所以在已展示的任务里,几百条无本体数据就完成了过去需要真机遥操承担的对齐工作。
客观说,现在还无法直接宣布“遥操已死”,但高质量数据与真机遥操的强绑定正在松动。如果无本体数据在后训练中能获得接近真机数据的价值,接下来值得探索的就是属于无本体数据的 Scaling Law。
在把无本体数据规模做大之前,自变量已率先给出答案:每个新任务都必须从真机遥操数据开始的时代,正在结束。
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断