生成式AI让机器狗学会探索新环境

虚拟世界里的训练场：AI赋能机器人学习新技能

教会机器人如何在陌生的环境中行动，一直是科研人员面临的难题。虽然可以通过人类操作的真实世界数据进行训练，但这种数据获取成本高昂且数量有限。而数字模拟则提供了一种快速、可扩展的训练方式，但机器人往往难以将虚拟世界中习得的技能迁移到现实世界中。

现在，一种全新的系统——LucidSim，将生成式AI模型与物理模拟器相结合，创造出更逼真的虚拟训练环境，为解决这一难题带来了新的希望。在真实世界测试中，使用LucidSim训练的机器人取得了比传统训练方法更高的成功率。

研究人员使用LucidSim训练了一只机器狗进行跑酷训练，使其能够跨越箱子、攀爬楼梯，即使它从未接触过任何真实世界数据。这项研究表明，生成式AI在教会机器人完成复杂任务方面具有巨大潜力，甚至有可能最终实现完全在虚拟世界中训练机器人。

麻省理工学院计算机科学与人工智能实验室的博士后研究员杨戈表示：“我们正处于机器人工业革命的浪潮之中。这项研究旨在探索生成式AI模型在非预期用途中的影响，并希望以此推动下一代工具和模型的开发。”

LucidSim利用多种生成式AI模型来创建视觉训练数据。首先，研究人员向ChatGPT发送了数千条提示，让它生成各种环境描述，这些环境模拟了机器人将在现实世界中遇到的各种情况，包括不同的天气、时间和光照条件。例如，“一条古老的巷道，两旁排列着茶馆和精致的小店，每家店都展示着传统的装饰和书法”以及“阳光照耀着一块略显杂乱的草坪，上面点缀着干枯的草地”。

这些描述被输入到一个系统中，该系统将3D几何和物理数据映射到AI生成的图像上，从而创建出短视频，为机器人规划了行动轨迹。机器人利用这些信息来判断它需要穿越的物体的高度、宽度和深度，例如箱子或楼梯。

研究人员通过让一只配备网络摄像头的四足机器人完成一系列任务来测试LucidSim，这些任务包括找到交通锥或足球、跨越箱子以及上下楼梯。与使用传统模拟训练的系统相比，该机器人在使用LucidSim训练后表现出明显优势。在20次寻找交通锥的测试中，LucidSim的成功率为100%，而传统模拟训练系统的成功率仅为70%。同样，在20次寻找足球的测试中，LucidSim的成功率为85%，而传统模拟训练系统的成功率仅为35%。

最后，在使用LucidSim训练的机器人中，所有10次爬楼梯测试都成功完成，而传统模拟训练系统的成功率仅为50%。

从左至右：菲利普·伊索拉、杨戈和艾伦·余

麻省理工学院计算机科学与人工智能实验室提供

麻省理工学院副教授菲利普·伊索拉表示，如果LucidSim能够直接从复杂的生成式视频模型中获取数据，而不是依靠语言、图像和物理模型的组合，那么这些结果将会得到进一步的提升。

纽约大学博士生马希·沙菲乌拉认为，研究人员使用生成式AI的方法是新颖的，将为更有趣的新研究铺平道路。他并没有参与这项研究。他表示：“我认为更有趣的方向是将真实数据与逼真的‘想象’数据相结合，这将有助于我们当前数据密集型方法更快、更好地扩展。”

华为脑启发人工智能高级研究员扎菲里奥斯·丰塔斯表示，能够完全依靠AI生成的环境和场景来训练机器人，是一项重大成就，它可以扩展到机器之外，应用于更通用的AI代理。他表示：“这里的‘机器人’一词使用非常广泛，我们指的是任何与现实世界交互的AI。我可以想象，这可以用来控制任何类型的视觉信息，从机器人和自动驾驶汽车到控制你的电脑屏幕或智能手机。”

下一步，研究人员希望尝试使用完全合成数据来训练人形机器人，他们承认这是一个雄心勃勃的目标，因为双足机器人通常比四足机器人更不稳定。他们还将注意力转向另一个新的挑战：使用LucidSim来训练在工厂和厨房工作的机械臂。它们需要执行的任务需要比在景观中奔跑更强的灵活性以及对物理世界的理解。伊索拉表示：“拿起一杯咖啡并倒出来，这是一个非常困难的开放性问题。如果我们能够利用生成式AI增强模拟，创造出更多样化的环境，并训练出能够在咖啡馆工作的强大代理，我认为这将非常酷。”