前途科技
  • AI
  • 初创
  • 报告
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI

生成式AI让机器狗学会探索新环境

NEXTECH
Last updated: 2024年11月14日 下午10:57
By NEXTECH
Share
13 Min Read
SHARE

虚拟世界里的训练场:AI赋能机器人学习新技能

教会机器人如何在陌生的环境中行动,一直是科研人员面临的难题。虽然可以通过人类操作的真实世界数据进行训练,但这种数据获取成本高昂且数量有限。而数字模拟则提供了一种快速、可扩展的训练方式,但机器人往往难以将虚拟世界中习得的技能迁移到现实世界中。

现在,一种全新的系统——LucidSim,将生成式AI模型与物理模拟器相结合,创造出更逼真的虚拟训练环境,为解决这一难题带来了新的希望。在真实世界测试中,使用LucidSim训练的机器人取得了比传统训练方法更高的成功率。

研究人员使用LucidSim训练了一只机器狗进行跑酷训练,使其能够跨越箱子、攀爬楼梯,即使它从未接触过任何真实世界数据。这项研究表明,生成式AI在教会机器人完成复杂任务方面具有巨大潜力,甚至有可能最终实现完全在虚拟世界中训练机器人。

麻省理工学院计算机科学与人工智能实验室的博士后研究员杨戈表示:“我们正处于机器人工业革命的浪潮之中。这项研究旨在探索生成式AI模型在非预期用途中的影响,并希望以此推动下一代工具和模型的开发。”

LucidSim利用多种生成式AI模型来创建视觉训练数据。首先,研究人员向ChatGPT发送了数千条提示,让它生成各种环境描述,这些环境模拟了机器人将在现实世界中遇到的各种情况,包括不同的天气、时间和光照条件。例如,“一条古老的巷道,两旁排列着茶馆和精致的小店,每家店都展示着传统的装饰和书法”以及“阳光照耀着一块略显杂乱的草坪,上面点缀着干枯的草地”。

这些描述被输入到一个系统中,该系统将3D几何和物理数据映射到AI生成的图像上,从而创建出短视频,为机器人规划了行动轨迹。机器人利用这些信息来判断它需要穿越的物体的高度、宽度和深度,例如箱子或楼梯。

研究人员通过让一只配备网络摄像头的四足机器人完成一系列任务来测试LucidSim,这些任务包括找到交通锥或足球、跨越箱子以及上下楼梯。与使用传统模拟训练的系统相比,该机器人在使用LucidSim训练后表现出明显优势。在20次寻找交通锥的测试中,LucidSim的成功率为100%,而传统模拟训练系统的成功率仅为70%。同样,在20次寻找足球的测试中,LucidSim的成功率为85%,而传统模拟训练系统的成功率仅为35%。

最后,在使用LucidSim训练的机器人中,所有10次爬楼梯测试都成功完成,而传统模拟训练系统的成功率仅为50%。

""
从左至右:菲利普·伊索拉、杨戈和艾伦·余
麻省理工学院计算机科学与人工智能实验室提供

麻省理工学院副教授菲利普·伊索拉表示,如果LucidSim能够直接从复杂的生成式视频模型中获取数据,而不是依靠语言、图像和物理模型的组合,那么这些结果将会得到进一步的提升。

纽约大学博士生马希·沙菲乌拉认为,研究人员使用生成式AI的方法是新颖的,将为更有趣的新研究铺平道路。他并没有参与这项研究。他表示:“我认为更有趣的方向是将真实数据与逼真的‘想象’数据相结合,这将有助于我们当前数据密集型方法更快、更好地扩展。”

华为脑启发人工智能高级研究员扎菲里奥斯·丰塔斯表示,能够完全依靠AI生成的环境和场景来训练机器人,是一项重大成就,它可以扩展到机器之外,应用于更通用的AI代理。他表示:“这里的‘机器人’一词使用非常广泛,我们指的是任何与现实世界交互的AI。我可以想象,这可以用来控制任何类型的视觉信息,从机器人和自动驾驶汽车到控制你的电脑屏幕或智能手机。”

下一步,研究人员希望尝试使用完全合成数据来训练人形机器人,他们承认这是一个雄心勃勃的目标,因为双足机器人通常比四足机器人更不稳定。他们还将注意力转向另一个新的挑战:使用LucidSim来训练在工厂和厨房工作的机械臂。它们需要执行的任务需要比在景观中奔跑更强的灵活性以及对物理世界的理解。伊索拉表示:“拿起一杯咖啡并倒出来,这是一个非常困难的开放性问题。如果我们能够利用生成式AI增强模拟,创造出更多样化的环境,并训练出能够在咖啡馆工作的强大代理,我认为这将非常酷。”

Share This Article
Email Copy Link Print
Previous Article 20241114225551128.jpg MongoDB助力Paylocity实现下一代增长
Next Article Vecna CaseFlow 协调箱式拣选机器人和工人,新任首席执行官卡尔·伊格内玛表示。 维克纳机器人获融资,卡尔·亚涅玛任CEO
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
20250508230245629.jpg
AI初创公司Perfect获2300万美元融资,用AI解决招聘瓶颈,招聘时间缩短75%
初创
conceptual-illustration-of-large-languag
人工智能模型拥抱类人推理
AI
GettyImages-2194950188.jpg?resize=1200,6
狗狗币圈议程风向标
AI
20250508174846548.png
Omdia:2024财年,LTE和5G专网跟踪报告
报告

相关内容

241122_AIgorithim_AI.jpg?resize=1200,600
AI

人工智能代理的伦理困境

2024年11月26日
AI

实时脱敏AI语音转录开源模型发布

2024年11月21日
人工智慧无法完全取代人类的直觉与创意,人类智慧依然是维护数据安全的核心资源。
AI

AI风险显现,回归人本智慧成趋势

2024年11月21日
20241114221720789.png
AI

科技领袖祝贺特朗普胜选,承诺共同创新

2024年11月14日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
前途科技
Username or Email Address
Password

Lost your password?