AI研究人员发布AnySense视觉训练数据收集应用

纽约大学的研究人员开发并发布了 AnySense，一款针对通用机器人模型收集视觉训练数据的 iOS 应用。Raunaq Bhirangi、Zeyu Bian、Venkatesh Pattabiraman、Haritheja Etukuru、Mehmet Enes Erciyes、Nur Muhammad Mahi Shafiullah 和 Lerrel Pinto 教授共同开发了 AnySense 应用。

去年年底，Pinto 教授和他的团队启动了一个名为机器人效用模型 (RUM) 的开源研究项目，旨在使机器人的训练更具通用性，从而使开发人员不必为一项任务训练数千个示例。相反，他们可以在零样本情况下或以前从未见过的环境中让操作成功。

为了支持 RUM 训练数据的采集，纽约大学的通用机器人与人工智能实验室 (GRAIL 实验室) 创建了“The Stick”。它是一款开源的 3D 打印夹持器设备，使用 iPhone 提供视觉反馈。

AnySense 应用已在 Apple App Store 发布

AnySense 应用专为机器人社区的多感官数据收集和学习而设计，它是 RUM 项目的直接成果。纽约大学的研究人员断言，训练这种通用的机器人模型受到无法在现实世界中收集多样化、高质量数据的限制。

他们表示，解决这一瓶颈的一种方法是创建将可扩展的、直观的 数据收集界面与廉价、易于获取的传感器相结合的工具。

以下是 AnySense iPhone 应用的三个值得注意的功能：

• 它通过蓝牙和有线接口将 iPhone 的传感器与外部多感官输入集成在一起。
• 它可以与 AnySkin 接口，AnySkin 是一种多功能的触觉传感器，能够进行多轴接触力测量。
• 它是完全开源的，可供机器人社区用于多感官数据收集和学习。

AnySense 应用可在 Apple App Store 下载。

AnySkin 提供触觉反馈

研究团队开发了一种名为 AnySkin 的触敏垫，可与 AnySense 应用配合使用，为抓握提供反馈。AnySkin 的设计易于组装，兼容不同的机器人末端执行器，并且可以推广到新的皮肤实例。

AnySkin 通过感知传感表面中磁化铁颗粒产生的磁场中的畸变来感知接触。纽约大学的研究人员解释说，灵活的表面在物理上与其电子设备分离，这使得在损坏时易于更换。

文章最初发表在 The Robot Report 上：AI 研究人员发布 AnySense 应用，用于收集视觉训练数据。