物理智能开源其机器人基础模型 Pi0
总部位于旧金山的初创公司物理智能（Physical Intelligence）已开源其机器人基础模型 Pi0。Pi0 在几个月前推出，可以针对各种任务进行微调，包括折叠衣服、清洁桌子、舀取咖啡豆等等。
物理智能已在其 GitHub 上的实验性 openpi 存储库中发布了 Pi0 的代码和权重。它还提供了用于 ALOHA 和 DROID 等平台上的几个“简单任务”的检查点，以及用于在真实世界和模拟机器人平台上运行推理的示例代码，以及用于根据自己的任务和平台微调基础 π0 模型的代码。
该公司表示，在其自己的实验中，1-20 小时的数据足以将 Pi0 微调到各种任务。HuggingFace 还为那些更喜欢 PyTorch 而不是 JAX 的开发者准备了 openpi 的 PyTorch 端口。
“我们相信，能够控制任何机器人执行任何任务的通用模型将是机器人控制的未来，”该公司表示。然而，无论是如何构建这些模型，还是如何使用、调整和部署它们，都存在许多未解之谜。我们相信，凭借 π0，我们向前迈出了重要的一步，但一些最困难的挑战仍在未来。
“为了开发真正通用且功能强大的模型，机器人社区需要共同努力，我们发布 openpi 的目标是为这项共同努力做出贡献。就像有效的开源语言模型 (LLM) 和视觉语言模型 (VLM) 导致了新的 LLM 和 VLM 应用的寒武纪大爆发，研究中的新方法以及新产品一样，我们希望 openpi 能够带来机器人基础模型的新颖和创造性用途，大型和更令人兴奋的数据集的公开共享，以及新技术。”
立即注册，享受 40% 的会议通行证优惠！
openpi 的特点
物理智能提供可用于实现您自己机器人的客户端的示例代码。以下是 openpi 中提供的预训练检查点的一些亮点。查看 openpi 存储库文档以获取完整列表。
Pi0 基础：这是标准的预训练模型。该模型在 OXE 和物理智能的 7 个机器人平台上进行训练。它旨在进行微调，尽管它可以用于预训练数据中存在的任务的零样本学习。
Pi0-FAST 基础：该模型使用 FAST 标记器来通过自回归离散化实现控制。物理智能表示，它提供了略微更好的语言遵循性能，但推理成本更高（大约高 4-5 倍）。根据该公司的说法，如果您更喜欢使用离散化而不是流匹配，这是一个不错的选择。
Pi0-FAST DROID 和 π0 DROID：openpi 提供了两个针对 DROID 数据集进行微调的模型，该数据集包含使用 Franka 机械臂在不同环境中执行的不同任务。根据物理智能的说法，这些是第一个能够在使用 DROID 平台的全新环境中成功遵循指令的模型。
Pi0 ALOHA：一组针对 ALOHA 平台上的任务（例如毛巾折叠、食物舀取等）进行微调的检查点。该公司表示，这些检查点可能对整体机器人设置非常敏感，尽管它能够在训练数据中没有出现的全新 ALOHA 站点上运行它们。
Pi0 Libero：此检查点针对 Libero 基准进行微调，可以开箱即用地评估 Libero 任务。
“我们发布此版本的目的是让任何人都能够尝试将 π0 微调到他们自己的机器人和任务，”物理智能表示。“我们相信，这些通用机器人策略不仅有可能实现有效的机器人学习，而且从长远来看，将改变我们对人工智能的思考方式：就像人类拥有以物理世界为基础的认知能力一样，未来的 AI 系统将能够与周围的世界互动，以直观的水平理解物理交互和过程，并推理因果关系。我们相信具身性是关键，通过让 π0 所有人都可以使用，我们希望为实现广泛功能和通用的物理智能做出贡献。”
在机器人峰会与博览会上了解基础模型
基础模型的承诺是赋予机器人从比传统 AI 技术更少的示例中泛化动作的能力。最近涌现了许多公司致力于机器人基础模型，包括总部位于匹兹堡的 Skild AI。现有公司（如 Ambi Robotics、Cobot、Figure AI 等）正在开发自己的基础模型，以部署在特定应用中。
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 主任 Daniela Rus 将在 4 月 30 日至 5 月 1 日在波士顿举行的机器人峰会与博览会上发表开幕主题演讲。她的主题演讲将探讨物理智能，她说，当 AI 的理解文本、图像、信号和其他信息的能力被用来使物理机器（例如机器人）变得智能时，就会实现物理智能。Rus 的主题演讲将讨论基于 Transformer 的基础 AI 模型的挑战。她还将介绍替代的基于物理的模型，并解释它们如何有效地实现性能。
由《机器人报告》主办的机器人峰会与博览会汇集了 5,000 多名专注于为各种商业行业构建机器人的开发者。与会者将深入了解最新的使能技术、工程最佳实践和新兴趋势。将有 70 多位演讲者登台，10 多个小时的专用网络时间，女性机器人早餐会，职业博览会，创业公司展示等等。RBR50 展馆和 RBR50 颁奖晚宴将回归展会，表彰年度 RBR50 机器人创新奖的获奖者。
麻省理工学院 CSAIL 主任 Daniela Rus。
文章来源：The Robot Report
