前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
技术/11.19 · 19:41/8 MIN/0 阅读

Meta 开源模型助匹兹堡大学造辅助机器人

匹兹堡大学 HERL 团队获 ARPA-H 最高 4150 万美元资助,打造 RAMMP 辅助机器人平台,采用 Meta 开源的 DINOv3 与 SAM 视觉模型实现端侧实时环境感知,帮助约 550 万美国轮椅使用者更安全、更独立地生活。

在美国匹兹堡,一场静悄悄的变革正在进行——它可能重新定义残障人士的"独立"意味着什么。

变革的中心是匹兹堡大学的人类工程研究实验室(HERL)。该实验室正牵头一项计划,获得美国健康高级研究计划局(ARPA-H)最高 4150 万美元的资助。ARPA-H 是专为支持变革性生物医学与健康突破而设立的研究资助机构。在 ARPA-H 支持下,HERL 团队与辅助技术公司 ATDev 共同打造"为残障人士提供独立性的机器人辅助移动与操作平台"(RAMMP),将前沿机器人技术、人工智能与以用户为中心的设计融为一体。

美国约有 550 万轮椅使用者,保持移动能力关乎个人机会与日常生活参与。当辅助技术无法反映真实世界的复杂性时,就可能削弱使用者的信心、独立性与人身安全。数据并不乐观:美国急诊部门每年处理的轮椅相关伤害超过 10 万例,多数由绊倒和跌落引起。更智能、更安全、更自适应的技术已迫在眉睫。

RAMMP:辅助移动的新阶段

RAMMP 项目试图解决现有机器人移动平台的设计短板,路径是整合先进机器人、新型操作系统与数字孪生技术——构建虚拟仿真环境,实现安全、可扩展的测试与开发。该平台还引入了人工智能,包括 Meta 的多个开源视觉模型,如 DINO 和 Segment Anything Model(SAM)。

DINO 与 SAM 此前已在医学影像、野生动物保护等多个项目中发挥作用。DINO 是一种自监督视觉 Transformer,擅长从无标注数据中学习视觉表征,特别适合标注数据稀缺的场景。SAM 则以"分割一切"为设计目标,只需极少的提示,就能识别并勾勒出图像或视频中的任意物体。凭借通用性与准确性,SAM 已成为对精确物体识别要求极高领域的基础工具。

为真实世界而工程:在端侧运行 DINOv3 与 SAM

对依赖辅助设备的人来说,每一秒都很关键。日常环境充满不确定性:孩子突然横穿人行道、路边突然出现台阶、钥匙掉在地上——这些都需要即时反应。直接在设备上处理摄像头图像与传感器数据(即边缘计算),能让机器人移动平台成为响应及时的工具,并在人们所处的各种动态环境中保持稳定可靠。

与此同时,在电池供电的有限硬件上部署 DINOv3、SAM 这类强大模型,工程挑战不小。真实部署必须考虑续航、散热、网络不稳定,以及严格的体积和重量限制。

不过,如果用户无法借助这些新机器人系统完成日常活动,克服上述限制就毫无意义。新方法让用户能更自然地与机器人交互,以周围环境为上下文,免去工程师和用户设计、操作复杂耗时界面的负担。用自然语言结合图像数据来询问用户和机器人所处的环境、发出更直接的指令,可以显著降低认知负荷,也让"从桌上拿起一个杯子"这样简单的操作不再需要频繁切换上下文。

RAMMP 团队已将这些能力集成进首个原型:借助基于 DINO 构建的工具,用户可以查询机器人的图像传感器,检测自动门按钮、杯子以及用于导航辅助的路缘和地面。相关功能已进入真实环境测试阶段,工程师正聚焦语音与触控输入,让用户选择并与周围特定物体交互。除了保证模型输出的准确性与时序一致性,这还带来了新挑战——确保系统在不同用户提示与输入下都保持稳健和可预测。

DINOv3 相当于设备上紧凑高效的"视觉大脑":一个通用基础模型,其上可叠加物体检测、运动跟踪等轻量任务模块,从而复用视觉数据、节省电量。

在机器人系统开发中,工程师针对边缘设备优化模型:压缩内存占用、在合适场景使用更低精度、采用适配真实环境的部署格式,以确保用户获得可靠的实时运行表现。通过实用的分辨率和高效批处理,两个模型即使在移动平台和机械臂所用的紧凑电池硬件上也能保持快速稳定——有时会牺牲少量边界精度或特征细节,换取移动场景下所需的响应速度与稳定性。精度与实用之间的这种平衡,正是该项目的核心理念。

"对辅助机器人来说,性能不能只看基准测试的准确率,而要看系统能否在日常生活的不可预测中稳定运行,"RAMMP 项目幕僚长 Sivashankar Sivakanthan 表示。"在设备端运行 DINOv3 和 SAM,才能实现用户可信赖的实时感知——不依赖网络连接,也不牺牲安全。"

RAMMP 的感知系统基于 RF-DETR,这是一个用 DINOv2 嵌入微调的轻量检测模型。训练数据由 SAM 自动标注,使团队能快速生成覆盖辅助设备在真实世界中遇到的各种角度、高度、背景和光照条件的高质量标注。数据增强与多视角策略进一步保证了不同视角间的一致性。最终形成的系统智能、自适应,带来更安全、更有信心的移动体验。

将 SAM 的标注能力与 DINOv2 丰富的视觉表征结合,再以微调后的 RF-DETR 模型呈现,RAMMP 实现了实时 360 度环境感知与自适应物体检测。

面向未来的协作愿景

HERL 与 ATDev 是 RAMMP 联盟中的关键伙伴,各自带来不同优势。HERL 凭借生物医学工程与以用户为中心的研究积累牵头项目,为下一代辅助移动设定愿景;ATDev 则提供扎实的工程视角,把 HERL 的转化研究落地为真实设备。两者结合,展示了学术引领与技术创新如何共同催生既具突破性、又深度贴合用户真实体验的移动解决方案。

除引入前沿人工智能外,HERL 的方法还高度强调协作:轮椅使用者、临床医生和倡导团体全程参与设计过程。这种参与式行动方法确保技术回应真实需求,而非假设需求。RAMMP 背后的全国联盟还包括 Kinova Robotics、LUCI Mobility、ATDev,以及卡内基梅隆大学、康奈尔大学、东北大学和普渡大学的学术带头人。

"通过 RAMMP,ARPA-H 希望创造一个未来:行动不便的美国人能借助先进机器人更轻松地独立生活、工作和休闲,"ARPA-H 项目经理 Mansoor Khan 说。"Meta 的视觉模型是让机器人平台'看见'的关键技术。这些模型帮助机器人理解场景、导航世界、拿起正确的物体——大幅减轻用户认知负担,提升独立性。"

除改善个体移动能力外,RAMMP 还希望带动匹兹堡及宾夕法尼亚州的新就业与制造机会,推动先进移动解决方案和本土生产。这一愿景将技术进步与经济社会进步编织在一起。

"RAMMP 团队通过 ARPA-H 所做的工作,展现了当我们不再接受现状时,美国健康创新可以是什么样子,"ARPA-H 主任 Alicia Jackson 博士说。"数百万行动不便的美国人理应获得贴合自身处境的技术,而不是被要求去适应技术。与 Meta 这类世界级创新者合作,把前沿 AI 带入辅助机器人,正是我们以超乎想象的速度实现这一目标的方式。"

展望未来,RAMMP 团队将继续推进下一代感知模型(包括 SAM 3.1 与 DINOv3)的集成,进一步提升实时环境理解与交互能力。后续工作将聚焦增强时序一致性、提升在多样真实条件下的稳健性,以及与决策和控制系统的更紧密结合。通过这些进展,RAMMP 希望走向这样的辅助系统:不仅准确感知环境,还能随时间适应用户独特的需求、行为和情境。下一代辅助机器人将不只是把人从一处送到另一处——它将推动社会更接近一个无论能力如何、人人都能充分且独立参与的世界。

标签:Meta辅助机器人

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Meta 发布 Muse Spark:迈向个人超级智能
TOP1

Meta 发布 Muse Spark:迈向个人超级智能

谷歌发布Gemini 4 Neon,每百万输入3美元
TOP2

谷歌发布Gemini 4 Neon,每百万输入3美元

3

美多起技术故障疑与AI补丁潮相关

5小时前
美多起技术故障疑与AI补丁潮相关
4

国内首款Gen6 SSD量产,AI存储重算经济账

6小时前
国内首款Gen6 SSD量产,AI存储重算经济账
5

银行推出Token贷:烧掉的算力账单变成贷款额度

7小时前
银行推出Token贷:烧掉的算力账单变成贷款额度
6

英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响

22小时前
英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响
7

DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%

22小时前
DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%
8

Gemini 临时聊天与关闭历史后的留存期,从 72 小时延长到约两个月

22小时前
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断