Meta 开放移动 LLM 模型权重给研究人员

Meta AI 宣布开源发布 MobileLLM，这是一套针对移动设备优化的语言模型，模型检查点和代码现已在 Hugging Face 上提供。然而，目前它仅在知识共享 4.0 非商业许可下提供，这意味着企业无法将其用于商业产品。

MobileLLM 最初在 2024 年 7 月发表的一篇研究论文中进行了描述，并被 VentureBeat 报道，现在它已完全开放权重，这标志着高效的设备端人工智能取得了重大里程碑。

这些开放权重的发布使 MobileLLM 成为 Apple Intelligence 的更直接的竞争对手，尽管方式间接。Apple Intelligence 是苹果的设备端/私有云混合人工智能解决方案，由多个模型组成，本周将发布给美国和欧盟以外地区的 iOS 18 操作系统用户。然而，由于仅限于研究用途，并且需要从 Hugging Face 下载和安装，因此它目前可能仅限于计算机科学和学术界。

MobileLLM 旨在解决在智能手机和其他资源受限设备上部署人工智能模型的挑战。

这些模型的参数数量从 1.25 亿到 10 亿不等，旨在在移动硬件典型的有限内存和能量容量内运行。

Meta 的研究表明，通过强调架构而非纯粹的规模，精心设计的紧凑型模型可以直接在设备上提供强大的 AI 性能。

MobileLLM 背后的设计理念偏离了传统的人工智能扩展定律，这些定律强调宽度和大量参数。

Meta AI 的研究反而专注于深而薄的架构，以最大限度地提高性能，改进模型对抽象概念的捕捉方式。

Meta 首席人工智能科学家 Yann LeCun 强调了这些深度优先策略在日常硬件上实现高级人工智能的重要性。

MobileLLM 整合了多项创新，旨在使小型模型更有效：

• **深度优先于宽度：**这些模型采用深度架构，在小规模场景中表现优于更宽但更浅的架构。

• **嵌入共享技术：**这些技术最大限度地提高了权重效率，对于保持紧凑的模型架构至关重要。

• **分组查询注意力：**受 Ainslie 等人 (2023) 的工作启发，这种方法优化了注意力机制。

• **立即块级权重共享：**一种新颖的策略，通过最小化内存移动来减少延迟，有助于在移动设备上保持高效执行。

**性能指标和比较**

尽管尺寸紧凑，但 MobileLLM 模型在基准任务中表现出色。参数数量为 1.25 亿和 3.5 亿的版本在零样本任务中比之前的最先进 (SOTA) 模型分别提高了 2.7% 和 4.3% 的准确率。

值得注意的是，3.5 亿版本甚至与更大的 Meta Llama-2 7B 模型的 API 调用性能相匹配。

这些进步表明，架构良好的小型模型可以有效地处理复杂的任务。

MobileLLM 的发布与 Meta AI 将先进人工智能技术民主化的更广泛努力相一致。

随着对设备端人工智能的需求不断增长，原因是云成本和隐私问题，像 MobileLLM 这样的模型将发挥关键作用。

这些模型针对内存限制为 6-12 GB 的设备进行了优化，使其可以实际集成到 iPhone 和 Google Pixel 等流行智能手机中。

Meta AI 决定开源 MobileLLM 反映了该公司对协作和透明度的承诺。不幸的是，目前的许可条款禁止商业用途，因此只有研究人员才能从中受益。

通过共享模型权重和预训练代码，他们邀请研究界在其工作基础上进行构建和改进。

这将加速小型语言模型 (SLM) 领域的创新，使高质量的人工智能在不依赖于广泛的云基础设施的情况下变得触手可及。

有兴趣测试 MobileLLM 的开发人员和研究人员现在可以在 Hugging Face 上访问这些模型，这些模型与 Transformers 库完全集成。随着这些紧凑型模型的不断发展，它们有望重新定义高级人工智能在日常设备上的运行方式。