微软支持的初创公司推出面向 CPU 的企业级 AI 模型

一家专注于企业人工智能的新兴初创公司 Fastino 今天从隐身状态中浮出水面，承诺提供其称之为“任务优化”的模型，这些模型能够以更低的成本提供更好的性能。

总部位于旧金山的 Fastino 还透露，它已从 Insight Partners 和 M12（微软的风险投资基金）以及 Github 首席执行官 Thomas Dohmke 的参与中筹集了 700 万美元的种子前轮融资。Fastino 正在构建自己的企业人工智能模型系列以及开发人员工具。这些模型是全新的，不基于任何现有的大型语言模型 (LLM)。与大多数生成式人工智能供应商一样，Fastino 的模型具有 Transformer 架构，但它使用了一些旨在提高准确性和企业实用性的创新技术。与大多数其他 LLM 提供商不同，Fastino 的模型可以在通用 CPU 上良好运行，不需要高成本的 GPU 才能运行。

Fastino 的想法源于创始人自身在行业中的经验以及在规模化部署人工智能时遇到的现实挑战。

该公司首席执行官兼联合创始人 Ash Lewis 一直在构建一种名为 DevGPT 的开发人员代理技术。他的联合创始人 George Hurn-Maloney 之前是 Waterway DevOps 的创始人，该公司于 2023 年被 JFrog 收购。Lewis 解释说，他之前的公司开发人员代理在后台使用 OpenAI，这导致了一些问题。

“我们每年在 API 上花费近 100 万美元，”Lewis 说。“我们感觉不到对它的任何真正控制。”

Fastino 的方法代表了对传统大型语言模型的背离。该公司没有创建通用人工智能模型，而是开发了针对特定企业功能而优化的任务优化模型。

“整个想法是，如果你缩小这些模型的范围，使它们不那么通用，以便它们更适合你的任务，它们只能在范围内做出响应，”Lewis 解释说。

使用较小的模型来优化特定用例的概念并不是一个全新的想法。小型语言模型 (SLM)，例如微软的 Phi-2 和 Arcee AI 等供应商，已经倡导这种方法有一段时间了。

Hurn-Maloney 说，Fastino 将其模型称为任务优化而不是 SLM，原因有很多。一方面，在他看来，“小”这个词通常带有不准确的含义，而 Fastino 的模型并非如此。Lewis 说，目标实际上是创建一个新的模型类别，它不是一个通用模型，只是通过参数计数来衡量大小。

Fastino 的模型是任务优化的，而不是通用模型。目标是使模型的范围更窄，更专门针对特定的企业任务。通过专注于特定任务，Fastino 声称其模型能够比通用语言模型实现更高的准确性和可靠性。

这些模型特别擅长：

• 结构化文本数据
• 支持 RAG（检索增强生成）管道
• 任务规划和推理
• 为函数调用生成 JSON 响应

Fastino 模型的一个关键区别在于它们可以在 CPU 上运行，不需要使用 GPU AI 加速器技术。

Fastino 使用多种不同的技术在 CPU 上实现快速推理。

“如果我们只是说绝对简单的术语，你只需要做更少的乘法，”Lewis 说。“我们架构中的许多技术都专注于减少需要矩阵乘法的任务。”

他补充说，这些模型以毫秒而不是秒的速度提供响应。这种效率扩展到边缘设备，在像 Raspberry Pi 这样简单的硬件上成功部署。

“我认为许多企业都在关注将人工智能嵌入其应用程序的总拥有成本 (TCO)，”Hurn-Maloney 补充说。“因此，能够从等式中移除昂贵的 GPU，我认为，显然也有帮助。”

Fastino 的模型尚未普遍可用。也就是说，该公司已经在与消费设备、金融服务和电子商务领域的行业领导者合作，包括一家北美主要的家用和汽车应用设备制造商。

“我们能够在本地运行，这对对数据非常敏感的行业来说非常有用，”Hurn-Maloney 解释说。“能够在本地和现有 CPU 上运行这些模型，对金融服务、医疗保健和更多数据敏感的行业来说非常诱人。”