Together AI推理模型助力GPU需求激增

订阅我们的每日和每周新闻简报，获取有关行业领先人工智能报道的最新更新和独家内容。了解更多

DeepSeek-R1 的出现，曾一度引发了业界对“先进推理能力将以更少的基础设施实现”的担忧。

然而，事实并非如此。至少，根据 Together AI 的说法，DeepSeek 和开源推理的兴起产生了完全相反的效果：它并没有减少对基础设施的需求，反而增加了需求。

这种不断增长的需求推动了 Together AI 平台和业务的增长。今天，该公司宣布完成 3.05 亿美元的 B 轮融资，由 General Catalyst 领投，Prosperity7 共同领投。Together AI 于 2023 年首次亮相，旨在简化企业对开源大型语言模型 (LLM) 的使用。该公司在 2024 年推出了 Together 企业平台，该平台支持在虚拟专用云 (VPC) 和本地环境中部署人工智能。2025 年，Together AI 再次扩展其平台，增加了推理集群和代理人工智能功能。

该公司声称，其人工智能部署平台拥有超过 450,000 名注册开发者，业务同比增长了 6 倍。该公司的客户包括企业和人工智能初创公司，例如 Krea AI、Captions 和 Pika Labs。

“我们现在为所有模态提供模型服务：语言和推理、图像、音频和视频，”Together AI 首席执行官 Vipul Prakash 告诉 VentureBeat。

DeepSeek-R1 首次亮相时，其颠覆性影响巨大，原因有很多，其中之一是暗示领先的开源推理模型可以以比专有模型更少的基础设施构建和部署。

然而，Prakash 解释说，Together AI 扩大了其基础设施，部分原因是为了帮助支持 DeepSeek-R1 相关工作负载的增长。

“在该模型上进行推理相当昂贵，”他说。“它拥有 6710 亿个参数，需要在多个服务器上进行分布式处理。而且由于质量更高，通常对高端的需求更大，这意味着需要更大的容量。”

此外，他还指出，DeepSeek-R1 通常具有更长的请求，可以持续两到三分钟。对 DeepSeek-R1 的巨大用户需求进一步推动了对更多基础设施的需求。

为了满足这种需求，Together AI 推出了名为“推理集群”的服务，该服务提供专用容量，从 128 到 2000 个芯片不等，以最佳性能运行模型。

Together AI 在推理模型的使用方面看到了许多特定领域。这些领域包括：

编码代理：推理模型有助于将更大的问题分解成步骤。
减少幻觉：推理过程有助于验证模型的输出，从而减少幻觉，这对准确性至关重要的应用程序非常重要。
改进非推理模型：客户正在提炼和提高非推理模型的质量。
实现自我改进：将强化学习与推理模型结合使用，使模型能够在不依赖大量人工标记数据的情况下递归地自我改进。

随着用户采用代理人工智能，Together AI 也看到了基础设施需求的增长。

Prakash 解释说，代理工作流程（其中单个用户请求会导致数千个 API 调用来完成一项任务）正在对 Together AI 的基础设施施加更大的计算需求。

为了帮助支持代理人工智能工作负载，Together AI 最近收购了 CodeSandbox，其技术提供轻量级、快速启动的虚拟机 (VM)，以便在 Together AI 云中执行任意安全代码，语言模型也驻留在该云中。这使 Together AI 能够减少代理代码与需要调用的模型之间的延迟，从而提高代理工作流程的性能。

所有人工智能平台都面临着不断增长的需求。

这就是英伟达不断推出提供更高性能的新型芯片的原因之一。英伟达的最新产品芯片是 Blackwell GPU，目前正在 Together AI 部署。

Prakash 表示，英伟达 Blackwell 芯片的成本比上一代芯片高出约 25%，但性能提高了 2 倍。配备 Blackwell 芯片的 GB 200 平台特别适合训练和推断混合专家 (MoE) 模型，这些模型在多个 InfiniBand 连接的服务器上进行训练。他指出，与较小的模型相比，Blackwell 芯片预计将为更大模型的推断提供更大的性能提升。

人工智能基础设施平台市场竞争激烈。

Together AI 面临着来自成熟云提供商和人工智能基础设施初创公司的竞争。所有超大规模企业，包括微软、AWS 和谷歌，都拥有人工智能平台。还有一些新兴的专注于人工智能的玩家，例如 Groq 和 Samba Nova，它们都在争夺这块利润丰厚的市场。

Together AI 提供全栈服务，包括 GPU 基础设施和顶部的软件平台层。这使客户能够轻松地使用开源模型构建或在 Together AI 平台上开发自己的模型。该公司还专注于研究，开发推理和训练的优化和加速运行时。

“例如，我们以每秒 85 个令牌的速度提供 DeepSeek-R1 模型服务，而 Azure 以每秒 7 个令牌的速度提供服务，”Prakash 说。“我们能够为客户提供的性能和成本之间存在相当大的差距。”