AI 中间层仍需强劲硬件支撑

本文是 VB 特刊“适合目的：定制 AI 基础设施”的一部分。查看所有其他故事。

随着越来越多的企业寻求构建更多 AI 应用程序甚至 AI 代理，越来越清楚的是，组织应该使用不同的语言模型和数据库来获得最佳结果。

但是，将应用程序从 Llama 3 切换到 Mistral 可能需要一些技术基础设施的技巧。这就是上下文和编排层发挥作用的地方；连接基础模型到应用程序的所谓中间层，理想情况下将控制对模型的 API 调用的流量以执行任务。

中间层主要由 LangChain 或 LlamaIndex 等软件组成，这些软件有助于连接数据库，但问题是，中间层是否仅由软件组成，或者硬件在为支持 AI 应用程序的大部分模型提供动力之外，是否仍然可以发挥作用。

答案是硬件的作用是支持 LangChain 等框架以及将应用程序变为现实的数据库。企业需要拥有能够处理海量数据流的硬件堆栈，甚至可以考虑能够在设备上完成大量数据中心工作的设备。

>>不要错过我们的特刊：适合目的：定制 AI 基础设施。<<

“虽然 AI 中间层主要是一个软件问题，但硬件提供商可以显着影响其性能和效率，”数据管理公司 InterSystems 的数据平台主管 Scott Gnau 说。

许多 AI 基础设施专家告诉 VentureBeat，虽然软件是 AI 编排的基础，但如果服务器和 GPU 无法处理海量数据移动，任何软件都无法工作。

换句话说，为了使软件 AI 编排层正常工作，硬件层需要智能高效，专注于与数据和模型的高带宽、低延迟连接，以处理繁重的负载。

“这种模型编排层需要由快速芯片支持，”IBM 咨询公司生成式 AI 管理合伙人 Matt Candy 在一次采访中说。“我可以预见一个世界，在这个世界中，硅/芯片/服务器能够根据用于不同任务的模型类型和大小进行优化，因为编排层在它们之间切换。”

戴尔全球 CTO 和首席 AI 官 John Roese 告诉 VentureBeat，戴尔制造的硬件在该中间层中仍然发挥着作用。

“这是一个硬件和软件问题，因为人们忘记了 AI 是以软件的形式出现的，”Roese 说。“软件始终运行在硬件上，而 AI 软件是我们构建过的最苛刻的软件，因此您必须了解性能层，即 MIP 在哪里，计算能力在哪里，才能使这些东西正常工作。”

这个 AI 中间层可能需要快速、强大的硬件，但除了目前可用的 GPU 和其他芯片之外，不需要新的专用硬件。

“当然，硬件是一个关键的推动因素，但我不知道是否有专门的硬件能够真正推动它向前发展，除了使模型运行更快的 GPU 之外，”Gnau 说。“我认为软件和架构是您可以以一种类似于织物的形式进行优化的，从而最大限度地减少数据移动。”

AI 代理的兴起使得加强中间层变得更加重要。当 AI 代理开始与其他代理交谈并进行多个 API 调用时，编排层会引导该流量，快速服务器至关重要。

“这一层还提供对所有不同类型的 AI 模型和技术的无缝 API 访问，以及围绕它们的所有无缝用户体验层，”IBM 的 Candy 说。“我称之为这个中间件堆栈中的 AI 控制器。”

AI 代理是该行业目前的热门话题，它们可能会影响企业未来构建其 AI 基础设施的方式。

Roese 补充说，企业需要考虑的另一件事是：设备上的 AI，这是该领域另一个热门话题。他说，公司将希望想象他们的 AI 代理何时需要在本地运行，因为旧的互联网可能会瘫痪。

“要考虑的第二件事是你在哪里运行？”Roese 说。“这就是 AI PC 等事物发挥作用的地方，因为当我有一组代表我工作的代理，并且它们可以互相交谈时，它们是否都必须在同一个地方。”

他补充说，戴尔探索了在设备上添加“礼宾”代理的可能性，“这样，即使您与互联网断开连接，您也可以继续工作。”

生成式 AI 允许技术堆栈扩展，因为更多任务变得更加抽象，带来了提供 GPU 空间、新数据库或 AIOps 服务的新服务提供商。Uniphore 首席执行官 Umesh Sachdev 说，这种情况不会永远持续下去，企业必须记住这一点。

“技术堆栈已经爆炸式增长，但我认为我们将看到它正常化，”Sachdev 说。“最终，人们会将事物内部化，GPU 的容量需求会下降。层和供应商的爆炸总是发生在新的技术中，我们将在 AI 中看到同样的情况。”

对于企业来说，很明显，从软件到硬件，考虑整个 AI 生态系统是实现有意义的 AI 工作流的最佳实践。