AI 工厂:下一代企业基础设施
十多年前,“感知型 AI”赋予了我们模型,能够从数据中发现模式或异常并进行预测。但这种智能局限于已知答案的范畴。例如,识别图片中的猫或狗,或者判断行人是否正在道路上行走。
如今,“生成式 AI”让我们能够创造前所未有的内容,这些内容由我们的提示塑造。我们不再局限于获取已知问题的答案,而是利用所有可获取的非结构化数据,生成全新的文本、图像、语音和视频。
“代理型 AI”则承诺提供“数字代理”,这些代理能够从我们学习,感知问题,进行多步骤推理,并代表我们做出自主决策。它们可以解决需要与多个其他代理交互、制定答案并采取行动的多层级问题。例如,供应链中的预测代理可以通过与客户服务代理互动来预测客户需求,然后通过与库存代理互动来主动调整仓库库存。每位知识工作者都将获得这些超能力,由一组特定领域的任务代理工作者提供支持,帮助他们以更少的努力解决大型复杂的任务。
然而,生成式 AI 和即将出现的代理型 AI 的激增,给 IT 团队带来了日益严峻的挑战。您可能熟悉“影子 IT”,即各个部门或用户在 IT 部门不知情的情况下自行采购资源。如今,我们面临着“影子 AI”,它正从两个方面影响着企业。
- 面向消费者的 AI 应用正在迅速普及,许多企业知识工作者正在使用它们1,并将可能敏感的知识产权和客户数据输入这些应用,通常与没有适当防护措施的服务进行交互2。这对大多数企业来说,造成了巨大的治理风险。
- 许多开发人员也正在建立自己的 IT 孤岛来支持他们的项目。这些孤岛之间很少或根本没有相互了解彼此的工作,并且随着他们为短期项目采购计算资源,运营成本正在不断上升,这些资源随后被闲置或浪费,同时数据孤岛阻碍了团队之间重要信息的流动。最糟糕的是,他们错失了相互学习的机会,无法分享专业知识和最佳实践,以高效地将 AI 应用交付到生产环境中。
当今的企业通过智能驱动的洞察力和答案创造价值,从而在竞争中脱颖而出。正如过去的工业革命改变了行业——例如蒸汽、电力、互联网和后来的计算机软件——AI 时代预示着一个新时代的到来,在这个时代,智能的生产是每个企业的核心引擎。大规模创建这种数字化智能的能力,正在推动对新型工厂的需求。这种“AI 工厂”是企业基础设施的下一个演进阶段。
AI 工厂不再使用煤炭、电力或软件(过去工厂的燃料),而是制造 AI 模型,以:
- 降低运营成本
- 分析海量数据并推动创新
- 以敏捷性促进规模化
- 提高企业生产力
AI 工厂现在是企业建立自身 AI“卓越中心”的必要基础设施——这是一个统一的平台,可以整合人员、流程和基础设施,从而获得关键优势,包括:
- 扩展 AI 人才,从内部培养公民数据科学专业知识,而不是从外部招聘
- 标准化工具和最佳实践,创建应用程序开发飞轮
- 最大限度地利用集中编排的加速计算基础设施
为了迎接大型语言模型 (LLM)、代理型 AI 以及未来技术的到来,我们创建了 NVIDIA DGX 平台,作为为 AI 工厂提供动力的引擎。企业已经开始使用它构建自己的平台,以支持需要许多不同专家模型协同工作、延迟不可感知的尖端应用,解决复杂的多层级问题。
由 GPU 驱动的 NVIDIA DGX™ 系统,配备英特尔® 至强® 处理器,将 NVIDIA Blackwell 加速器与针对代理型 AI 时代优化的下一代架构相集成,同时提供 15 倍的推理吞吐量和 12 倍的能效3。该平台包含一流的开发人员和基础设施管理软件,可简化和加速应用程序开发生命周期,从开发到部署,同时支持持续的模型微调。
在 NVIDIA 对 AI 工厂实施者的分析中,我们发现许多衍生优势可以抵消影子 AI 的影响,缩短上市时间,提高生产力和基础设施利用率——同时为不断涌现的生成式 AI 和代理型 AI 提供支持。这些组织分享了以下优势4,如 NVIDIA DGX 平台客户所述:
- 与传统 IT 基础设施相比,基础设施性能提高 6 倍
- 数据科学家和 AI 从业人员的生产力提高 20%
- 基础设施利用率达到 90%
通常,这些优势仅限于拥有数十年运营高性能基础设施经验以及在运行此类平台方面拥有深厚专业知识的超大型企业。现实情况是,即使是“专家”也承认,他们自己的平台往往无法提供所需的效率,许多人接受 20-30% 作为其基础设施的典型利用率4。
现在,每家企业都有机会拥有自己的 AI 工厂的超大型企业级平台,该平台更容易获取,效率更高,更易于管理,并能为企业带来即时效益,而不是将来。
了解如何在由 NVIDIA Tensor Core GPU 和英特尔® 至强® 处理器驱动的 GPU 驱动的 NVIDIA DGX™ 系统上更快地获得 AI 驱动的洞察力。
Tony Paikeday 是 NVIDIA 人工智能系统产品营销高级总监。
1. “为什么 IT 领导者应该抓住影子 AI 来现代化治理” 戴尔科技 / VentureBeat,2023 年 12 月
2. “生成式 AI:从炒作到商业价值”,毕马威,2023 年 6 月
3. NVIDIA 从 www.nvidia.com/dgx-b200 获得的测试比较:32,768 个 GPU 规模,4,096 个 8 路 DGX H100 空气冷却集群:400G IB 网络,4,096 个 8 路 DGX B200 空气冷却集群:400G IB 网络。预计性能可能会发生变化。
4. Chowdery, Aakanksha 等人,“PaLM:使用路径扩展语言建模”,arXiv,2022 年 10 月。
赞助文章是由支付文章费用或与 VentureBeat 存在业务关系的公司制作的内容,并且始终明确标明。有关更多信息,请联系 sales@venturebeat.com。