NVIDIA发布Dynamo优化方案 韩国主流开源模型推理提速2倍

NVIDIA 正式面向韩国主流开源大语言模型推出基于 Dynamo 的部署优化方案（Recipes），覆盖 SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2 以及 Motif Technologies 的 Motif-3。

随着大语言模型参数量持续扩张，单一 GPU 的显存容量已无法承载完整模型，必须将其切分并部署在多个 GPU 乃至多台服务器上。然而，跨节点切分带来了严苛的工程挑战：如何在多张显卡之间高效调度请求并优化通信链路，成为决定推理性能的关键瓶颈。

为此，NVIDIA Dynamo 应运而生。这是一款开源分布式推理服务框架，专门用于在数据中心级多节点集群中运行超大规模模型。它能自动处理复杂的请求路由分发与节点间通信，最大化挖掘硬件的推理潜力。

本次发布的方案针对 NVIDIA B200 GPU 进行了深度调优，免去了开发者繁琐的底层参数摸索过程，开箱即可获得最高 2 倍的推理性能提升。这套经过验证的部署范式，将帮助企业和开发者以更低延迟、更高吞吐将本土开源模型推向生产环境，加速构建普惠易用的 AI 服务生态。