商汤大装置破解算力瓶颈：以异构推理支撑日均6万亿Token

随着AI应用从单轮对话走向多智能体（Agent）协作与复杂长任务，Token消耗正呈现千倍级增长。与此同时，高端算力供给受限、存量资源与任务类型不匹配，使算力扩容面临严峻挑战。行业数据显示，2026年推理支出预计将占AI IaaS总支出的55%，并于2027年进一步上升至59%。

在第十届CSDI Summit上，商汤大装置副总裁、CTO宣善明表示，未来AI基础设施的竞争焦点已不仅是算力规模，而是如何通过架构创新与异构协同，持续稳定地产出低成本、高质量的Token。

落地PD分离，构建万卡异构推理集群

大模型推理包含两个阶段：Prefill阶段处理输入，属于计算密集型任务；Decode阶段生成输出，高度依赖显存带宽。商汤大装置采用PD分离架构，将两者彻底解耦：由高性价比的国产算力承担Prefill计算，由高带宽GPU负责Decode生成，并通过KV Cache网络高速传输连接两端。

目前，商汤已在临港AIDC落地这一方案，建成了万卡级异构推理集群。集群融合了800G、400G与200G等多种规格的网络互联，打通不同代际算力的通信瓶颈。

针对异构集群中节点配比不均导致的资源闲置与单点故障问题，商汤采用了两套调度策略：一是预留少量高端节点作为备份快速补位；二是让集群节点支持Prefill与Decode角色动态切换，根据实时业务负载灵活调配资源。

通过能源设施、资源互联、KV数据面、推理运行时、服务调度及交付层的六层体系构建，商汤大装置实现了异构硬件的统一调度。测试数据显示，在保持相同高端卡数量的前提下，该方案可将整体Token吞吐量最高提升至原先的5倍。

探索跨域调度与AF分离新架构

在单数据中心PD分离成熟后，商汤大装置正进一步探索跨域PD分离与AF分离技术，持续拓展推理系统架构边界。

跨域PD分离旨在打破单个数据中心的地理限制，盘活全国范围内的分布式算力。随着模型架构优化，1M上下文的KV Cache体积在部分模型中已从接近100GB压缩至约1GB，跨域传输成本大幅降低。商汤引入主体Decode节点（MD）与中继Decode节点（RLD），由各地中低阶算力完成Prefill后，将KV Cache回传至高阶算力集群集中完成Decode，推动一体化算力网走向任务协同。

AF分离则针对Decode阶段进一步解耦。Attention机制对显存容量与带宽要求苛刻，而FFN（前馈网络）主要消耗高强度矩阵运算。AF分离将二者拆分至不同特点的硬件上独立运行与扩容，有望将单卡吞吐提升150%至200%，运营成本降低30%至40%，综合能效提升至两倍以上。

从手工调优走向系统工程

商汤认为，衡量推理基础设施的核心标准应回到SLA服务质量与单位成本。面对复杂的模型迭代与异构算力环境，单纯依赖经验调优已不可持续，必须将其转化为可度量、可优化、可验收的系统工程。

目前，商汤大装置平台日均Token服务量已达到6万亿规模，预计2026年第四季度将迈入日均10万亿Token大关。在Agentic时代，稳定的高质量Token制造能力正成为AI产业落地的核心护城河。