京东广告联手鲲鹏超节点：端到端推理时延降15%

电商广告的收益，精确记在毫秒之间。

在京东的系统架构中，全链路时延预算仅有300毫秒，留给广告模型推理的时间窗口只有20到100毫秒。一旦超过这个界限，用户滑动屏幕就会感知到卡顿，转化与成交随之下滑。近两年，京东推荐系统正加速从传统判别式向生成式范式演进：用户行为上下文扩增了10倍，模型结构扩大了100倍，由此带来的算力需求骤增约1000倍。但机房的物理扩容周期，往往是以季度计算的。

面对算力成本与延迟红线的矛盾，京东广告团队联合华为鲲鹏超节点，对底层系统架构展开了深度重构。

算力账本：通算资源成为关键瓶颈

电商推荐系统连接着广告主、商家与数亿消费者，匹配效率直接决定商业变现能力。引入生成式模型后，推荐系统带来了两位数比例的业务收入提升，但这也将算力瓶颈推向了极致。

值得注意的是，这种瓶颈并非单纯叠加GPU或NPU就能化解。京东在实际业务中发现，复杂的网状业务流程中，最耗时的环节往往是数据预处理、高频检索以及业务逻辑编排，这些全部依赖CPU通用计算。如果通用算力无法及时处理前端数据，后端加速芯片的算力就无法充分释放。

与此同时，长上下文带来的KV Cache急剧膨胀，传统由片上内存、本地DDR、本地SSD和远端数据库构成的四级缓存体系，在容量、并发与延迟上无法兼顾；加之每次请求需要触发数十个RPC服务调用，网络通信耗时就占据了整体时延的20%以上。

三大改造落地，时延直降15%

为了打破困局，京东广告与华为鲲鹏团队基于灵衢（UnifiedBus）协议，针对存储与网络体系进行了针对性攻坚：

1. 创新超节点组网：基于灵衢互联实现4K节点规模扩展，单超节点可支持150万以上的vCPU，每节点互联带宽达3.2Tb。全网具备“跨层带宽不收敛”特性，确保集群扩容时带宽不发生衰减。
2. 精简KV Cache两级缓存：直接剔除远端数据库和本地SSD两级结构，仅保留片上内存与超大DDR池，借助互联协议拉通数百台机器，形成300TB的统一共享内存池。这使得缓存间时延降低3个数量级，网络带宽提升至传统TCP的16倍；8MB并发请求的TP99时延下降85%以上。
3. 重构RPC网络通信：绕过传统的Socket/TCP/IP网络栈，采用统一协议直连，通信时延开销降低38%；通过通道复用技术将通信内存开销压缩百倍，并在多路径聚合支持下让1MB数据包时延下降84%。

这套软硬件方案在“618”大促流量洪峰中完成了实战检验，不仅保持系统高稳定性，更将广告推理端到端时延降低了15%，局部KV Cache命中相关的重复计算降低约80%至90%。

在广告业务中，时延下降并不只是为了省成本，而是为了换取模型迭代空间。省下的几十毫秒预算，可以直接用于加载参数规模更大、表征能力更强的生成式模型，进而拉升点击与转化，直接推动商业增收。

迈向Agentic AI时代的软硬件重构

随着推荐系统向AI智能体（Agent）范式延展，京东广告与鲲鹏的技术探索正走向深水区。智能体需要高密度的环境感知、规划编排与记忆管理，对通用算力的要求将进一步激增。

业内曾预测，进入智能体时代后，数据中心CPU与加速芯片（NPU/GPU）的配比可能从过去的1:4变为1:1。但从京东一线业务的复杂逻辑来看，为了承接前置的数据编排与沙箱隔离，CPU与加速卡的比例未来甚至可能达到4:1。

目前，双方正围绕共享SuperCache、Agent高密沙箱以及多模态融合检索展开进一步联合研发，并将相关软硬件优化经验逐步拓展至搜索等更广泛的电商场景中。