DeepSeek 开源自研推理引擎 DeepInfer

中国人工智能团队 DeepSeek 近日正式开源其生产环境中使用的自研推理引擎 DeepInfer。该项目旨在帮助企业和开发者降低大规模 AI 系统的部署与运行成本，提高计算资源利用率。

彭博社报道称，此举有望让企业以更低廉的成本、更便捷的方式运行 DeepSeek 模型。DeepSeek 官方表示，DeepInfer 支撑着 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。团队希望通过开源这一生产级技术栈，助力社区削减算力成本、减少能源消耗，并承诺未来模型的推理代码与后续优化也将同步开源。

开源技术栈亮点

GitHub 代码仓库显示，DeepInfer 采用 Apache 2.0 开源协议，定位为支撑 DeepSeek 大规模生产级服务的高性能推理框架。首期发布支持离线推理模式以及 DeepSeek-V4.1-Flash 模型。

该框架基于开源项目 vLLM 构建，集成了多项 DeepSeek 自研核心技术算子：

• 自研加速算子：包含 FlashMLA、DeepGEMM 与 DeepEP；
• 前沿推理机制：集成 DSpark 推测解码、批次无关推理（Batch-invariant Inference）及结构化输出解析。

此外，DeepSeek 还同步开源了 deepseek-recipe 组件。该组件负责将 API 请求转换为模型提示词并解析输出结果，其处理逻辑与 DeepSeek 官方 API 完全一致，确保私有化部署能获得与官方线上服务相同的行为表现。

适配英伟达与华为昇腾算力

硬件兼容方面，DeepInfer 支持英伟达 SM100 架构 GPU 以及华为昇腾 950 NPU。此前 DeepSeek 曾披露，计划在 2026 年底前使用该款华为昇腾芯片开展模型预训练。国内报道提及，单个 DeepSeek 集群的日处理吞吐量已达 155 万亿 Token，但该数据尚无独立机构验证。

此次开源前不久，DeepSeek 刚完成 V4.1-Flash-1017 版本的更新，且维持 API 计费价格不变。华龙证券分析指出，DeepSeek 的快速技术迭代印证了国内推理算力成本走低与市场需求扩大的行业趋势。

部署门槛与未包含模块

需要指出的是，DeepInfer 现阶段并非完整的端到端服务系统。项目文档说明显示，当前版本未包含分布式 KV 缓存管理、Prefill 与 Decode 阶段解耦，以及跨副本的负载均衡功能。

这意味着希望搭建全套生产级线上服务的企业，仍需自行补全外围基础设施工程。因此，DeepInfer 目前最适合已经具备分布式推理系统运维能力的专业技术团队。

DeepSeek 在官方声明中表示，期望该开源项目能协助开发者与企业高效构建私有云和公有云部署，“以更低廉的价格让智能惠及更广泛的用户”。