开源AI巨头DeepSeek-V3横空出世，超越Llama和Qwen

DeepSeek-V3 横空出世，开源大模型再掀波澜

DeepSeek，这家以挑战领先 AI 厂商的创新开源技术而闻名的中国 AI 新锐，今日发布了全新超大模型 DeepSeek-V3。

DeepSeek-V3 通过 Hugging Face 平台，以公司许可协议的形式提供，拥有 6710 亿参数。它采用混合专家架构，仅激活特定参数，以高效准确地处理各种任务。DeepSeek 分享的基准测试结果显示，DeepSeek-V3 已经登顶榜首，超越了 Meta 的 Llama 3.1-405B 等领先的开源模型，性能与 Anthropic 和 OpenAI 的闭源模型不相上下。

DeepSeek-V3 的发布标志着开源 AI 与闭源 AI 之间的差距进一步缩小。DeepSeek 起源于中国量化对冲基金 High-Flyer Capital Management，其最终目标是通过这些发展为实现通用人工智能 (AGI) 铺平道路，让模型能够理解或学习人类可以完成的任何智力任务。

与前代 DeepSeek-V2 一样，DeepSeek-V3 采用相同的核心架构，围绕多头潜在注意力 (MLA) 和 DeepSeekMoE 展开。这种方法确保了模型在训练和推理过程中保持高效，通过专门的和共享的“专家”（大型模型中包含的独立小型神经网络），每个 token 仅激活 6710 亿参数中的 370 亿参数。

除了基本架构之外，DeepSeek 还推出了两项创新，进一步提升了模型性能。

第一项创新是辅助无损负载均衡策略。该策略动态监控和调整专家负载，以平衡的方式利用专家，而不会影响模型整体性能。第二项创新是多 token 预测 (MTP)，它允许模型同时预测多个未来 token。这项创新不仅提高了训练效率，还使模型的运行速度提高了三倍，每秒生成 60 个 token。

DeepSeek 在一篇介绍新模型的技术论文中写道：“在预训练阶段，我们使用 14.8 万亿高质量、多样化的 token 对 DeepSeek-V3 进行训练……接下来，我们对 DeepSeek-V3 进行两阶段上下文长度扩展。在第一阶段，最大上下文长度扩展到 32K，在第二阶段，进一步扩展到 128K。在此之后，我们对 DeepSeek-V3 的基础模型进行了后训练，包括监督微调 (SFT) 和强化学习 (RL)，使其与人类偏好保持一致，并进一步释放其潜力。在后训练阶段，我们从 DeepSeekR1 系列模型中提取推理能力，同时仔细平衡模型精度和生成长度。”

值得注意的是，在训练阶段，DeepSeek 使用了多种硬件和算法优化，包括 FP8 混合精度训练框架和用于管道并行的 DualPipe 算法，以降低训练成本。

DeepSeek 声称，DeepSeek-V3 的整个训练过程耗费了约 2788K H800 GPU 小时，按每 GPU 小时 2 美元计算，总成本约为 557 万美元。这远低于通常用于预训练大型语言模型的数亿美元成本。

例如，Llama-3.1 的训练成本估计超过 5 亿美元。

尽管训练成本低廉，DeepSeek-V3 却成为了市场上最强大的开源模型。

DeepSeek 进行了一系列基准测试，比较了 AI 的性能，结果表明 DeepSeek-V3 显著优于包括 Llama-3.1-405B 和 Qwen 2.5-72B 在内的领先开源模型。它甚至在大多数基准测试中超越了闭源 GPT-4o，仅在以英语为主的 SimpleQA 和 FRAMES 测试中落后，OpenAI 模型在这两项测试中的得分分别为 38.2 和 80.5（而 DeepSeek-V3 分别为 24.9 和 73.3）。

值得注意的是，DeepSeek-V3 在中文和数学相关的基准测试中表现尤为突出，得分超过所有同类模型。在 Math-500 测试中，DeepSeek-V3 的得分高达 90.2，Qwen 的得分仅为 80，位居第二。

唯一能够挑战 DeepSeek-V3 的模型是 Anthropic 的 Claude 3.5 Sonnet，它在 MMLU-Pro、IF-Eval、GPQA-Diamond、SWE Verified 和 Aider-Edit 中得分更高。

https://twitter.com/deepseek_ai/status/1872242657348710721

这项成果表明，开源模型正在追赶闭源模型，在不同任务中展现出几乎等同的性能。这种系统的开发对行业来说意义重大，因为它有可能消除一家 AI 巨头独霸市场的可能性。它还为企业提供了多种选择，让他们在构建自己的技术栈时拥有更多选择。