DeepSeek-V3 横空出世,开源大模型再掀波澜
DeepSeek,这家以挑战领先 AI 厂商的创新开源技术而闻名的中国 AI 新锐,今日发布了全新超大模型 DeepSeek-V3。
DeepSeek-V3 通过 Hugging Face 平台,以公司许可协议的形式提供,拥有 6710 亿参数。它采用混合专家架构,仅激活特定参数,以高效准确地处理各种任务。DeepSeek 分享的基准测试结果显示,DeepSeek-V3 已经登顶榜首,超越了 Meta 的 Llama 3.1-405B 等领先的开源模型,性能与 Anthropic 和 OpenAI 的闭源模型不相上下。
DeepSeek-V3 的发布标志着开源 AI 与闭源 AI 之间的差距进一步缩小。DeepSeek 起源于中国量化对冲基金 High-Flyer Capital Management,其最终目标是通过这些发展为实现通用人工智能 (AGI) 铺平道路,让模型能够理解或学习人类可以完成的任何智力任务。
与前代 DeepSeek-V2 一样,DeepSeek-V3 采用相同的核心架构,围绕多头潜在注意力 (MLA) 和 DeepSeekMoE 展开。这种方法确保了模型在训练和推理过程中保持高效,通过专门的和共享的“专家”(大型模型中包含的独立小型神经网络),每个 token 仅激活 6710 亿参数中的 370 亿参数。
除了基本架构之外,DeepSeek 还推出了两项创新,进一步提升了模型性能。
第一项创新是辅助无损负载均衡策略。该策略动态监控和调整专家负载,以平衡的方式利用专家,而不会影响模型整体性能。第二项创新是多 token 预测 (MTP),它允许模型同时预测多个未来 token。这项创新不仅提高了训练效率,还使模型的运行速度提高了三倍,每秒生成 60 个 token。
DeepSeek 在一篇介绍新模型的技术论文中写道:“在预训练阶段,我们使用 14.8 万亿高质量、多样化的 token 对 DeepSeek-V3 进行训练……接下来,我们对 DeepSeek-V3 进行两阶段上下文长度扩展。在第一阶段,最大上下文长度扩展到 32K,在第二阶段,进一步扩展到 128K。在此之后,我们对 DeepSeek-V3 的基础模型进行了后训练,包括监督微调 (SFT) 和强化学习 (RL),使其与人类偏好保持一致,并进一步释放其潜力。在后训练阶段,我们从 DeepSeekR1 系列模型中提取推理能力,同时仔细平衡模型精度和生成长度。”
值得注意的是,在训练阶段,DeepSeek 使用了多种硬件和算法优化,包括 FP8 混合精度训练框架和用于管道并行的 DualPipe 算法,以降低训练成本。
DeepSeek 声称,DeepSeek-V3 的整个训练过程耗费了约 2788K H800 GPU 小时,按每 GPU 小时 2 美元计算,总成本约为 557 万美元。这远低于通常用于预训练大型语言模型的数亿美元成本。
例如,Llama-3.1 的训练成本估计超过 5 亿美元。
尽管训练成本低廉,DeepSeek-V3 却成为了市场上最强大的开源模型。
DeepSeek 进行了一系列基准测试,比较了 AI 的性能,结果表明 DeepSeek-V3 显著优于包括 Llama-3.1-405B 和 Qwen 2.5-72B 在内的领先开源模型。它甚至在大多数基准测试中超越了闭源 GPT-4o,仅在以英语为主的 SimpleQA 和 FRAMES 测试中落后,OpenAI 模型在这两项测试中的得分分别为 38.2 和 80.5(而 DeepSeek-V3 分别为 24.9 和 73.3)。
值得注意的是,DeepSeek-V3 在中文和数学相关的基准测试中表现尤为突出,得分超过所有同类模型。在 Math-500 测试中,DeepSeek-V3 的得分高达 90.2,Qwen 的得分仅为 80,位居第二。
唯一能够挑战 DeepSeek-V3 的模型是 Anthropic 的 Claude 3.5 Sonnet,它在 MMLU-Pro、IF-Eval、GPQA-Diamond、SWE Verified 和 Aider-Edit 中得分更高。
这项成果表明,开源模型正在追赶闭源模型,在不同任务中展现出几乎等同的性能。这种系统的开发对行业来说意义重大,因为它有可能消除一家 AI 巨头独霸市场的可能性。它还为企业提供了多种选择,让他们在构建自己的技术栈时拥有更多选择。
目前,DeepSeek-V3 的代码已在 GitHub 上以 MIT 许可协议的形式提供,而模型则以公司模型许可协议的形式提供。企业还可以通过 DeepSeek Chat(一个类似 ChatGPT 的平台)测试新模型,并访问 API 以进行商业用途。DeepSeek 将以与 DeepSeek-V2 相同的价格提供 API,直至 2 月 8 日。之后,将收取 0.27 美元/百万输入 token(使用缓存命中时为 0.07 美元/百万 token)和 1.10 美元/百万输出 token 的费用。