Mistral发布万亿参数大模型ML4，开源权重月底上线

法国人工智能初创公司 Mistral AI 发布了 Mistral Large 4（简称 ML4）预览版。该模型因总参数量达 1 万亿而被内部戏称为“Le Chonk”。Mistral 表示，这是目前中国以外性能最强的开放权重模型。

目前开发者可通过 Mistral 的 API 体验该模型，模型权重计划在完成安全评估后于 10 月底正式开放下载。

稀疏混合专家架构

ML4 采用了混合专家架构（MoE），虽然参数总量达 1 万亿，但每次推理仅激活 490 亿参数。模型支持文本和图像输入，仅输出文本。Mistral 在其欧洲本地数据中心使用 4,000 张英伟达 Grace Blackwell GPU，耗时约两个月从头完成训练，训练数据集覆盖超过 160 种语言。

Mistral 科学副总裁 Pierre Stock 指出，这一算力消耗比部分竞争对手低两到三倍。该模型主要面向网络安全、代码编写、金融分析、制造业以及芯片设计等场景。

在基准测试方面，Mistral 官方数据显示 ML4 在 DeepSWE 软件工程测试中取得了 62% 的成绩。第三方评测机构 Vals AI 的综合行业指数显示，该模型落后于 OpenAI 和 Anthropic 的旗舰闭源模型，但在法律智能体评测中表现突出。

安全测试后开放权重

据相关报道，Mistral 预计将在 10 月 27 日前后开放权重下载。在目前的预览阶段，公司正在与网络安全机构及政府部门合作进行红队测试，以确保开放的权重主要用于防御而非恶意攻击。

ML4 权重届时将采用 Mistral 定制许可协议发布，官方在此期间将继续通过强化学习对模型进行微调优化。

Mistral 首席执行官 Arthur Mensch 在阿布扎比的行业会议上表示，欧洲完全具备在全球顶尖 AI 领域竞争的能力，ML4 在网络安全等特定领域展现出了领先优势。今年 9 月，Mistral 刚完成由三星领投的 30 亿欧元 D 轮融资，公司估值达到 210 亿欧元。