华为发布 MACaQ 量化工具：122B 模型 64 分钟量化，内存仅需 32.5GB

华为计算系统实验室（Huawei Computing Systems Lab, CSL）11 月 11 日在 GitHub 开源了 MACaQ 量化工具，这是一个模型无关的量化框架，支持对文本、图像、视频和音频模型进行低比特量化，可在本地设备上高效运行大模型。

核心性能指标

MACaQ 可在 64 分钟内量化一个 122B 参数模型，设备内存消耗仅 32.5GB。与现有方案相比，MACaQ 在 Llama-3-8B 上的困惑度（perplexity）低于 MR-GPTQ 和 DuQuant++，或者在相同质量下量化速度快 11 倍。

工具支持多种推理后端，包括 llama.cpp（2/3/4-bit GGUF 格式）、vLLM（W4A4 或仅权重量化）、Diffusers（图像/视频/音频生成）和 PyTorch（语音生成）。

MACaQ-R：原地优化量化模型

MACaQ-R 是该工具的精化模块，可在保留 GGUF 原生格式和块缩放因子的前提下，对已量化模型的权重码本进行再优化。优化后的 GGUF 文件可直接用标准 llama.cpp 运行，无需额外依赖。

在 Qwen3.6-35B-A3B 模型上，MACaQ-R 相比原始量化版本进一步降低了 KL 散度（与 FP16 的差异），质量更接近全精度模型。

跨模态支持

MACaQ 不局限于文本模型。在扩散变换器（Diffusion Transformers）上，工具可量化图像、视频和音频生成模型至 W4A4 精度，并保存 safetensors 检查点。对于图生视频（Image-to-Video）任务，校准阶段会使用条件图像。

语音生成模型同样支持 W4A4 量化，保存的检查点可重复加载，无需重新校准。

硬件加速内核

华为为昇腾（Ascend）平台贡献了 W4A4 密集矩阵乘法和分组矩阵乘法内核，分别通过 PTO-ISA 和 TileLang 实现，已提交至 CANN 的 ops-nn 和 ops-tilelang 仓库。完整的模型执行需集成昇腾推理运行时。

开源与论文

MACaQ 在 Apache License 2.0 下开源，对应论文已发布于 arXiv（编号 2611.10649）。工具要求 Python 3.12，每个推理后端需使用独立环境。llama.cpp 支持 CPU 执行。

该工具的发布标志着华为在端侧 AI 推理优化领域的又一布局，尤其在资源受限设备上运行超大模型方面提供了实用方案。