像物理学家一样剪枝：将大模型层裁剪转化为伊辛优化问题

大语言模型的参数规模不断突破极限，随之而来的是高昂的推理成本与显存占用。在各类模型轻量化技术中，剪枝（Pruning）一直是研究热点。然而，直接剪除网络层（Block/Layer Removal）往往面临一个棘手难题：如何选出最该被删掉的那几层？

AI 计算公司 Multiverse Computing 近日在 Hugging Face 发布研究，换了一种物理学视角的解法：将大语言模型的层裁剪问题，形式化为统计物理学中经典的伊辛模型（Ising Model）优化问题。

传统层剪枝的痛点：忽略层间协同

相比细粒度的权重量化或非结构化稀疏，**整层裁剪（Block Removal）**能直接减少 Transformer 堆叠层数，无需依赖专用硬件加速库即可线性降低推理延迟和显存消耗。

但在选择裁剪哪些层时，业界通常采用启发式指标（如计算层间相似度、注意力熵）或贪心算法（逐层评估并移除影响最小的一层）。这种做法存在明显的局限性：

• 缺乏全局协同评估：网络层之间存在复杂的非线性交互。单独删去第 $i$ 层可能影响轻微，单独删去第 $j$ 层也无大碍，但若同时删去两层，模型能力可能发生断崖式崩塌；反之，某些层组合的共同冗余度反而极高。
• 组合爆炸：若从 $N$ 层网络中剪掉 $K$ 层，搜索空间呈组合级膨胀 $\binom{N}{K}$，暴力遍历完全不可行。

物理学映射：化模型剪枝为“寻找基态”

Multiverse Computing 的研究团队将该问题映射到了自旋玻璃与组合优化领域。

在统计物理中，伊辛模型通过描述相互耦合的自旋粒子系统（每个粒子自旋向上或向下）来寻找能量最低的基态。类似地，模型中的每一层也可以看作一个二值变量：

• 状态为 1：保留该层；
• 状态为 0（或 -1）：裁剪该层。

整个裁剪问题因此被转化为**无约束二值二次规划（QUBO）**问题：

1. 线性项（偏置）：表示单独评估某一层的冗余程度或重要性得分。
2. 二次项（耦合相互作用）：量化两层同时被保留或移除时的联合影响与表征差异。
3. 惩罚项（约束条件）：引入目标裁剪层数作为能量惩罚项，确保解满足预设的模型大小。

当整个系统的哈密顿量（目标能量函数）构建完成后，寻找“最优裁剪方案”就等价于求解伊辛模型的基态（能量最低态）。

求解与性能表现

将架构转化为伊辛模型后，求解工具箱变得极为丰富。研究团队既可以调用经典的启发式算法（如模拟退火 Simulated Annealing、张量网络算法），也可以直接部署在量子退火机或量子模拟硬件上运行。

实验结果表明，相较于传统的逐层贪心筛选法，基于伊辛优化的层裁剪方案具备显著优势：

• 保留更高的原始能力：在相同的参数压缩比下，全局组合优化选出的剪枝结构在下游任务（如常识推理、代码与数学评测）中指标衰减更小。
• 更低微调恢复成本：裁剪后的残缺模型破坏更少，在后续的参数微调（Fine-tuning）阶段能以更少的数据和步数快速恢复性能。
• 高效快速求解：构建层间相关性矩阵仅需少量校准数据运行前向传播，退火求解过程在经典 CPU/GPU 上几分钟内即可完成，计算开销远低于穷举搜索。

跨学科启发：AI 与量子物理的融合

从物理视角看待深度学习已成为近期前沿研究的重要趋势。Multiverse Computing 的这项工作证明，统计力学与量子算法不仅能用于解释神经网络的内部机理，还能直接转化为高效的工程工具，为端侧大模型部署和超大规模 LLM 的结构化压缩提供了全新的思路。