Hugging Face Blog

Your Experts Have Partners. There's HOPE for Keeping Them Together

8.5内容质量

TL;DR · AI 摘要

HOPE方法通过二阶专家剪枝在保持MoE模型性能的同时减少50%内存占用,实验证明其在代理编码任务上优于现有方法6.1%。

核心要点

  • HOPE方法在50%剪枝率下实现6.1%性能提升,优于其他剪枝方法
  • MoE模型中95%内存由未使用的专家MLP占用,剪枝可解决内存瓶颈
  • 专家合作形成稳定集群,独立剪枝会导致次优结果

结构提纲

按章节快速跳转。

  1. MoE模型参数规模突破但面临内存瓶颈问题,传统剪枝方法存在局限性。

  2. 一阶方法忽略专家间协作关系,导致剪枝效果次优。

  3. ›HOPE方法原理

    二阶剪枝通过专家间相互作用分析实现更优剪枝决策。

  4. HOPE在50%剪枝率下保持模型性能并提升代理编码任务表现。

  5. 提供HOPE方法在实际模型中的部署实施方案。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • HOPE专家剪枝方法
    • 问题背景
      • MoE内存瓶颈
      • 传统剪枝局限性
    • 方法创新
      • 二阶专家交互分析
      • 协作集群识别
    • 实验结果
      • 50%剪枝率
      • 6.1%性能提升

金句 / Highlights

值得收藏与分享的关键句。

#MoE#模型压缩#专家剪枝#Hugging Face#Amazon
打开原文

你的专家拥有合作伙伴。HOPE 方法让它们保持在一起

返回文章

[0

[-1

企业

]

文章

发布于 2026 年 11 月 9 日

点赞

-

[

Alex M Tseng

alexmtseng

关注

amazon

专家混合语言模型中专家的高阶剪枝

介绍

专家混合(MoE)模型使最先进的大语言模型(LLM)能够扩展到数百亿个参数,但它们有一个根本且代价高昂的限制:在推理时,每个专家 MLP 都必须占用内存,尽管对于任何给定的 token 来说,绝大多数专家都是空闲的。例如,Qwen3.5-122B 在其 48 个 MoE 层中每层有 256 个专家,其约 250 GB 参数内存占用中,95% 都被这些专家 MLP 占用。然而,对于任何给定的 token,每层实际上只使用 8 个专家。

专家剪枝是解决这一内存瓶颈的最直接方法之一。即永久删除最不重要的专家。剪枝可以避免动态加载/卸载专家带来的延迟问题;不需要任何训练;并且可以与量化结合。鉴于这些有吸引力的优势以及该方法的简单性,很容易理解为什么专家剪枝已成为缩小 MoE 的首选方法。难点在于决定哪些专家最安全地移除。

现有剪枝方法独立地对每个专家进行评分,为每个专家分配一个标量重要性分数(基于校准数据集),并独立地在每层中移除最不重要的专家。这些是一阶方法,因为它们假设每个专家的贡献与其他专家无关。实际上,专家会形成合作组。我们在自己的实验中观察到一致的共同激活专家集群,独立研究也表明专家合作是 MoE 的稳定特性,对模型性能至关重要。忽略这些交互会导致次优的剪枝效果,尤其是在激进的剪枝率下。

我们最新的论文提出了 HOPE(专家的高阶剪枝),这是一种考虑专家之间成对交互的二阶方法。在 50% 剪枝率下,HOPE 在所有方法中实现了最佳的平均排名,在代理编码任务上相比次优剪枝方法最多提升了 +6.1%。

在本文中,我们将解释 HOPE 的工作原理,展示其优于现有方法的方面,并指导你如何在自己的模型中使用它。对于不熟悉 MoE 架构的读者,请参阅 Transformers 中的 专家混合(MoEs)。

专家并非独立工作

在标准 MoE 中,每一层有 E 个专家,每个输入 token x 独立路由到 K 个专家(K=8 是常见选择)。路由由一个单独的层执行,为每个专家 k 生成 softmax 归一化的门控权重 g_k(x),其中选择门控权重最高的 K 个专家组成激活专家集合 T(x) ⊂ {1,...,E}。该层的输出为 ∑_{k∈T(x)} g_k(x) f_k(x),其中 f_k(x) 是专家 k 对 token x 的输出。

左:典型的MoE层,每个token被路由到top-K专家。右:一阶方法根据标量重要性分数对专家进行排序和删除,但最佳剪枝决策还需考虑专家之间的交互强度。

重要的是,选定集合T(x)中的专家并非独立。专家会形成稳定的协作组,这些组会持续共同激活。文献中早有观察到这一现象:专家的协同选择模式在训练初期就已出现,并在整个训练过程中保持稳定。

这意味着当我们从MoE层剪枝专家时,剪枝决策需要考虑这些专家之间的高阶效应。单独移除专家A可能看似无害,但如果专家B(经常与A协作并依赖A)非常重要,那么移除A将通过单次删除破坏一个协作组。一阶方法完全忽略了这一点,因为它们分别对A和B进行评分。

这种效应在高剪枝率下会加剧。当我们移除多达50%的专家时,会破坏大量协作链接。这正是二阶剪枝最具优势的场景。

HOPE如何识别剪枝集合

(详见我们论文附录A中的HOPE目标完整推导)

当我们从某个MoE层删除一组P专家时,选定的专家集合T(x)(对任何token x)可能发生改变。原本会被选中的剪枝专家将被门控权重次高的专家替代。这种变化导致的层输出变化即为剪枝误差。我们的目标是找到剪枝集合P(在预定义的剪枝预算|P|下),使校准集上所有token x的剪枝误差最小。

不幸的是,直接对P最小化剪枝误差是不可行的。剪枝误差依赖于替代专家的身份,而这些身份又取决于剪枝集合P本身。HOPE通过定义一个可处理的替代量Z来规避这一问题,该量严格上界主导剪枝误差的组成部分:

Z = [ ∑ j ∈ P ∩ T ( x ) g j ( x ) ∥ f j ( x ) ∥ 2 ] 2 ≥ true error Z = \bigl[\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}\bigr]^{2} \geq \text{true error} Z = [ j ∈ P ∩ T ( x ) ∑ ​ g j ​ ( x ) ∥ f j ​ ( x ) ∥ 2 ​ ] 2 ≥ true error

由于Z是平方和,展开时自然产生专家对之间的交叉项g_i(x)g_j(x)∥f_i(x)∥_2∥f_j(x)∥_2。这些正是被一阶方法丢弃的交互项。

为找到最优剪枝集合,HOPE在校准集上最小化E[Z],可重新表述为以下二次规划问题:

P ∗ = arg min ⁡ p p ⊤ F p s.t. p ∈ { 0 , 1 } E , ∑ k = 1 E p k = ∣ P ∣ P^{*} = \argmin_{p}\; p^{\top}Fp \quad \text{s.t.} \quad p \in \{0,1\}^{E}, \sum\limits_{k=1}^{E}p_{k} = \vert P\vert P ∗ = p arg min ​ p ⊤ F p s.t. p ∈ { 0 , 1 } E , k = 1 ∑ E ​ p k ​ = ∣ P ∣

其中F ∈ R E × E F\in\mathbb{R}^{E\times E} F ∈ R E × E 定义为:

F i , j = 1 ∣ X i , j ∣ ∑ x ∈ X i , j g i ( x ) g j ( x ) ∥ f i ( x ) ∥ 2 ∥ f j ( x ) ∥ 2 where X i , j = { x : i , j ∈ T ( x ) } F_{i,j} = \frac{1}{\vert \mathcal{X}_{i,j}\vert} \sum\limits_{x\in\mathcal{X}_{i,j}} g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}\quad\text{where}\quad \mathcal{X}_{i,j} = \{x: i,j \in T(x)\} F i , j ​ = ∣ X i , j ​ ∣ 1 ​ x ∈ X i , j ​ ∑ ​ g i ​ ( x ) g j ​ ( x ) ∥ f i ​ ( x ) ∥ 2 ​ ∥ f j ​ ( x ) ∥ 2 ​ where X i , j ​ = { x : i , j ∈ T ( x )}

该 F 矩阵在校准数据集上收集,通过求解二次规划(QP)问题并进行连续松弛(随后四舍五入为二进制解)可获得最优剪枝集合。每个 F i , j F_{i,j} F i , j ​ 项表示在两个专家同时被激活的 token 上,专家 i i i 和 j j j 的平均门控加权输出乘积。对角线上的 F k , k F_{k,k} F k , k ​ 衡量单个专家的重要性,而非对角线项(i ≠ j 时的 F i , j F_{i,j} F i , j ​ )则衡量专家间的协作贡献。

在实际应用中,F F F 矩阵呈现什么特征?它展示了专家协作的结构,该结构依赖于网络层:

GLM-4.5-Air(每层 128 个专家,总参数量 106B)在三个典型层(早期、中期、晚期)的交互矩阵 F 可视化。专家已被聚类以揭示块状结构。对角线上的明亮块表示具有强两两交互分数的专家组。

就实际成本而言,HOPE 与任何其他专家剪枝方法需要相同的校准过程(在校准数据上进行一次前向传递)。唯一的额外操作是求解二次规划问题,该问题虽为非凸问题,但可通过标准 QP 求解器高效解决(每层耗时 1–2 秒)。与一阶方法相比,校准过程耗时占主导地位,因此额外开销可以忽略不计。

#### 与 REAP 的联系

值得注意的是,HOPE 与基于路由权重的专家激活剪枝(REAP)方法有紧密联系,REAP 是一种先进的专家剪枝一阶方法。HOPE 的 F 矩阵在对角线上编码了单个专家的重要性分数,该对角线有效恢复了 REAP 用于独立排序专家的分数(仅在专家贡献方差上存在差异)。F F F 的对角线几乎完美地恢复了 REAP 的专家排名(Spearman ρ = 0.988 ρ = 0.988 ρ = 0.988 )。因此,HOPE 相比 REAP 的任何改进都归因于 F F F 矩阵非对角项中的二阶交互项。

结果

我们使用 3 个模型(Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air)评估了 HOPE 作为专家剪枝方法的效果,使用了 2 个校准数据集(Evol-CodeAlpaca 和 SWE-Bench Verified trajectories)。我们使用 Tulu3 套件和 SWE-Bench Pro(代理编程)测试剪枝后的模型效果,并将 HOPE 与 4 个一阶基线方法(REAP、MAN、EAN 和 Frequency)在 10% 到 50% 的剪枝率范围内进行比较。

HOPE 在所有条件下均取得最佳总体排名,并在激进剪枝率下表现突出。左图:所有模型、校准集和基准测试中的平均排名(数值越低越好)。右图:Qwen3.5-35B 上 SWE-Bench Pro 的性能表现。

在所有条件下,HOPE均取得了最佳平均排名(5种方法中排名第2.07),其在榜首完成率(39%的条件)和前二完成率(67%)方面表现最为突出。在一对一比较中,HOPE在多数条件下均优于所有其他基线方法。

正如预期,随着剪枝率的提高,HOPE的优势愈加明显。当更多专家被移除时,协作链接被破坏得更加严重,F F F矩阵的非对角项变得尤为重要。在50%剪枝率下,HOPE的平均排名提升至1.58(相比之下,次优方法REAP的平均排名为2.42)。这也是最具有实际部署意义的设置,此时内存节省量足够支持更长的上下文、更深层次的推理以及更多的工具调用。

HOPE的优势在SWE-Bench Pro上表现最为显著,这是一个要求模型自主解决真实GitHub问题的智能体编码基准测试。这些问题涉及多轮次的组合多样化任务(如编码、工具调用、推理等),很可能需要使用多种专家组合,这正是保留协作结构最为关键的场景。在Qwen3.5-35B-A3B模型50%剪枝率下,HOPE在SWE-Bench Pro上取得了42.3分,与未剪枝模型的41.8分相当(而REAP下降至36.2分,出现了13%的性能回退)。

值得注意的是,剪枝后的模型有时可以匹配甚至超越未剪枝基线,这可能是因为移除低相关性专家减少了目标任务的噪声。这种现象不仅限于HOPE,其他剪枝方法也观察到了类似效果。此外,我们的实验表明,使用任何剪枝方法(包括HOPE)进行代码专注校准,都不会严重损害非编码基准测试的表现,且HOPE在Tulu3套件中的表现始终良好,无论校准集如何选择。

#### HOPE保留更多协作专家

保留专家的平均协作强度(通过F矩阵值衡量),按HOPE与REAP意见分歧的专家进行分类。

HOPE的优势源于对整个交互矩阵F F F的优化。为理解这如何影响实际的剪枝决策,我们分析了HOPE与REAP存在分歧的专家。对于每个存在分歧的专家,我们计算其协作得分(即其与其他保留专家的平均F值)。仅被HOPE保留的专家的协作得分始终高于仅被REAP保留的专家。换句话说,在QP优化过程中,HOPE牺牲了一些个体得分高的专家,以保留协作集群。上述基准性能的提升验证了这种权衡的优越性。

如何运行HOPE

我们创建了一个基础包来运行HOPE。它包含三个步骤:1)校准;2)求解;3)剪枝。我们的包已在Qwen3、Qwen3-Next、Qwen3.5和GLM-4.5上进行了测试。

#### 步骤1:校准

code
hope calibrate \
    --model-path Qwen/Qwen3.5-35B-A3B \
    --prompts calibration_prompts.txt \
    --out-path observations.h5

校准步骤会一次性遍历校准数据,无论是智能体展开还是单轮追踪。这使用HuggingFace transformers来挂钩每个单独的MoE层的前向传递。对于每个token,这会记录所选专家、门控权重、输出规范以及成对共激活统计信息。该步骤的输出是F矩阵,存储在HDF5文件中。

#### 步骤2:求解QP

code
hope solve \
    --obs-path observations.h5 \
    --prune-frac 0.50 \
    --out-path pruneset.json

该命令生成F矩阵并通过连续松弛求解二进制二次规划问题。每层处理需要几秒钟,输出是一个包含剪枝集的JSON文件。这在技术上是HOPE算法的最终输出。

#### 第3步:剪枝

code
hope prune \
    --model-path Qwen/Qwen3.5-35B-A3B \
    --pruneset-path pruneset.json \
    --out-path ./Qwen3.5-35B-A3B-pruned-50

要完成整个流程,我们需要运行此命令根据剪枝集实际生成更小的模型检查点。剪枝后的模型是标准的HuggingFace检查点,在磁盘和内存占用上都更小(无需修改vLLM或SGLang模型定义)。

我们还发布了更紧凑的Python API:

code
from
hope.calibrate
import
calibrate
from
hope.solve
import
solve
from
hope.prune
import
prune_model

calibrate(
"Qwen/Qwen3.5-35B-A3B"
, calibration_prompts,
"observations.h5"
)
solve(
"observations.h5"
, prune_frac=
0.50
, out_path=
"pruneset.json"
)
prune_model(
"Qwen/Qwen3.5-35B-A3B"
,
"pruneset.json"
,
"./Qwen3.5-35B-A3B-pruned-50"
)

HOPE的局限性

HOPE的优势在较高剪枝率(40-50%)时最为显著。在较低剪枝率(10-20%)时,REAP和MAN等一阶方法有时具有竞争力,HOPE的优势会减弱。此外,与大多数专家剪枝算法类似,HOPE独立剪枝每一层,未考虑跨层交互。在我们的论文中,我们提出了跨层HOPE的理论框架,但结果仍处于初步阶段。最后,HOPE捕捉了二元交互,但更高阶的交互(三元组及以上)可能提供额外信息,尽管它们在组合估计上存在困难。

更多信息

更多信息请参见我们的论文和代码库。

论文:https://arxiv.org/abs/2609.18916

代码:https://github.com/awslabs/HOPE

要了解HOPE如何应用于下一代混合架构,请参见我们的对应仓库。

引用:

code
@article{tseng2026hope,
    title={Higher-Order Pruning of Experts in Mixture-of-Experts Language Models},
    author={Tseng, Alex M. and Kaul, Prannay and Zancato, Luca and Xia, Wei and Soatto, Stefano},
    journal={arXiv preprint arXiv:2609.18916},
    year={2026},
}

更多该作者的文章

TorchNeuron性能分析(第一部分):AWS Trainium上的系统级分析

13

2026年10月21日

通过Strands Agents、LeRobot和Hugging Face存储桶从一个地方记录、训练和部署

35

2026年8月13日

社区

编辑

预览

通过在文本输入框拖拽、粘贴或

点击此处

上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以评论