Thomas Wolf(@Thom_Wolf)

18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over. And yet the kn...

8.5内容质量

TL;DR · AI 摘要

当前20个最佳开源模型中,18个采用Mixture-of-Experts架构,传统密集模型已基本被淘汰。

核心要点

  • MoE架构在18/20顶尖开源模型中成为主流,密集模型时代结束
  • Hugging Face团队投入80万GPU小时完成MoE训练实验
  • 《终极MoE训练手册》包含55个交互图表和实际运行代码

结构提纲

按章节快速跳转。

  1. §MoE架构的崛起

    揭示当前20个最佳开源模型中18个采用MoE架构的行业趋势。

  2. 论证传统Dense模型在性能和效率上已被MoE全面超越。

  3. 列举MoE训练中遇到的7大核心问题及解决方案。

  4. 披露投入80万GPU小时进行的实验验证过程与结果。

  5. 说明《终极MoE训练手册》的55个交互图表和代码实操价值。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Mixture-of-Experts架构
    • 行业现状
      • 18/20顶尖模型采用MoE
      • 密集模型时代终结
    • 训练手册
      • 80万GPU小时实验
      • 55个交互图表
      • 代码实操案例

金句 / Highlights

值得收藏与分享的关键句。

#Mixture-of-Experts#模型架构#Hugging Face#AI训练
打开原文

Thomas Wolf 在 X 上的推文: "目前排名前 20 的最佳开源模型中,有 18 个是专家混合模型(MoE)。密集模型(Dense)基本上已经过时了。然而,训练出高质量 MoE 的专业知识仍然主要掌握在少数团队手中。因此我们投入了 80 万 GPU 小时亲自进行实验,并将所有内容记录下来。非常高兴终于发布《终极 MoE 训练手册》,这是一本免费开放的手册,围绕训练团队常遇到的问题进行组织: - 专家数量、规模、是否共享? - 为什么一半的步骤时间都花在 all-to-all 操作上,如何隐藏它? - 为什么我的运行速度变慢了 25 倍,日志中却没有错误? - 路由器使用 softmax、sigmoid 还是 sqrt(softplus),为什么要在 fp32 中保持? - 辅助损失函数还是 DeepSeek 的无损失偏差? - 是复用密集模型的检查点还是从零开始训练? - 是否可以使用比训练时更少的专家来服务? ⚠️ 警告:手册篇幅较长(约 7 万字,建议预留几天时间阅读,抱歉)但包含 55 个交互图表、可运行的代码以及我们自己的实验数据。在这里阅读:

huggingface.co/spaces/hugging…

$

00:00

/$

Nouamane Tazi 和 2 位其他人

2026年11月5日 下午7:57

·

6,789

浏览量

19

36

217

212