Thomas Wolf(@Thom_Wolf)
18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over. And yet the kn...
8.5内容质量
TL;DR · AI 摘要
当前20个最佳开源模型中,18个采用Mixture-of-Experts架构,传统密集模型已基本被淘汰。
核心要点
- MoE架构在18/20顶尖开源模型中成为主流,密集模型时代结束
- Hugging Face团队投入80万GPU小时完成MoE训练实验
- 《终极MoE训练手册》包含55个交互图表和实际运行代码
结构提纲
按章节快速跳转。
揭示当前20个最佳开源模型中18个采用MoE架构的行业趋势。
论证传统Dense模型在性能和效率上已被MoE全面超越。
列举MoE训练中遇到的7大核心问题及解决方案。
披露投入80万GPU小时进行的实验验证过程与结果。
说明《终极MoE训练手册》的55个交互图表和代码实操价值。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Mixture-of-Experts架构
- 行业现状
- 18/20顶尖模型采用MoE
- 密集模型时代终结
- 训练手册
- 80万GPU小时实验
- 55个交互图表
- 代码实操案例
金句 / Highlights
值得收藏与分享的关键句。
18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over.
We spent 800k GPU hours running the experiments ourselves and wrote everything down.
The Ultimate MoE Training Handbook contains 55 interactive figures and code you can run.
#Mixture-of-Experts#模型架构#Hugging Face#AI训练
打开原文Thomas Wolf 在 X 上的推文: "目前排名前 20 的最佳开源模型中,有 18 个是专家混合模型(MoE)。密集模型(Dense)基本上已经过时了。然而,训练出高质量 MoE 的专业知识仍然主要掌握在少数团队手中。因此我们投入了 80 万 GPU 小时亲自进行实验,并将所有内容记录下来。非常高兴终于发布《终极 MoE 训练手册》,这是一本免费开放的手册,围绕训练团队常遇到的问题进行组织: - 专家数量、规模、是否共享? - 为什么一半的步骤时间都花在 all-to-all 操作上,如何隐藏它? - 为什么我的运行速度变慢了 25 倍,日志中却没有错误? - 路由器使用 softmax、sigmoid 还是 sqrt(softplus),为什么要在 fp32 中保持? - 辅助损失函数还是 DeepSeek 的无损失偏差? - 是复用密集模型的检查点还是从零开始训练? - 是否可以使用比训练时更少的专家来服务? ⚠️ 警告:手册篇幅较长(约 7 万字,建议预留几天时间阅读,抱歉)但包含 55 个交互图表、可运行的代码以及我们自己的实验数据。在这里阅读:
huggingface.co/spaces/hugging…
$
00:00
/$
Nouamane Tazi 和 2 位其他人
2026年11月5日 下午7:57
·
6,789
浏览量
19
36
217
212