产品
别名：Muon Optimizer
一种基于矩阵正交化的深度学习优化器，包含KellerJordan、MuP等多个变体版本。
已跟踪 4 条高相关材料
最近变化
2026-06-03 · KellerJordan版Muon的max(1,⋅)源于din>dout且输入各向同性时的RMS近似推导。
为什么值得关注
Muon 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
为什么官方版Muon比MuP版多出一个max(1, ⋅)？
科学空间 · 9.2 分
Muon优化器官方版引入max(1,⋅)截断是为了在训练初期输入特征各向同性时稳定更新幅度，但在中后期特征呈现各向异性时，MuP版缩放因子更符合最速下降原理。工程上建议优先使用MuP版或采用从KellerJordan版到MuP版的动态衰减策略以兼顾收敛速度与稳定性。
矩阵参数的奇异值熵越高越好吗？
科学空间 · 9.2 分
奇异值熵并非越高越好；通过几何建模与平均场近似，发现最优熵值约为 log(n) - 1（n为矩阵维度），对应有效秩约 e·n，该值在自由度与表达能力间取得平衡。
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment
Import AI · 8 分
fast16病毒通过精准篡改科学计算软件破坏物理实验，预示AI超级智能可能用类似手段阻止竞争对手发展；Muon优化器存在神经元死亡缺陷，新推出的Aurora优化器在测试中表现更优。
已收录 4 条与 Muon 相关的内容，按评分排序。
Muon优化器官方版引入max(1,⋅)截断是为了在训练初期输入特征各向同性时稳定更新幅度，但在中后期特征呈现各向异性时，MuP版缩放因子更符合最速下降原理。工程上建议优先使用MuP版或采用从KellerJordan版到MuP版的动态衰减策略以兼顾收敛速度与稳定性。
入选理由：KellerJordan版Muon的max(1,⋅)源于din>dout且输入各向同性时的RMS近似推导。
奇异值熵并非越高越好；通过几何建模与平均场近似，发现最优熵值约为 log(n) - 1（n为矩阵维度），对应有效秩约 e·n，该值在自由度与表达能力间取得平衡。
入选理由：奇异值熵最大值为 log(n)，但最优值约为 log(n) - 1，对应有效秩 ≈ e·n（e≈2.718）
fast16病毒通过精准篡改科学计算软件破坏物理实验，预示AI超级智能可能用类似手段阻止竞争对手发展；Muon优化器存在神经元死亡缺陷，新推出的Aurora优化器在测试中表现更优。
入选理由：fast16病毒针对LS-DYNA/PKPM/MOHID等工程软件，通过FPU指令篡改精度计算
NVIDIA Megatron Core新增对Muon、MOP、REKLS等高阶优化器的端到端支持，突破传统数据并行限制，显著提升Kimi K2与Qwen3等300亿参数模型在GB300/NVL72系统上的训练效率。
入选理由：传统数据并行已不足以高效训练30B+大模型，需引入高阶优化器。
