为什么官方版Muon比MuP版多出一个max(1, ⋅)？
科学空间1705 字 (约 7 分钟)
92
Muon优化器官方版引入max(1,⋅)截断是为了在训练初期输入特征各向同性时稳定更新幅度，但在中后期特征呈现各向异性时，MuP版缩放因子更符合最速下降原理。工程上建议优先使用MuP版或采用从KellerJordan版到MuP版的动态衰减策略以兼顾收敛速度与稳定性。
入选理由：KellerJordan版Muon的max(1,⋅)源于din>dout且输入各向同性时的RMS近似推导。
精选文章#Muon优化器#MuP#深度学习优化#特征缩放#大模型训练中文