科学空间

从参数对称性到有效学习率

6.9内容质量

TL;DR · AI 摘要

Title: 从参数对称性到有效学习率 - 科学空间 Scientific Spaces URL Source: Markdown Content: 近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如Hyperb...

核心要点

  • 主题聚焦:从参数对称性到有效学习率
  • 来源:科学空间,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。

近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如Hyperball、HyperTransfer、ELR等,它们总体都是围绕着$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$这一对称性假设来展开探索。如果我们让优化器的设计也“顺应”相应的对称性,往往能让训练过程更为稳健,也能降低超参数调优的心智负担。

然而,对称性假设本身也有一些争议的地方,如何为这条路找到更可靠的基础,让它可以更合理地走得更远?这篇文章分享一下笔者的思考。

结果回顾[#](https://spaces.ac.cn/archives/11985#%E7%BB%93%E6%9E%9C%E5%9B%9E%E9%A1%BE)

这一节我们先来整理一下开头提到的三篇文章的逻辑线。

首先,它们都有一个核心假设:模型恒成立$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$,其中$\mathbf{\mathit{w}}$是模型的某个参数,$c$是任意正数,$ℓ$是损失函数。显然,这个假设意味着模型的效果跟参数$\mathbf{\mathit{w}}$模长无关,所以Hyperball主张每步更新后都将$\mathbf{\mathit{w}}$的模长重新归一化为某个数值$\rho$:

$$ (\text{1}) \mathbf{\mathit{w}}_{t + 1} = \mathbf{\mathit{w}}_{t} - \eta_{t} \mathbf{\mathit{u}}_{t} \rightarrow \mathbf{\mathit{w}}_{t + 1} = \frac{\mathbf{\mathit{w}}_{t} - \eta_{t} \mathbf{\mathit{u}}_{t}}{\parallel \mathbf{\mathit{w}}_{t} - \eta_{t} \mathbf{\mathit{u}}_{t} \parallel_{2}} \times \rho $$

另外两篇则提出,我们可以不改更新规则,但既然模型效果与模长无关,那么在训练过程中,$\mathbf{\mathit{w}}$的方向向量$\overset{\sim}{\mathbf{\mathit{w}}} = \mathbf{\mathit{w}} / \parallel \mathbf{\mathit{w}} \parallel_{2}$的变化率更为本质,所以它们主张观测和对齐AUS(Angular Update Size):

$$ (\text{2}) \text{AUS} \triangleq \parallel \overset{\sim}{\mathbf{\mathit{w}}}_{t + 1} - \overset{\sim}{\mathbf{\mathit{w}}}_{t} \parallel_{2} \approx \frac{\eta_{t} \parallel \mathbf{\mathit{u}}_{t} - \overset{\sim}{\mathbf{\mathit{w}}}_{t} \overset{\sim}{\mathbf{\mathit{w}}}_{t}^{\top} \mathbf{\mathit{u}}_{t} \parallel_{2}}{\parallel \mathbf{\mathit{w}}_{t} \parallel_{2}} $$

进一步地,由于$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$恒成立,两边对$c$求导然后取$c = 1$得$\mathbf{\mathit{w}}^{\top} \nabla_{\mathbf{\mathit{w}}} ℓ = 0$,即$\mathbf{\mathit{w}}$的梯度始终与$\mathbf{\mathit{w}}$垂直。由于更新量$\mathbf{\mathit{u}}_{t}$基于梯度构建,所以干脆近似地认为这个垂直性质能延伸到更新量上,于是$\overset{\sim}{\mathbf{\mathit{w}}}_{t}^{\top} \mathbf{\mathit{u}}_{t} \approx 0$,从而有

$$ (\text{3}) \text{AUS} \approx \frac{\eta_{t} \parallel \mathbf{\mathit{u}}_{t} \parallel_{2}}{\parallel \mathbf{\mathit{w}}_{t} \parallel_{2}} $$

相比$\parallel \eta_{t} \mathbf{\mathit{u}}_{t} \parallel_{2} = \eta_{t} \parallel \mathbf{\mathit{u}}_{t} \parallel_{2}$,上式多除了个$\parallel \mathbf{\mathit{w}}_{t} \parallel_{2}$,含义是相对更新大小,我们认为它才是更本质的学习率,称为“有效学习率(Effective Learning Rate,ELR)”,不同优化器通过对齐它,可以得到相近的表现,甚至学习率相关的Scaling Law,也应该以它为准。

假设分析[#](https://spaces.ac.cn/archives/11985#%E5%81%87%E8%AE%BE%E5%88%86%E6%9E%90)

然而,这一套下来最根本的问题是:在当前的主流架构下,“$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$恒成立”是一个近乎完全不成立的假设!

注意到,我们现在主流的模型架构都是In Norm形式,不管你搭配的是常规Residual还是MHC、AttnRes,它的每一个子层都是$f \left(\right. \text{Norm} ⁡ \left(\right. \mathbf{\mathit{X}} \left.\right) \left.\right)$,其中

$$ (\text{4}) f_{a t t n} \left(\right. \mathbf{\mathit{X}} \left.\right) = \varphi \left(\right. \mathbf{\mathit{X}} \mathbf{\mathit{W}}_{q} \left(\right. \mathbf{\mathit{X}} \mathbf{\mathit{W}}_{k} \left.\right)^{\top} \left.\right) \left(\right. \mathbf{\mathit{X}} \mathbf{\mathit{W}}_{v} \left.\right) \mathbf{\mathit{W}}_{o} \\ (\text{5}) f_{g l u} \left(\right. \mathbf{\mathit{X}} \left.\right) = \left(\right. \mathbf{\mathit{X}} \mathbf{\mathit{W}}_{u p} \bigodot \psi \left(\right. \mathbf{\mathit{X}} \mathbf{\mathit{W}}_{g a t e} \left.\right) \left.\right) \mathbf{\mathit{W}}_{d o w n} $$

$\text{Norm}$只能消除输入尺度的影响,但没法消除这一层参数尺度的影响,那么$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$就无从说起。事实上,对于主流Transformer架构而言,几乎没有一个参数能够满足这种缩放不变性。 唯一例外的是带QK-Norm的模型,它们的$\mathbf{\mathit{W}}_{q} , \mathbf{\mathit{W}}_{k}$就具备这个特性;此外,由于LM Head的输入也带RMS Norm,所以Embedding层以及所有层的输出矩阵同时乘一个数,输出也保持不变。但这些毕竟只是零星的、有条件的不变性,并不普遍成立,因此我们说$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$是难以成立的假设,甚至近似成立都说不上。

另一方面,Hyperball、ELR、HyperTransfer所得的结论,又能在实践中表现出一定程度上的有效性,这相当于说“结果是对的,但过程有问题”。那么该如何修正这个论证过程,来得到类似的结论呢?

联合对称[#](https://spaces.ac.cn/archives/11985#%E8%81%94%E5%90%88%E5%AF%B9%E7%A7%B0)

庆幸的是,虽然$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$这种对称性无法成立,但现有模型架构普遍成立一种联合对称性:对于某些参数对$\mathbf{\mathit{w}}_{1} , \mathbf{\mathit{w}}_{2}$,恒成立$ℓ \left(\right. \mathbf{\mathit{w}}_{1} , \mathbf{\mathit{w}}_{2} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}}_{1} , c^{- 1} \mathbf{\mathit{w}}_{2} \left.\right)$。

这些参数对包括:

1、Attention层的$\left(\right. \mathbf{\mathit{W}}_{q} , \mathbf{\mathit{W}}_{k} \left.\right)$和$\left(\right. \mathbf{\mathit{W}}_{v} , \mathbf{\mathit{W}}_{o} \left.\right)$,以及GLU层的$\left(\right. \mathbf{\mathit{W}}_{u p} , \mathbf{\mathit{W}}_{d o w n} \left.\right)$;

2、如果GLU层的门控用ReLU激活,那么$\left(\right. \mathbf{\mathit{W}}_{g a t e} , \mathbf{\mathit{W}}_{d o w n} \left.\right)$、$\left(\right. \mathbf{\mathit{W}}_{g a t e} , \mathbf{\mathit{W}}_{u p} \left.\right)$也是这样的一个参数对(如果是Swish,那么可以视为近似成立);

3、将$\mathbf{\mathit{W}}_{q} , \mathbf{\mathit{W}}_{k} , \mathbf{\mathit{W}}_{v}$视为一个大参数,它与当前层RMS Norm的$\mathbf{\mathit{\gamma}}$组成的一个参数对;

4、同理,将$\mathbf{\mathit{W}}_{u p} , \mathbf{\mathit{W}}_{g a t e}$视为一个大参数,它与当前层RMS Norm的$\mathbf{\mathit{\gamma}}$组成的一个参数对;

5、LM Head层的RMS Norm的$\mathbf{\mathit{\gamma}}$参数与LM Head的参数矩阵组成这样的一个参数对。

第3、4点尤其值得留意:这里必须把整组输入矩阵一起缩放。只缩放其中一个矩阵,虽然能抵消这对参数的尺度变化,却会让组内其他参数多缩放一个因子,前向结果通常仍会改变。此外,有些联合对称还能细化到逐向量甚至逐通道层面,这说明尺度冗余在现代模型中并不少见,只是它通常依附于参数之间的配合。

尝试替代[#](https://spaces.ac.cn/archives/11985#%E5%B0%9D%E8%AF%95%E6%9B%BF%E4%BB%A3)

上一节介绍的普遍存在的对称性,能否替代难以成立的$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}} \left.\right)$,重新支撑起Hyperball、ELR等结论呢?

首先,$ℓ \left(\right. \mathbf{\mathit{w}}_{1} , \mathbf{\mathit{w}}_{2} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}}_{1} , c^{- 1} \mathbf{\mathit{w}}_{2} \left.\right)$意味着我们可以固定其中一个参数的模长,而不损失模型的表达能力。留意到Attention层和GLU层多数的矩阵参数都和它们相应的$\mathbf{\mathit{\gamma}}$参数有这种联合对称性,因此我们可以考虑固定矩阵参数的模长,但保留$\mathbf{\mathit{\gamma}}$模长的可训性,这才是Hyperball所主张的。

但这里还要注意一个细节:以Attention层为例,$\mathbf{\mathit{\gamma}}$的联合对称性,是需要将$\mathbf{\mathit{W}}_{q} , \mathbf{\mathit{W}}_{k} , \mathbf{\mathit{W}}_{v}$视为整体才能得出的,并且也不涉及到$\mathbf{\mathit{W}}_{o}$,但Hyperball的实践是分别固定每个参数的模长,所以它理论上还是有损表达力的,其有效性不能完全由联合对称性解释,它更多表明模型的容错性要比我们想象中强得多。

接着,$ℓ \left(\right. \mathbf{\mathit{w}}_{1} , \mathbf{\mathit{w}}_{2} \left.\right) = ℓ \left(\right. c \mathbf{\mathit{w}}_{1} , c^{- 1} \mathbf{\mathit{w}}_{2} \left.\right)$两边对$c$求导,然后代入$c = 1$,将得到

$$ (\text{6}) 0 = \mathbf{\mathit{w}}_{1}^{\top} \nabla_{\mathbf{\mathit{w}}_{1}} ℓ - \mathbf{\mathit{w}}_{2}^{\top} \nabla_{\mathbf{\mathit{w}}_{2}} ℓ = \left[\right. \mathbf{\mathit{w}}_{1} , - \mathbf{\mathit{w}}_{2} \left]\right.^{\top} \left[\right. \nabla_{\mathbf{\mathit{w}}_{1}} ℓ , \nabla_{\mathbf{\mathit{w}}_{2}} ℓ \left]\right. $$

这表明将$\left(\right. \mathbf{\mathit{w}}_{1} , - \mathbf{\mathit{w}}_{2} \left.\right)$视为一个向量,它与梯度$\left(\right. \nabla_{\mathbf{\mathit{w}}_{1}} ℓ , \nabla_{\mathbf{\mathit{w}}_{2}} ℓ \left.\right)$始终保持垂直。当联合对称性足够多时(比如$\mathbf{\mathit{W}}_{q}$既与$\mathbf{\mathit{W}}_{k}$联合对称,也与$\mathbf{\mathit{\gamma}}$联合对称),我们假设这个垂直性质可以分解到每一个向量上,即认为

$$ (\text{7}) \left[\right. \mathbf{\mathit{w}}_{1} , - \mathbf{\mathit{w}}_{2} \left]\right.^{\top} \left[\right. \nabla_{\mathbf{\mathit{w}}_{1}} ℓ , \nabla_{\mathbf{\mathit{w}}_{2}} ℓ \left]\right. = 0 \Rightarrow \mathbf{\mathit{w}}_{1}^{\top} \nabla_{\mathbf{\mathit{w}}_{1}} ℓ \approx 0 , \mathbf{\mathit{w}}_{2}^{\top} \nabla_{\mathbf{\mathit{w}}_{2}} ℓ \approx 0 $$

于是前面关于AUS、ELR的分析还可以复现。当然,这里涉及到从整体垂直到局部垂直、从梯度垂直到更新量垂直,有很长的假设链,并不保证准确,所以《Hyperball May Not Be a Free Lunch》在有效学习率的定义中,显式保留参数和更新量的内积项,这也不失为一种更合理的选择。

推导反思[#](https://spaces.ac.cn/archives/11985#%E6%8E%A8%E5%AF%BC%E5%8F%8D%E6%80%9D)

回顾整个推导链条,我们主要在试图论证如下几点:模长不重要、AUS更本质、AUS与ELR的等价性。但如果进一步追问,我们会发现不管是模长还是AUS,这些观测对象的选择本身就有非常主观,没有说明这背后更本质的期望是什么。

我们知道,每一种对称性都代表着模型的一个不变性质,即对于前向计算来说,变换前后的模型是两个数学上完全等价的函数。对于训练来说,我们期望两种不同但前向等价的参数化,能获得完全一样的训练轨迹,这样能增强各种超参数的可迁移性,让训练过程中的心智负担更低。

举个例子,假设有模型$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right)$,然后引入另外一个模型$ℓ \left(\right. c^{- 1} \hat{\mathbf{\mathit{w}}} \left.\right)$,其中$\hat{\mathbf{\mathit{w}}} = c \mathbf{\mathit{w}}$。显然这两个模型是完全等价的,但它们在同一优化器、同一超参数下,训练轨迹往往不等价,比如SGD下我们分别有

$$ (\text{8}) \mathbf{\mathit{w}}_{t + 1} = \mathbf{\mathit{w}}_{t} - \eta_{t} \nabla_{\mathbf{\mathit{w}}_{t}} ℓ \\ (\text{9}) \hat{\mathbf{\mathit{w}}}_{t + 1} = \hat{\mathbf{\mathit{w}}}_{t} - \eta_{t} \nabla_{\hat{\mathbf{\mathit{w}}}_{t}} ℓ = \hat{\mathbf{\mathit{w}}}_{t} - \eta_{t} c^{- 1} \nabla_{\mathbf{\mathit{w}}_{t}} ℓ \Rightarrow \mathbf{\mathit{w}}_{t + 1} = \mathbf{\mathit{w}}_{t} - c^{- 2} \eta_{t} \nabla_{\mathbf{\mathit{w}}_{t}} ℓ $$

由此可见,从$ℓ \left(\right. \mathbf{\mathit{w}} \left.\right)$变成$ℓ \left(\right. c^{- 1} \hat{\mathbf{\mathit{w}}} \left.\right)$,虽然前向是等价的,但后者在SGD下相当于学习率缩放到$c^{- 2}$倍,因此优化轨迹不等价。这个特性对优化并不友好,因为它不仅要我们保证模型的函数等价性,还要求精细对齐参数化方式,才能复现模型的训练过程和效果。

理想更新[#](https://spaces.ac.cn/archives/11985#%E7%90%86%E6%83%B3%E6%9B%B4%E6%96%B0)

什么样的更新量才是理想更新量呢?设更新量一般形式为$\phi \left(\right. \mathbf{\mathit{w}} , \mathbf{\mathit{g}} \left.\right)$,其中$\mathbf{\mathit{g}} = \nabla_{\mathbf{\mathit{w}}} ℓ$,从上一节可以看出,参数乘以$c$,梯度就会除以$c$,此时我们期望优化器给出的更新量也会同时乘以$c$,这样才能使得更新轨迹理论上不变,即满足如下协变性

$$ (\text{10}) \phi \left(\right. c \mathbf{\mathit{w}} , c^{- 1} \mathbf{\mathit{g}} \left.\right) = c \phi \left(\right. \mathbf{\mathit{w}} , \mathbf{\mathit{g}} \left.\right) $$

但这还不够。对优化器我们还有一个更基本的期望,那就是给损失函数随便乘个正常数,优化轨迹也不应该发生变化,因为乘上的正常数理论上不携带任何有效信息。这样一来,上式$c^{- 1}$应该可以换成任意常数,于是完整的期望的协变性是:对于任意$c_{1} , c_{2} > 0$,恒成立

$$ (\text{11}) \phi \left(\right. c_{1} \mathbf{\mathit{w}} , c_{2} \mathbf{\mathit{g}} \left.\right) = c_{1} \phi \left(\right. \mathbf{\mathit{w}} , \mathbf{\mathit{g}} \left.\right) $$

两端除以$c_{1}$,然后代入$c_{1} = 1 / \parallel \mathbf{\mathit{w}} \parallel , c_{2} = 1 / \parallel \mathbf{\mathit{g}} \parallel$,得

$$ (\text{12}) \phi \left(\right. \mathbf{\mathit{w}} , \mathbf{\mathit{g}} \left.\right) = \parallel \mathbf{\mathit{w}} \parallel \phi \left(\right. \frac{\mathbf{\mathit{w}}}{\parallel \mathbf{\mathit{w}} \parallel} , \frac{\mathbf{\mathit{g}}}{\parallel \mathbf{\mathit{g}} \parallel} \left.\right) $$

留意到当$\mathbf{\mathit{w}} , \mathbf{\mathit{g}}$本就满足$\parallel \mathbf{\mathit{w}} \parallel = 1 , \parallel \mathbf{\mathit{g}} \parallel = 1$时,上式自动成立,换句话说,当$\parallel \mathbf{\mathit{w}} \parallel = 1 , \parallel \mathbf{\mathit{g}} \parallel = 1$时,$\phi$可以是任意二元函数$F \left(\right. \cdot , \cdot \left.\right)$,所以它的通解是

$$ (\text{13}) \phi \left(\right. \mathbf{\mathit{w}} , \mathbf{\mathit{g}} \left.\right) = \parallel \mathbf{\mathit{w}} \parallel F \left(\right. \frac{\mathbf{\mathit{w}}}{\parallel \mathbf{\mathit{w}} \parallel} , \frac{\mathbf{\mathit{g}}}{\parallel \mathbf{\mathit{g}} \parallel} \left.\right) $$

结果分析[#](https://spaces.ac.cn/archives/11985#%E7%BB%93%E6%9E%9C%E5%88%86%E6%9E%90)

式$(\text{13})$给出了满足协变性$(\text{11})$的解的一般结构:对$\mathbf{\mathit{w}}$、$\mathbf{\mathit{g}}$分别归一化,然后允许它们俩做任意运算,最后的运算结果再乘上$\parallel \mathbf{\mathit{w}} \parallel$。从这个形式不难看出,将SGD变得满足协变性的最简单方案是

$$ (\text{14}) \mathbf{\mathit{w}}_{t + 1} = \mathbf{\mathit{w}}_{t} - \eta_{t} \parallel \mathbf{\mathit{w}}_{t} \parallel \frac{\mathbf{\mathit{g}}_{t}}{\parallel \mathbf{\mathit{g}}_{t} \parallel} $$

对于一般优化器,可以考虑将$\mathbf{\mathit{g}}_{t}$换成$\mathbf{\mathit{u}}_{t}$,得

$$ (\text{15}) \mathbf{\mathit{w}}_{t + 1} = \mathbf{\mathit{w}}_{t} - \eta_{t} \parallel \mathbf{\mathit{w}}_{t} \parallel \frac{\mathbf{\mathit{u}}_{t}}{\parallel \mathbf{\mathit{u}}_{t} \parallel} $$

由于我们已经显式分离出了$\parallel \mathbf{\mathit{w}}_{t} \parallel$和$\parallel \mathbf{\mathit{u}}_{t} \parallel$,所以这里的$\eta_{t}$就是前面的有效学习率。至此,我们以一种截然不同的方式导出了有效学习率的概念,它是将优化器重新改写成满足协变性的最简单方式,或者说,对齐有效学习率来实现训练轨迹的可迁移性,本质上就是在实现优化器的协变性。 注意一个细节:模长我们写的是$\parallel \cdot \parallel$,而不是$\parallel \cdot \parallel_{2}$。这意味着它并非天然绑定欧氏范数或者RMS,实际上代入任意一种范数都能满足所期望的协变性,甚至非范数也行,只需要它是向量到标量的一个正齐次的映射,选择欧氏范数或RMS,更多是因为它计算简单且几何意义直观。

最后,式$(\text{13})$中$F$的任意性也提醒我们:满足协变性的优化器并不唯一,式$(\text{15})$只是其中看上去最简单的一个。

似曾相识[#](https://spaces.ac.cn/archives/11985#%E4%BC%BC%E6%9B%BE%E7%9B%B8%E8%AF%86)

如果我们重温“让炼丹更科学一些”系列文章,就会发现其实类似式$(\text{14})$的结论早已出现过。比如在《让炼丹更科学一些(五):基于梯度精调学习率》中我们推导过,在最小化收敛上界的设置下,最优学习率的一个经典形式是

$$ (\text{16}) \eta_{t} = \frac{R}{\sqrt{\sum_{k = 1}^{t} \parallel \mathbf{\mathit{g}} \left(\right. \mathbf{\mathit{x}}_{k} , \mathbf{\mathit{\theta}}_{k} \left.\right) \parallel^{2}}} $$

其中$\mathbf{\mathit{g}} \left(\right. \mathbf{\mathit{x}}_{k} , \mathbf{\mathit{\theta}}_{k} \left.\right)$是梯度,而$R$是参数与最优点的距离上界。由此可见,即便是经典的凸优化结果,它的最佳学习率也已经指向了

$$ (\text{17}) \eta_{t} \propto \frac{参数模长\text{ }(的变式)}{梯度模长\text{ }(的变式)} $$

的形式,而这个比例系数,便相当于有效学习率!所以,有效学习率的概念其实早有踪迹,只不过之前我们只是把参数模长的部分当作超参数来搜索,没有把它单独分离出来,只留下基于二阶矩的自适应学习率部分。 不过,需要指出的是,在相关收敛结论的推导中,为了分析的方便,我们通常将$R$取成常数(某个共同上界或者初始值,取决于不同的分析手段),所以它跟有效学习率的动态定义不完全一致。但原则上我们可以做更精细的假设,得到更符合当前有效学习率的动态结论,这些后面再找机会讨论了。

调度形式[#](https://spaces.ac.cn/archives/11985#%E8%B0%83%E5%BA%A6%E5%BD%A2%E5%BC%8F)

多个不同的视角,都指向了有效学习率,这让我们相信对齐有效学习率也许在某种程度上确实更为本质。那么接着很自然就引出一个问题:有效学习率的调度形式(ELR Schedule)该怎么调整呢?

在《让炼丹更科学一些(六):自上而下的精妙构造》、《让炼丹更科学一些(十):单调性假设的拆与补》等文章中,我们基于一些假设,推导出SGD或AdaGrad等自适应学习率优化器的最佳LR Schedule是Linear Decay,我们便以此为出发点。当然实践中Cosine Decay也很常见,但笔者的实验中,两者表现类似,所以还是以Linear为例。

$$ (\text{18}) \eta_{t} = \eta_{0} \left(\right. 1 - t / T \left.\right) $$

简单起见,这里假设了终点是0。接下来,我们主要面向Adam推导。在《为什么Adam的Update RMS是0.2?》和《AdamW的Weight RMS的渐近估计(下)》中,我们分别推出

$$ (\text{19}) \parallel \mathbf{\mathit{u}}_{t} \parallel_{R M S} \approx \sqrt{\frac{1 - \beta_{1}}{1 + \beta_{1}}} \\ (\text{20}) \parallel \mathbf{\mathit{w}}_{t} \parallel_{R M S}^{2} \approx e^{- \lambda \eta_{0} t} \parallel \mathbf{\mathit{w}}_{0} \parallel_{R M S}^{2} + \left(\right. 1 - e^{- \lambda \eta_{0} t} \left.\right) \frac{\eta_{0}}{3 \lambda} $$

其中$\lambda$是Weight Decay。于是一个参考的ELR Schedule形式是

$$ (\text{21}) \frac{\eta_{t} \parallel \mathbf{\mathit{u}}_{t} \parallel_{R M S}}{\parallel \mathbf{\mathit{w}}_{t} \parallel_{R M S}} \propto \frac{\eta_{0} \left(\right. 1 - t / T \left.\right)}{\sqrt{e^{- \lambda \eta_{0} t} \parallel \mathbf{\mathit{w}}_{0} \parallel_{R M S}^{2} + \left(\right. 1 - e^{- \lambda \eta_{0} t} \left.\right) \eta_{0} / 3 \lambda}} \propto \frac{1 - t / T}{\sqrt{1 - c_{0} e^{- c_{1} t}}} $$

由于我们一般会取偏小的初始化,即$\parallel \mathbf{\mathit{w}}_{0} \parallel_{R M S}^{2} < \eta_{0} / 3 \lambda$(对应$c_{0} > 0$),所以训练过程中模长趋势是上涨的,此时上述ELR曲线跟《From LR to ELR》、《Training nGPT》等文章给出的参考ELR Schedule形状类似,都是“起点更高、前期下降更快、后期接近线性”的形式。 至于Muon等优化器,虽然结果跟Adam不完全相同,但我们通常认为它们有相似的渐近规律,所以上述结果一般也可以推广到Muon上。

文章小结[#](https://spaces.ac.cn/archives/11985#%E6%96%87%E7%AB%A0%E5%B0%8F%E7%BB%93)

本文围绕着参数对称性和有效学习率进行讨论,重新审视了有效学习率常见的论证链,引入了更严谨的联合对称性来修正原有的推导,最后补充了一个新的基于协变性的理解视角。

_转载到请包括本文地址:[https://spaces.ac.cn/archives/11985](https://spaces.ac.cn/archives/11985 "从参数对称性到有效学习率")_

_更详细的转载事宜请参考:_[《科学空间FAQ》](https://spaces.ac.cn/archives/6508#%E6%96%87%E7%AB%A0%E5%A6%82%E4%BD%95%E8%BD%AC%E8%BD%BD/%E5%BC%95%E7%94%A8 "《科学空间FAQ》")