跳到主要内容
🏠 总目录📚 本教程 09 · 优化器与学习率 ← →
📑 本页目录(点开跳转)

09 / 先看直觉,再看细节

梯度给方向,
优化器决定怎么走。

同一个梯度,更新为什么会不同?

先理解学习率控制步长,再看 Adam 如何利用历史梯度调整更新。

比较同一梯度下不同状态更新,并把学习率、预热与调度视为需要验证的选择。

先抓住一个具体结果

一次更新,手算就够

参数是 1,梯度是 2,学习率是 0.1。普通梯度下降这次减去 0.2,新参数是 0.8。步子过大仍可能把损失推高。

普通梯度下降的一步

$$w_{\mathrm{new}}=w-\eta g_t$$

旧参数是 $w$,更新后是 $w_{\mathrm{new}}$。$\eta$ 是学习率,$g_t$ 是第 $t$ 次更新前算出的梯度。

09 · 优化器与学习率

⏱ 34 分钟 | ⭐ 核心


🎯 一句话

上一章的反向传播算出了损失对参数的梯度。现在要决定怎么用梯度更新参数。读完这章,你能手算两步更新、读懂学习率曲线,并用验证集比较两种步长。

优化器(Optimizer)是训练时更新参数的规则。普通 SGD(随机梯度下降)每步按当前梯度走,动量(Momentum)会记住一部分旧方向,自适应矩估计(Adam)还会参考每个坐标的梯度大小。

同一起点,各走六步 ○ 起点 ● 中间更新 ■ 第六步 + 最优点 普通 SGD · 当前梯度 动量 · 累积方向 Adam · 按坐标缩放 横向是参数 x,竖向是参数 y;三行比例相同。
从空心圆沿线读到方块。用同一个演示损失 $f(x,y)=(x^2+10y^2)/2$,起点 $(2.7,0.75)$,每种规则各更新六次,基础学习率都是 $0.16$。普通 SGD 在本例中反复跨过 $y=0$。

图中沿 $y$ 的梯度是 $10y$,沿 $x$ 是 $x$。这里用解析梯度演示更新规则,实际 SGD 从样本估计梯度。动量用 $\mu=0.5$,Adam $\beta_1=0.5,\beta_2=0.8,\varepsilon=0.01$,历史从零起步。后面的手算会定义这些符号。换损失或超参数,轨迹也会变。

同一起点,各走四步 η = 0.1 · 靠近得慢 0 η = 0.6 · 较快靠近 0 η = 2.1 · 越跳越远 0 0 更新次数 4
同一个损失 $f(w)=w^2/2$,初始 $w=1$。每行横向从第 0 步读到第 4 步,竖向是参数 $w$,虚线是最优值 0。步长由 $w_t=(1-\eta)w_{t-1}$ 决定,例如 $\eta=2.1$ 时,第一步从 $1$ 跳到 $-1.1$。

🏔️ 一、梯度下降的三种规模

梯度下降每一步怎么走、学习率太大太小会怎样,02a 已经手算过。这一章讲真实训练里的三件事:每次用多少数据算梯度、优化器怎么改进“挪一步”、学习率怎么挑。

假设要用几次传感器记录估计一个固定偏移量。同一个参数在不同记录上的梯度可能相反。更新前可以取一条记录,也可以先对几条记录的梯度求平均。

同一参数位置,按一次更新使用的训练记录数比较
算法每步怎么取梯度代价
全批量梯度下降(Batch Gradient Descent)对全部训练样本求平均当前训练目标的完整梯度,一步需遍历全训练集
随机梯度下降(Stochastic Gradient Descent, SGD)原义是随机取一个样本每步便宜,方向受单条记录影响大
小批量梯度下降(Mini-batch Gradient Descent)取一小组样本求平均可并行,样本数影响梯度波动、显存与吞吐

手算一组:同一个参数上,两条记录给出梯度 $2$ 与 $-1$。只用第一条得到 $2$,合用两条得到 $(2+(-1))/2=0.5$。学习率为 $0.1$ 时,两种更新分别减去 $0.2$ 与 $0.05$。下文的「普通 SGD」也包括采用小批量梯度、没有动量的实现。

噪声与泛化:小批量的方向通常更容易偏离全批量梯度。把它想成在示意山谷里受到扰动,有助于理解为什么不同批量可能走到不同位置。能否离开某处、测试表现是否更好,还取决于目标曲面、采样、步长和参数表示。

📐 选读:扩大批量时,学习率为何有两种缩放说法

固定同一参数坐标,设 $B$ 是批量样本数,$g_i$ 是第 $i$ 条样本的梯度。假设这些梯度独立且方差相同,记为 $\sigma^2$,用 $\bar g=(g_1+\cdots+g_B)/B$ 表示均值。独立变量相加时方差相加,再除以 $B$ 会把方差缩为原来的 $1/B^2$。

$$\operatorname{Var}(\bar g)=\frac{B\sigma^2}{B^2}=\frac{\sigma^2}{B}$$

例如 $\sigma^2=4$,$B=1$ 时方差为 $4/1=4$,标准差是 $\sqrt{4}=2$;$B=4$ 时方差为 $4/4=1$,标准差是 $\sqrt{1}=1$。只想让「学习率 × 梯度标准差」保持不变,可将 $0.1\times 2=0.2$ 改为 $0.2\times 1=0.2$。

线性缩放看总位移。若连续两步的梯度都约为 $2$,学习率 $0.1$ 时共减去 $0.1\times2+0.1\times2=0.4$。合并成一步且梯度仍约为 $2$,用 $0.2$ 才同样减去 $0.4$。

这依赖梯度变化较小。改变批量后要重新观察稳定性和验证表现,尤其是训练刚开始时。大批量 SGD 原始实验

到这里。批量决定怎么得到本步梯度。拿到相同的梯度以后,下一步看优化器为什么还能给出不同的位移。


🚀 二、从 SGD 到 AdamW

还是看传感器偏移量。若连续两条记录在各自更新前给出的梯度是 $2$ 和 $-1$,逐条更新会先减再加。能不能利用前几步的信息,少一点来回摆动?如果某个参数的梯度量级总是特别大,又能不能单独缩放它的更新?

读入当前梯度第 08 章的反向传播计算本步梯度
更新历史状态记录方向与梯度的尺度
修改参数按学习率和优化规则计算这一次的位移

以下用一个参数讲清规则。$t$ 从 1 起数实际更新次数,$w_{t-1}$ 和 $w_t$ 是更新前后的参数,$g_t$ 是在更新前算出的梯度,$\eta$ 是正的学习率(Learning Rate, LR)。演示用 $w_0=1,\eta=0.1$;在多维模型中,自适应统计按参数元素维护。

普通 SGD、动量与梯度尺度

保持相同输入 $g_1=2,\ g_2=-1$。先看每种规则保存什么,再对照表里的两步结果。

普通 SGD:只读当前梯度

第 02a 章用斜率指向局部上坡方向。为降低损失,取负号走一步 $w_t=w_{t-1}-\eta g_t$。梯度换方向时,本步就跟着换方向。

动量:让旧方向参与这一步

连续样本的梯度可能一正一负。先算 $u_t=\mu u_{t-1}+g_t$,再用 $w_t=w_{t-1}-\eta u_t$ 更新。$u_0=0$,$\mu\in[0,1)$ 是旧方向保留比例,本例取 $0.5$。同向梯度也会叠加,步长过大仍可能过冲。

AdaGrad:用累计平方缩放梯度

自适应梯度(Adaptive Gradient, AdaGrad)逐坐标记录 $a_t=a_{t-1}+g_t^2$,初始 $a_0=0$。用 $g_t/(\sqrt{a_t}+\varepsilon)$ 代替 SGD 的 $g_t$,平方避免正负抵消,开方让分母回到梯度的尺度。

$\varepsilon$ 是防止零除的正数,这里取 $0.01$。常有大梯度的坐标更快累积较大的分母,长训时更新也可能变得过小。

RMSProp:让很久以前的梯度影响变小

均方根传播(Root Mean Square Propagation, RMSProp)用 $v_t=\beta v_{t-1}+(1-\beta)g_t^2$,从 $v_0=0$ 开始。$0\le\beta<1$,旧值每过一步就再乘一次 $\beta$。本例取 $\beta=0.5$,用 $g_t/(\sqrt{v_t}+\varepsilon)$ 更新。

同样输入 $2$ 和 $-1$,从 $w_0=1$ 开始,两次都用学习率 $0.1$
规则第一步第二步
普通 SGD$w_1=1-0.1\times2=0.8$$w_2=0.8-0.1\times(-1)=0.9$
动量$u_1=0.5\times0+2=2$,$w_1=0.8$$u_2=0.5\times2-1=0$,$w_2=0.8$
AdaGrad$a_1=0+2^2=4$,$w_1=1-0.2/(2+0.01)\approx0.9005$$a_2=4+(-1)^2=5$,$w_2=w_1+0.1/(\sqrt{5}+0.01)\approx0.9450$
RMSProp$v_1=0.5\times0+0.5\times4=2$,$w_1=1-0.2/(\sqrt{2}+0.01)\approx0.8596$$v_2=0.5\times2+0.5\times1=1.5$,$w_2=w_1+0.1/(\sqrt{1.5}+0.01)\approx0.9406$

对照两类历史。动量记住带正负号的方向,AdaGrad 和 RMSProp 记住平方后的尺度。接下来看 Adam 如何同时使用这两类信息。

Adam:先跟踪两种历史,再算位移

自适应矩估计(Adaptive Moment Estimation, Adam)同时维护有符号梯度的加权均值 $m_t$ 和梯度平方的加权均值 $v_t$。有符号平均提供方向,平方平均提供尺度。它们分别称为一阶矩估计和二阶原始矩估计。这里的「二阶」指梯度平方,计算过程只用一阶梯度。

$$m_t=\beta_1m_{t-1}+(1-\beta_1)g_t$$
$$v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2$$
$$\hat m_t=\frac{m_t}{1-\beta_1^t},\qquad \hat v_t=\frac{v_t}{1-\beta_2^t}$$

从 $m_0=v_0=0$ 起步。$\beta_1,\beta_2$ 各在 $[0,1)$ 内,分别控制保留多少旧方向和旧尺度。上标 $t$ 表示乘方。

  1. 第一步,真实梯度的权重只有 $1-\beta$,其余权重给了初始的零。
  2. 第二步,真实梯度的权重和是 $(1-\beta)+\beta(1-\beta)=1-\beta^2$。
  3. 继续展开,第 $t$ 步的权重和是 $1-\beta^t$。分别除以各自的权重和,就得到带帽的估计。这补足零初始化留下的权重缺口。
$$\Delta w_t=-\mathrm{lr}\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon},\qquad w_t=w_{t-1}+\Delta w_t$$

$\Delta w_t$ 表示带正负号的位移。这里 $\mathrm{lr}=\eta$,就是前面定义的学习率。分母含同一坐标的梯度尺度,$\varepsilon$ 防止零除,也会影响极小梯度的缩放。取演示参数 $\beta_1=\beta_2=0.5$、$\varepsilon=0.01$;这组数便于手算。

按同一组演示梯度重放两次 Adam 更新
更新历史状态修正后参数
1,$g_1=2$$m_1=0.5\times0+0.5\times2=1$
$v_1=0.5\times0+0.5\times2^2=2$
$\hat m_1=1/0.5=2$
$\hat v_1=2/0.5=4$
$w_1=1-0.1\times2/(2+0.01)\approx0.900498$
2,$g_2=-1$$m_2=0.5\times1+0.5\times(-1)=0$
$v_2=0.5\times2+0.5\times(-1)^2=1.5$
$\hat m_2=0/0.75=0$
$\hat v_2=1.5/0.75=2$
$w_2=w_1-0.1\times0/(\sqrt{2}+0.01)=w_1$

第二步收到非零梯度,Adam 的有符号平均恰好抵消,参数这一步不动。下面的 Python 3 程序按上面的两步重放,输入是两个人为指定的梯度,适合逐行核对更新公式。真实训练会用更新后的参数重新计算下一步梯度。

from math import sqrt

w, m, v = 1.0, 0.0, 0.0
eta, beta1, beta2, eps = 0.1, 0.5, 0.5, 0.01

for t, g in enumerate((2.0, -1.0), start=1):
    m = beta1 * m + (1 - beta1) * g
    v = beta2 * v + (1 - beta2) * g**2
    m_hat = m / (1 - beta1**t)
    v_hat = v / (1 - beta2**t)
    delta = -(eta * m_hat / (sqrt(v_hat) + eps))
    w += delta
    print(t, f"{m:.3f}", f"{v:.3f}", f"{delta:.6f}", f"{w:.6f}")

循环先写回 $m,v$,再按更新编号修正,最后把位移加到 $w$。跳过修正时,第一步会把 $1$ 和 $2$ 直接当成带帽值。

输出依次是步号、$m_t$、$v_t$、$\Delta w_t$ 和 $w_t$。第二行的 -0.000000 是带符号零的显示,这一步位移为 0。

1 1.000 2.000 -0.099502 0.900498
2 0.000 1.500 -0.000000 0.900498

练一练:保留第一步,把第二步梯度改成 $-2$。先判断第二步的 Adam 位移正负,再修改梯度序列核对。

核对第二步

$m_2=0.5\times1+0.5\times(-2)=-0.5$,所以修正后的 $\hat m_2=-0.5/0.75<0$。分母为正,$\Delta w_2>0$,参数增加。

AdamW:让衰减直接作用到参数

如果还希望把过大的权重拉回一点,可以让旧参数乘上 $1-\eta\lambda$。$\lambda\ge0$ 是权重衰减(Weight Decay)系数。通常取 $0<\eta\lambda<1$,这时衰减项缩小旧参数的绝对值且保留符号。AdamW 用原任务梯度计算 $m_t,v_t$,再应用衰减和 Adam 位移:

$$w_t=(1-\mathrm{lr}\lambda)w_{t-1}-\mathrm{lr}\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}$$

沿用第一步的数值,令 $\lambda=0.1$,得 $(1-0.1\times0.1)\times1-0.1\times2/(2+0.01)\approx0.890498$。若改为在损失中加入 $\lambda w^2/2$,其导数 $\lambda w$ 会把传进 Adam 的梯度改为 $2+0.1\times1=2.1$。零状态的第一步修正后有 $\hat m_1=2.1$、$\hat v_1=2.1^2=4.41$,更新为 $1-0.1\times2.1/(2.1+0.01)\approx0.900474$。两种规则从第一步就可能得到不同参数。

Adam 或 AdamW 可以作为深度模型的候选起点,也可以保留普通 SGD 做对照。实际优劣要用相同预算与固定验证集比较;下一章会继续讨论衰减强度与泛化。Adam 原论文、AdamW 原论文


🎚️ 三、学习率:最重要的旋钮

loss训练步数 太大:抖太小:慢合适:较快下降
示意图,不是实测结果。先比较同样训练步数下的下降速度与波动:实线标出“抖”和“较快下降”,虚线标出“慢”。这些是排查线索,不是唯一诊断;NaN 也可能由数据或数值运算引起。

按现象查证据。先从表中找到最接近的现象,再用第 11 章的流程排查。

现象 诊断 动作
loss 变 NaN / inf 可能是输入/标签、数值运算或更新过猛;需定位首个非有限值 核查数据、损失与梯度,再按原因调整;不预设降lr或预热一定能修复
loss 剧烈震荡不下降 可能是有效步长过大,也可能是小批量差异大 记录实际学习率与梯度,固定其他条件试较小的学习率
loss 下降极慢但稳定 可能是步长太小,或梯度本身接近零 先核对参数增量,再试略大的学习率
loss 降到一半就平了 可能接近当前目标的平稳区,也可能更新链路异常 比较训练和验证曲线,先确认参数在更新
loss 前几步就爆 可能是有效步长过大,也可能是数据/损失/数值问题 先定位非有限值来源;若起步更新过猛,再比较降lr或预热
loss 完全不动(逐位相同) 先查更新链路,也别排除 lr 查冻结 / 断流、非零梯度与 .step();再核对各参数组实际 lr、调度器状态和参数增量

⚠️ 完全不动也要查实际更新:先检查参数是否冻结、计算图是否断开、梯度是否非零,以及 .step() 是否执行。 再核对各参数组的实际 lr、调度器状态和更新前后的参数增量;lr 为 0,或更新小到被浮点舍入,非零梯度也可能不改变参数。 先查证据,再决定改什么。🔗 第 11 章有完整流程。

📏 学习率的量级参考(不知道从哪开始时)

例如把学过通用图像特征的模型拿来分猫狗。产生特征的旧部分叫主干(Backbone),将特征转成猫狗分数的新层叫分类头(Classification Head)。

冻结(Freezing)主干指训练时保持它的参数不变。可先只训练新头做基线,再试解冻主干并给它较小的候选学习率。两种方案用相同验证集和训练预算比较。

场景 起手 lr
从零训练 MLP / CNN(Adam) 1e-3 ⭐
从零训练(SGD+Momentum) 0.1(配 cosine 衰减)
微调预训练模型 可从较小的候选值试起,例如部分预训练语言模型微调配置用 1e-5 至 5e-5
微调时的新分类头 可为新头与预训练主干分别设候选值
低秩适配(LoRA)微调 1e-4 ~ 3e-4

低秩适配(Low-Rank Adaptation, LoRA)通常冻结预训练权重,为选中的层加上由小矩阵表示的可训练增量。表里的学习率是待验证的量级,先确认它作用于哪些可训练参数。LoRA 原论文

学习率调度(Scheduler)

同一个步长可能适合起步,却让带噪声的梯度在训练后期持续摆动。学习率调度器(Learning Rate Scheduler)规定何时用什么学习率。先选清计数单位:一次优化器更新,或一次完整遍历训练集(epoch)。

  • 阶梯衰减(Step):每过 $K$ 个计数单位,就把当前学习率乘以 $\gamma$,其中 $K$ 是正整数、$0<\gamma<1$。例如每 2 轮乘 $0.5$,头两轮用 $0.1$,第三轮起用 $0.1\times0.5=0.05$,第五轮起用 $0.05\times0.5=0.025$。
  • 余弦衰减(Cosine):用余弦曲线把进度映射成从 1 降到 0 的比例。设 $k$ 是已走的调度单位、$T$ 是总单位数、$0\le k\le T$。设起始学习率 $\eta_{\max}$ 和下限 $\eta_{\min}$。取 $\eta_k=\eta_{\min}+(\eta_{\max}-\eta_{\min})(1+\cos(\pi k/T))/2$。$\pi$ 弧度是半圈,余弦从 1 到 −1;进度一半时余弦为 0。起点 $0.1$、下限 $0.01$、走完 $2/4$ 时,$\eta_2=0.01+(0.1-0.01)(1+0)/2=0.055$。
  • 停滞时衰减(ReduceLROnPlateau):算出被监控的指标后,调用 scheduler.step(metric)。例如配置成每轮评估一次验证损失,就在每次验证后传入 val_loss。按指标含义设定改善方向,再按评估频率设定容忍次数。

⭐ Warmup(先验证是否需要)

① Warmup② 余弦衰减目标学习率预热结束 lr0训练步数
示意图,不是实测结果。先看左边的上坡:在设定的预热步数内,把学习率从较小值升到目标值(图中从 0 起步);再看右边的余弦下降。预热多久、最后降到多低都由配置决定,不固定为“前几百步”。此图纵轴是lr,不是loss;收敛证据需另看下面的对照。

为什么考虑预热(Warmup)。在开始的若干次更新中把学习率由小升大,可以限制初期位移。从零训练时,参数和激活还在快速变化。微调时主干已有权重,新层和新建的 Adam 仍可能从零积累状态。

Adam 的偏差修正补足初期的权重缺口。RAdam 的研究还指出,在它的分析假设和实验下,训练初期的自适应缩放可能有很大的波动。

恢复训练时,先看恢复了什么

训练检查点(Training Checkpoint)保存继续训练所需的状态。恢复的范围不同,预热从哪里开始也不同。

同一份已训练权重,两种起步方式
恢复内容该查什么
只载入模型权重新建的 Adam 从零积累 $m,v$,需要为本次训练选择学习率计划。
恢复完整训练状态恢复优化器、调度器、计数和适用的随机状态。检查下一次更新使用的学习率及计数。

用对照决定要不要预热。固定数据划分、随机种子、初始权重、优化器、峰值学习率和总更新预算,记录实际学习率以及训练、验证曲线。

🔎 可选深入:真实论文曲线与可复算教学对照

可追溯模型案例:RAdam原论文图1(PDF第1页)给出IWSLT’14德英翻译Transformer的训练loss随更新次数对照,包含Adam-vanilla与Adam-warmup;实现条件见该文附录B.3(含前4000次线性预热等设置)。这是作者论文的特定训练结果,本页未复跑,也不是候选人的个人经历。不要把下面解析函数的数值写成该论文结果。

可复算的小对照。取 $f(w)=w^2/2$,初值 $w_0=1$,第 $t$ 次更新用 $w_t=(1-\eta_t)w_{t-1}$。每方案都计算 12 次梯度。

  1. 无预热时每步都用峰值 $\eta$。三步预热用 $\eta_t=\eta\min(t/3,1)$,在 $t=1,2,3$ 分别乘 $1/3,2/3,1$,以后保持峰值。
  2. 例如峰值 $1.8$,预热前三步用 $0.6,1.2,1.8$。第一步 $w_1=(1-0.6)\times1=0.4$,所以损失 $f(w_1)=0.4^2/2=0.08$。
  3. 两方案峰值和预算相同,前几步学习率不同。图中只比较这两种步长计划。
峰值学习率 1.8,各走 12 步 无预热 三步线性预热 10⁰ 10⁻¹ 10⁻² 10⁻³ 10⁻⁴ 10⁻⁵ 0 3 6 9 12 更新步数
从左到右看每次更新后的损失。纵轴每格相差 10 倍。虚线用三步预热,实线从第一步就用峰值。两条线都用同一解析函数和普通梯度下降,共 12 次更新。
同一教学问题:第12步的f(w),改变峰值看边界
峰值η无预热三步预热能说明什么
1.80.002361183.68935e-05此峰值下预热的给定轨迹更低,非普遍收益
2.41607.16.02411两者最终发散;预热只推迟,未修复过大峰值
0.10.03988320.049482本来小步长已稳定,预热在固定预算内更慢

在这个二次函数上,固定步长后的非零误差每步乘以 $1-\eta$。当 $|1-\eta|<1$,即 $0<\eta<2$,任意初始误差都会缩到 0。若已经恰好到达 $w=0$,梯度为零,仍会留在原地。预热无法使过大的最终步长对非零误差变得稳定。

可能无收益。步长本来已经稳定时,长预热可能消耗短训练的更新预算。峰值过大、数据或标签错误、损失计算溢出时,先定位异常来源。

到这里。预热决定起步怎样提速,衰减决定之后怎样减速。是否改善训练或验证曲线,要靠当前任务的对照。RAdam 原论文

🔗 你在全景导论主线 4 · 它怎样从续写机变助手可以对照具体训练配置:Warmup + Cosine是一种候选组合,不是所有从零训练或微调都必用的规则。


🔨 四、怎么找学习率(LR Range Test)

学习率范围测试(Learning Rate Range Test)先用训练数据做一次短试跑,逐步升高学习率,寻找损失开始明显下降且尚未失稳的区间。下面保留一个接入训练循环的骨架。

# 骨架:loader、optimizer 和 train_one_step 由训练项目提供
from math import isfinite

lrs, losses = [], []
best_loss = float("inf")
lr, upper, growth = 1e-7, 1.0, 1.1
stop_reason = "批次用完"
for batch in loader:
    if lr > upper:
        stop_reason = "达到扫描上限"
        break
    for group in optimizer.param_groups:
        group["lr"] = lr
    loss = train_one_step(batch)
    if not isfinite(loss):
        stop_reason = "损失非有限"
        break
    lrs.append(lr)
    losses.append(loss)
    best_loss = min(best_loss, loss)
    if best_loss > 0 and loss > 4 * best_loss:
        stop_reason = "触发四倍停止线"
        break
    lr *= growth
else:
    if lr > upper:
        stop_reason = "达到扫描上限"

print(stop_reason, "记录点数", len(lrs))
if lrs:
    print("最后一个有限损失对应的学习率", lrs[-1])
if stop_reason == "批次用完" or len(lrs) < 3:
    print("扫描范围不足:先核对已扫区间和更新预算")

每次调用 train_one_step 消耗一批,记录一对学习率和损失。若统一记录更新前的损失,它反映此前的更新轨迹,日志中的学习率则是本次即将用的值。

先看停止原因,再判断记录够不够
停止原因如何判断
达到扫描上限起点 1e-7 每次乘 1.1,约 170 次更新可走到配置上限附近。仍要看曲线是否出现有用区间。
批次用完只有 30 批时,最后记录约为 1.59e-6。先核对已扫区间与更新预算。
损失非有限保留已有的有限点,先检查数据和数值异常,再判断能否用于选学习率。
触发四倍停止线最低损失为 1.0 时,涨到 4.1 就停止。基准为 $-2$ 时,四倍是 $-8$,同一判断会把 $-2$ 自身判为发散,所以代码只对正基准启用。

少于三个有限点时,骨架也会报告扫描不足。这个提示只用于识别过短记录,能否判断趋势还要看记录覆盖到哪里。

下降明显的候选区间开始发散 loss小学习率大学习率log(lr)
示意图,不是实测结果。横轴是 log(lr),不是训练轮数;关注 loss 明显下降、尚未发散的区间,作为后续试验的起点,不把示意曲线的最低点当成通用最佳学习率。测试后恢复测试前的模型与优化器状态,再正式训练。

从记录里圈候选区间

横轴用对数刻度,使学习率每乘同一个倍率就往右走相同距离。下表取若干记录作教学示例,实际程序会记录中间的每一步。

从有限的记录点筛选候选,再用验证集比较
学习率训练损失怎样读
0.000011.01起步
0.00011.00下降很小
0.0010.82下降开始明显
0.0030.57继续下降
0.010.48样例最低点
0.030.90出现明显回升

在这组记录里,可以先试 $0.001$ 和 $0.003$。它们处在明显下降、尚未接近回升的区域。若曲线仍平坦、回升只出现一次或记录太短,先补足记录或重复试跑再判断。

曲线受批次、初值、累计更新和记录损失的时点影响。正式比较前恢复模型、优化器以及使用过的调度器与随机状态,或为每个候选从同一初始化重新开始。范围测试只缩小候选范围,验证集用于选择方案,测试集留到方案锁定之后。

这种先增大学习率、观察损失变化来寻找合理范围的思路,可参见 Leslie Smith 的学习率范围测试说明。


📋 五、从可运行实验到训练循环

在固定预算内选学习率

传感器模型对每次读数都预测同一个偏移量 $w$,误差是 $w-y_i$。每个候选从 $w_0=4$ 开始,做 6 次全批量更新。

  • 训练组用合成读数 $(-1,1,3,5)$,验证与测试用另外两组独立编号的合成记录,数值可以重复。
  • 本例没有抽样或预处理,复现时无需随机种子。

沿用第 02a 章的平方误差思想。这里 $n$ 是所评估记录的条数,$i$ 从 1 数到 $n$,$y_i$ 是第 $i$ 条读数。平方让正负误差都计入,除以 $n$ 得到平均值,系数 $1/2$ 便于求导:

$$L(w)=\frac{1}{2n}\sum_{i=1}^n(w-y_i)^2$$
$$g(w)=\frac{dL}{dw}=\frac{1}{n}\sum_{i=1}^n(w-y_i)$$

由第 08 章的链式法则,平方求导给出 $2(w-y_i)$,括号对 $w$ 的导数为 1,系数 2 与 $1/2$ 抵消。第一次训练梯度是 $(5+3+1-1)/4=2$,初始训练损失为 $(25+9+1+1)/8=4.5$。若 $\eta=0.5$,第一步 $w_1=4-0.5\times2=3$,训练损失变为 $(16+4+0+4)/8=3$。

训练集计算梯度,每个候选从头走 6 步
验证集比较第 6 步的损失,选出候选
测试集只对选定的参数报告一次结果

把代码保存为 lr_experiment.py,用 Python 3 运行。fit 只用训练数据更新参数,loss 只计算指定数据组的损失。

  1. 默认运行只打印训练和验证结果。min 按元组第一项的验证损失选学习率,平手取较小值。
  2. 确定候选和预算后,运行 python lr_experiment.py --final-test 查看最终测试结果。
from sys import argv

TRAIN = (-1, 1, 3, 5)
VALIDATION = (-2, 2, 5)
TEST = (-2, 0, 6, 4)
RATES = (0.05, 0.5, 2.4)
STEPS = 6

def loss(w, targets):
    return sum((w - y)**2 for y in targets) / (2 * len(targets))

def fit(rate):
    w = 4.0
    for _ in range(STEPS):
        gradient = sum(w - y for y in TRAIN) / len(TRAIN)
        w -= rate * gradient
    return w

candidates = []
for rate in RATES:
    w = fit(rate)
    validation = loss(w, VALIDATION)
    candidates.append((validation, rate, w))
    print(f"{rate:g} {w:.6f} {loss(w, TRAIN):.6f} {validation:.6f}")

_, best_rate, best_w = min(candidates)
print(f"selected={best_rate:g}")
if "--final-test" in argv:
    print(f"test={loss(best_w, TEST):.6f}")

每个候选输出四列:学习率、第 6 步的 $w$、训练损失、验证损失。最后报告验证选出的学习率。

0.05 3.470184 3.580720 5.737448
0.5 2.031250 2.500488 4.177572
2.4 17.059072 115.887825 122.574182
selected=0.5

加上 --final-test 时,额外一行是 test=5.000488。

为什么 2.4 会越跳越远

训练读数平均值为 $(-1+1+3+5)/4=2$,所以 $g(w)=w-2$。更新式两边都减去 2,得到 $w_t-2=(1-\eta)(w_{t-1}-2)$。

  1. 用 $\eta=2.4$,第一步 $w_1=4-2.4\times2=-0.8$,第二步 $w_2=-0.8-2.4\times(-2.8)=5.92$。
  2. 误差每步乘 $-1.4$,所以翻向并扩大。$\eta=0.5$ 时误差每步减半。

换目标函数或使用 Adam 后,要重新判断步长是否稳定。

练一练:先预测把学习率设成 2 后,参数会在哪两个值之间切换。用默认命令运行,观察训练损失。

核对参数轨迹

$1-\eta=-1$,初始误差 $4-2=2$,后续在 $-2$ 和 $2$ 间交替,所以 $w$ 在 0 和 4 间切换。训练损失保持 $4.5$;参数在动,损失却没降。

接回第 08 章的 PyTorch 训练循环

下面是接入自己项目的骨架。这里按轮推进余弦调度,T_max 用轮数;例子中的衰减和裁剪值都需要验证。

# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
import torch

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs)

for epoch in range(epochs):
    for xb, yb in train_loader:
        optimizer.zero_grad()             # 按批独立更新时先清空旧梯度
        loss = criterion(model(xb), yb)
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)   # 可选:限制梯度范数
        optimizer.step()
    scheduler.step()
  1. zero_grad() 清除上一步梯度;计划做梯度累积时,改在一组小批量的边界清除。
  2. clip_grad_norm_ 在反向传播后、更新前限制总梯度范数。梯度范数(Gradient Norm)是所有梯度合起来的长度。默认二范数下,梯度 $(3,4)$ 的长度是 $\sqrt{3^2+4^2}=5$,限制为 1 时约缩为 $(0.6,0.8)$。遇到非有限梯度时先定位来源。
  3. scheduler.step() 按步数或轮数推进的调度器,在对应的优化器更新之后调用。根据指标决定是否衰减的调度器,在指标算出之后调用。日志记下优化器实际使用的学习率。
  4. weight_decay 控制 AdamW 的解耦衰减强度,第 10 章会用验证集判断是否有益。

⚠️ scheduler.step() 的位置是个高频错误:

调度器 该在哪调用
CosineAnnealingLR、StepLR 按配置的单位推进。上例以轮数设置 T_max,所以每轮一次;按更新设计时需用对应的更新次数。
OneCycleLR、以更新次数定义的预热 每次实际优化器更新后推进一次;做梯度累积时按更新计数。
ReduceLROnPlateau 算出监控指标后调用 scheduler.step(metric)。例如配置为每轮验证一次,就在验证结束后调用 scheduler.step(val_loss)。PyTorch 示例

💡 放错位置的症状:比如设定 10 轮的余弦下降,每轮 100 次更新,却误在每次更新后推进。计划在第 10 轮末达到下限,实际只用第 1 轮的前 10 次更新就走完首段。继续推进还可能离开下限,具体看实现。

训练时记录 optimizer.param_groups[0]["lr"] 和实际更新次数,与计划曲线核对。CosineAnnealingLR、OneCycleLR


💾 六、显存不够时的三个招

招 做什么 代价
梯度累积 攒多组小批量的梯度,再按总样本数平均后更新 一次更新需要多次前向和反向;同样样本预算下的耗时依硬件和批量而定
混合精度 AMP 由自动混合精度(Automatic Mixed Precision, AMP)为适合的算子选择较低精度 速度、显存和数值稳定性取决于设备、算子和训练配置
梯度检查点 少保存部分中间激活,在反向传播时重算 以额外计算换取激活显存,幅度需测量

先定位是哪部分占显存

同一模型遇到三类显存压力时,可以先试什么
观察到的限制先试的办法
8 条样本一起前向放不下,2 条能放下试 4 个大小为 2 的小批,每组更新一次。按 8 条样本归一化。检查批间统计会不会改变结果。
小批已能放下,常用算子支持低精度对照全精度和 AMP,比较峰值显存、耗时和验证指标,检查是否出现非有限梯度。
批量为 1 时,深层中间激活仍占大量显存试激活检查点(Activation Checkpointing),把部分保存开销换成反向时重算。若主要占用来自权重或优化器状态,要先处理那部分。

激活检查点改变的是一次前向和反向之间保存的内容。恢复训练用的检查点是保存权重等状态的文件。PyTorch 激活检查点

梯度累积:先求和,再除以总数

# 骨架:model、optimizer、loader、criterion 由训练项目提供。
# criterion 返回逐样本损失的均值。此例用非空小批量且不使用 AMP。
def step_with_average_gradient(sample_count):
    for parameter in model.parameters():
        if parameter.grad is not None:
            parameter.grad.div_(sample_count)
    optimizer.step()
    optimizer.zero_grad()

accum = 4
samples = 0
optimizer.zero_grad()

for batch_index, (xb, yb) in enumerate(loader, start=1):
    batch_samples = len(xb)
    loss = criterion(model(xb), yb) * batch_samples
    loss.backward()
    samples += batch_samples
    if batch_index % accum == 0:
        step_with_average_gradient(samples)
        samples = 0

if samples > 0:
    step_with_average_gradient(samples)

手算尾批:两批分别给出逐样本梯度 $(2,4)$ 和 $(8)$。先加总 $2+4+8=14$,再除以总样本数 3,梯度为 $14/3$;把两批均值直接平均则是 $(3+8)/2=5.5$,会给尾批更大的权重。上面用损失均值乘批量大小恢复样本和,最后才除以总数。

  1. 每攒满 4 批更新一次并重置计数。迭代结束后,尾组用实际样本数做最后一次更新。
  2. 如果损失按有效 token、像素或权重平均,就乘回该批的有效数量或权重和,最后按整组同一口径归一化。
  3. 批归一化(BatchNorm)使用批内统计,随机失活(Dropout)引入随机掩码。它们可能使小批累积的结果与一次大批不同。

自动混合精度的额外一步。以使用 GradScaler 的 FP16 训练为例,它先放大损失以保住很小的梯度。若原梯度是 $(3,4)$,演示缩放因子为 8,梯度暂存为 $(24,32)$。

同一累积组内保持缩放因子不变。否则不同小批的梯度会以不同尺度相加,最后用一次除法无法还原。

等这一组的反向传播做完,对这个优化器调用一次 scaler.unscale_(optimizer),把梯度除回原尺度。随后按总数归一化,需要时再裁剪,最后调用 scaler.step(optimizer) 和 scaler.update()。如果梯度非有限,缩放器可跳过这次参数更新。PyTorch AMP 示例

⚠️ 先核对分母。若把四个等大小批的梯度均值直接求和,漏除以 4,普通 SGD 的那一步位移会变成正确值的 4 倍(没有动量、裁剪等其他操作)。代码累积的是样本梯度和,所以应除以实际样本数。Adam 的自适应缩放还要考虑矩状态与分母。

到这里。先找显存主要花在哪里,再决定改小批、精度还是激活保存。累积之后的学习率调度仍要核对实际的参数更新次数。


✅ 检查点

共 12 题:9 道单选、3 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. mini-batch 相比全批量和单样本,好在哪里?

看答案与解析

答案:D

小批量在梯度估计、内存和并行效率之间折中。线性缩放是部分 SGD 场景的实验起点,不是通用法则;没有统一的 8k 失效线,Warmup 也不能保证无限扩大批量。

判断2. 「batch 扩大 k 倍,学习率也乘 k」是通用法则;配上 Warmup,批量可以无限扩大。

看答案与解析

答案:错误

小批量在梯度估计、内存和并行效率之间折中。线性缩放是部分 SGD 场景的实验起点,不是通用法则;没有统一的 8k 失效线,Warmup 也不能保证无限扩大批量。

单选3. 怎样理解小批量梯度的噪声?

看答案与解析

答案:A

小批量梯度是全训练梯度的估计,换批次可能改变方向。山谷图能帮助想象轨迹变化,泛化还取决于数据、模型和训练设置。

单选4. Adam 结合了哪两个想法?

看答案与解析

答案:D

Adam 用有符号梯度的加权平均跟踪方向,再用梯度平方的加权平均调整各参数的更新尺度。

单选5. Adam 为什么需要偏差修正?

看答案与解析

答案:D

以第一步为例,$m_1=(1-\beta_1)g_1$。除以 $1-\beta_1$ 得 $g_1$。$v_t$ 使用自己的 $\beta_2$ 做相同的权重归一化。

判断6. AdamW 把权重衰减和自适应梯度缩放分开,它和「在损失里加 L2 再用 Adam」是不同的更新规则。

看答案与解析

答案:正确

耦合 L2 将惩罚的导数加到梯度里,再更新两个矩估计。AdamW 把衰减直接作用到旧权重上。可以回看本章两种规则第一步的手算。

单选7. loss 变成 NaN,先查什么?

看答案与解析

答案:B

NaN先查输入/标签、损失计算、混合精度与梯度;若有效步长过大,再调整lr并比较预热。下降极慢时先核对实际梯度与lr,再试步长。完全不动时检查冻结、梯度、step与实际参数增量;极小学习率或显示精度也可能掩盖更新。

单选8. 给预训练主干与新分类头选择学习率,怎样比较更合适?

看答案与解析

答案:B

预训练主干的更新幅度应当按任务验证。固定划分与预算,也可以比较冻结主干、只训练新头的基线。

判断9. 训练出现 NaN 时,加上 Warmup 是通用修复。

看答案与解析

答案:错误

从零训练的随机权重与预训练微调要分开;新优化器统计可能仍需积累,预热可限制初期更新。固定数据、初始化、优化器/峰值lr和总步数对照曲线,并检查恢复的状态。最终lr过大或数据/数值错误不靠预热自动修复;过长预热也可能浪费短预算,不能仅凭模型大或batch大宣布必需。

单选10. 忘了 zero_grad() 会怎样?

看答案与解析

答案:B

backward() 默认累加。残留梯度与当前梯度可能同向,也可能相互抵消;有意做梯度累积时应按组归一化、更新和清零。

单选11. scheduler.step() 本来按轮配置,却在每批之后调用,怎样发现?

看答案与解析

答案:D

每轮 100 个批次时,调度器每轮会推进 100 次。记录每次更新前的实际学习率与计数,核对下限出现的时点。

单选12. 按样本数累积梯度和时,哪个错误会让平均梯度算错?

看答案与解析

答案:A

分母要覆盖实际贡献梯度的样本,包括不足一组的尾批。若按 token 或权重定义损失均值,分母也应使用相应的 token 数或权重和。


本节回顾

先理解学习率控制步长,再看 Adam 如何利用历史梯度调整更新。

⚡ 走神救援

  • 先观察学习率与损失,每次只改一个量;报 NaN 时也要排查数据与运算,不能只认定是学习率。
  • Adam 记录梯度及其平方的历史,不是计算 Hessian;AdamW 把权重衰减与自适应更新分开。
  • 批量与学习率没有通用换算。Warmup、调度器和微调步长都需要验证,不机械套固定数字。
  • 训练不动先检查更新链路:梯度、清零、参数更新、调度器调用频率。
  • 显存不足再选工具:梯度累积、混合精度或检查点;按实际配置衡量显存、速度与精度。

用自己的话讲一遍。第二步梯度仍为 $-1$,为什么普通 SGD 会增加参数,而本章的动量例子和 Adam 例子都不动?说出当前梯度、历史状态与实际位移各是什么。

核对自述

普通 SGD 用更新式里的 $-\eta$ 乘梯度 $-1$。学习率 $\eta$ 是正数,所以位移为正。动量的旧方向贡献 $1$,刚好和当前梯度抵消。Adam 的一阶矩也抵消为 0,二阶原始矩仍为正,最终位移的分子为 0。

本章用训练损失看参数是否走得动,再用验证集选择步长。即使训练损失继续下降,验证表现也可能开始退步。第 10 章会用正则化和早停处理这个问题;实际遇到参数不动或数值异常时,可去第 11 章顺着更新链路排查。

打卡记录保存在你的浏览器里,首页能看到总进度