梯度给方向，
优化器决定怎么走。

09 · 优化器与学习率

⏱ 34 分钟 ｜ ⭐ 核心

🎯 一句话

有了梯度（第 8 章），还得决定怎么迈这一步。 学习率是全深度学习最重要的超参数——没有之一。

🏔️ 一、梯度下降的三种规模

batch size 的影响：

💡 一种实验起点：部分大批量 SGD 配置会让 batch size 与学习率同比例增加（线性缩放规则）。它不是所有模型、优化器都适用的定律，改完仍要检查验证表现和训练稳定性。

💡 小 batch 的"噪声"为什么反而有益：

🚀 二、四代优化器

实用选择：

⚠️ AdamW vs Adam：Adam 里的 L2 正则实现有缺陷（和自适应学习率纠缠）。 AdamW 把权重衰减解耦出来，是现在的正确做法。用 AdamW 就对了。

🎚️ 三、学习率：最重要的旋钮

诊断表（背下来，第 11 章要用）：

⚠️ 最后一行很重要：「下降极慢」和「完全不动」是两种不同的病。 完全不动（loss 数值一位不差）几乎肯定是 bug，不是超参问题—— 调学习率是浪费时间，去查梯度。🔗 第 11 章有完整流程。

📏 学习率的量级参考（不知道从哪开始时）

🔑 "微调要用小 100 倍的学习率"是最容易忽略的一条—— 用从零训练的 lr 去微调，会直接把预训练权重冲垮，效果还不如冻结主干。

学习率调度（Scheduler）

⭐ Warmup（大模型必备）

为什么需要：训练最开始参数是随机的，梯度方向很不可靠， 大步走容易把模型带偏（尤其配 Adam 时二阶动量估计还不准）。先小步试探。

🔗 你在全景导论主线 4 · 它怎样从续写机变助手看到的大模型训练，几乎都用 Warmup + Cosine。

🔨 四、怎么找学习率（LR Range Test）

不用瞎猜，有个标准方法：

# 🧩 骨架：`loader` 来自你自己的代码，这一段只看写法
# 让 lr 从 1e-7 指数增长到 1，记录每步的 loss
lrs, losses = [], []
lr = 1e-7
for batch in loader:
    for g in optimizer.param_groups: g["lr"] = lr
    loss = train_one_step(batch)
    lrs.append(lr); losses.append(loss)
    lr *= 1.1
    if loss > 4 * min(losses): break     # loss 炸了就停

# 画 loss vs log(lr)，选【loss 下降最陡】的那个 lr
# 保守起见取那个点的 1/3 ~ 1/10

这种先增大学习率、观察损失变化来寻找合理范围的思路，可参见 Leslie Smith 的学习率范围测试说明。

📋 五、可以照抄的默认配置

# 🧩 骨架：`model` 来自你自己的代码，这一段只看写法
import torch

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs)

for epoch in range(epochs):
    for xb, yb in train_loader:
        optimizer.zero_grad()             # ⭐ 必须！梯度默认累加
        loss = criterion(model(xb), yb)
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)   # 防梯度爆炸
        optimizer.step()
    scheduler.step()

四个不能省的细节： 1. zero_grad() —— 忘了它，梯度会累加，训练直接废掉（最常见的低级 bug） 2. clip_grad_norm_ —— 梯度裁剪，RNN/Transformer 上几乎必备 3. scheduler.step() 的位置 —— 通常每个 epoch 一次（有些调度器是每 step） 4. weight_decay —— AdamW 的正则化（第 10 章）

⚠️ scheduler.step() 的位置是个高频错误：

💡 放错位置的症状：学习率衰减得快几百倍（该按 epoch 却按 step 调用）， loss 降一点就完全不动了——看起来像模型不行，实际是 lr 已经衰减到 0。 训练时打印一下 optimizer.param_groups[0]["lr"] 就能立刻发现。

💾 六、显存不够时的三个招

# 🧩 骨架：`loader` 来自你自己的代码，这一段只看写法
# 梯度累积：注意 loss 要除以 accum_steps ⭐
accum = 4
for i, (xb, yb) in enumerate(loader):
    loss = criterion(model(xb), yb) / accum      # ⭐ 别忘了这个除法
    loss.backward()
    if (i + 1) % accum == 0:
        optimizer.step()
        optimizer.zero_grad()

⚠️ 梯度累积最常见的 bug 就是忘了除以 accum —— 等效于把学习率放大了 4 倍，训练会不稳定甚至发散。

✅ 检查点

1. mini-batch 相比全批量和单样本的优势？batch size 和 lr 什么关系？
2. 为什么小 batch 的"噪声"反而对泛化有益？
3. Adam 结合了哪两个想法？偏差修正为什么必要？AdamW 改进了什么？
4. loss 变 NaN 该怎么办？loss 下降极慢呢？loss 完全不动呢？
5. 微调预训练模型该用多大学习率？不注意会怎样？
6. Warmup 为什么有用？什么时候必须加？
7. zero_grad() 忘了会怎样？
8. scheduler.step() 放错位置有什么症状？怎么快速发现？
9. 显存不够的三个招是什么？梯度累积最常见的 bug 是什么？

🛑 可以停在这里

⚡ 走神救援

• 先观察学习率与损失，每次只改一个量；报 NaN 时也要排查数据与运算，不能只认定是学习率。
• Adam 记录梯度及其平方的历史，不是计算 Hessian；AdamW 把权重衰减与自适应更新分开。
• 批量与学习率没有通用换算。Warmup、调度器和微调步长都需要验证，不机械套固定数字。
• 训练不动先检查更新链路：梯度、清零、参数更新、调度器调用频率。
• 显存不足再选工具：梯度累积、混合精度或检查点；按实际配置衡量显存、速度与精度。

下一节 👉 10-正则化全家桶.md