先确认是过拟合，
再决定加哪种约束。

10 · 正则化全家桶

⏱ 36 分钟 ｜ ⭐ 核心

🎯 一句话

正则化 = 一切「故意让模型别学得太顺」的手段。 反直觉但成立：给模型制造困难，它反而学得更好。

🤔 先想明白：为什么"制造困难"会有用

正则化就是在堵这些捷径。

三种堵法，对应后面七件武器的三个族：

🔑 数学原理第 2 章会告诉你： 权重衰减的真身是「给参数加一个均值为 0 的高斯先验」—— 也就是"在没有强证据时，我倾向于相信参数应该接近 0"。 正则化不是 hack，是把你的先验信念写进目标函数。

🧰 七件武器（按性价比排序）

① 加数据 —— 永远的第一名

第 5 章说过：唯一能同时降方差又不增偏差的手段。 有数据就别折腾别的。

② 数据增强 —— 免费造数据

💡 本质：告诉模型「这些变化下答案不变」——把先验知识注入进去。

⚠️ 增强必须"语义保持"，这是最容易翻车的地方：

❌ 错误的增强	为什么错
手写数字做水平翻转	6 会变成镜像，2 会变成不认识的字符
医学影像做左右翻转	"病灶在左肺"是关键信息，翻转后标签就错了
文本做随机打乱词序	"狗咬人"和"人咬狗"不是一回事
时间序列做随机重排	直接破坏了因果顺序

判断标准一句话：增强后，一个人类专家会不会改变他的答案？会 → 别用。

🔗 Kaggle 第 10 章和第 8 章有大量实战增强策略。

③ 早停 Early Stopping —— 零成本，必用

# 🧩 骨架：`train_one_epoch` 来自你自己的代码，这一段只看写法
import torch
best, patience, wait = float('inf'), 10, 0
for epoch in range(200):
    train_one_epoch()
    val = evaluate()
    if val < best:
        best, wait = val, 0
        torch.save(model.state_dict(), "best.pt")    # ⭐ 保存最佳
    else:
        wait += 1
        if wait >= patience:
            model.load_state_dict(torch.load("best.pt"))   # ⭐ 回滚
            break

⚠️ 两个必坑：

💡 patience 怎么定：至少要大于学习率调度的一个周期。 用 ReduceLROnPlateau 时，patience 要比它的 patience 大 2~3 倍。

④ 权重衰减 L2 / AdamW

第 3 章讲过原理。深度学习里通过 weight_decay=0.01 实现。

⚠️ 两个必须知道的细节：

# 🧩 骨架：`model` 来自你自己的代码，这一段只看写法
# ⭐ 正确的分组写法（几乎所有大模型训练脚本都这么写）
import torch
decay, no_decay = [], []
for n, p in model.named_parameters():
    if p.ndim <= 1 or "bias" in n:      # 1 维的都是 bias/norm 参数
        no_decay.append(p)
    else:
        decay.append(p)
opt = torch.optim.AdamW([
    {"params": decay,    "weight_decay": 0.01},
    {"params": no_decay, "weight_decay": 0.0},   # ⭐
], lr=3e-4)

⑤ Dropout —— 训练时随机"停工"

💡 "隐式集成"有多大规模：n 个神经元 → 2ⁿ 个可能的子网络。 一个 1000 神经元的层，Dropout 相当于在集成 2¹⁰⁰⁰ 个网络的平均。 🔗 这就是数学原理第 8 章说的"集成降方差"在起作用。

经验值：

⚠️ 最常见的两个 bug：

💡 一个自检技巧：同样的输入跑两次，如果输出不同 → 你忘了 eval()。

⭐ 上面那句「框架自动处理缩放」，缩放到底放在哪一边？ 这是 Dropout 唯一的考点，而这一节故意跳过了它：丢掉 30% 之后这一层输出的期望只剩 70%， 补法有两种（训练时除 $1-p$ 的 inverted dropout，还是推理时整层乘 $1-p$），现代框架为什么全选前者。 🔗 附录 C 第 6 题把这 8 行写出来了，含实测输出（训练均值 1.0018 vs 推理 1.0000）。

⑥ BatchNorm / LayerNorm —— 主要作用是稳定训练

为什么 Transformer 用 LayerNorm 不用 BatchNorm：

⚠️ BN 的三个坑：

⭐ 「BN 竖着算、LN 横着算」是结论，白板上要写的是那 15 行： 🔗 附录 C 第 4 题（LayerNorm）和第 5 题（BatchNorm）。 那边补了这一节没说的两件事：方差要用有偏（分母 n），但 running_var 存的是无偏（× n/(n−1)）—— 这一行是手写实现和 PyTorch 对不齐的头号原因；以及 else 分支漏了会怎样（batch=1 时方差恒为 0，输出直接爆掉）。

⑦ 标签平滑 Label Smoothing

💡 为什么硬标签有害：要让 softmax 输出精确的 1，那个 logit 必须趋于 +∞—— 模型会把权重越推越大来追求这个永远达不到的目标，这本身就是一种过拟合。

⚠️ 两个不该用的场景：

• 需要精确概率的任务（如风控打分、竞价）——平滑会系统性压低置信度
• 知识蒸馏的教师模型——你需要它输出真实的概率分布

🧭 怎么组合（可以照抄的配方）

🔑 调试顺序：先确认模型能过拟合（在小数据上跑到训练 loss ≈ 0）， 再加正则往回收。一上来就堆正则，你分不清是欠拟合还是模型有 bug。 —— 这条是第 11 章的核心方法论。

⚠️ 一个重要提醒：正则化不是越多越好

每次只加一种，看验证集怎么变。

🩺 一张诊断表

💡 最后一行值得记住：验证 loss 比训练 loss 还低时，先怀疑 Dropout 和 BN—— 训练时它们在给模型"加难度"，所以训练 loss 天然偏高。轻微的这种现象是正常的。

🔗 和站内其他章的关系

✅ 检查点

1. 正则化在"堵"什么？三种堵法各对应哪些武器？
2. 七件武器里性价比最高的是哪个？为什么它特殊？
3. 数据增强翻车的判断标准是什么？举两个错误增强的例子。
4. 早停有哪两个必踩的坑？
5. 为什么 Adam + L2 ≠ AdamW？哪些参数不该加 weight decay？
6. Dropout 为什么有效？测试时怎么处理？怎么自检忘没忘 eval()？
7. 为什么 Transformer 用 LayerNorm 而不是 BatchNorm？（说出两条）
8. 为什么 BN 层前的卷积不需要 bias？
9. 标签平滑在哪两个场景不该用？
10. 训练 loss 高但验证 loss 低，该怀疑什么？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 11-训练调试手册.md ⭐