📑 本页目录(点开跳转)
10 / 先看直觉,再看细节
先确认是过拟合,
再决定加哪种约束。
让训练更难,验证就一定更好吗?
正则化是限制模型记住训练数据的方式,不是加得越多越好。
按过拟合症状选择候选手段,能说明归一化轴、训练/推理模式和顺序改变的影响。
先抓住一个具体结果
训练更差,不代表验证更好
加大 Dropout 后,训练和验证都变差,可能是约束过强。每次只改一项,比较固定验证集上的结果;别用测试集选择强度。
10 · 正则化全家桶
⏱ 36 分钟 | ⭐ 核心
🎯 一句话
正则化 = 一切「故意让模型别学得太顺」的手段。 反直觉但成立:给模型制造困难,它反而学得更好。
图内可左右滑动;需要时可放大阅读。
🤔 先想明白:为什么"制造困难"会有用
关键信息
正则化就是在堵这些捷径。
三种堵法,对应后面七件武器的三个族:
| 堵法 | 做什么 | 武器 |
|---|---|---|
| 让捷径不可靠 | 每次训练时随机破坏一部分信息 | Dropout、数据增强 |
| 让捷径变贵 | 给"复杂的解"加罚款 | 权重衰减、L1 |
| 不给记忆的时间 | 在模型开始死记硬背之前停下 | 早停 |
🔑 数学原理第 2 章会告诉你: 目标函数中的L2惩罚可对应「给参数加一个均值为 0 的高斯先验」;AdamW的解耦衰减要与该目标惩罚区分—— 也就是"在没有强证据时,我倾向于相信参数应该接近 0"。 正则化不是 hack,是把你的先验信念写进目标函数。
🧰 七件武器(按性价比排序)
图内可左右滑动;需要时可放大阅读。
① 加数据 —— 先验证收益
第 5 章的学习曲线可帮助判断是否值得增加有代表性的数据;也要检查标签质量、分布和成本。
对照
正则化:限制模型以调整拟合与泛化的权衡,效果需验证
加数据:可能降低估计波动,不保证偏差不变或分数提升
② 数据增强 —— 免费造数据
对照
图像:翻转、裁剪、旋转、颜色抖动、Mixup、CutMix
文本:同义词替换、回译、随机删词
音频:变速、变调、加背景噪声
通用:给输入加轻微噪声
💡 本质:告诉模型「这些变化下答案不变」——把先验知识注入进去。
⚠️ 增强必须"语义保持",这是最容易翻车的地方:
❌ 错误的增强 为什么错 手写数字做水平翻转 6 会变成镜像,2 会变成不认识的字符 医学影像做左右翻转 "病灶在左肺"是关键信息,翻转后标签就错了 文本做随机打乱词序 "狗咬人"和"人咬狗"不是一回事 时间序列做随机重排 直接破坏了因果顺序 判断标准一句话:增强后,一个人类专家会不会改变他的答案?会 → 别用。
🔗 Kaggle 第 10 章和第 8 章有大量实战增强策略。
③ 早停 Early Stopping —— 零成本,必用
# 🧩 骨架:`train_one_epoch` 来自你自己的代码,这一段只看写法
import torch
best, patience, wait = float('inf'), 10, 0
for epoch in range(200):
train_one_epoch()
val = evaluate()
if val < best:
best, wait = val, 0
torch.save(model.state_dict(), "best.pt") # ⭐ 保存最佳
else:
wait += 1
if wait >= patience:
break
if best == float("inf"): raise RuntimeError("没有有效验证结果")
model.load_state_dict(torch.load("best.pt", weights_only=True)) # 跑满也回滚
⚠️ 两个必坑:
| 坑 | 后果 |
|---|---|
| 忘了回滚(只 break 不 load) | 你保留的是"已经开始过拟合的那个模型",白停了 ⭐ |
| patience 太小(比如 2) | 学习率调度会让 loss 暂时上升,你会在它还能变好的时候停掉 |
💡 patience 怎么定:至少要大于学习率调度的一个周期。 用
ReduceLROnPlateau时,patience 要比它的 patience 大 2~3 倍。
④ 权重衰减 L2 / AdamW
05a 讲过线性模型里的 L2 惩罚。本例将AdamW的 weight_decay=0.01 作为待验证的起点;同名参数在不同优化器或配置中可能代表耦合L2或解耦衰减,不能仅按名字视为相同更新。
⚠️ 两个必须知道的细节:
流程图
# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
# ⭐ 一种分组示例;按本模型参数清单核对,再用验证集比较
import torch
decay, no_decay = [], []
for n, p in model.named_parameters():
if p.ndim <= 1 or "bias" in n: # 按维数/名称筛候选;不能据此认定全部都是bias/norm
no_decay.append(p)
else:
decay.append(p)
opt = torch.optim.AdamW([
{"params": decay, "weight_decay": 0.01},
{"params": no_decay, "weight_decay": 0.0}, # ⭐
], lr=3e-4)
上面的维数/名称规则只是示例:有些归一化参数是多维的,其他一维参数也可能被选入;应核对实际参数名、形状和所属模块,再决定分组。比较耦合L2与AdamW时写清损失惩罚的系数约定、学习率与矩状态,并调参验证;普通无动量SGD在相应系数换算下可等价,但不能把这个关系直接推广给Adam。AdamW原论文与官方更新定义可供核对。
⑤ Dropout —— 训练时随机"停工"
流程图
💡 "隐式集成"有多大规模:n 个神经元 → 2ⁿ 个可能的子网络。 一个 1000 神经元的层,可用共享权重的随机子网络作近似集成直觉,并非精确训练和平均 2¹⁰⁰⁰ 个独立网络。 🔗 这就是数学原理第 8 章说的"集成降方差"在起作用。
经验值:
| 位置 | p |
|---|---|
| 全连接层 | 0.2 – 0.5 |
| 卷积层 | 通常不用或 ≤0.1(BN 已经起了正则作用,且卷积参数本来就少) |
| Transformer | 0.1(attention 和 FFN 后各一个) |
| 输入层 | 很少用,用也 ≤0.1 |
⚠️ 最常见的两个 bug:
流程图
💡 一个自检起点:固定输入后若输出变动,先检查各子模块的train/eval状态,也检查随机采样、数据增强和非确定算子;不能仅凭两次不同就断言忘了
eval()。⭐ 上面那句「框架自动处理缩放」,缩放到底放在哪一边? 先看未缩放的掩码,再看框架采用的约定:若只丢掉30%而不补偿,输出期望只剩70%, 补法有两种(训练时除 $1-p$ 的 inverted dropout,还是推理时整层乘 $1-p$),PyTorch采用前者:训练时除以1−p,eval时保持输入不变。 🔗 附录 C 第 6 题把这 8 行写出来了,含实测输出(训练均值 1.0018 vs 推理 1.0000)。
⑥ BatchNorm / LayerNorm / GroupNorm —— 先写形状与统计轴
归一化层通常先算 $(x-\mu)/\sqrt{v+\epsilon}$,再施加可学习的缩放γ和偏置β。区别不只是“竖着算/横着算”:先写输入布局、哪些轴参与均值/方差,以及γ/β在哪些位置共享。它们可帮助优化,也可能改变正则效果;Transformer/RNN并非在所有结构中“必用LN”。
| 调用 | 一组统计覆盖什么 | 每组元素数 | γ/β与训练/推理统计 |
|---|---|---|---|
BatchNorm2d(4) | 固定通道c,跨N、H、W | 2×2×2=8;一共4组 | 各4个通道参数;默认训练用当前批统计并更新running统计,eval用running统计 |
LayerNorm([4,2,2]) | 固定样本n,跨末尾C、H、W | 4×2×2=16;一共2组 | γ/β各为(4,2,2),逐元素而非逐通道共享;train/eval均用当前输入统计 |
GroupNorm(2,4) | 每个样本内,把4通道分为2组;每组跨2通道与H、W,不跨N | 2×2×2=8;每样本2组 | γ/β各4个通道参数;C须被组数整除,train/eval均用当前输入统计 |
轴会随调用改变。对NCHW直接用 LayerNorm(2) 只归约最后的W轴,不是在通道上做LN。对序列布局NLC=(2,3,4),LayerNorm(4)则对每个token的4个通道归约,不跨L或N。GN取1组时可与LN(CHW)使用相同统计范围,但两者默认仿射参数共享方式不同,不能把整个层无条件视为相同。
元素个数相同,统计对象也可能不同
给定教学张量 $X[n,c,h,w]=100n+10c+2h+w$,各下标从0开始,形状仍为(2,4,2,2)。
BN的c=0组:从两个样本取8个值,均值51.5;LN的n=0组:取该样本全部16个值,均值16.5;GN的n=0、第1组通道{0,1}:取8个值,均值6.5。相同的X[0,0,0,0]会被放进不同的统计组。
BN训练/推理要带配置读。默认训练归一化使用分母为m的本批方差,更新 running_var时用无偏估计;默认 eval()读取running统计。track_running_stats=False时,训练和eval都使用当前批统计。BN2d的每通道统计元素数是N×H×W,所以N=1、H=W=2仍有4个值,不能说“batch=1就必崩”;若每通道仅1个值,统计与实现的有效输入约束需另查。running统计与部署分布不匹配也只是待测风险,不是“分布一变就崩”的定理。
LN/GN不跨样本,不等于整个网络对batch组成完全不敏感。固定本层输入与参数时,加入别的样本不改变它们的本层统计;网络中其他层、随机算子和padding mask仍须正确处理。小批量下可将GN或合适轴的LN列为候选,效果由具体任务验证。
Dropout与BN的位置要验证。PyTorch的inverted Dropout在训练时对保留项除以1−p,eval时为恒等映射。若零均值输入方差为σ²、掩码独立,训练输出方差为σ²/(1−p),eval恢复为σ²;当它位于BN前面时,可能使训练积累的running方差与推理输入不匹配。这说明一种风险,不推出两者永远不能共用,也不保证只改次序就能修好。
🔎 可选:LayerNorm与Dropout能直接换序吗?
一般不能。LN按当前输入的指定末尾轴计算统计量,训练和eval都如此,没有BN的running均值/方差。Dropout在LN前,会改变本次LN看到的均值和方差;在LN后,则直接改变已归一化的激活。这与上面的BN训练/推理统计偏移是不同的局部机制。
固定掩码的小算例:一个样本x=(1,3),LN归约这两个元素,使用分母2的方差,ε=10⁻⁵,γ=1、β=0。训练时Dropout丢弃概率p=0.5,固定保留掩码(1,0),按inverted规则保留项除以0.5。记c=1/√(1+ε),约0.999995。
| 次序 | 同一输入与掩码的结果 |
|---|---|
| 先LN,再Dropout | LN(x)=(−c,c),再丢弃得到(−2c,0)。 |
| 先Dropout,再LN | 先变成(2,0),本次均值1、方差1,LN后为(c,−c)。 |
推理另看:在这个只有两算子的局部比较中,若Dropout确已eval,它是恒等映射,两次序都变成LN(x);不能由此推断含其他随机操作/分支的整个网络等价。Pre-LN/Post-LN讨论的是LN相对残差加法和子层的位置,也不是只交换这两个算子。没有适用所有网络的唯一“更稳”顺序,应按具体残差布局、训练配置和验证结果选择。
定义见LayerNorm与Dropout官方说明。固定掩码只用于核算非交换性,不是随机统计、网络训练或稳定性实验。
| 实际操作 | 需要保留的条件 |
|---|---|
| 冻结backbone或BN | 默认BN的 bn.eval()停止本批统计更新;参数是否求梯度由 requires_grad另控。后续 model.train()可能重新切换子层模式。no_grad()也不等于eval。 |
| 紧邻BN的卷积省bias | 训练时按通道的常数平移会被均值抵消,BN的β可提供偏移,常可从建模时设 bias=False;不能推广到中间夹有其他运算/分支的结构,也不要直接删已训bias而忽略running状态。 |
🔗 附录C第4/5/6题保留LN、二维BN及Dropout的代码路径。那里二维(N,C)的batch=1情形不能直接推广为NCHW的结论;对照时同时检查归约轴、有偏前向方差、running更新和train/eval分支,而不是只记口诀。
📚 统计轴与模式的一手依据
见PyTorch BatchNorm2d、LayerNorm、GroupNorm、Dropout与Module模式;另参GN原论文和Dropout/BN方差偏移原研究。算例只核算统计组与给定数值,不是训练实验。
⑦ 标签平滑 Label Smoothing
平滑先改变的是训练目标分布,不是在预测后直接把概率截小。PyTorch的 CrossEntropyLoss(label_smoothing=ε) 把one-hot与全部K类的均匀分布混合:
$$q_k=(1-\varepsilon)\mathbf{1}[k=y]+\frac{\varepsilon}{K},\qquad L=-\sum_k q_k\log p_k$$
同一个ε,先说清分给哪些类
三类、真类为第二类、ε=0.1。分给全部类得到 $(1/30,28/30,1/30)$,约为(0.0333,0.9333,0.0333);真类也分到ε/3,三个分量相加为1。
另一种只分给非真类的约定则是(0.05,0.90,0.05)。它与上面的ε含义不同,不能直接拿同一个数值比较强度;使用API或复现论文时先核对定义。
无正则的one-hot交叉熵在单个训练样本上逼近0时,正确类相对其他类的logit差距可持续增大;这不等于硬标签本身有害,也不证明模型必然过拟合。平滑让训练目标保留非真类概率质量,可能缓解某些设置下的过度自信,但是否提高泛化或校准取决于任务、数据、模型和ε。
| 用途 | 收益与代价怎样核对 |
|---|---|
| 需要可信概率 | 保留硬标签基线,在独立验证数据上比较任务质量、NLL/Brier及校准曲线;若报告ECE,说明分箱与样本量。NLL/Brier也受区分能力影响,不能单独等同校准。必要时另用校准数据拟合校准器,不凭“平滑压低置信度”一律禁用。 |
| 知识蒸馏教师 | 原研究观察到平滑可能削弱logits中的类别相似信息并影响学生;在具体教师/学生、温度和训练配方下比较学生质量。教师输出也不是已知的真实条件分布,不能据此写成所有教师都禁止平滑。 |
先在训练/验证划分内选ε与校准方案,固定后再评估最终测试集;把分类效果、概率质量和蒸馏效果分别记录。这里的三类数字只是目标分布手算,没有跑模型或校准实验。
📚 平滑语义与概率评估的一手依据
PyTorch CrossEntropyLoss给出均匀混合约定;When Does Label Smoothing Help?报告校准与蒸馏中的具体观察;scikit-learn概率校准指南说明评分规则、区分能力与校准的区别。论文观察不是所有任务的性能保证。
🧭 怎么组合(候选起点,逐项验证)
| 场景 | 配方 |
|---|---|
| 表格数据 MLP | 早停 + weight_decay(0.01) + Dropout(0.2~0.3) |
| 树模型 / GBDT | max_depth + min_child_weight + subsample + colsample + 小 learning_rate + 早停 ⭐ |
| CNN 图像 | 早停 + 数据增强 ⭐ + BN + weight_decay(1e-4) |
| Transformer/NLP | 早停 + 合适的归一化 + 可选Dropout + AdamW/warmup;标签平滑另行验证 |
| 微调预训练模型 | 小学习率 + 早停 + 冻结前几层(正则化基本靠预训练本身)⭐ |
| 数据极少 | 加数据 > 强增强 > 强正则 > 换更小的模型 / 用预训练 |
🔑 调试顺序:先确认模型能过拟合(在小数据上跑到训练 loss ≈ 0), 再加正则往回收。一上来就堆正则,你分不清是欠拟合还是模型有 bug。 —— 这条是第 11 章的核心方法论。
⚠️ 一个重要提醒:正则化不是越多越好
信息关系
每次只加一种,看验证集怎么变。
🩺 一张诊断表
| 训练 loss | 验证 loss | 诊断 | 该动哪件武器 |
|---|---|---|---|
| 低 | 高 | 过拟合 | 加正则(按性价比顺序:数据→增强→早停→衰减→Dropout) |
| 高 | 高 | 欠拟合 | 减正则 / 加大模型 / 训久一点 / 调学习率 |
| 低 | 低 | ✅ 健康 | 可以试着加大模型再来一轮 |
| 高 | 低 | ⚠️ 异常 | 多半是 bug:验证集太简单、泄漏、或 Dropout 没关(训练 loss 被 Dropout 抬高了)⭐ |
💡 最后一行值得记住:验证 loss 比训练 loss 还低时,先怀疑 Dropout 和 BN—— 训练时它们在给模型"加难度",所以训练 loss 天然偏高。轻微的这种现象是正常的。
🔗 和站内其他章的关系
| 相关的地方 | 这里的对应 |
|---|---|
| 第 3 章 L1/L2 正则 | ④ 权重衰减的线性模型版 |
第 4 章 GBDT 的 learning_rate、树深限制 |
树模型的正则化手段 |
| 第 5 章"加数据只降方差" | 为什么加数据排第一 |
| 数学原理第 2 章 | 正则化 = 先验(λ = σ²/τ²)⭐ |
| 数学原理第 9 章 | 正则化 = 缩小假设空间 = 降低样本需求 |
| Kaggle 第 2 章 | 竞赛实战版(含 FGM/R-Drop 等进阶手段) |
| 推荐算法第 5 章 MF 的 λ | L2 正则 |
| 附录 C 第 4、5、6 题 ⭐ | 这一章讲的是这三个东西在干什么;面试要的是它们长什么样——LayerNorm / BatchNorm / Dropout 各 10~20 行手写实现,三个最容易写错的点都标出来了 |
✅ 检查点
共 11 题:9 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 正则化的三种「堵捷径」办法,下面哪组对应正确?
看答案与解析
答案:C
堵捷径(模型记住训练集特有的东西)。三种:让捷径不可靠(Dropout、增强)、让捷径变贵(权重衰减、L1)、不给记忆时间(早停)。
单选2. 七件武器里性价比最高的是哪个?
看答案与解析
答案:A
加数据——唯一同时降方差又不抬高偏差的手段;其他所有正则化都是拿偏差换方差。
单选3. 下面哪个数据增强是错误的?
看答案与解析
答案:D
标准:增强后一个人类专家会不会改变答案。错误例子:手写数字水平翻转(6 变镜像)、医学影像左右翻转("病灶在左肺"是关键信息)、文本打乱词序、时间序列重排。
单选4. 早停有哪两个必踩的坑?
看答案与解析
答案:B
①忘了回滚最佳权重(只 break 不 load,保留的是已过拟合的模型)②patience 太小,学习率调度让 loss 暂时上升时被误停。
判断5. 耦合 L2 的 Adam 和 AdamW 通常等价,只是写法不同。
看答案与解析
答案:错误
耦合L2的惩罚梯度会进入Adam的矩估计与自适应更新;AdamW将衰减直接作用于参数,通常不等价。不能只按当前梯度大小比较惩罚。bias/norm免衰减是常见候选配置;维数/名称筛选会漏选或误选,要核对参数清单、系数约定、学习率和矩状态,再按任务验证收益。
单选6. PyTorch 的 Dropout 在训练和推理时怎样缩放?
看答案与解析
答案:A
随机掩码可提供共享权重子网络的近似集成直觉,不是独立训练并精确平均2ⁿ个网络。PyTorch训练保留项除以1−p,eval为恒等;eval模式与禁用梯度不同。输出变动须检查子层模式和其他随机/非确定因素,不能仅凭两次不同下结论。
单选7. 对 NCHW 输入,BatchNorm2d 沿哪些轴统计?
看答案与解析
答案:D
NCHW的BN2d固定C跨N/H/W;LN按normalized_shape指定的末尾轴,NLC上LN(C)逐token统计;GN在每个样本的通道组及空间内统计。默认BN训练用本批并更新running,eval用running;track_running_stats=False时两种模式均用本批。N=1还要看空间元素数,LN/GN不跨N也只说明本层的统计性质。
单选8. BN 设 track_running_stats=False 时,统计来源是?
看答案与解析
答案:C
NCHW的BN2d固定C跨N/H/W;LN按normalized_shape指定的末尾轴,NLC上LN(C)逐token统计;GN在每个样本的通道组及空间内统计。默认BN训练用本批并更新running,eval用running;track_running_stats=False时两种模式均用本批。N=1还要看空间元素数,LN/GN不跨N也只说明本层的统计性质。
判断9. 卷积后紧跟按通道 BN 时常可设 bias=False;但中间有其他运算或分支、或要改已训好的模型时,不能机械删除。
看答案与解析
答案:正确
紧邻按通道BN时,训练均值会抵消卷积的通道常数偏移,BN的β提供偏移,建模时常可设bias=False;中间有其他运算/分支或直接修改已训bias和running状态时不能机械删除。
单选10. 标签平滑「全类均匀混合」约定下,目标分布是?
看答案与解析
答案:A
全类均匀混合为q=(1−ε)one-hot+ε/K;只给非真类则真类为1−ε、其他为ε/(K−1)。概率任务不能一律禁用:对照硬标签基线,同时评估任务质量、NLL/Brier和校准曲线/ECE,必要时独立校准。蒸馏可能损失类别相似信息,应比较具体教师/学生和温度配置的学生效果,不把教师输出当真实分布。
单选11. 训练 loss 高但验证 loss 低,该怀疑什么?
看答案与解析
答案:B
多半是 bug 或正常的 Dropout/BN 效应:训练时 Dropout/BN 在加难度,训练 loss 天然偏高(轻微正常)。严重时怀疑验证集太简单或数据泄漏。
本节回顾
正则化是限制模型记住训练数据的方式,不是加得越多越好。
⚡ 走神救援
先记住这几件事
- 正则化的目标是改善泛化,不是让训练分数更漂亮。
- 权重约束、Dropout、数据增强和早停作用在不同环节,不能混成一种方法。
- 根据验证曲线逐项尝试,记录收益;训练和推理模式要正确切换。
下一节 👉 11-训练调试手册.md ⭐