跳到主要内容
🏠 总目录📚 本教程 10 · 正则化全家桶 ← →
📑 本页目录(点开跳转)

10 / 先看直觉,再看细节

先确认是过拟合,
再决定加哪种约束。

让训练更难,验证就一定更好吗?

正则化是限制模型记住训练数据的方式,不是加得越多越好。

按过拟合症状选择候选手段,能说明归一化轴、训练/推理模式和顺序改变的影响。

先抓住一个具体结果

训练更差,不代表验证更好

加大 Dropout 后,训练和验证都变差,可能是约束过强。每次只改一项,比较固定验证集上的结果;别用测试集选择强度。

10 · 正则化全家桶

⏱ 36 分钟 | ⭐ 核心


🎯 一句话

正则化 = 一切「故意让模型别学得太顺」的手段。 反直觉但成立:给模型制造困难,它反而学得更好。

图内可左右滑动;需要时可放大阅读。

BatchNorm对一个特征,跨样本归一化LayerNorm对一个样本,跨特征归一化样本特征 →样本特征 →同一批数据,两种归一化方向完全不同图示仅限二维(N,C):LN(C)不跨N;多维统计轴见下文BN推理统计取决于模式和track_running_stats,不只看batch大小
本图只画二维(N,C):BatchNorm按列跨样本,LayerNorm(C)按行跨C。固定本层输入与参数时LN不混入其他样本;这不保证整个网络输出与batch组成无关。NCHW、NLC及GN的具体统计轴见下文归一化段。

🤔 先想明白:为什么"制造困难"会有用

关键信息

模型的目标:让训练集上的 loss 最小
你的目标: 让【没见过的数据】上的 loss 最小
⚠️ 这两个目标【不一样】
模型会走捷径:
· 记住训练集里那个"图片右下角有水印的都是猫"
· 记住"编号 7823 这个样本的答案是 3"
这些在训练集上完美,在新数据上一文不值

正则化就是在堵这些捷径。

三种堵法,对应后面七件武器的三个族:

堵法 做什么 武器
让捷径不可靠 每次训练时随机破坏一部分信息 Dropout、数据增强
让捷径变贵 给"复杂的解"加罚款 权重衰减、L1
不给记忆的时间 在模型开始死记硬背之前停下 早停

🔑 数学原理第 2 章会告诉你: 目标函数中的L2惩罚可对应「给参数加一个均值为 0 的高斯先验」;AdamW的解耦衰减要与该目标惩罚区分—— 也就是"在没有强证据时,我倾向于相信参数应该接近 0"。 正则化不是 hack,是把你的先验信念写进目标函数。


🧰 七件武器(按性价比排序)

图内可左右滑动;需要时可放大阅读。

最小二乘解L1(Lasso):菱形顶点在坐标轴上 → 有分量被压成 0最小二乘解L2(Ridge):圆圆上没有角 → 各分量都变小但不为 0为什么 L1 产生稀疏、L2 不产生?答案是「形状」灰色椭圆是损失等高线,彩色区域是正则约束 —— 解落在两者第一次相切的地方⭐ 菱形的「角」正好落在坐标轴上,而等高线很容易先碰到角 —— 碰到角 = 那个维度的系数正好是 0圆是光滑的,没有任何位置比别处更容易被碰到,所以不会恰好取 0
灰色椭圆是损失等高线,彩色区域是正则约束 —— 解落在两者第一次相切的地方。⭐ 菱形的「角」正好在坐标轴上,等高线很容易先碰到角 —— 碰到角 = 那个系数正好是 0。圆是光滑的,没有哪里比别处更容易被碰到,所以不会恰好取 0。

① 加数据 —— 先验证收益

第 5 章的学习曲线可帮助判断是否值得增加有代表性的数据;也要检查标签质量、分布和成本。

对照

正则化:限制模型以调整拟合与泛化的权衡,效果需验证

加数据:可能降低估计波动,不保证偏差不变或分数提升

② 数据增强 —— 免费造数据

对照

图像:翻转、裁剪、旋转、颜色抖动、Mixup、CutMix

文本:同义词替换、回译、随机删词

音频:变速、变调、加背景噪声

通用:给输入加轻微噪声

💡 本质:告诉模型「这些变化下答案不变」——把先验知识注入进去。

⚠️ 增强必须"语义保持",这是最容易翻车的地方:

❌ 错误的增强 为什么错
手写数字做水平翻转 6 会变成镜像,2 会变成不认识的字符
医学影像做左右翻转 "病灶在左肺"是关键信息,翻转后标签就错了
文本做随机打乱词序 "狗咬人"和"人咬狗"不是一回事
时间序列做随机重排 直接破坏了因果顺序

判断标准一句话:增强后,一个人类专家会不会改变他的答案?会 → 别用。

🔗 Kaggle 第 10 章和第 8 章有大量实战增强策略。

③ 早停 Early Stopping —— 零成本,必用

停止后,恢复最佳权重验证 loss训练 loss保存最佳耐心用尽 loss训练轮数 epoch
示意图,不是实测结果。实线是验证损失,虚线是训练损失。训练仍在改善而验证持续变差,是过拟合的线索;实际要允许波动。最低点用于保存最佳权重,停止通常发生在随后连续若干轮无改善时,不是看见一次上升就立刻停。
# 🧩 骨架:`train_one_epoch` 来自你自己的代码,这一段只看写法
import torch
best, patience, wait = float('inf'), 10, 0
for epoch in range(200):
    train_one_epoch()
    val = evaluate()
    if val < best:
        best, wait = val, 0
        torch.save(model.state_dict(), "best.pt")    # ⭐ 保存最佳
    else:
        wait += 1
        if wait >= patience:
            break
if best == float("inf"): raise RuntimeError("没有有效验证结果")
model.load_state_dict(torch.load("best.pt", weights_only=True))  # 跑满也回滚

⚠️ 两个必坑:

坑 后果
忘了回滚(只 break 不 load) 你保留的是"已经开始过拟合的那个模型",白停了 ⭐
patience 太小(比如 2) 学习率调度会让 loss 暂时上升,你会在它还能变好的时候停掉

💡 patience 怎么定:至少要大于学习率调度的一个周期。 用 ReduceLROnPlateau 时,patience 要比它的 patience 大 2~3 倍。

④ 权重衰减 L2 / AdamW

05a 讲过线性模型里的 L2 惩罚。本例将AdamW的 weight_decay=0.01 作为待验证的起点;同名参数在不同优化器或配置中可能代表耦合L2或解耦衰减,不能仅按名字视为相同更新。

⚠️ 两个必须知道的细节:

流程图

① 常见配置:把bias和归一化层的仿射参数列入no-decay候选
这些参数会改变所表示的函数;是否衰减、收益或风险取决于结构与任务,不是数学上的统一禁令
② 耦合L2的Adam通常不等价于AdamW
耦合L2把惩罚梯度加进Adam的梯度→进入一阶/二阶矩估计及自适应更新→不能仅按当前梯度大小判断惩罚强弱
AdamW把衰减直接作用于参数,不让衰减项进入矩估计→这是不同的更新定义;效果仍需验证
# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
# ⭐ 一种分组示例;按本模型参数清单核对,再用验证集比较
import torch
decay, no_decay = [], []
for n, p in model.named_parameters():
    if p.ndim <= 1 or "bias" in n:      # 按维数/名称筛候选;不能据此认定全部都是bias/norm
        no_decay.append(p)
    else:
        decay.append(p)
opt = torch.optim.AdamW([
    {"params": decay,    "weight_decay": 0.01},
    {"params": no_decay, "weight_decay": 0.0},   # ⭐
], lr=3e-4)

上面的维数/名称规则只是示例:有些归一化参数是多维的,其他一维参数也可能被选入;应核对实际参数名、形状和所属模块,再决定分组。比较耦合L2与AdamW时写清损失惩罚的系数约定、学习率与矩状态,并调参验证;普通无动量SGD在相应系数换算下可等价,但不能把这个关系直接推广给Adam。AdamW原论文与官方更新定义可供核对。

⑤ Dropout —— 训练时随机"停工"

流程图

训练时:每个神经元以概率 p 被临时置 0
测试时:全部保留(框架自动处理缩放)
💡 为什么有用:
· 逼迫网络不能依赖某个特定神经元→学到冗余表示
· 相当于每次训练一个不同的子网络→隐式集成

💡 "隐式集成"有多大规模:n 个神经元 → 2ⁿ 个可能的子网络。 一个 1000 神经元的层,可用共享权重的随机子网络作近似集成直觉,并非精确训练和平均 2¹⁰⁰⁰ 个独立网络。 🔗 这就是数学原理第 8 章说的"集成降方差"在起作用。

经验值:

位置 p
全连接层 0.2 – 0.5
卷积层 通常不用或 ≤0.1(BN 已经起了正则作用,且卷积参数本来就少)
Transformer 0.1(attention 和 FFN 后各一个)
输入层 很少用,用也 ≤0.1

⚠️ 最常见的两个 bug:

流程图

① 忘了 model.eval()→测试时 Dropout 还在随机丢,结果每次都不一样
② 忘了 model.train()→恢复训练时 Dropout 没开,正则失效

💡 一个自检起点:固定输入后若输出变动,先检查各子模块的train/eval状态,也检查随机采样、数据增强和非确定算子;不能仅凭两次不同就断言忘了 eval()。

⭐ 上面那句「框架自动处理缩放」,缩放到底放在哪一边? 先看未缩放的掩码,再看框架采用的约定:若只丢掉30%而不补偿,输出期望只剩70%, 补法有两种(训练时除 $1-p$ 的 inverted dropout,还是推理时整层乘 $1-p$),PyTorch采用前者:训练时除以1−p,eval时保持输入不变。 🔗 附录 C 第 6 题把这 8 行写出来了,含实测输出(训练均值 1.0018 vs 推理 1.0000)。

⑥ BatchNorm / LayerNorm / GroupNorm —— 先写形状与统计轴

归一化层通常先算 $(x-\mu)/\sqrt{v+\epsilon}$,再施加可学习的缩放γ和偏置β。区别不只是“竖着算/横着算”:先写输入布局、哪些轴参与均值/方差,以及γ/β在哪些位置共享。它们可帮助优化,也可能改变正则效果;Transformer/RNN并非在所有结构中“必用LN”。

明确使用PyTorch,输入X为(N,C,H,W)=(2,4,2,2),默认启用仿射参数
调用一组统计覆盖什么每组元素数γ/β与训练/推理统计
BatchNorm2d(4)固定通道c,跨N、H、W2×2×2=8;一共4组各4个通道参数;默认训练用当前批统计并更新running统计,eval用running统计
LayerNorm([4,2,2])固定样本n,跨末尾C、H、W4×2×2=16;一共2组γ/β各为(4,2,2),逐元素而非逐通道共享;train/eval均用当前输入统计
GroupNorm(2,4)每个样本内,把4通道分为2组;每组跨2通道与H、W,不跨N2×2×2=8;每样本2组γ/β各4个通道参数;C须被组数整除,train/eval均用当前输入统计

轴会随调用改变。对NCHW直接用 LayerNorm(2) 只归约最后的W轴,不是在通道上做LN。对序列布局NLC=(2,3,4),LayerNorm(4)则对每个token的4个通道归约,不跨L或N。GN取1组时可与LN(CHW)使用相同统计范围,但两者默认仿射参数共享方式不同,不能把整个层无条件视为相同。

元素个数相同,统计对象也可能不同

给定教学张量 $X[n,c,h,w]=100n+10c+2h+w$,各下标从0开始,形状仍为(2,4,2,2)。

BN的c=0组:从两个样本取8个值,均值51.5;LN的n=0组:取该样本全部16个值,均值16.5;GN的n=0、第1组通道{0,1}:取8个值,均值6.5。相同的X[0,0,0,0]会被放进不同的统计组。

BN训练/推理要带配置读。默认训练归一化使用分母为m的本批方差,更新 running_var时用无偏估计;默认 eval()读取running统计。track_running_stats=False时,训练和eval都使用当前批统计。BN2d的每通道统计元素数是N×H×W,所以N=1、H=W=2仍有4个值,不能说“batch=1就必崩”;若每通道仅1个值,统计与实现的有效输入约束需另查。running统计与部署分布不匹配也只是待测风险,不是“分布一变就崩”的定理。

LN/GN不跨样本,不等于整个网络对batch组成完全不敏感。固定本层输入与参数时,加入别的样本不改变它们的本层统计;网络中其他层、随机算子和padding mask仍须正确处理。小批量下可将GN或合适轴的LN列为候选,效果由具体任务验证。

Dropout与BN的位置要验证。PyTorch的inverted Dropout在训练时对保留项除以1−p,eval时为恒等映射。若零均值输入方差为σ²、掩码独立,训练输出方差为σ²/(1−p),eval恢复为σ²;当它位于BN前面时,可能使训练积累的running方差与推理输入不匹配。这说明一种风险,不推出两者永远不能共用,也不保证只改次序就能修好。

🔎 可选:LayerNorm与Dropout能直接换序吗?

一般不能。LN按当前输入的指定末尾轴计算统计量,训练和eval都如此,没有BN的running均值/方差。Dropout在LN前,会改变本次LN看到的均值和方差;在LN后,则直接改变已归一化的激活。这与上面的BN训练/推理统计偏移是不同的局部机制。

固定掩码的小算例:一个样本x=(1,3),LN归约这两个元素,使用分母2的方差,ε=10⁻⁵,γ=1、β=0。训练时Dropout丢弃概率p=0.5,固定保留掩码(1,0),按inverted规则保留项除以0.5。记c=1/√(1+ε),约0.999995。

次序同一输入与掩码的结果
先LN,再DropoutLN(x)=(−c,c),再丢弃得到(−2c,0)。
先Dropout,再LN先变成(2,0),本次均值1、方差1,LN后为(c,−c)。

推理另看:在这个只有两算子的局部比较中,若Dropout确已eval,它是恒等映射,两次序都变成LN(x);不能由此推断含其他随机操作/分支的整个网络等价。Pre-LN/Post-LN讨论的是LN相对残差加法和子层的位置,也不是只交换这两个算子。没有适用所有网络的唯一“更稳”顺序,应按具体残差布局、训练配置和验证结果选择。

定义见LayerNorm与Dropout官方说明。固定掩码只用于核算非交换性,不是随机统计、网络训练或稳定性实验。

实际操作需要保留的条件
冻结backbone或BN默认BN的 bn.eval()停止本批统计更新;参数是否求梯度由 requires_grad另控。后续 model.train()可能重新切换子层模式。no_grad()也不等于eval。
紧邻BN的卷积省bias训练时按通道的常数平移会被均值抵消,BN的β可提供偏移,常可从建模时设 bias=False;不能推广到中间夹有其他运算/分支的结构,也不要直接删已训bias而忽略running状态。

🔗 附录C第4/5/6题保留LN、二维BN及Dropout的代码路径。那里二维(N,C)的batch=1情形不能直接推广为NCHW的结论;对照时同时检查归约轴、有偏前向方差、running更新和train/eval分支,而不是只记口诀。

📚 统计轴与模式的一手依据

见PyTorch BatchNorm2d、LayerNorm、GroupNorm、Dropout与Module模式;另参GN原论文和Dropout/BN方差偏移原研究。算例只核算统计组与给定数值,不是训练实验。

⑦ 标签平滑 Label Smoothing

平滑先改变的是训练目标分布,不是在预测后直接把概率截小。PyTorch的 CrossEntropyLoss(label_smoothing=ε) 把one-hot与全部K类的均匀分布混合:

$$q_k=(1-\varepsilon)\mathbf{1}[k=y]+\frac{\varepsilon}{K},\qquad L=-\sum_k q_k\log p_k$$

同一个ε,先说清分给哪些类

三类、真类为第二类、ε=0.1。分给全部类得到 $(1/30,28/30,1/30)$,约为(0.0333,0.9333,0.0333);真类也分到ε/3,三个分量相加为1。

另一种只分给非真类的约定则是(0.05,0.90,0.05)。它与上面的ε含义不同,不能直接拿同一个数值比较强度;使用API或复现论文时先核对定义。

无正则的one-hot交叉熵在单个训练样本上逼近0时,正确类相对其他类的logit差距可持续增大;这不等于硬标签本身有害,也不证明模型必然过拟合。平滑让训练目标保留非真类概率质量,可能缓解某些设置下的过度自信,但是否提高泛化或校准取决于任务、数据、模型和ε。

按用途分别验证收益与代价
用途收益与代价怎样核对
需要可信概率保留硬标签基线,在独立验证数据上比较任务质量、NLL/Brier及校准曲线;若报告ECE,说明分箱与样本量。NLL/Brier也受区分能力影响,不能单独等同校准。必要时另用校准数据拟合校准器,不凭“平滑压低置信度”一律禁用。
知识蒸馏教师原研究观察到平滑可能削弱logits中的类别相似信息并影响学生;在具体教师/学生、温度和训练配方下比较学生质量。教师输出也不是已知的真实条件分布,不能据此写成所有教师都禁止平滑。

先在训练/验证划分内选ε与校准方案,固定后再评估最终测试集;把分类效果、概率质量和蒸馏效果分别记录。这里的三类数字只是目标分布手算,没有跑模型或校准实验。

📚 平滑语义与概率评估的一手依据

PyTorch CrossEntropyLoss给出均匀混合约定;When Does Label Smoothing Help?报告校准与蒸馏中的具体观察;scikit-learn概率校准指南说明评分规则、区分能力与校准的区别。论文观察不是所有任务的性能保证。


🧭 怎么组合(候选起点,逐项验证)

场景 配方
表格数据 MLP 早停 + weight_decay(0.01) + Dropout(0.2~0.3)
树模型 / GBDT max_depth + min_child_weight + subsample + colsample + 小 learning_rate + 早停 ⭐
CNN 图像 早停 + 数据增强 ⭐ + BN + weight_decay(1e-4)
Transformer/NLP 早停 + 合适的归一化 + 可选Dropout + AdamW/warmup;标签平滑另行验证
微调预训练模型 小学习率 + 早停 + 冻结前几层(正则化基本靠预训练本身)⭐
数据极少 加数据 > 强增强 > 强正则 > 换更小的模型 / 用预训练

🔑 调试顺序:先确认模型能过拟合(在小数据上跑到训练 loss ≈ 0), 再加正则往回收。一上来就堆正则,你分不清是欠拟合还是模型有 bug。 —— 这条是第 11 章的核心方法论。


⚠️ 一个重要提醒:正则化不是越多越好

信息关系

正则太弱→过拟合(训练好测试差)
正则太强→欠拟合(两边都差)← 新手常见!
加了 Dropout(0.5) + weight_decay(0.1) + 强增强 + 早停
模型什么都学不会,训练 loss 都降不下去

每次只加一种,看验证集怎么变。

🩺 一张诊断表

训练 loss 验证 loss 诊断 该动哪件武器
低 高 过拟合 加正则(按性价比顺序:数据→增强→早停→衰减→Dropout)
高 高 欠拟合 减正则 / 加大模型 / 训久一点 / 调学习率
低 低 ✅ 健康 可以试着加大模型再来一轮
高 低 ⚠️ 异常 多半是 bug:验证集太简单、泄漏、或 Dropout 没关(训练 loss 被 Dropout 抬高了)⭐

💡 最后一行值得记住:验证 loss 比训练 loss 还低时,先怀疑 Dropout 和 BN—— 训练时它们在给模型"加难度",所以训练 loss 天然偏高。轻微的这种现象是正常的。


🔗 和站内其他章的关系

相关的地方 这里的对应
第 3 章 L1/L2 正则 ④ 权重衰减的线性模型版
第 4 章 GBDT 的 learning_rate、树深限制 树模型的正则化手段
第 5 章"加数据只降方差" 为什么加数据排第一
数学原理第 2 章 正则化 = 先验(λ = σ²/τ²)⭐
数学原理第 9 章 正则化 = 缩小假设空间 = 降低样本需求
Kaggle 第 2 章 竞赛实战版(含 FGM/R-Drop 等进阶手段)
推荐算法第 5 章 MF 的 λ L2 正则
附录 C 第 4、5、6 题 ⭐ 这一章讲的是这三个东西在干什么;面试要的是它们长什么样——LayerNorm / BatchNorm / Dropout 各 10~20 行手写实现,三个最容易写错的点都标出来了

✅ 检查点

共 11 题:9 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 正则化的三种「堵捷径」办法,下面哪组对应正确?

看答案与解析

答案:C

堵捷径(模型记住训练集特有的东西)。三种:让捷径不可靠(Dropout、增强)、让捷径变贵(权重衰减、L1)、不给记忆时间(早停)。

单选2. 七件武器里性价比最高的是哪个?

看答案与解析

答案:A

加数据——唯一同时降方差又不抬高偏差的手段;其他所有正则化都是拿偏差换方差。

单选3. 下面哪个数据增强是错误的?

看答案与解析

答案:D

标准:增强后一个人类专家会不会改变答案。错误例子:手写数字水平翻转(6 变镜像)、医学影像左右翻转("病灶在左肺"是关键信息)、文本打乱词序、时间序列重排。

单选4. 早停有哪两个必踩的坑?

看答案与解析

答案:B

①忘了回滚最佳权重(只 break 不 load,保留的是已过拟合的模型)②patience 太小,学习率调度让 loss 暂时上升时被误停。

判断5. 耦合 L2 的 Adam 和 AdamW 通常等价,只是写法不同。

看答案与解析

答案:错误

耦合L2的惩罚梯度会进入Adam的矩估计与自适应更新;AdamW将衰减直接作用于参数,通常不等价。不能只按当前梯度大小比较惩罚。bias/norm免衰减是常见候选配置;维数/名称筛选会漏选或误选,要核对参数清单、系数约定、学习率和矩状态,再按任务验证收益。

单选6. PyTorch 的 Dropout 在训练和推理时怎样缩放?

看答案与解析

答案:A

随机掩码可提供共享权重子网络的近似集成直觉,不是独立训练并精确平均2ⁿ个网络。PyTorch训练保留项除以1−p,eval为恒等;eval模式与禁用梯度不同。输出变动须检查子层模式和其他随机/非确定因素,不能仅凭两次不同下结论。

单选7. 对 NCHW 输入,BatchNorm2d 沿哪些轴统计?

看答案与解析

答案:D

NCHW的BN2d固定C跨N/H/W;LN按normalized_shape指定的末尾轴,NLC上LN(C)逐token统计;GN在每个样本的通道组及空间内统计。默认BN训练用本批并更新running,eval用running;track_running_stats=False时两种模式均用本批。N=1还要看空间元素数,LN/GN不跨N也只说明本层的统计性质。

单选8. BN 设 track_running_stats=False 时,统计来源是?

看答案与解析

答案:C

NCHW的BN2d固定C跨N/H/W;LN按normalized_shape指定的末尾轴,NLC上LN(C)逐token统计;GN在每个样本的通道组及空间内统计。默认BN训练用本批并更新running,eval用running;track_running_stats=False时两种模式均用本批。N=1还要看空间元素数,LN/GN不跨N也只说明本层的统计性质。

判断9. 卷积后紧跟按通道 BN 时常可设 bias=False;但中间有其他运算或分支、或要改已训好的模型时,不能机械删除。

看答案与解析

答案:正确

紧邻按通道BN时,训练均值会抵消卷积的通道常数偏移,BN的β提供偏移,建模时常可设bias=False;中间有其他运算/分支或直接修改已训bias和running状态时不能机械删除。

单选10. 标签平滑「全类均匀混合」约定下,目标分布是?

看答案与解析

答案:A

全类均匀混合为q=(1−ε)one-hot+ε/K;只给非真类则真类为1−ε、其他为ε/(K−1)。概率任务不能一律禁用:对照硬标签基线,同时评估任务质量、NLL/Brier和校准曲线/ECE,必要时独立校准。蒸馏可能损失类别相似信息,应比较具体教师/学生和温度配置的学生效果,不把教师输出当真实分布。

单选11. 训练 loss 高但验证 loss 低,该怀疑什么?

看答案与解析

答案:B

多半是 bug 或正常的 Dropout/BN 效应:训练时 Dropout/BN 在加难度,训练 loss 天然偏高(轻微正常)。严重时怀疑验证集太简单或数据泄漏。


本节回顾

正则化是限制模型记住训练数据的方式,不是加得越多越好。

⚡ 走神救援

先记住这几件事

  • 正则化的目标是改善泛化,不是让训练分数更漂亮。
  • 权重约束、Dropout、数据增强和早停作用在不同环节,不能混成一种方法。
  • 根据验证曲线逐项尝试,记录收益;训练和推理模式要正确切换。

下一节 👉 11-训练调试手册.md ⭐

打卡记录保存在你的浏览器里,首页能看到总进度