跳到主要内容
🏠 总目录📚 本教程 05a · 正则化 ← →
📑 本页目录(点开跳转)

05A / 评估之后 · 管住权重

模型开始背答案时,
先管住权重。

为什么限制权重能防过拟合?

在损失后面加一项权重惩罚:L2 让权重整体变小,L1 把一部分压成 0。

分清 λ 与 C 的方向,读懂一组正则强弱实验,说出 L1 为什么能筛特征。

05a · 正则化与调参实验

⏱ 12 分钟 | 🧭 主线 | 🔨 有代码


🎯 一句话

正则化就是在损失后面加一项 λ × 权重大小:λ 越大,模型越不敢靠极端权重硬记训练集。

前置:03(线性回归与标准化)、03a(逻辑回归)、05(过拟合与交叉验证)。


⚖️ 一、正则化:别让权重太大

05 讲了怎么发现过拟合。线性模型怎么防?别让权重太大:在原损失后面加一项惩罚。

先用白话说清三个词:

  • 过拟合:模型把训练集里的偶然细节(噪声)也背了下来。训练集上很准,换一批新数据就变差。
  • 权重:每个特征前面的系数,决定这个特征把预测推得多猛,比如 03 房价公式里的 0.8、12、−3。
  • 正则化:训练时额外“收费”。权重越大收费越多,逼模型只在真正有用的地方用大权重。

为什么大权重危险:算一次

两个模型在训练集上预测得一样好,只是“排队单数”的权重不同。同一单的排队单数(已标准化)因为统计误差,从 0.50 变成 0.60,只差 0.1:

模型排队权重输入变化预测变化 = 权重 × 输入变化
A0.5+0.1+0.05 分钟
B50+0.1+5 分钟

B 对同一个小误差的反应大 100 倍。它在训练集上可能正是靠这种极端敏感,把每个点都凑准了;换到新数据,输入稍有偏差,预测就大幅跑偏。这就是“权重大 = 在拟合噪声”的意思。

$$\mathcal{L}_{L2} = \text{原损失} + \lambda\sum_i w_i^2$$

L2 用平方惩罚大权重;L1 换成绝对值惩罚:

$$\mathcal{L}_{L1} = \text{原损失} + \lambda\sum_i |w_i|$$

两条公式只差惩罚的写法:L2 把每个权重平方后相加,L1 把每个权重取绝对值后相加。正负权重都会被收费。λ 是收费的单价,你在训练前自己定。

加上惩罚后,训练会选谁:算一次

假设训练过程找到了两组候选权重。比较它们的“总分 = 原损失 + λ × 惩罚”,分数越低越好:

候选原损失权重L2 惩罚 Σw²λ = 0 的总分λ = 0.01 的总分
A:背得很细0.10(8, −6)64 + 36 = 1000.100.10 + 1.00 = 1.10
B:稍粗但稳0.15(1, 0.5)1 + 0.25 = 1.250.150.15 + 0.0125 ≈ 0.16

不收费(λ = 0)时,A 的原损失更低,训练会选 A。λ = 0.01 时,A 的大权重要交 1.00 的费,B 反而更划算。λ 越大,模型越倾向小权重,下图就是这个方向。

⚠️ 先标准化,再正则化。惩罚只看权重数字的大小。特征尺度不同时,比如距离 1~4、排队 0~6,“数字本身小、权重被迫变大”的特征会被冤枉多罚。见 03 · 标准化。

图内可左右滑动;需要时可放大阅读。

λ 与 C 的方向和三种状态正则强度:先固定方向,再用验证集挑λ 小 · 正则弱λ 大 · 正则强C 大C 小sklearn 用 C = 1 / λ,方向正好相反λ 太小:过拟合训练集很好,测试集变差权重大 → 输入稍变,输出剧变= 它在拟合噪声合适:用验证集挑允许学习,不靠极端权重硬记对数尺度试一串候选值只按验证集 / 交叉验证决定λ 太大:欠拟合训练集和测试集都差有用的权重也被压得过小模型学不动小柱 = 权重大小示意:正则越强,权重整体越小
合理的 λ 随数据规模、特征缩放和实现而变,不要死背数字。🔗 推荐算法第 5 章矩阵分解里的 λ(‖p‖² + ‖q‖²) 就是 L2 正则。
类型 惩罚项 效果 什么时候用
L2 / Ridge $\lambda\sum w_i^2$ 通常整体收缩权重,不以制造恰好为 0 的系数为特点 常用起点,再用验证集比较
L1 / Lasso $\lambda\sum |w_i|$ 一部分权重变成 0 → 自动特征选择 特征多且怀疑很多没用
ElasticNet 两者混合 兼顾 特征多且相关性强

L1 为什么会把权重压成 0:看每一步怎么推

训练是一步步改权重的。只看“惩罚”这一项对权重的推力:

  • L2:推力和权重本身成正比(2λw)。权重越接近 0,推得越轻,所以只会越来越小,很难恰好停在 0。
  • L1:推力是固定的 λ,不管权重多小都一样用力。没多大用的小权重,几步就被推到 0。

图内可左右滑动;需要时可放大阅读。

L1 与 L2 每一步怎样推动权重只看惩罚这一项:L2 按比例缩,L1 每步减一个固定量大权重,初始 4小权重,初始 0.6L2:每步 × 0.7(拉力随 w 变小)012345更新步数大权重 4 → 0.67小权重 0.6 → 0.10,越来越慢,始终不到 0L1:每步 − 0.5(拉力固定),到 0 停住012345归零更新步数大权重 4 → 1.5小权重 0.6 → 0,第 2 步归零
示意:只看惩罚这一项。L2 的拉力是 2λw,权重越小拉得越轻,所以只会无限接近 0;L1 的拉力固定是 λ,小权重几步就到 0,常见求解器会让它停在 0。真实训练里,原损失还会把有用的权重往回拉。

换个角度,几何上看是同一件事:

图内可左右滑动;需要时可放大阅读。

最小二乘解L1(Lasso):菱形顶点在坐标轴上 → 有分量被压成 0最小二乘解L2(Ridge):圆圆上没有角 → 各分量都变小但不为 0为什么 L1 产生稀疏、L2 不产生?答案是「形状」灰色椭圆是损失等高线,彩色区域是正则约束 —— 解落在两者第一次相切的地方
碰到菱形的角 = 那个系数恰好为 0;圆没有角,只收缩不归零。

延伸 → 图取自第 10 章;🔬 概率视角(L2 = 高斯先验、L1 = 拉普拉斯先验、λ = 噪声方差 / 先验方差)见《机器学习的数学原理》第 2 章。


🧪 二、实验:看正则化怎么起作用

外卖例子只有 3 个特征,看不出 L1 怎样筛特征。这里换成一份真实医学数据:01 用过的乳腺癌数据,569 个病例、30 个特征。只改正则强度 C,看训练集、测试集和权重大小怎么变。

代码在做什么(4 步):

  1. 载入乳腺癌数据:569 个病例,每个 30 个数值特征,标签是良性或恶性。
  2. 切出 30% 做测试集,只用训练集 fit 标准化,避免 03 讲过的数据泄漏。
  3. 对 6 个 C 值各训练一次逻辑回归,打印训练准确率、测试准确率、权重绝对值和、零权重个数。
  4. 换成 L1 正则再跑 4 个 C,数一数还剩几个特征的权重不为 0。
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3,
                                          random_state=42, stratify=y)
sc = StandardScaler().fit(X_tr)          # ⭐ 只 fit 训练集
Xtr, Xte = sc.transform(X_tr), sc.transform(X_te)

print(f"{'正则强度C':<12}{'训练集':>9}{'测试集':>9}{'权重绝对值和':>14}{'零权重数':>9}")
print("-" * 56)
# C 是 λ 的倒数:C 越小 = 正则越强
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
    m = LogisticRegression(C=C, max_iter=5000).fit(Xtr, y_tr)
    w = m.coef_[0]
    print(f"{C:<12}{m.score(Xtr,y_tr):>8.1%}{m.score(Xte,y_te):>9.1%}"
          f"{np.abs(w).sum():>14.1f}{(np.abs(w)<1e-4).sum():>9}")

print("\n用 L1 正则做特征选择:")
print(f"{'C':<12}{'测试集':>9}{'被选中的特征数':>16}")
print("-" * 40)
for C in [0.01, 0.05, 0.1, 1]:
    # 本教程固定 sklearn 1.7.2:显式 penalty="l1";1.8+ 写法见下方
    m = LogisticRegression(C=C, penalty="l1", solver="saga",
                           max_iter=20000).fit(Xtr, y_tr)
    n_used = (np.abs(m.coef_[0]) > 1e-6).sum()
    print(f"{C:<12}{m.score(Xte,y_te):>8.1%}{n_used:>13} / 30")

下方保留一组历史实验结果,供观察趋势;不同版本与划分不保证逐项相同。

实验边界:不要照着测试分数调 C。 这组结果用于展示正则强弱的现象。实际调参应在训练数据内切验证集或做交叉验证,选定 C 后才用独立测试集报告一次成绩。C=1 不是通用最优值。

图内可左右滑动;需要时可放大阅读。

88%94%100%0.0010.010.11 ★10100C 越大 → 正则越弱训练集测试集本次划分:C=1 较高C=0.001:测试 90.1%,学不动C=100:测试跌到 95.3%权重绝对值和(条高按对数示意):正则越弱,权重越膨胀1.33.88.215.835.4107.2
C=1 之后训练集还在涨、测试集开始跌:又是第 1 章那个拐点。

完整实验数据(只在想核对具体数字时看)

C 训练集 测试集 权重绝对值和 该怎么读
0.001 88.9% 90.1% 1.3 正则太强,模型学不动 → 欠拟合
0.01 96.0% 94.2% 3.8 开始学到规律
0.1 98.5% 98.2% 8.2 表现很好
1 98.7% 98.8% 15.8 甜点区:测试集最好
10 99.0% 98.2% 35.4 开始记住训练集
100 99.5% 95.3% 107.2 正则太弱,权重膨胀 → 过拟合

图内可左右滑动;需要时可放大阅读。

L1 正则保留的特征数L1 正则:C 越小,被压成 0 的权重越多(共 30 个特征)正则强度每格 = 1 个特征,实心 = 权重不为 0保留测试集C = 0.054 / 3094.2%正则很强,只留很少特征C = 0.16 / 3095.9%多放开一点,效果变好C = 114 / 3097.7%砍掉一半多特征,精度几乎不掉
C=1 用 14 个特征拿到 97.7%:这组正则与数据下约一半系数为零,不能据此证明被丢掉的特征本身冗余。格子只表示数量,不对应具体是哪个特征。

正式调参:用交叉验证挑 C

上面的实验为了演示,直接看了测试集。真正调参要用验证集或交叉验证挑 C,测试集只在最后看一次。三种数据各管什么、交叉验证怎么切,05 已经讲过,这里直接用。

接着上面的代码运行:

from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV

pipe = make_pipeline(StandardScaler(), LogisticRegression(max_iter=5000))
grid = {"logisticregression__C": np.logspace(-3, 2, 11)}  # 0.001 到 100,对数尺度取 11 个
search = GridSearchCV(pipe, grid, cv=5).fit(X_tr, y_tr)   # 只用训练集做 5 折交叉验证
print("选中的 C:", search.best_params_["logisticregression__C"])
print("测试集(只看这一次):", search.score(X_te, y_te))

标准化放进了 pipeline,每一折只用那一折的训练部分 fit scaler,验证部分不会提前泄漏。这段代码没有附运行结果,自己跑一次,看选出的 C 落在上面曲线的哪一段。

⚠️ 版本提示:sklearn 1.8 起弃用 penalty 参数
  • 弃用不是立即删除;新写法用 l1_ratio=1 指定 L1,配合支持它的 solver="saga"。见 官方参数说明。
  • 本教程第 01 章固定 1.7.2,所以上面的代码仍写 penalty="l1", solver="saga"。
  • 旧版本只设 l1_ratio 可能被忽略并给出警告,而不是报错。

✅ 检查点

共 4 题:3 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. λ = 0.01 时,原损失 0.10、权重 (8, −6) 的候选,加上 L2 惩罚后总分是多少?

看答案与解析

答案:A

0.10 + 0.01 × (64 + 36) = 1.10。同样的 λ 下,原损失 0.15、权重 (1, 0.5) 的候选总分约 0.16,训练会改选它。

判断2. sklearn 里 C = 1 / λ,所以把 C 调大,正则会变弱。

看答案与解析

答案:正确

变弱。C = 1 / λ:C 越大,λ 越小,惩罚越轻;本页实验里 C=100 时权重绝对值和涨到 107.2。

单选3. L1 和 L2 正则的区别是?

看答案与解析

答案:B

L2 通常收缩权重,不以产生零系数为特点;L1 可能把一部分权重压到恰好 0,用于稀疏化和特征选择。

单选4. 为什么限制权重大小能防过拟合?

看答案与解析

答案:B

权重大 = 模型对该特征极度敏感 = 输入微变输出剧变 = 在拟合噪声。压小权重让模型"稳重"。


本节回顾

⚡ 走神救援

  • λ 是权重的收费单价:单价越高,模型越倾向用小权重。
  • λ 与 C 方向相反:λ 大 = 正则强;sklearn 的 C = 1 / λ,C 小才是正则强。
  • L2 让所有权重整体变小;L1 会把一部分权重压成 0,顺便筛特征。
  • 看拐点:训练集还在涨、测试集开始跌,就是正则放得太松。
  • 选 C 用验证集或交叉验证,测试集只在最后报告一次。

下一节 👉 05b · 支持向量机:同样画一条分界线,SVM 挑离两边都最远的那条。

打卡记录保存在你的浏览器里,首页能看到总进度