📑 本页目录(点开跳转)
05A / 评估之后 · 管住权重
模型开始背答案时,
先管住权重。
为什么限制权重能防过拟合?
在损失后面加一项权重惩罚:L2 让权重整体变小,L1 把一部分压成 0。
分清 λ 与 C 的方向,读懂一组正则强弱实验,说出 L1 为什么能筛特征。
05a · 正则化与调参实验
⏱ 12 分钟 | 🧭 主线 | 🔨 有代码
🎯 一句话
正则化就是在损失后面加一项 λ × 权重大小:λ 越大,模型越不敢靠极端权重硬记训练集。
前置:03(线性回归与标准化)、03a(逻辑回归)、05(过拟合与交叉验证)。
⚖️ 一、正则化:别让权重太大
05 讲了怎么发现过拟合。线性模型怎么防?别让权重太大:在原损失后面加一项惩罚。
先用白话说清三个词:
- 过拟合:模型把训练集里的偶然细节(噪声)也背了下来。训练集上很准,换一批新数据就变差。
- 权重:每个特征前面的系数,决定这个特征把预测推得多猛,比如 03 房价公式里的 0.8、12、−3。
- 正则化:训练时额外“收费”。权重越大收费越多,逼模型只在真正有用的地方用大权重。
为什么大权重危险:算一次
两个模型在训练集上预测得一样好,只是“排队单数”的权重不同。同一单的排队单数(已标准化)因为统计误差,从 0.50 变成 0.60,只差 0.1:
| 模型 | 排队权重 | 输入变化 | 预测变化 = 权重 × 输入变化 |
|---|---|---|---|
| A | 0.5 | +0.1 | +0.05 分钟 |
| B | 50 | +0.1 | +5 分钟 |
B 对同一个小误差的反应大 100 倍。它在训练集上可能正是靠这种极端敏感,把每个点都凑准了;换到新数据,输入稍有偏差,预测就大幅跑偏。这就是“权重大 = 在拟合噪声”的意思。
$$\mathcal{L}_{L2} = \text{原损失} + \lambda\sum_i w_i^2$$
L2 用平方惩罚大权重;L1 换成绝对值惩罚:
$$\mathcal{L}_{L1} = \text{原损失} + \lambda\sum_i |w_i|$$
两条公式只差惩罚的写法:L2 把每个权重平方后相加,L1 把每个权重取绝对值后相加。正负权重都会被收费。λ 是收费的单价,你在训练前自己定。
加上惩罚后,训练会选谁:算一次
假设训练过程找到了两组候选权重。比较它们的“总分 = 原损失 + λ × 惩罚”,分数越低越好:
| 候选 | 原损失 | 权重 | L2 惩罚 Σw² | λ = 0 的总分 | λ = 0.01 的总分 |
|---|---|---|---|---|---|
| A:背得很细 | 0.10 | (8, −6) | 64 + 36 = 100 | 0.10 | 0.10 + 1.00 = 1.10 |
| B:稍粗但稳 | 0.15 | (1, 0.5) | 1 + 0.25 = 1.25 | 0.15 | 0.15 + 0.0125 ≈ 0.16 |
不收费(λ = 0)时,A 的原损失更低,训练会选 A。λ = 0.01 时,A 的大权重要交 1.00 的费,B 反而更划算。λ 越大,模型越倾向小权重,下图就是这个方向。
⚠️ 先标准化,再正则化。惩罚只看权重数字的大小。特征尺度不同时,比如距离 1~4、排队 0~6,“数字本身小、权重被迫变大”的特征会被冤枉多罚。见 03 · 标准化。
图内可左右滑动;需要时可放大阅读。
λ(‖p‖² + ‖q‖²) 就是 L2 正则。| 类型 | 惩罚项 | 效果 | 什么时候用 |
|---|---|---|---|
| L2 / Ridge | $\lambda\sum w_i^2$ | 通常整体收缩权重,不以制造恰好为 0 的系数为特点 | 常用起点,再用验证集比较 |
| L1 / Lasso | $\lambda\sum |w_i|$ | 一部分权重变成 0 → 自动特征选择 | 特征多且怀疑很多没用 |
| ElasticNet | 两者混合 | 兼顾 | 特征多且相关性强 |
L1 为什么会把权重压成 0:看每一步怎么推
训练是一步步改权重的。只看“惩罚”这一项对权重的推力:
- L2:推力和权重本身成正比(2λw)。权重越接近 0,推得越轻,所以只会越来越小,很难恰好停在 0。
- L1:推力是固定的 λ,不管权重多小都一样用力。没多大用的小权重,几步就被推到 0。
图内可左右滑动;需要时可放大阅读。
换个角度,几何上看是同一件事:
图内可左右滑动;需要时可放大阅读。
延伸 → 图取自第 10 章;🔬 概率视角(L2 = 高斯先验、L1 = 拉普拉斯先验、λ = 噪声方差 / 先验方差)见《机器学习的数学原理》第 2 章。
🧪 二、实验:看正则化怎么起作用
外卖例子只有 3 个特征,看不出 L1 怎样筛特征。这里换成一份真实医学数据:01 用过的乳腺癌数据,569 个病例、30 个特征。只改正则强度 C,看训练集、测试集和权重大小怎么变。
代码在做什么(4 步):
- 载入乳腺癌数据:569 个病例,每个 30 个数值特征,标签是良性或恶性。
- 切出 30% 做测试集,只用训练集 fit 标准化,避免 03 讲过的数据泄漏。
- 对 6 个 C 值各训练一次逻辑回归,打印训练准确率、测试准确率、权重绝对值和、零权重个数。
- 换成 L1 正则再跑 4 个 C,数一数还剩几个特征的权重不为 0。
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3,
random_state=42, stratify=y)
sc = StandardScaler().fit(X_tr) # ⭐ 只 fit 训练集
Xtr, Xte = sc.transform(X_tr), sc.transform(X_te)
print(f"{'正则强度C':<12}{'训练集':>9}{'测试集':>9}{'权重绝对值和':>14}{'零权重数':>9}")
print("-" * 56)
# C 是 λ 的倒数:C 越小 = 正则越强
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
m = LogisticRegression(C=C, max_iter=5000).fit(Xtr, y_tr)
w = m.coef_[0]
print(f"{C:<12}{m.score(Xtr,y_tr):>8.1%}{m.score(Xte,y_te):>9.1%}"
f"{np.abs(w).sum():>14.1f}{(np.abs(w)<1e-4).sum():>9}")
print("\n用 L1 正则做特征选择:")
print(f"{'C':<12}{'测试集':>9}{'被选中的特征数':>16}")
print("-" * 40)
for C in [0.01, 0.05, 0.1, 1]:
# 本教程固定 sklearn 1.7.2:显式 penalty="l1";1.8+ 写法见下方
m = LogisticRegression(C=C, penalty="l1", solver="saga",
max_iter=20000).fit(Xtr, y_tr)
n_used = (np.abs(m.coef_[0]) > 1e-6).sum()
print(f"{C:<12}{m.score(Xte,y_te):>8.1%}{n_used:>13} / 30")
下方保留一组历史实验结果,供观察趋势;不同版本与划分不保证逐项相同。
实验边界:不要照着测试分数调 C。 这组结果用于展示正则强弱的现象。实际调参应在训练数据内切验证集或做交叉验证,选定 C 后才用独立测试集报告一次成绩。C=1 不是通用最优值。
图内可左右滑动;需要时可放大阅读。
完整实验数据(只在想核对具体数字时看)
| C | 训练集 | 测试集 | 权重绝对值和 | 该怎么读 |
|---|---|---|---|---|
| 0.001 | 88.9% | 90.1% | 1.3 | 正则太强,模型学不动 → 欠拟合 |
| 0.01 | 96.0% | 94.2% | 3.8 | 开始学到规律 |
| 0.1 | 98.5% | 98.2% | 8.2 | 表现很好 |
| 1 | 98.7% | 98.8% | 15.8 | 甜点区:测试集最好 |
| 10 | 99.0% | 98.2% | 35.4 | 开始记住训练集 |
| 100 | 99.5% | 95.3% | 107.2 | 正则太弱,权重膨胀 → 过拟合 |
图内可左右滑动;需要时可放大阅读。
正式调参:用交叉验证挑 C
上面的实验为了演示,直接看了测试集。真正调参要用验证集或交叉验证挑 C,测试集只在最后看一次。三种数据各管什么、交叉验证怎么切,05 已经讲过,这里直接用。
接着上面的代码运行:
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
pipe = make_pipeline(StandardScaler(), LogisticRegression(max_iter=5000))
grid = {"logisticregression__C": np.logspace(-3, 2, 11)} # 0.001 到 100,对数尺度取 11 个
search = GridSearchCV(pipe, grid, cv=5).fit(X_tr, y_tr) # 只用训练集做 5 折交叉验证
print("选中的 C:", search.best_params_["logisticregression__C"])
print("测试集(只看这一次):", search.score(X_te, y_te))
标准化放进了 pipeline,每一折只用那一折的训练部分 fit scaler,验证部分不会提前泄漏。这段代码没有附运行结果,自己跑一次,看选出的 C 落在上面曲线的哪一段。
⚠️ 版本提示:sklearn 1.8 起弃用 penalty 参数
- 弃用不是立即删除;新写法用
l1_ratio=1指定 L1,配合支持它的solver="saga"。见 官方参数说明。 - 本教程第 01 章固定 1.7.2,所以上面的代码仍写
penalty="l1", solver="saga"。 - 旧版本只设
l1_ratio可能被忽略并给出警告,而不是报错。
✅ 检查点
共 4 题:3 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. λ = 0.01 时,原损失 0.10、权重 (8, −6) 的候选,加上 L2 惩罚后总分是多少?
看答案与解析
答案:A
0.10 + 0.01 × (64 + 36) = 1.10。同样的 λ 下,原损失 0.15、权重 (1, 0.5) 的候选总分约 0.16,训练会改选它。
判断2. sklearn 里 C = 1 / λ,所以把 C 调大,正则会变弱。
看答案与解析
答案:正确
变弱。C = 1 / λ:C 越大,λ 越小,惩罚越轻;本页实验里 C=100 时权重绝对值和涨到 107.2。
单选3. L1 和 L2 正则的区别是?
看答案与解析
答案:B
L2 通常收缩权重,不以产生零系数为特点;L1 可能把一部分权重压到恰好 0,用于稀疏化和特征选择。
单选4. 为什么限制权重大小能防过拟合?
看答案与解析
答案:B
权重大 = 模型对该特征极度敏感 = 输入微变输出剧变 = 在拟合噪声。压小权重让模型"稳重"。
本节回顾
⚡ 走神救援
- λ 是权重的收费单价:单价越高,模型越倾向用小权重。
- λ 与 C 方向相反:λ 大 = 正则强;sklearn 的 C = 1 / λ,C 小才是正则强。
- L2 让所有权重整体变小;L1 会把一部分权重压成 0,顺便筛特征。
- 看拐点:训练集还在涨、测试集开始跌,就是正则放得太松。
- 选 C 用验证集或交叉验证,测试集只在最后报告一次。
下一节 👉 05b · 支持向量机:同样画一条分界线,SVM 挑离两边都最远的那条。