🏠 总目录📚 本教程 08 · 偏差方差分解 ← →

08 · 从问题进入原章节

训练好却测试差时,偏差与方差各说明什么?

先看平方损失下的分解和不可约噪声,再区分 Bagging 的相关性条件与双下降等超出简单曲线的现象。

读后可检查:能在适用条件内使用等式,不把复杂度上升机械地说成固定的偏差换方差。

📑 本页目录(点开跳转)

08 · 偏差-方差分解:它是个等式

⏱ 28 分钟 | ⭐ 从"打比方"升级成"能算的东西"


🎯 一句话

你一直听说「偏差和方差要权衡」。它不是个比喻——它是一个可以严格推导出来的等式。 而且这个等式直接解释了集成学习为什么有效。

低偏差 · 低方差理想低偏差 · 高方差平均对了,但很散高偏差 · 低方差很稳,但系统性偏了高偏差 · 高方差又偏又散
四个靶心:偏差是「散点中心离靶心多远」,方差是「散点彼此有多散」。机器学习的大部分工作,都是在这四象限里往左上角挪。

📐 一、那个等式

对一个固定的测试点 $x$,在所有可能的训练集上取期望:

$$\underbrace{\mathbb{E}\left[(y - \hat f(x))^2\right]}_{\text{期望测试误差}} = \underbrace{\text{Bias}[\hat f(x)]^2}_{\text{系统性偏离}} + \underbrace{\text{Var}[\hat f(x)]}_{\text{对训练集的敏感度}} + \underbrace{\sigma^2}_{\text{不可消除的噪声}}$$

💡 人话翻译:

项 含义 打靶类比
偏差² 你的平均预测离真相有多远 弹着点的中心偏离靶心多少
方差 换一批训练数据,你的预测会变多少 弹着点散得有多开
σ² 数据本身的噪声 靶子在风里晃,谁也打不准
低方差 高方差 低偏差 (中心对) 高偏差 (中心偏)
偏差 = 弹着点的中心离靶心多远;方差 = 弹着点散得多开。这是两个不同的描述量,可以出现这四种组合;不是在断言两个随机变量统计独立。

⚠️ 一个关键的理解点:期望是对"所有可能的训练集"取的,不是对测试点取的。 「方差」问的是:如果我换一批训练数据重新训练,这个点的预测会变多少? 你实际只有一个训练集,所以方差是看不见的——但它真实存在,且决定了你的泛化。

📐 推导(想看再点)

固定测试点 x,设 $y=f(x)+\varepsilon$,$\mathbb{E}[\varepsilon\mid x]=0$、$\mathrm{Var}(\varepsilon\mid x)=\sigma^2$,且测试噪声与训练过程独立。异方差时写作 σ²(x)。 记 $\bar f(x) = \mathbb{E}_D[\hat f(x)]$(在所有训练集上的平均预测)。

$$\mathbb{E}[(y-\hat f)^2] = \mathbb{E}[(f + \varepsilon - \hat f)^2]$$

把 $\bar f$ 加进去再减掉:$f + \varepsilon - \hat f = (f - \bar f) + (\bar f - \hat f) + \varepsilon$

平方展开后有三个平方项和三个交叉项。三个交叉项都为 0: - $\mathbb{E}[\varepsilon] = 0$,所以含 ε 的两项消失 - $\mathbb{E}[\bar f - \hat f] = 0$($\bar f$ 就是 $\hat f$ 的期望),所以第三项消失

剩下:

$$= \underbrace{(f-\bar f)^2}_{\text{Bias}^2} + \underbrace{\mathbb{E}[(\hat f - \bar f)^2]}_{\text{Var}} + \underbrace{\sigma^2}_{\text{噪声}}$$


🔑 二、四个立刻能用的推论

① σ² 是平方预测误差的下界

无论你的模型多强,期望测试误差不可能低于 σ²。

操作步骤

  1. 如果你的验证分数卡在某个值下不去了:
  2. 先估计一下 σ²(比如同样输入的重复观测差多少)
  3. 如果已经接近 σ²,别再调模型了
  4. ⭐ 该做的是:改进数据质量、增加特征、减少标注噪声
  5. 而不是继续换模型

② 复杂度会改变偏差与方差,但没有固定搬运量

对照

常见趋势:较强约束可能带来较大偏差、较小方差

放宽约束可能降低偏差,也可能改变方差;不是逐点单调定律

↑

总误差的实际形状取决于数据、算法和正则化;用验证集检查

🔗 这就是基础教程第 1 章 那张决策树深度表的数学解释。

③ ⭐ 加数据可能同时改变偏差与方差

因果链

对稳定、一致等条件合适的估计程序,增加样本可降低估计波动
偏差也可随样本量、正则化和训练程序改变
💡 所以:如果你的模型欠拟合(高偏差),
更多同分布数据未必解决表示能力不足;还应检查特征、优化和假设。

🔗 这精确解释了基础教程第 5 章学习曲线的读法: 学习曲线变平只是诊断线索,不能单凭它分离偏差、方差、噪声或训练失败。

④ 「无偏」不一定好

结果对照

❌ 常见误解:「估计量应该是无偏的」
✅ 真相:我们要的是【总误差小】,不是【偏差为 0】
正则化可能同时改变偏差与方差;要比较两项的实际变化
若偏差²的增量小于方差降幅、且噪声项不变,总平方预测误差才会下降
这说明岭回归为何可能改善平方预测误差;并不保证每次都优于最小二乘

这是理解正则化的第四个视角:检查偏差²与方差的变化能否降低总误差。 另外三个:第 2 章贝叶斯先验、第 9 章缩小假设空间、第 10 章SRM 的复杂度罚款。


🌳 三、⭐ 用它解释集成学习

ρ = 0ρ = 0.3ρ = 0.7集成里模型的个数 M →方差(相对)加模型能降方差 —— 但降不到 0,有一条地板Var(平均) = ρσ² + (1−ρ)/M · σ²⭐ 第一项 ρσ² 完全不随 M 减小 —— 这就是那条虚线地板所以「再加一百棵树」到某个点之后就没用了,真正该做的是【降低相关性 ρ】随机采样与随机选特征可改变相关性;M、单树方差和偏差仍需一起检查
三条虚线是三条不同的地板:加再多模型也降不下去。⭐ 因为 Var = ρσ² + (1−ρ)/M·σ²,第一项完全不随 M 减小。所以「再加一百棵树」到某个点就没用了 —— 该做的是降低相关性 ρ,这正是随机森林随机选特征在干的事。

这是本章最有价值的部分——集成为什么有效,有数学答案。

Bagging / 随机森林:直接砍方差

算一算

取 M 个模型的平均:f̄ = (1/M)·Σ fₘ

如果这 M 个模型【完全独立】:

Var(f̄) = Var(f) / M ⭐ 直接降 M 倍!

Bias(f̄) = Bias(f) 偏差【一点不动】

💡 条件对齐后再读数字:同一测试点上,100 个等方差、相互不相关且具有同一期望的预测取平均,方差才是单个的 1/100,偏差与单个相同。实际树共享训练数据,通常不满足这个理想设定。

推论:Bagging 该配高方差低偏差的基学习器 —— 也就是完全生长的深树。

反正方差会被平均掉,那就让每棵树尽量把偏差压到最低。

⚠️ 但"完全独立"做不到

现实中树之间是相关的。真实的方差是:

$$\text{Var}(\bar f) = \rho\,\sigma_f^2 + \frac{1-\rho}{M}\sigma_f^2$$

这里在固定测试点上,假设各模型预测方差同为 σ_f²、两两相关系数同为 ρ;图中只画固定的非负 ρ。它不是观测噪声 σ²。一般情形应使用所有模型协方差之和除以 M²。

💡 关键洞察:

流程图

M→∞ 时,第二项→0
但第一项 ρσ² 【不随 M 减小】!
方差降不到 0,卡在 ρσ²
所以【降低 ρ】和【增加 M】同样重要

这就是随机森林「随机选特征」的数学理由:

流程图

如果每棵树都能看全部特征
可能反复选择同一个强特征分裂
树长得都差不多→ρ 很高→相关性高会限制平均带来的方差收益
强制每次只从随机 k 个特征里选
树被迫变得不一样→ρ 下降→平均才真正有效 ⭐

🔗 ML 基础 04a · 集成学习与 GBDT说 "集成的收益来自成员差异"——差异就是 1−ρ,这里是它的公式。

Boosting:砍偏差

因果链

平方损失的梯度提升拟合残差;其他损失通常拟合负梯度
逐步降低【偏差】
所以该配【低方差高偏差】的基学习器 = 浅树(深度 3-8)⭐
继续加树可能过拟合,是否发生取决于损失、步长、正则和数据→需要早停

🔗 这解释了ML 基础 04a · 集成学习与 GBDT那个问题: 为什么 GBDT 的树要浅、随机森林的树要深。 两者在偏差-方差等式里干的是相反的活。


📋 四、一张表总结

Bagging / 随机森林 Boosting / GBDT
主要降低 方差 偏差
基学习器该选 高方差低偏差 → 深树 低方差高偏差 → 浅树
树之间 训练可并行;预测通常相关 依赖(必须串行)
增加树的数量 固定基学习器分布下,平均通常趋于稳定;仍需验证 可能过拟合;早停是可检验的选择
关键调节手段 降低相关性 ρ(随机选特征、随机采样) 降低学习率
对噪声标签 较鲁棒 较敏感(会去拟合噪声的残差)

⚠️ 五、两个重要的现代补充

① 分类任务的分解不一样

因果链

平方损失:Bias² + Var + σ² ← 干净的加法分解
0-1 损失(分类):没有这么干净的分解
方差有时甚至【有益】(可能把错误的预测"抖"回正确的一侧)
所以分类任务里 Bagging 的效果分析更复杂

实践含义:偏差-方差是回归任务的精确工具、分类任务的有用直觉。

② 双下降现象

深度学习里出现了「双下降」,打破了经典的 U 型曲线:

示意测试误差可能先呈 U 型,在插值阈值附近升高,之后再次下降。不是所有数据与模型都会出现此走势,也不是一次实测结果。误差模型复杂度插值阈值经典 U 型区域越过峰值后再次下降
示意测试误差可能先呈 U 型,在插值阈值附近升高,之后再次下降。不是所有数据与模型都会出现此走势,也不是一次实测结果。

💡 怎么理解: - 偏差-方差分解仍然正确(它是数学恒等式,不可能错) - 但「复杂度增加 ⇒ 方差增加」这个经验规律在超参数化区间不成立 - 可能的原因:超参数化时有无穷多个能拟合训练集的解,SGD 倾向于选到"平坦"的那些

🔗 第 10 章会展开这个矛盾。现代大模型正工作在右边那个区域。


🔬 六、怎么实际估计偏差和方差

理论上要"所有可能的训练集",实践中用 bootstrap 近似:

import numpy as np

def estimate_bias_variance(model_fn, X, y, X_test, y_test, n_rounds=50):
    preds = []
    n = len(X)
    for _ in range(n_rounds):
        idx = np.random.choice(n, n, replace=True)     # bootstrap 重采样
        m = model_fn().fit(X[idx], y[idx])
        preds.append(m.predict(X_test))
    preds = np.array(preds)                            # (n_rounds, n_test)

    mean_pred = preds.mean(axis=0)
    bias2 = np.mean((mean_pred - y_test) ** 2)         # 含 σ²,是个上界
    var   = np.mean(preds.var(axis=0))                 # ⭐ 方差可以干净地估
    print(f"Bias²(含噪声) ≈ {bias2:.4f}   Var ≈ {var:.4f}")

💡 实用价值:跑一次这个,对比「深树 vs 浅树」或「正则强 vs 弱」, 你能亲眼看到方差怎么被换成偏差。


🔗 七、和站内其他章的关系

相关的地方 这里的解释
基础教程第 1 章决策树深度表 偏差方差权衡的经验版
基础教程第 5 章学习曲线怎么读 加数据可能改变偏差和方差
随机森林要"随机选特征" 降低 ρ,公式在这
GBDT 树要浅、随机森林树要深 两者降的东西相反
正则化何时可能提升泛化 比较偏差²与方差的变化;不保证每次都降低误差
模型集成通常有效 方差平均

✅ 检查点

  1. 偏差、方差、σ² 各是什么?「期望」是对什么取的?
  2. σ² 意味着什么实践含义?
  3. 加数据能降低偏差吗?这对"该加数据还是改模型"意味着什么?
  4. 为什么说「无偏不一定好」?
  5. Bagging 降什么?为什么该配深树?
  6. 为什么随机森林要"随机选特征"?(用 ρ 的公式解释)
  7. 为什么 GBDT 的树要浅?
  8. 分类任务的偏差方差分解和回归有什么不同?
👀 答案
  1. 偏差²=平均预测离真相的距离;方差=换训练集时预测的波动;σ²=数据固有噪声。期望是对所有可能的训练集取的(不是测试点)——所以方差你看不见但它真实存在。
  2. 期望测试误差不可能低于 σ²。这是给定输入与数据生成机制下的下界;改输入、测量或标签机制会改变该问题。
  3. 不能只看曲线就断言。样本量会改变估计偏差和方差;表示不足时更多数据可能仍不够,但还应排查特征、优化、正则与噪声。
  4. 我们要的是总误差小,不是偏差为 0。正则化可能改变偏差和方差;只有两项之和下降、且噪声项不变,期望平方预测误差才会降低。岭回归不保证总优于最小二乘。例如无噪声、固定 x=y=1、无截距时,最小二乘取 w=1,预测误差为 0;加入 w² 惩罚后最小化 (w−1)²+w²,解为 w=1/2,预测误差为 1/4。
  5. 降方差(M 个独立模型平均,方差降 M 倍,偏差不变)。所以配高方差低偏差的基学习器,即完全生长的深树。
  6. 真实方差 = ρσ² + (1−ρ)σ²/M,第一项不随 M 减小。若所有树都能看全部特征,会都先用最强特征分裂 → 长得像 → ρ 高 → 平均无效。随机选特征强制树变得不一样,降低 ρ。
  7. Boosting 降的是偏差,所以基学习器要选"低方差高偏差"的浅树。每棵树只纠正一点点,避免一步跨太大。
  8. 0-1 损失没有干净的加法分解,方差有时甚至有益(可能把错误预测"抖"回正确一侧)。所以它是回归的精确工具、分类的有用直觉。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 09-PAC学习.md ⭐

打卡记录保存在你的浏览器里,首页能看到总进度