先问分数是否可信，
再问能不能更高。

05 · 评估与过拟合

⏱ 30 分钟 ｜ ⭐⭐ 全教程最重要的一章

如果你这份教程只学一章，学这章。 模型算法会过时，「怎么知道模型到底行不行」这件事永远不会过时。

🎯 一句话

机器学习里 90% 的翻车，不是模型不好，而是你以为的好是假的。这一章教你怎么不骗自己。

⚖️ 一、偏差-方差：过拟合的根源

🔑 第 1 章那张决策树深度表，画出来就是这张图。 回去再看一眼。

🔬 想知道这不是打比方而是一个严格等式吗？ 「期望误差 = 偏差² + 方差 + σ²」是可以推导出来的，而且它直接解释了集成学习为什么有效 —— 见《机器学习的数学原理》第 8 章。

怎么判断自己在哪一侧：

💡 加数据是唯一同时降低方差又不增加偏差的手段——所以它永远是第一选择。

🔄 二、交叉验证：别信单次切分

问题：第 1 章那个 91.8%，换个 random_state 就变了。单次切分的分数带着很大的运气成分。

实测（同一个模型，只换切分种子）：

⚠️ 极差 3.5%。这意味着：如果你靠单次切分判断「模型 A 比 B 高 2%」，那大概率是噪声。

K 折交叉验证

变体，选对了才有意义：

🔗 推荐算法第 3 章说的「按时间切分，别随机切」，就是 TimeSeriesSplit 的思想。 Kaggle 第 1 章讲的「验证集构造」讲的也是这件事—— CV 划分方式和线上/测试场景不一致，是竞赛掉分的头号原因。

💀 三、数据泄漏：最致命的错误

定义：训练时用到了「本不该知道的信息」，导致离线分数虚高、上线暴死。

🔨 一个会让你后背发凉的实验

import numpy as np
from sklearn.model_selection import cross_val_score, KFold
from sklearn.linear_model import LogisticRegression
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.pipeline import make_pipeline

rng = np.random.RandomState(0)
X = rng.randn(200, 5000)        # 200 个样本，5000 个【纯随机噪声】特征
y = rng.randint(0, 2, 200)      # 标签也是【纯随机】的
# → 特征和标签毫无关系，任何诚实的模型准确率都该是 50%

# ❌ 错误做法：先用全部数据选特征，再做交叉验证
sel = SelectKBest(f_classif, k=20).fit(X, y)
bad = cross_val_score(LogisticRegression(max_iter=2000),
                      sel.transform(X), y, cv=KFold(5, shuffle=True, random_state=0))

# ✅ 正确做法：把特征选择放进 Pipeline，在每折内部重新做
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=2000))
good = cross_val_score(pipe, X, y, cv=KFold(5, shuffle=True, random_state=0))

print(f"❌ 先选特征再CV：{bad.mean():.1%}")
print(f"✅ 放进Pipeline：{good.mean():.1%}")

实测结果：

💡 发生了什么：从 5000 个噪声特征里选「和标签最相关的 20 个」时， 你已经偷看了全部标签——总有些特征碰巧和标签相关。 这 20 个特征把标签信息「记」进来了，交叉验证再怎么切都逃不掉。

🔑 这就是为什么必须用 Pipeline：所有「会看到 y」或「会统计全体数据」的步骤 （特征选择、标准化、目标编码、缺失值填充、过采样） 都必须放进 Pipeline，让它们在每折内部重新执行。

常见泄漏清单

⚠️ 这一章讲的随机划分，有一整类数据上不能直接用。 当样本彼此同源（同一个用户的多条记录、同一个家族的多条蛋白序列）， 随机切会把「几乎一样的东西」分到训练集和测试集两边 —— 测的是记忆不是泛化。 ⭐ 两个方向的展开：数据这一关 14 · 数据泄漏的七种来源 讲全部七种；科学问题怎么变成模型 07 · 评测的坑 实测了它最狠的样子 —— 同一份数据只改划分方式，R² 从 0.707 掉到 −1.199（负数 = 还不如猜均值）。

📏 四、选对指标（准确率是个陷阱）

🔨 实测：99% 的准确率毫无意义

数据：1.6% 的正样本（如欺诈检测、罕见病）

三个必须看懂的点：

1. 傻子模型和逻辑回归的准确率一模一样（98.4%） —— 准确率完全无法区分它们
2. AUC 0.65 说明模型其实有信号，但默认阈值 0.5 下一个正样本都没抓到
3. PR-AUC 只有 0.07 —— 比 AUC 诚实得多。类别极不平衡时看 PR-AUC，别看 AUC

指标速查

🔗 推荐算法第 12 章的 GAUC 就是 AUC 的分组版本—— 因为推荐场景要看的是「每个用户自己的列表里排得对不对」。

⭐ AUC 有两种等价定义：教科书版是「ROC 曲线（横轴假正率、纵轴真正率）下面的面积」， 上表用的是另一版「随机取一正一负，正的排前面的概率」——两者数值完全相同。 之所以用后者，是因为这个定义本身就是一个算法——不用画 ROC 曲线，排个序数秩就行。 🔗 附录 C 第 9 题把它写成了 15 行 $O(n\log n)$ 的实现。 去那里主要是为了一个这一节没提的坑：分数并列必须取平均秩。 树模型大量样本落进同一个叶子拿到完全相同的分数，并列是常态，不处理算出来的 AUC 就是错的。 那边还有一个高频追问的实测答案：对分数做单调变换（×100 再 +5），AUC 一位不变——因为它只看排序， 所以两个模型 AUC 一样、概率校准可能天差地别。

阈值不是 0.5

上表最后两行说明：模型输出的是概率，把它变成 0/1 的那个阈值是你的自由参数。 调阈值不用重训模型，却能大幅改变精确率/召回率的平衡。这是最便宜的优化手段。

📈 五、学习曲线：加数据有用吗

怎么读这张表：

💡 这张图能帮你回答那个昂贵的问题：「我该花钱标更多数据，还是花时间调模型？」

🧪 六、一套可以照抄的评估流程

🔗 这套流程和你在智能体工程第 14 章学的评测方法论同源： 「读转录」「分维度看」「对小差距保持怀疑」在这里全都成立。

✅ 检查点

1. 偏差和方差各对应什么现象？怎么区分自己在哪一侧？
2. 为什么单次切分的分数不可信？实测极差有多大？
3. 分类任务默认该用哪种交叉验证？时间序列呢？
4. 为什么特征选择必须放进 Pipeline？纯噪声实验的两个数字是多少？
5. 1.6% 正样本时，98.4% 的准确率说明什么？该看什么指标？
6. 学习曲线怎么告诉你「该加数据还是该改模型」？
7. 为什么最终测试集只能用一次？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 06-无监督-聚类与降维.md