跳到主要内容
🏠 总目录📚 本教程 05 · 评估与过拟合 ← →
📑 本页目录(点开跳转)

05 / 先看直觉,再看细节

先问分数是否可信,
再问能不能更高。

95%的准确率,为什么可能一个也没找到?

评估要同时守住两件事:不偷看答案,指标确实对应你的目标。

把指标、切分和阈值放回任务目标,能识别看似高分但不可信的评估。

先抓住一个具体结果

95% 准确率,也可能一个都没找到

100 单里有 5 单超时。超时是我们要找的正例。如果都判为准时,仍有 95 单判对,准确率是 95%。实际超时的 5 单一单也没抓住,所以召回率是 0%。

05 · 评估与过拟合

⏱ 24 分钟 | ⭐⭐ 全教程最重要的一章

如果你这份教程只学一章,学这章。 模型算法会过时,「怎么知道模型到底行不行」这件事永远不会过时。


🎯 一句话

模型对旧订单判断得很准,换一批新订单却漏掉不少超时。接着 03a 的外卖案例,我们要判断模型能否泛化,也就是在新订单上继续有效。

读完本章,你可以分配三份数据的职责,用验证集手算提醒门槛,再分别检查模型的排序、概率和实际决策。

图内可左右滑动;需要时可放大阅读。

模型复杂度 / 训练轮数 →误差最优点欠拟合两边都差过拟合训练好 / 验证差训练误差验证误差图示一种常见趋势:训练误差下降,验证误差可能先降后升 —— 差距只是待排查线索,不是通用过拟合量
若事先选定「验证误差最低」作为规则,图中的绿色竖线就是本次候选里应选的位置。

⚖️ 一、偏差-方差:过拟合的根源

图内可左右滑动;需要时可放大阅读。

偏差与方差的打靶示意打靶看偏差和方差:每个点 = 换一批训练数据训出的模型,对同一个样本的预测偏差 = 点的平均位置离靶心多远;方差 = 换数据后点散得多开低偏差 · 低方差理想:又准又稳预测集中在靶心附近高偏差 · 低方差总往同一方向偏预测集中在靶心外低偏差 · 高方差平均靠近靶心,但很散换一批训练数据,预测就变高偏差 · 高方差又偏又散平均偏离,预测也不稳定平方损失下:期望误差 = 偏差² + 方差 + 不可消除的噪声
点的位置是示意,不是实验数据。

图内可左右滑动;需要时可放大阅读。

误差刚好最优点在这欠拟合(高偏差)过拟合(高方差)模型复杂度 →测试误差(总误差)偏差²方差训练误差不可消除的噪声
经典示意:复杂度变高,偏差²下降、方差上升,总误差先降后升。
  • 第 1 章的深度表能看出“复杂度变高时训练分、测试分怎么变”,但单次分数不是偏差、方差各项的实测值
🔎 细节:这张曲线不是普遍定律
  • 平方损失下,对训练集和噪声取期望,期望误差可以严格分解为偏差²、方差与不可约噪声
  • 实际的验证曲线也可能出现“双降”等形态,不一定是 U 形
  • 正则、剪枝或早停要用验证结果去选;不能从图上保证最低点怎样移动

延伸 → 《机器学习的数学原理》第 8 章:严格推导这个等式,并解释集成学习为什么有效

用三次预测看偏差和方差

把打靶图换成数字。假设同类订单在这个输入条件下平均耗时 6 分钟。用不同训练数据重复拟合三次,得到两组演示预测。

预测是否偏离,与每次预测是否稳定,是两件事
模型配置三次预测平均预测
A4、4、4 分钟4 分钟
B2、6、10 分钟6 分钟
  • A 的平均预测比 6 分钟低 2 分钟。三次都一样,按这三次计算的方差是 0。
  • B 的平均预测正好是 6 分钟。三次分别偏离自己的均值 −4、0、4 分钟。先平方,再平均,方差为 (16 + 0 + 16) ÷ 3 ≈ 10.67 分钟²。

训练分和验证分怎么读

欠拟合(Underfitting)常表现为模型连训练数据的规律都没学好。过拟合(Overfitting)是模型学进了训练样本的偶然细节,换到同类新数据时表现变差。

先比较训练集和验证集上的同一指标。两边的差距提供排查方向,偏差和方差各有多大还需要另外测量。

现象 诊断 怎么办
训练集也差 欠拟合(高偏差) 加模型复杂度、加特征、减正则、训久点
训练好、验证差 可能过拟合,也要排查数据分布 加数据 ⭐、加正则、减复杂度、早停
两边都好 先核对代表性和泄漏 按预定规则冻结方案,再做最终测试
训练分低于验证分 检查两边是否可比 核对指标、样本难度和训练设置

第 1 章不限深度的树曾报告训练 100%、测试 91.8%,相差 8.2 个百分点。自己探索时,用验证集判断限制深度、加数据等调整有没有帮助。

💡 增加有代表性且标签可靠的数据可能改善泛化;是否优先采集,要结合学习曲线、分布、成本与验证结果。


🔄 二、交叉验证:别信单次切分

三份订单,各做一件事

想比较两棵树,先问一句:这批订单的答案,已经影响过哪棵树被留下吗?如果影响过,这批数据就承担了选择的职责。另留一批订单,才能检验选出的方案在新数据上的表现。

训练集(Training Set)用这批订单拟合预处理和模型参数。
验证集(Validation Set)用未参与该次拟合的订单比较树深、训练轮数和提醒门槛。
测试集(Test Set)锁定模型、预处理、门槛和评估口径,再用保留订单报告表现。

交叉验证(Cross-Validation,CV)在开发数据内轮换训练折和验证折,最终测试集继续封存。要预测未来或新用户,就先按时间或用户定边界,训练和调参只用各自时点已知的标签。

图内可左右滑动;需要时可放大阅读。

① 随机 K 折:样本独立且可随机切分第1折第2折第3折② 时间切分:用过去的数据预测未来第1折第2折第3折③ 分组切分:要测新用户,同组样本放在一侧第1折第2折G0G0G1G1G2G2G3G3切分先对应部署目标,再考虑类别比例粗实框 = 验证 无框 = 训练 虚线框 = 该折不用时序切分中,虚线框所示数据暂不进入本折
G0–G3 代表 4 个用户或病人。要评估能否泛化到新用户或病人,就让同一组的数据留在一侧。

同一个模型,换一批验证订单,分数也可能变。比较方案时,先在相同的几折上逐折比较。图里的极差展示这次实验从最低到最高差多少。

图内可左右滑动;需要时可放大阅读。

单次切分的运气波动同一个模型,只换切分的随机种子:分数能差多少10 次单次切分94.7%98.2%极差 3.5 个百分点5 折交叉验证均值 96.5%,标准差 1.5 个百分点要比较的差距“A 比 B 高 2 个百分点”94%95%96%97%98%99%极差只描述这 10 次切分。比较方案,请在相同的划分上逐折看差值
原页实测:同一个模型只换切分种子;第 1 章的 91.8% 也是一次切分的结果。

K 折交叉验证

  • 普通 K 折把开发数据切成 K 份(常用 5 或 10),轮流拿 1 份当验证、其余 K − 1 份训练
  • 得到 K 个分数。用均值概括水平,用标准差概括各折围绕均值的波动
  • 普通 K 折中,每个样本轮到一次验证。看多个切分可以观察分数波动,代价是训练 K 次。

三折算一遍均值和标准差

假设订单可独立随机切分。用同一套模型配置,把 12 单分成 A、B、C 三份,每份 4 单。每一折重新拟合,准确率用答对单数除以该折验证单数。表里是演示结果。

每份订单恰好当一次验证集
验证训练答对与得分
AB、C2 ÷ 4 = 50%
BA、C3 ÷ 4 = 75%
CA、B4 ÷ 4 = 100%

三折均值是 (50% + 75% + 100%) ÷ 3 = 75%。再计算每一折离均值有多远。

折间波动的中间计算
验证折差(百分点)差的平方
A50 − 75 = −25625
B75 − 75 = 00
C100 − 75 = 25625

平方和是 1,250 个百分点平方。除以 3 再开方,总体标准差约为 20.4 个百分点。若按样本标准差口径,除以 2 再开方,得到 25 个百分点。各折训练数据重叠,折间标准差不能直接当置信区间。

K 等于样本数时,每轮只留一条验证,叫留一交叉验证(Leave-One-Out,LOO)。这 12 单要拟合 12 次,三折只需拟合 3 次。

预测未来新用户,按日期重放两折

假设要预测用户首次下单是否超时,标签在下单次日可用。每折在截点收集已出标签的历史首次订单用于训练,再用后续首次下单的用户做验证。

演示记录,日期与用户均为虚构
下单日用户标签可用日
第 1 天A、E 首次第 2 天
第 2 天B 首次第 3 天
第 3 天A 回访、C 首次第 4 天
第 5 天C 回访、D 首次第 6 天
  • 第 2 天结束时拟合。训练用 A、E 第 1 天的订单。B 已下单,但标签第 3 天才可用。第 3 天的验证只留 C,A 已在历史中出现。
  • 第 4 天结束时重新拟合。训练可用 A、E、B、C 的四笔首次订单。第 5 天的验证只留 D,C 已是老用户。

这里只演示划分,实际拟合还要核对样本数和类别覆盖。C 在第一折验证时不参与拟合,第 4 天拿到标签后才可进入第二折训练。最终测试另留在更晚的窗口。

切分方式速查

类型 什么时候用
时间切分(如 TimeSeriesSplit) 要预测未来。按时间用较早的数据训练、较晚的数据验证,检查标签在对应时点是否已可用。
分组切分(如 GroupKFold) 要预测新用户或新病人。每一折中,同一用户或病人的记录只出现在训练、验证中的一侧。
分层 K 折(StratifiedKFold) 分类任务的样本可随机切分时,尽量保持各折的类别比例。
普通 K 折(KFold) 样本可随机切分且无需按类别分层时,可用普通 K 折。

延伸 →

  • Kaggle 第 1 章:验证集怎么构造;CV 划分和线上 / 测试场景不一致,是竞赛掉分的头号原因
  • 推荐算法第 3 章「按时间切分,别随机切」:就是 TimeSeriesSplit 的思想

划分定了,再查拟合时看到了什么

用部署目标确定时间、标签和用户边界,再在同一组折上比较方案。折间标准差描述波动。划分即使正确,提前用全量数据计算预处理也可能让验证标签影响拟合,下一节从这里查起。


💀 三、数据泄漏:最致命的错误

图内可左右滑动;需要时可放大阅读。

① 时间穿越用了预测时点之后才有的信息「用户总订单数」包含了未来订单② 预处理泄漏在全量数据上fit 了转换器标准化/PCA/目标编码偷看了验证集分布③ 分组泄漏同一实体的数据同时在训练和验证同一用户的两条记录被随机切到了两边三条路径不同,症状却一样:离线分数好得不真实⭐ 一个通用自检:把特征逐个问一遍「预测的那一刻,这个值真的已经存在了吗?」预处理在折内拟合;目标编码还要保护训练行自己的标签纯噪声的新样本期望为 50%;本次泄漏评估得到 76.5%
第 ② 条最常见,它的具体样子见下一张图和后面的实验。

数据泄漏(Data Leakage)指开发流程用了本应隔离的信息。未来才产生的特征可能流入训练,最终测试反馈也可能流回模型或阈值选择。两者都会破坏评估的可信度。

图内可左右滑动;需要时可放大阅读。

哪些数据可以参与 fit? 先划分训练、验证、测试。六个训练值为0、0、0、2、2、2;只有它们参与拟合,得到均值1和总体标准差1。验证值1、3复用训练统计量变成0、2,测试值2、4变成1、3。验证用于选配置,配置冻结后才打开测试集做最终评估。交叉验证的每一折都在训练折内拟合整个预处理与模型流水线;时间可用性和实体分组约束需要另选切分方案。本图画固定训练子集的手设示例;若冻结配置后合并训练与验证集重训,须重拟合整个预处理与模型流水线,测试集仍不参与。 哪些数据可以参与 fit? 先划分,再拟合;三份数据复用同一变换 ① 先划分:训练 6 / 验证 2 / 测试 2 训练值:[0, 0, 0, 2, 2, 2] 只有这 6 个值可以参与 fit ② fit → 保存 μ = 1、σ = 1 总体标准差(ddof = 0);z = (x − μ) / σ 复用训练统计量 验证:只 transform [1, 3] → [0, 2] 评估 / 选配置 不重新估计 μ / σ 测试:只 transform [2, 4] → [1, 3] 冻结后最终评估 不重新估计 μ / σ 验证选好配置 → 冻结 → 打开测试集 CV:每折都重新拟合整条 Pipeline 训练折:预处理 fit → 模型 fit 验证折:同一预处理 transform → 评估 时间 / 实体约束:另选切分方案 6 / 2 / 2 是玩具数量,不是通用划分比例 固定训练子集示例;合并重训须重拟合 Pipeline
标准化先算训练均值 μ 和总体标准差 σ。训练六个值之和是 6,均值是 6 ÷ 6 = 1。六个值到均值的距离都为 1,距离平方的均值是 1,开方后 σ = 1。验证、测试逐个用「原值减 1,再除以 1」转换。

🔨 用纯噪声复现一次数据泄漏

这段实验检验一件事:当特征与标签没有真实关系时,提前偷看验证标签能把分数抬多高?运行需要 NumPy 和 scikit-learn,可用第 01 章的环境。

  1. 输入。随机生成 200 条样本,每条有 5,000 列噪声,标签独立地等概率取 0 或 1。代码固定造数和划分的随机种子,便于复跑。
  2. 只改选特征的时点。两边用同样的五折和逻辑回归。SelectKBest 用标签为每列打分,保留 20 列。一边用全体标签提前选,另一边把选择器和模型串进流水线(Pipeline),在每折训练数据内重新选。
  3. 输出。两行分别打印五折验证准确率的均值。看清是哪一种做法读到了验证标签,再比较分数。
import numpy as np
from sklearn.model_selection import cross_val_score, KFold
from sklearn.linear_model import LogisticRegression
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.pipeline import make_pipeline

rng = np.random.RandomState(0)
X = rng.randn(200, 5000)        # 200 个样本,5000 个【纯随机噪声】特征
y = rng.randint(0, 2, 200)      # 标签也是【纯随机】的
# → 独立新样本的期望准确率为 50%;有限样本的评估分数会波动

# ❌ 错误做法:先用全部数据选特征,再做交叉验证
sel = SelectKBest(f_classif, k=20).fit(X, y)
bad = cross_val_score(LogisticRegression(max_iter=2000),
                      sel.transform(X), y, cv=KFold(5, shuffle=True, random_state=0))

# ✅ 正确做法:把特征选择放进 Pipeline,在每折内部重新做
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=2000))
good = cross_val_score(pipe, X, y, cv=KFold(5, shuffle=True, random_state=0))

print(f"❌ 先选特征再CV:{bad.mean():.1%}")
print(f"✅ 放进Pipeline:{good.mean():.1%}")
同一份纯噪声数据,五折验证准确率均值
选特征时读到的标签本次均值
全体标签76.5%
每折的训练标签47.5%

独立新样本的期望准确率是 50%。一次有限样本实验的均值可以高于或低于它。

5,000 列噪声里总有一些碰巧和标签相关。先用全体标签挑出 20 列,验证标签就参与了选列,后续再切分也撤销不了这一步。

🔑 会看到 y、或会统计全体数据的步骤,都放进 Pipeline,在每折内部重新执行:

  • 会看到 y:特征选择、目标编码
  • 会统计全体:标准化、缺失值填充
  • 会造样本:过采样

目标编码还要保护训练行自己的标签

目标编码(Target Encoding)用一个类别的历史标签统计替代类别名。例如,用同一家店在其他订单里的超时比例编码店名。如果某家店只有一单,用这单自己的标签来算比例,输入里就直接带进了答案。

  • 给外层训练折编码。再把它分成内层折,每行用其他内层训练数据的标签统计得到编码,按行拼回。这一步叫交叉拟合(Cross-Fitting)。
  • 给外层验证折编码。用全部外层训练数据得到的映射,只做转换。时间或分组有约束时,内层也要遵守相应约束。

在 scikit-learn 的 TargetEncoder 中,训练数据用 fit_transform 获得交叉拟合编码。先 fit 再对同一批训练行 transform 会走全训练折映射。内层若需要自定义时间或分组规则,需另外实现或核对实现。TargetEncoder 文档

过采样放进哪种 Pipeline
展开 API 说明
  • scikit-learn 自带的 Pipeline,中间步骤要有 fit / transform;会改变样本数的重采样器放不进去
  • 过采样(如 SMOTE)用 imbalanced-learn 的 Pipeline:只在训练时重采样,验证和预测时原样通过。imbalanced-learn Pipeline 文档

常见泄漏清单

泄漏形式 例子
预处理泄漏 ⭐ 用全量数据 fit scaler / 选特征 / 填缺失值
测试反馈泄漏 按测试结果改阈值,再用同一批订单给新阈值报最终成绩
时间泄漏 ⭐ 用未来数据预测过去(推荐算法第 3 章的坑)
分组泄漏 同一用户的数据同时出现在训练和测试集
目标泄漏 特征里混进了标签的衍生物(如「是否退款」预测「是否投诉」)
重复样本 去重没做干净,同一条数据两边都有

⚠️ 样本彼此“同源”时,随机划分测的是记忆,不是泛化。

隔离做对了,再挑要看的分数

查泄漏时,逐步问它读了哪些行、哪些标签。折内 Pipeline 管住训练与验证的边界,目标编码还要管住训练行自己的标签。分数可信之后,才能判断它是否回答了业务问题。

📏 四、选对指标(准确率是个陷阱)

同一批订单可以问三个问题:这次发提醒抓得准吗?风险分数把超时单排在前面吗?概率能当发生比例读吗?先定一个发提醒的门槛(阈值),数清提醒与结果的关系。

从四格计数到整条曲线

同一张混淆矩阵,把分母写出来

混淆矩阵(Confusion Matrix)把实际结果和预测结果交叉计数。这里把超时记为正类 1。T / F 表示预测对或错,P / N 表示预测成正或负。

图内可左右滑动;需要时可放大阅读。

混淆矩阵与四个指标的分母100 个样本、固定一个阈值:先数四个格子,再换分母预测负(0)预测正(1)实际负(0)实际正(1)TN = 40正确排除FP = 20误报FN = 10漏报TP = 30正确检出精确率 = 30 / 50 = 0.60分母:预测为正(橘色实线框)召回率 = 30 / 40 = 0.75分母:实际为正(蓝色虚线框)假正率 FPR = 20 / 60 ≈ 0.33分母:实际为负(上面一行)准确率 = 70 / 100 = 0.70分母:全部样本F1 = 2 × 30 / (2 × 30 + 20 + 10) = 60 / 90 ≈ 0.67 —— 不用 TN同一张表,换一个分母就是另一个指标;记分母,比记名字更不容易混
给定阈值下的教学计数,不是模型测试结果。行是真值、列是预测;调用库时先核对标签顺序。
  • 精确率(Precision,P)是发出的提醒里有多少真的超时。用真正例除以全部提醒,30 ÷ (30 + 20) = 0.60。
  • 召回率(Recall,R)是真超时的订单里抓到了多少,也叫真正率(True Positive Rate,TPR)。用真正例除以全部正例,30 ÷ (30 + 10) = 0.75。
  • 假正率(False Positive Rate,FPR)是实际准时的订单里有多少被误报。用假正例除以全部负例,20 ÷ (20 + 40) ≈ 0.33。
  • 准确率(Accuracy)是所有订单里预测正确的比例。(30 + 40) ÷ 100 = 0.70。
用 F1 合并两个比例

若精确率和召回率都重要,可以用 F1 分数(F1 Score)合并它们。两项都大于 0 时,把它们各取倒数,求平均,再取一次倒数。低的一项取倒数后更大,会把 F1 往下拉。

把两项的分母展开,两个倒数之和就是 (50 + 40) ÷ 30,所以 F1 是 (2 × 30) ÷ (50 + 40) = 2/3。一般写成「两倍真正例 ÷(两倍真正例 + 假正例 + 假负例)」。真负例不参与。

分母为零时怎么报告

例如没有任何样本被预测为正时,精确率没有定义。报告各类样本数和采用的 zero_division 规则。

扫过阈值,画出两个坐标

把阈值调低,提醒名单只可能扩大或保持原样。用四单试一次,超时单得分 0.90 和 0.40,准时单得分 0.70 和 0.20。得分达到门槛的就提醒。

每行是一份提醒名单。TP / FP 分别数抓对和误报的单数。
门槛TP / FP召回率假正率精确率
0.901 / 01/201
0.701 / 11/21/21/2
0.402 / 111/22/3
0.202 / 2111/2
  • 受试者工作特征曲线(Receiver Operating Characteristic,ROC)。横轴取假正率,纵轴取召回率。门槛从 0.90 降到 0.70,点从 (0, 1/2) 移到 (1/2, 1/2)。这次只增加了误报,所以点向右移,高度不变。
  • 精确率–召回率曲线(Precision–Recall,PR)。横轴取召回率,纵轴取精确率。用同两行,点从 (1/2, 1) 移到 (1/2, 1/2)。多发的提醒全是误报,纵轴下降。

曲线下面积(Area Under the Curve,AUC)把一条曲线概括成一个数。ROC-AUC取 ROC 曲线下面积,用来比较模型区分正负例的排序表现。

图内可左右滑动;需要时可放大阅读。

假正率 FPR(把好的误判成坏的)真正率TPR← 一个阈值 = 一个点扫过阈值可以得到一组点AUC = 这块面积随机猜AUC 只看排序,不看分数准不准⚠️ 两个模型 AUC 一样,概率也可能相差很大。要解释概率就单独查校准
图示一般 ROC 形状。上表四单的曲线按表中坐标画出。对角虚线代表无区分能力的基准,AUC = 0.5。

PR-AUC取 PR 曲线下面积,报告时要说明面积算法。另一种常用汇总叫平均精确率(Average Precision,AP),用每次增加的召回率给当步精确率加权。上表只在门槛 0.90 和 0.40 时各多抓到一半的正例,因此 AP = 1/2 × 1 + 1/2 × 2/3 = 5/6。单看某一行算不出两条曲线的汇总分数。

把 ROC-AUC 读成正负配对

独立随机抽一个正例和一个负例。正例得分更高计 1 分,同分计半分,得分更低计 0 分。ROC-AUC 是这套规则的平均得分。

ROC-AUC = 正例得分更高的概率 + ½ × 同分概率。从实际超时和实际准时的订单里各抽一单,两类都要有样本。概率与最后的分数都没有单位。

  • 如果只有一对正负样本且两者同分,正例得分更高的概率为 0,同分概率为 1。代入得到 AUC = 0 + 0.5 × 1 = 0.5。
  • 分数乘 100 再加 5 这类严格递增的变换不改排序,AUC 也不变
  • 所以 AUC 相同 ≠ 概率同样可信,校准要另外查
从排序分数继续读
🔎 细节:正类比例、抽样前提、AP 与 PR-AUC、并列分数
ROC 点一样,精确率也可能不同

假定模型、门槛、TPR 和 FPR 固定,设正类占比为 π。把总样本数当作 1,真正例占 π × TPR,假正例占 (1 − π) × FPR。

精确率 = 真正例占比 ÷(真正例占比 + 假正例占比)。只要有预测正例,就能用这两个无单位的比例计算。

原例有四成正例。代入得真正例占 0.4 × 0.75 = 0.30,假正例占 0.6 × 1/3 = 0.20,精确率是 0.30 ÷ 0.50 = 0.60。

若把每条负例等权重复到 6 份,TP/FN 仍为 30/10,FP/TN 成为 120/240。正类占比降到 0.1,TPR、FPR 保持原值,精确率降为 30 ÷ (30 + 120) = 0.20。这个例子只演示评估集重加权。

改负样本比例,ROC-AUC 变不变
  • 固定模型分数,评估时只在每类内无偏随机抽样、类条件分数分布不变:总体 ROC 与成对排序 AUC 不因正类比例本身改变
  • 有限样本的估计仍会波动
  • 换成难负例、改变负类子群或候选池、按分数挑样本、用新比例重训:都不再是同一前提,要重新评估并写清抽样口径
AP 与 PR-AUC 的计算口径
  • scikit-learn 的 AP 按每次召回增量给 precision 加权,和对 PR 点直接做梯形积分不同
  • 比较时写清实现、正类、评估样本 / 权重和抽样方式
  • 常数得分的 AP 等于正例比例。本节历史表的常数基线约为 0.016,其余 PR-AUC 数字的积分方式未记录,也没有复验。
经验 ROC 与并列分数
  • 常见的经验 ROC 用线段连接各点时,曲线下面积等于上面的成对排序分数(并列计半分)
  • 附录 C 第 9 题用平均秩实现,复杂度 O(n log n);树模型同一片叶子的样本分数并列,尤其要注意
  • 非严格单调的变换如果制造了新的并列,AUC 可能改变,不能照搬
  • F1 不用 TN,也不会自动反映误报、漏报各自的代价
📚 指标定义与ROC/PR关系

依据 scikit-learn指标指南、混淆矩阵轴、P/R/F与零分母、ROC-AUC分数输入、AP实现及Davis与Goadrich的原始ROC/PR论文;这里的整数例只演示定义与条件,不声称任何模型的真实质量。

指标速查
指标 含义 什么时候用
准确率 对的比例 错误代价接近时有用;类别不平衡时和多数类基线一起看
精确率 Precision 说是正的里面真的有多少 误报代价高(如垃圾邮件误杀)
召回率 Recall 真的正的里面抓到多少 漏报代价高(如癌症筛查)⭐
F1 精确率和召回率的调和平均;两项中有一项很低时会拉低分数 两者都要
ROC-AUC 随机取一正一负:正例得分更高的概率 + 0.5 × 同分概率 衡量排序,不直接衡量概率校准
PR-AUC / AP(注明算法) PR曲线的汇总;AP与梯形面积不是同一算法 正类稀少且关注正预测质量时常用;按目标选指标,不预设PR永远更优

🔨 历史实测:98.4% 准确率也可能漏掉全部正例

这批历史数据的正例约占 1.6%,全判负也能得到 98.4% 准确率。先对照决策指标,再看排序分数。

类别权重(Class Weight,class_weight)改变各类样本在拟合损失中的分量。给少数类更大权重,训练会更重视这些样本。只调门槛则沿用已训练的模型。逻辑回归参数文档

给定决策规则下的结果。原表在没有正预测时把精确率按 0 报告。
方案准确率精确率召回率F1
全判负98.4%0.0%0.0%0.0%
默认模型,门槛 0.5098.4%0.0%0.0%0.0%
类别加权(原表标为平衡加权)67.7%2.7%55.3%5.1%
默认模型,门槛 0.1098.1%17.6%6.4%9.4%
默认模型,门槛 0.0595.4%10.3%25.5%14.7%
按模型分数汇总的排序结果。历史 PR-AUC 的积分方法未记录。
分数来源ROC-AUCPR 汇总
同一常数分数0.50约 0.016(按 AP)
默认模型0.650.07(原表 PR-AUC)
类别加权(原表标为平衡加权)0.620.04(原表 PR-AUC)
  • 两种方案都能得到 98.4%,但默认模型在这批数据上的 ROC-AUC 为 0.65,高于常数分数的 0.50。门槛 0.50 下,它一单也没抓到。
  • 默认模型只改门槛时,排序分数用的仍是同一批模型分数。接下来只看提醒名单怎样变化。

看过排序,接着选行动规则

98.4% 的准确率仍可能漏掉全部超时单。ROC-AUC 和 AP 汇总排序,精确率、召回率和 F1 衡量一个门槛下的结果。接下来把业务能接受的漏报和误报落实成门槛。

阈值不是 0.5

模型输出的是分数,阈值把它变成 0 / 1。0.5 没有特殊地位。

图内可左右滑动;需要时可放大阅读。

阈值与精确率、召回率同一个逻辑回归、不重训:只把阈值调低(正例只占 1.6%)精确率召回率0%10%20%30%一个正例都没抓到阈值 0.5(默认)准确率 98.4%17.6%6.4%阈值 0.1准确率 98.1%10.3%25.5%阈值 0.05准确率 95.4%阈值调低:召回率 0 → 6.4% → 25.5%;准确率只从 98.4% 降到 95.4%,几乎看不出变化
数字来自上方实测表,用于观察阈值对指标的影响。阈值 0.5 时没有预测为正的样本,精确率按 0 记。接下来用单独的验证集练习选阈值。
  • 调阈值不用重训,却能大幅改变精确率和召回率的平衡
  • 分数未必是校准过的概率,“大于 0.5 才算正”只是默认习惯
  • 怎么选:先定业务底线(例如召回率至少 80%),再在验证集上找满足底线、精确率最高的阈值
  • 重训之后。用新版输出选阈值或核实原阈值时,验证数据必须未参与新版的任何拟合,包括预处理、模型和校准器。如果原验证集已并入重训,就用另一批独立的开发验证数据来定门槛。
  • 用交叉验证选阈值。整条流水线都在该折的训练部分内拟合,再用它预测该折留出的样本。这叫折外预测(Out-of-Fold,OOF)。校准器如果需要自己的留出数据,也从该折训练部分内部取得。只汇总真正留出过的样本预测来选阈值,最终测试集留到方案冻结以后。

先定召回底线,再在验证集选阈值

接着看 03a 的外卖超时提醒。客服希望抓住至少 80% 的超时订单,满足这个条件后,再尽量让发出去的提醒准确。团队在看验证结果前定下这条规则,并列出两个候选门槛 0.75、0.50。下面的分数和标签是人工构造的演示数据,模拟同一个已训练、已冻结的模型给不同订单打分。

同分的订单合成一行。超时是正类。
分数超时准时
0.753 单1 单
0.502 单2 单
0.251 单3 单

记风险分数为 s,门槛为 τ,两者都是 0 到 1 之间的无单位数。分数大于或等于门槛就提醒,恰好同分的订单一起处理。实际用库时要确认等于门槛归哪一边。

用四格数订单。发提醒的超时、准时单分别计 TP、FP,没提醒的超时、准时单分别计 FN、TN。精确率除以全部提醒,召回率除以全部超时。任一分母为 0 就标 N/A,该门槛不参加比较。

门槛降低时,0.50 这一组的 4 单一起进入提醒名单。
验证集门槛 0.75门槛 0.50
提醒TP=3,FP=1TP=3+2=5,FP=1+2=3
未提醒FN=2+1=3,TN=2+3=5FN=1,TN=3
精确率3 ÷ (3+1)=75%5 ÷ (5+3)=62.5%
召回率3 ÷ (3+3)=50%5 ÷ (5+1)≈83.3%

0.50 是这两个候选中唯一达标的门槛。比起 0.75,它多抓住 2 单超时,也多误报 2 单。若两个门槛都达标且精确率相同,本例预先约定用较高门槛。若两者都不达标,报告没有合适门槛。

下面的 Python 3 脚本可直接运行,无需安装依赖。evaluate 把每一行的两种订单数加到四格,再按同一分母计算。main 只用验证集决定门槛,冻结后才用另 10 单演示测试集报告。数据固定,因此没有随机种子。

def evaluate(groups, threshold):
    tp = fp = fn = tn = 0
    for score, late, on_time in groups:
        if score >= threshold:
            tp += late
            fp += on_time
        else:
            fn += late
            tn += on_time
    precision = tp / (tp + fp) if tp + fp else None
    recall = tp / (tp + fn) if tp + fn else None
    return (tp, fp, fn, tn), precision, recall


def show(split, threshold, result):
    counts, precision, recall = result
    p = f"{precision:.3f}" if precision is not None else "N/A"
    r = f"{recall:.3f}" if recall is not None else "N/A"
    print(f"{split} {threshold:.2f}: {counts}, P={p}, R={r}")


def main():
    # Each row stores the score, late count, and on-time count.
    validation = [(0.75, 3, 1), (0.50, 2, 2), (0.25, 1, 3)]
    eligible = []
    for threshold in (0.75, 0.50):
        result = evaluate(validation, threshold)
        show("validation", threshold, result)
        _, precision, recall = result
        if precision is not None and recall is not None and recall >= 0.80:
            eligible.append((precision, threshold))

    if not eligible:
        print("No threshold meets the recall target.")
        return

    # Maximize precision, then use the higher threshold if tied.
    _, frozen_threshold = max(eligible)
    test = [(0.75, 2, 2), (0.50, 2, 1), (0.25, 1, 2)]
    show("test", frozen_threshold, evaluate(test, frozen_threshold))


if __name__ == "__main__":
    main()

输出的四格顺序是 TP、FP、FN、TN。验证门槛 0.75 得到 (3, 1, 3, 5),门槛 0.50 得到 (5, 3, 1, 3)。测试只报告 0.50 的 (4, 3, 1, 2),精确率 4 ÷ (4 + 3) ≈ 57.1%,召回率 4 ÷ (4 + 1) = 80%。小样本的结果用来核对流程,无法保证实际部署达到 80%。

一次测试怎样变成了调参

看到 3 次误报后,如果用这批订单的成绩改门槛,就让测试反馈参与了选择。

  • 用同一批订单改试 0.75,误报从 3 单减到 2 单,抓到的超时从 4 单减到 2 单,召回率变为 2 ÷ (2 + 3) = 40%。
  • 即使只拿到总分,用它试阈值也会受这批订单的偶然性影响。按新目标重选时,回到开发验证,再用一批独立的保留数据做最终评估。
冻结后的报告边界

可以按预定口径报告多个指标或复算同一结果。用测试反馈调整模型、门槛或报告口径后,这批订单就成了新版的开发资料。

排序一样,0.50 的概率含义还一样吗?

客服需要知道先提醒谁,排班还需要知道这批订单大约有几单会超时。后一个问题要看概率校准(Probability Calibration)。把预测概率相近的订单放在一起,比一比组内平均预测概率和组内实际超时频率。

另取一批演示订单。A 报 0.25、0.50、0.75,每组 20 单,分别有 5、10、15 单超时。B 给同一批订单的概率是 A 的一半。

实际超时率 100% 50% 0% 50% 100% 平均预测概率 预测=实际 A 原概率B 概率减半
每个点代表同分的一组订单。中间虚横线对应实际超时率为 50% 的那一组。圆点 A 报 50%,方块 B 报 25%。

中间组实际超时率是 10 ÷ 20 = 0.50。组内预测之和除以 20 得到平均预测概率,A 是 0.50,B 是 0.25,低估了 25 个百分点。

概率减半后,再算一次排序

除以 2 保留顺序和并列。高、中、低三组各有 15、10、5 单超时,对应 5、10、15 单准时。两类各 30 单,一共能配出 30 × 30 = 900 对。

超时单与准时单逐对比较
超时单得分配对数每对得分
更高15 × (10 + 15) + 10 × 15 = 5251
同分15 × 5 + 10 × 10 + 5 × 15 = 250½
更低900 − 525 − 250 = 1250

配对数除以 900 就是各自的概率。A 和 B 的 ROC-AUC 都是 525 ÷ 900 + ½ × (250 ÷ 900) = 650 ÷ 900 ≈ 0.722。

原来 A 的 0.50 门槛,换到 B 的刻度上是 0.25。若照搬 0.50,B 最高只到 0.375,一单都不会提醒。这个例子里,排序相同,照搬门槛却会改变提醒结果。

校准器在哪份数据上拟合

要实际拟合校准器,可用四份互不重叠的数据。

从分数到概率,再到最终行动规则
数据职责
训练集拟合预处理和分类器。
校准集用冻结模型的分数和已知标签拟合分数到概率的映射。
验证集用校准后的概率选门槛。
最终测试集评估冻结的模型、映射和门槛。

图中的玩具批次只演示如何读可靠性。实际判断还要看样本量和部署分布。scikit-learn 概率校准指南

门槛和概率定了,再看模型还缺什么

门槛决定是否行动,校准检查概率能否按发生比例理解。重训或改校准后,要用独立开发订单核实门槛。同一批分数上的取舍看清后,再用学习曲线判断是否值得加数据。


📈 五、学习曲线:加数据有用吗

图内可左右滑动;需要时可放大阅读。

两条线还在收敛缝隙缩小 → 继续检查加数据的收益两条线已经贴合都平了 → 检查容量、特征与数据分布实线 = 训练误差,虚线 = 验证误差。观察两条线的距离与高度缝隙大:泛化问题的线索两者都高:检查欠拟合等原因⭐ 这张图提供排查方向:「该去标更多数据,还是该换模型?」是否加数据需验证收益;平台期还要检查模型、特征、优化与分布
示意图:只提供排查方向,不能单独诊断偏差或方差。

图内可左右滑动;需要时可放大阅读。

学习曲线实测数据学习曲线实测:训练样本从 39 加到 398训练集测试集90%95%100%差 8.291.8%39差 6.493.6%79差 5.394.7%159差 5.894.2%398训练集一直 100%训练样本数(横轴按对数间隔)前三点测试分在涨、差距在缩;最后两点基本持平(94.7% / 94.2%)末点回落 0.5 个百分点;仅凭这条曲线,无法判断这个变化是否稳定
历史实测用了测试集。做自己的学习曲线时,请在开发数据内用验证集,固定比较口径,并在可行时重复划分或种子,估计这条曲线自身的波动。

怎么读:差距和趋势只是线索,用来决定下一步先试什么。

  • 差距大、验证分还在涨 → 加数据可能有用,先小规模验证收益
  • 差距大、验证分已平 → 先试正则、剪枝或降低复杂度
  • 两条线都低、贴在一起 → 欠拟合:加特征,或换更强的模型
  • 平台期还要排查优化过程和数据分布;探索时用验证集,不用测试集

💡 这张图能帮你回答那个昂贵的问题:「我该花钱标更多数据,还是花时间调模型?」


🧪 六、一套可以照抄的评估流程

图内可左右滑动;需要时可放大阅读。

评估流程六步一套可以照抄的评估流程:先选配置,再拟合最终模型① 按部署目标留测试集守住时间和分组开发期间封存② 定指标和开发划分预先定评分标准开发划分也守住约束③ 折内拟合整条流水线仅用训练折拟合用验证折按约定评分④ 比较分数,选定配置记录均值和折间波动在相同划分比较方案⑤ 拟合最终模型使用开发训练数据用独立开发集核实门槛⑥ 冻结后做最终测试按约定口径报告反馈不参与选择②–⑤ 仅使用开发数据
虚线框内只用开发数据。第 ⑤ 步从每折的候选拟合走到最终要部署的模型。
  1. 选好配置后,用开发训练数据拟合最终流水线。重新拟合预处理与模型;若要校准,保留独立开发数据拟合校准器。再用未参与这两步的开发验证数据核实或选择最终门槛。若把旧验证集并入重训,就提前留出另一批开发订单。
  2. 冻结模型、门槛、指标和口径,最后评估保留测试集。测试只回答冻结方案在这批数据上表现怎样。若测试反馈引发调整,为新版另备独立测试集。

比较两个方案时,在同一组划分上逐折看差值。标准差只概括这些折的波动,不能直接判断差异是否显著。

延伸 → 智能体工程第 14 章:同一套评测方法论,「读转录」「分维度看」「对小差距保持怀疑」在这里全都成立。


✅ 检查点

共 9 题:8 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 训练集和验证集上的分数都很低,模型可能连已有数据的规律都没学到。可以先排查哪种情况?

看答案与解析

答案:C

训练分和验证分都低时,先排查欠拟合,也检查特征和优化是否有问题。训练分高、验证分低时,先排查过拟合以及两份数据的分布差异。

单选2. 同一模型只换切分种子,最低 94.7%,最高 98.2%。极差是多少,该怎么用?

看答案与解析

答案:D

极差是最高值减最低值,98.2% − 94.7% = 3.5 个百分点。它描述这 10 次切分的范围。比较方案还要看相同划分上的配对结果。

单选3. 要判断模型能否预测未来的新用户,交叉验证应怎样切分订单?

看答案与解析

答案:B

每一折用较早的订单训练、用较晚且来自未见过的用户的订单验证。先同时满足这两项约束,再尽量保持类别比例。

单选4. 纯噪声实验的两种写法只改了选特征的时点。哪一步让离线分数虚高?

看答案与解析

答案:B

验证标签参与了选列,后续模型即使只在训练折拟合,评估也已经被污染。本次错误做法得 76.5%,折内选择得 47.5%。

判断5. 正样本只占 1.6% 时,98.4% 的准确率说明模型已经很好。

看答案与解析

答案:错误

全判负也有 98.4%,召回率却是 0。应按误报和漏报的代价选指标,并用验证数据选择门槛。

单选6. 学习曲线怎么帮你判断「该加数据还是该改模型」?

看答案与解析

答案:C

用验证集学习曲线提出假设:仍上升可检验加数据收益,平台期继续查模型、特征、优化与分布;不能由平台断言更多数据无用。

单选7. 为什么要在看最终测试结果前锁定方案?

看答案与解析

答案:A

根据测试反馈改出的方案,需要用另一批保留数据验收。若方案和口径都已锁定,可以复算同一个结果。

单选8. 验证集上 TP = 8、FP = 2、FN = 8、TN = 82。精确率、召回率、准确率各是多少?

看答案与解析

答案:C

精确率 8 / (8 + 2) = 0.8;召回率 8 / (8 + 8) = 0.5;准确率 (8 + 82) / 100 = 0.9 —— 准确率很高,却漏掉了一半正例。

单选9. 所有预测概率都除以 2,标签原样保留。哪项结论成立?

看答案与解析

答案 B。除以 2 保留排序和并列,所以 ROC-AUC 不变。原来恰好得 0.50 的订单现在得 0.25,照搬 0.50 会少发提醒。实际频率仍是原来的数字,校准要重新看。


用自己的话说一遍

同事把训练和验证数据合起来重训,想用原验证集再选门槛。请用三句话说明:哪些订单参与过新版拟合,哪一批订单可以选门槛,最终测试什么时候打开?

对照要点
  • 原验证订单已参与新版拟合。
  • 用一批未参与新版预处理、模型和校准拟合的开发订单选门槛。
  • 模型、门槛和报告口径都冻结后,再打开保留测试集。

本节回顾

评估要同时守住两件事:不偷看答案,指标确实对应你的目标。

⚡ 走神救援

先记住这几件事

  • 训练集拟合模型,验证集选方案和阈值,冻结后再用测试集评估。
  • 排序看 ROC-AUC。检查概率时,把各组的平均预测与实际发生比例对照。
  • 交叉验证每折在训练部分拟合整条流水线。切分先满足实际使用场景的时间和用户约束,再考虑分层。
  • 结合训练与验证曲线判断欠拟合、过拟合,再调整容量、正则化或数据。
  • 指标必须对应实际任务;保留基线并观察不同划分或种子的波动。

本章能帮你定位过拟合。怎样改变训练,让模型少依赖偶然细节,还需要做下一节的实验。

下一节 👉 05a · 正则化与调参实验:发现过拟合之后,线性模型怎么防。

打卡记录保存在你的浏览器里,首页能看到总进度