📑 本页目录(点开跳转)
05 / 先看直觉,再看细节
先问分数是否可信,
再问能不能更高。
95%的准确率,为什么可能一个也没找到?
评估要同时守住两件事:不偷看答案,指标确实对应你的目标。
把指标、切分和阈值放回任务目标,能识别看似高分但不可信的评估。
先抓住一个具体结果
95% 准确率,也可能一个都没找到
100 单里有 5 单超时。超时是我们要找的正例。如果都判为准时,仍有 95 单判对,准确率是 95%。实际超时的 5 单一单也没抓住,所以召回率是 0%。
05 · 评估与过拟合
⏱ 24 分钟 | ⭐⭐ 全教程最重要的一章
如果你这份教程只学一章,学这章。 模型算法会过时,「怎么知道模型到底行不行」这件事永远不会过时。
🎯 一句话
模型对旧订单判断得很准,换一批新订单却漏掉不少超时。接着 03a 的外卖案例,我们要判断模型能否泛化,也就是在新订单上继续有效。
读完本章,你可以分配三份数据的职责,用验证集手算提醒门槛,再分别检查模型的排序、概率和实际决策。
图内可左右滑动;需要时可放大阅读。
⚖️ 一、偏差-方差:过拟合的根源
图内可左右滑动;需要时可放大阅读。
图内可左右滑动;需要时可放大阅读。
- 第 1 章的深度表能看出“复杂度变高时训练分、测试分怎么变”,但单次分数不是偏差、方差各项的实测值
🔎 细节:这张曲线不是普遍定律
- 平方损失下,对训练集和噪声取期望,期望误差可以严格分解为偏差²、方差与不可约噪声
- 实际的验证曲线也可能出现“双降”等形态,不一定是 U 形
- 正则、剪枝或早停要用验证结果去选;不能从图上保证最低点怎样移动
延伸 → 《机器学习的数学原理》第 8 章:严格推导这个等式,并解释集成学习为什么有效
用三次预测看偏差和方差
把打靶图换成数字。假设同类订单在这个输入条件下平均耗时 6 分钟。用不同训练数据重复拟合三次,得到两组演示预测。
| 模型配置 | 三次预测 | 平均预测 |
|---|---|---|
| A | 4、4、4 分钟 | 4 分钟 |
| B | 2、6、10 分钟 | 6 分钟 |
- A 的平均预测比 6 分钟低 2 分钟。三次都一样,按这三次计算的方差是 0。
- B 的平均预测正好是 6 分钟。三次分别偏离自己的均值 −4、0、4 分钟。先平方,再平均,方差为 (16 + 0 + 16) ÷ 3 ≈ 10.67 分钟²。
训练分和验证分怎么读
欠拟合(Underfitting)常表现为模型连训练数据的规律都没学好。过拟合(Overfitting)是模型学进了训练样本的偶然细节,换到同类新数据时表现变差。
先比较训练集和验证集上的同一指标。两边的差距提供排查方向,偏差和方差各有多大还需要另外测量。
| 现象 | 诊断 | 怎么办 |
|---|---|---|
| 训练集也差 | 欠拟合(高偏差) | 加模型复杂度、加特征、减正则、训久点 |
| 训练好、验证差 | 可能过拟合,也要排查数据分布 | 加数据 ⭐、加正则、减复杂度、早停 |
| 两边都好 | 先核对代表性和泄漏 | 按预定规则冻结方案,再做最终测试 |
| 训练分低于验证分 | 检查两边是否可比 | 核对指标、样本难度和训练设置 |
第 1 章不限深度的树曾报告训练 100%、测试 91.8%,相差 8.2 个百分点。自己探索时,用验证集判断限制深度、加数据等调整有没有帮助。
💡 增加有代表性且标签可靠的数据可能改善泛化;是否优先采集,要结合学习曲线、分布、成本与验证结果。
🔄 二、交叉验证:别信单次切分
三份订单,各做一件事
想比较两棵树,先问一句:这批订单的答案,已经影响过哪棵树被留下吗?如果影响过,这批数据就承担了选择的职责。另留一批订单,才能检验选出的方案在新数据上的表现。
交叉验证(Cross-Validation,CV)在开发数据内轮换训练折和验证折,最终测试集继续封存。要预测未来或新用户,就先按时间或用户定边界,训练和调参只用各自时点已知的标签。
图内可左右滑动;需要时可放大阅读。
同一个模型,换一批验证订单,分数也可能变。比较方案时,先在相同的几折上逐折比较。图里的极差展示这次实验从最低到最高差多少。
图内可左右滑动;需要时可放大阅读。
K 折交叉验证
- 普通 K 折把开发数据切成 K 份(常用 5 或 10),轮流拿 1 份当验证、其余 K − 1 份训练
- 得到 K 个分数。用均值概括水平,用标准差概括各折围绕均值的波动
- 普通 K 折中,每个样本轮到一次验证。看多个切分可以观察分数波动,代价是训练 K 次。
三折算一遍均值和标准差
假设订单可独立随机切分。用同一套模型配置,把 12 单分成 A、B、C 三份,每份 4 单。每一折重新拟合,准确率用答对单数除以该折验证单数。表里是演示结果。
| 验证 | 训练 | 答对与得分 |
|---|---|---|
| A | B、C | 2 ÷ 4 = 50% |
| B | A、C | 3 ÷ 4 = 75% |
| C | A、B | 4 ÷ 4 = 100% |
三折均值是 (50% + 75% + 100%) ÷ 3 = 75%。再计算每一折离均值有多远。
| 验证折 | 差(百分点) | 差的平方 |
|---|---|---|
| A | 50 − 75 = −25 | 625 |
| B | 75 − 75 = 0 | 0 |
| C | 100 − 75 = 25 | 625 |
平方和是 1,250 个百分点平方。除以 3 再开方,总体标准差约为 20.4 个百分点。若按样本标准差口径,除以 2 再开方,得到 25 个百分点。各折训练数据重叠,折间标准差不能直接当置信区间。
K 等于样本数时,每轮只留一条验证,叫留一交叉验证(Leave-One-Out,LOO)。这 12 单要拟合 12 次,三折只需拟合 3 次。
预测未来新用户,按日期重放两折
假设要预测用户首次下单是否超时,标签在下单次日可用。每折在截点收集已出标签的历史首次订单用于训练,再用后续首次下单的用户做验证。
| 下单日 | 用户 | 标签可用日 |
|---|---|---|
| 第 1 天 | A、E 首次 | 第 2 天 |
| 第 2 天 | B 首次 | 第 3 天 |
| 第 3 天 | A 回访、C 首次 | 第 4 天 |
| 第 5 天 | C 回访、D 首次 | 第 6 天 |
- 第 2 天结束时拟合。训练用 A、E 第 1 天的订单。B 已下单,但标签第 3 天才可用。第 3 天的验证只留 C,A 已在历史中出现。
- 第 4 天结束时重新拟合。训练可用 A、E、B、C 的四笔首次订单。第 5 天的验证只留 D,C 已是老用户。
这里只演示划分,实际拟合还要核对样本数和类别覆盖。C 在第一折验证时不参与拟合,第 4 天拿到标签后才可进入第二折训练。最终测试另留在更晚的窗口。
切分方式速查
| 类型 | 什么时候用 |
|---|---|
| 时间切分(如 TimeSeriesSplit) | 要预测未来。按时间用较早的数据训练、较晚的数据验证,检查标签在对应时点是否已可用。 |
| 分组切分(如 GroupKFold) | 要预测新用户或新病人。每一折中,同一用户或病人的记录只出现在训练、验证中的一侧。 |
| 分层 K 折(StratifiedKFold) | 分类任务的样本可随机切分时,尽量保持各折的类别比例。 |
| 普通 K 折(KFold) | 样本可随机切分且无需按类别分层时,可用普通 K 折。 |
延伸 →
- Kaggle 第 1 章:验证集怎么构造;CV 划分和线上 / 测试场景不一致,是竞赛掉分的头号原因
- 推荐算法第 3 章「按时间切分,别随机切」:就是 TimeSeriesSplit 的思想
划分定了,再查拟合时看到了什么
用部署目标确定时间、标签和用户边界,再在同一组折上比较方案。折间标准差描述波动。划分即使正确,提前用全量数据计算预处理也可能让验证标签影响拟合,下一节从这里查起。
💀 三、数据泄漏:最致命的错误
图内可左右滑动;需要时可放大阅读。
数据泄漏(Data Leakage)指开发流程用了本应隔离的信息。未来才产生的特征可能流入训练,最终测试反馈也可能流回模型或阈值选择。两者都会破坏评估的可信度。
图内可左右滑动;需要时可放大阅读。
🔨 用纯噪声复现一次数据泄漏
这段实验检验一件事:当特征与标签没有真实关系时,提前偷看验证标签能把分数抬多高?运行需要 NumPy 和 scikit-learn,可用第 01 章的环境。
- 输入。随机生成 200 条样本,每条有 5,000 列噪声,标签独立地等概率取 0 或 1。代码固定造数和划分的随机种子,便于复跑。
- 只改选特征的时点。两边用同样的五折和逻辑回归。
SelectKBest用标签为每列打分,保留 20 列。一边用全体标签提前选,另一边把选择器和模型串进流水线(Pipeline),在每折训练数据内重新选。 - 输出。两行分别打印五折验证准确率的均值。看清是哪一种做法读到了验证标签,再比较分数。
import numpy as np
from sklearn.model_selection import cross_val_score, KFold
from sklearn.linear_model import LogisticRegression
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.pipeline import make_pipeline
rng = np.random.RandomState(0)
X = rng.randn(200, 5000) # 200 个样本,5000 个【纯随机噪声】特征
y = rng.randint(0, 2, 200) # 标签也是【纯随机】的
# → 独立新样本的期望准确率为 50%;有限样本的评估分数会波动
# ❌ 错误做法:先用全部数据选特征,再做交叉验证
sel = SelectKBest(f_classif, k=20).fit(X, y)
bad = cross_val_score(LogisticRegression(max_iter=2000),
sel.transform(X), y, cv=KFold(5, shuffle=True, random_state=0))
# ✅ 正确做法:把特征选择放进 Pipeline,在每折内部重新做
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=2000))
good = cross_val_score(pipe, X, y, cv=KFold(5, shuffle=True, random_state=0))
print(f"❌ 先选特征再CV:{bad.mean():.1%}")
print(f"✅ 放进Pipeline:{good.mean():.1%}")
| 选特征时读到的标签 | 本次均值 |
|---|---|
| 全体标签 | 76.5% |
| 每折的训练标签 | 47.5% |
独立新样本的期望准确率是 50%。一次有限样本实验的均值可以高于或低于它。
5,000 列噪声里总有一些碰巧和标签相关。先用全体标签挑出 20 列,验证标签就参与了选列,后续再切分也撤销不了这一步。
🔑 会看到 y、或会统计全体数据的步骤,都放进 Pipeline,在每折内部重新执行:
- 会看到 y:特征选择、目标编码
- 会统计全体:标准化、缺失值填充
- 会造样本:过采样
目标编码还要保护训练行自己的标签
目标编码(Target Encoding)用一个类别的历史标签统计替代类别名。例如,用同一家店在其他订单里的超时比例编码店名。如果某家店只有一单,用这单自己的标签来算比例,输入里就直接带进了答案。
- 给外层训练折编码。再把它分成内层折,每行用其他内层训练数据的标签统计得到编码,按行拼回。这一步叫交叉拟合(Cross-Fitting)。
- 给外层验证折编码。用全部外层训练数据得到的映射,只做转换。时间或分组有约束时,内层也要遵守相应约束。
在 scikit-learn 的 TargetEncoder 中,训练数据用 fit_transform 获得交叉拟合编码。先 fit 再对同一批训练行 transform 会走全训练折映射。内层若需要自定义时间或分组规则,需另外实现或核对实现。TargetEncoder 文档
过采样放进哪种 Pipeline
展开 API 说明
- scikit-learn 自带的 Pipeline,中间步骤要有 fit / transform;会改变样本数的重采样器放不进去
- 过采样(如 SMOTE)用 imbalanced-learn 的 Pipeline:只在训练时重采样,验证和预测时原样通过。imbalanced-learn Pipeline 文档
常见泄漏清单
| 泄漏形式 | 例子 |
|---|---|
| 预处理泄漏 ⭐ | 用全量数据 fit scaler / 选特征 / 填缺失值 |
| 测试反馈泄漏 | 按测试结果改阈值,再用同一批订单给新阈值报最终成绩 |
| 时间泄漏 ⭐ | 用未来数据预测过去(推荐算法第 3 章的坑) |
| 分组泄漏 | 同一用户的数据同时出现在训练和测试集 |
| 目标泄漏 | 特征里混进了标签的衍生物(如「是否退款」预测「是否投诉」) |
| 重复样本 | 去重没做干净,同一条数据两边都有 |
⚠️ 样本彼此“同源”时,随机划分测的是记忆,不是泛化。
- 同源:同一用户的多条记录、同一家族的多条蛋白序列
- 随机切会把几乎一样的东西分到训练、测试两边
- 科学问题怎么变成模型 07 · 评测的坑:同一份数据只改划分方式,R² 从 0.707 掉到 −1.199(负数 = 还不如猜均值)
- 数据这一关 14 · 数据泄漏的七种来源:七种来源讲全
隔离做对了,再挑要看的分数
查泄漏时,逐步问它读了哪些行、哪些标签。折内 Pipeline 管住训练与验证的边界,目标编码还要管住训练行自己的标签。分数可信之后,才能判断它是否回答了业务问题。
📏 四、选对指标(准确率是个陷阱)
同一批订单可以问三个问题:这次发提醒抓得准吗?风险分数把超时单排在前面吗?概率能当发生比例读吗?先定一个发提醒的门槛(阈值),数清提醒与结果的关系。
从四格计数到整条曲线
同一张混淆矩阵,把分母写出来
混淆矩阵(Confusion Matrix)把实际结果和预测结果交叉计数。这里把超时记为正类 1。T / F 表示预测对或错,P / N 表示预测成正或负。
图内可左右滑动;需要时可放大阅读。
- 精确率(Precision,P)是发出的提醒里有多少真的超时。用真正例除以全部提醒,30 ÷ (30 + 20) = 0.60。
- 召回率(Recall,R)是真超时的订单里抓到了多少,也叫真正率(True Positive Rate,TPR)。用真正例除以全部正例,30 ÷ (30 + 10) = 0.75。
- 假正率(False Positive Rate,FPR)是实际准时的订单里有多少被误报。用假正例除以全部负例,20 ÷ (20 + 40) ≈ 0.33。
- 准确率(Accuracy)是所有订单里预测正确的比例。(30 + 40) ÷ 100 = 0.70。
用 F1 合并两个比例
若精确率和召回率都重要,可以用 F1 分数(F1 Score)合并它们。两项都大于 0 时,把它们各取倒数,求平均,再取一次倒数。低的一项取倒数后更大,会把 F1 往下拉。
把两项的分母展开,两个倒数之和就是 (50 + 40) ÷ 30,所以 F1 是 (2 × 30) ÷ (50 + 40) = 2/3。一般写成「两倍真正例 ÷(两倍真正例 + 假正例 + 假负例)」。真负例不参与。
分母为零时怎么报告
例如没有任何样本被预测为正时,精确率没有定义。报告各类样本数和采用的 zero_division 规则。
扫过阈值,画出两个坐标
把阈值调低,提醒名单只可能扩大或保持原样。用四单试一次,超时单得分 0.90 和 0.40,准时单得分 0.70 和 0.20。得分达到门槛的就提醒。
| 门槛 | TP / FP | 召回率 | 假正率 | 精确率 |
|---|---|---|---|---|
| 0.90 | 1 / 0 | 1/2 | 0 | 1 |
| 0.70 | 1 / 1 | 1/2 | 1/2 | 1/2 |
| 0.40 | 2 / 1 | 1 | 1/2 | 2/3 |
| 0.20 | 2 / 2 | 1 | 1 | 1/2 |
- 受试者工作特征曲线(Receiver Operating Characteristic,ROC)。横轴取假正率,纵轴取召回率。门槛从 0.90 降到 0.70,点从 (0, 1/2) 移到 (1/2, 1/2)。这次只增加了误报,所以点向右移,高度不变。
- 精确率–召回率曲线(Precision–Recall,PR)。横轴取召回率,纵轴取精确率。用同两行,点从 (1/2, 1) 移到 (1/2, 1/2)。多发的提醒全是误报,纵轴下降。
曲线下面积(Area Under the Curve,AUC)把一条曲线概括成一个数。ROC-AUC取 ROC 曲线下面积,用来比较模型区分正负例的排序表现。
图内可左右滑动;需要时可放大阅读。
PR-AUC取 PR 曲线下面积,报告时要说明面积算法。另一种常用汇总叫平均精确率(Average Precision,AP),用每次增加的召回率给当步精确率加权。上表只在门槛 0.90 和 0.40 时各多抓到一半的正例,因此 AP = 1/2 × 1 + 1/2 × 2/3 = 5/6。单看某一行算不出两条曲线的汇总分数。
把 ROC-AUC 读成正负配对
独立随机抽一个正例和一个负例。正例得分更高计 1 分,同分计半分,得分更低计 0 分。ROC-AUC 是这套规则的平均得分。
ROC-AUC = 正例得分更高的概率 + ½ × 同分概率。从实际超时和实际准时的订单里各抽一单,两类都要有样本。概率与最后的分数都没有单位。
- 如果只有一对正负样本且两者同分,正例得分更高的概率为 0,同分概率为 1。代入得到 AUC = 0 + 0.5 × 1 = 0.5。
- 分数乘 100 再加 5 这类严格递增的变换不改排序,AUC 也不变
- 所以 AUC 相同 ≠ 概率同样可信,校准要另外查
从排序分数继续读
- 推荐算法第 12 章的 GAUC:按用户分组算 AUC,看每个用户自己的列表排得对不对
- 附录 C 第 9 题:手写 AUC(平均秩)
- 推荐评估章的校准段:线上概率要不要信
🔎 细节:正类比例、抽样前提、AP 与 PR-AUC、并列分数
ROC 点一样,精确率也可能不同
假定模型、门槛、TPR 和 FPR 固定,设正类占比为 π。把总样本数当作 1,真正例占 π × TPR,假正例占 (1 − π) × FPR。
精确率 = 真正例占比 ÷(真正例占比 + 假正例占比)。只要有预测正例,就能用这两个无单位的比例计算。
原例有四成正例。代入得真正例占 0.4 × 0.75 = 0.30,假正例占 0.6 × 1/3 = 0.20,精确率是 0.30 ÷ 0.50 = 0.60。
若把每条负例等权重复到 6 份,TP/FN 仍为 30/10,FP/TN 成为 120/240。正类占比降到 0.1,TPR、FPR 保持原值,精确率降为 30 ÷ (30 + 120) = 0.20。这个例子只演示评估集重加权。
改负样本比例,ROC-AUC 变不变
- 固定模型分数,评估时只在每类内无偏随机抽样、类条件分数分布不变:总体 ROC 与成对排序 AUC 不因正类比例本身改变
- 有限样本的估计仍会波动
- 换成难负例、改变负类子群或候选池、按分数挑样本、用新比例重训:都不再是同一前提,要重新评估并写清抽样口径
AP 与 PR-AUC 的计算口径
- scikit-learn 的 AP 按每次召回增量给 precision 加权,和对 PR 点直接做梯形积分不同
- 比较时写清实现、正类、评估样本 / 权重和抽样方式
- 常数得分的 AP 等于正例比例。本节历史表的常数基线约为 0.016,其余 PR-AUC 数字的积分方式未记录,也没有复验。
经验 ROC 与并列分数
- 常见的经验 ROC 用线段连接各点时,曲线下面积等于上面的成对排序分数(并列计半分)
- 附录 C 第 9 题用平均秩实现,复杂度 O(n log n);树模型同一片叶子的样本分数并列,尤其要注意
- 非严格单调的变换如果制造了新的并列,AUC 可能改变,不能照搬
- F1 不用 TN,也不会自动反映误报、漏报各自的代价
📚 指标定义与ROC/PR关系
依据 scikit-learn指标指南、混淆矩阵轴、P/R/F与零分母、ROC-AUC分数输入、AP实现及Davis与Goadrich的原始ROC/PR论文;这里的整数例只演示定义与条件,不声称任何模型的真实质量。
| 指标 | 含义 | 什么时候用 |
|---|---|---|
| 准确率 | 对的比例 | 错误代价接近时有用;类别不平衡时和多数类基线一起看 |
| 精确率 Precision | 说是正的里面真的有多少 | 误报代价高(如垃圾邮件误杀) |
| 召回率 Recall | 真的正的里面抓到多少 | 漏报代价高(如癌症筛查)⭐ |
| F1 | 精确率和召回率的调和平均;两项中有一项很低时会拉低分数 | 两者都要 |
| ROC-AUC | 随机取一正一负:正例得分更高的概率 + 0.5 × 同分概率 | 衡量排序,不直接衡量概率校准 |
| PR-AUC / AP(注明算法) | PR曲线的汇总;AP与梯形面积不是同一算法 | 正类稀少且关注正预测质量时常用;按目标选指标,不预设PR永远更优 |
🔨 历史实测:98.4% 准确率也可能漏掉全部正例
这批历史数据的正例约占 1.6%,全判负也能得到 98.4% 准确率。先对照决策指标,再看排序分数。
类别权重(Class Weight,class_weight)改变各类样本在拟合损失中的分量。给少数类更大权重,训练会更重视这些样本。只调门槛则沿用已训练的模型。逻辑回归参数文档
| 方案 | 准确率 | 精确率 | 召回率 | F1 |
|---|---|---|---|---|
| 全判负 | 98.4% | 0.0% | 0.0% | 0.0% |
| 默认模型,门槛 0.50 | 98.4% | 0.0% | 0.0% | 0.0% |
| 类别加权(原表标为平衡加权) | 67.7% | 2.7% | 55.3% | 5.1% |
| 默认模型,门槛 0.10 | 98.1% | 17.6% | 6.4% | 9.4% |
| 默认模型,门槛 0.05 | 95.4% | 10.3% | 25.5% | 14.7% |
| 分数来源 | ROC-AUC | PR 汇总 |
|---|---|---|
| 同一常数分数 | 0.50 | 约 0.016(按 AP) |
| 默认模型 | 0.65 | 0.07(原表 PR-AUC) |
| 类别加权(原表标为平衡加权) | 0.62 | 0.04(原表 PR-AUC) |
- 两种方案都能得到 98.4%,但默认模型在这批数据上的 ROC-AUC 为 0.65,高于常数分数的 0.50。门槛 0.50 下,它一单也没抓到。
- 默认模型只改门槛时,排序分数用的仍是同一批模型分数。接下来只看提醒名单怎样变化。
看过排序,接着选行动规则
98.4% 的准确率仍可能漏掉全部超时单。ROC-AUC 和 AP 汇总排序,精确率、召回率和 F1 衡量一个门槛下的结果。接下来把业务能接受的漏报和误报落实成门槛。
阈值不是 0.5
模型输出的是分数,阈值把它变成 0 / 1。0.5 没有特殊地位。
图内可左右滑动;需要时可放大阅读。
- 调阈值不用重训,却能大幅改变精确率和召回率的平衡
- 分数未必是校准过的概率,“大于 0.5 才算正”只是默认习惯
- 怎么选:先定业务底线(例如召回率至少 80%),再在验证集上找满足底线、精确率最高的阈值
- 重训之后。用新版输出选阈值或核实原阈值时,验证数据必须未参与新版的任何拟合,包括预处理、模型和校准器。如果原验证集已并入重训,就用另一批独立的开发验证数据来定门槛。
- 用交叉验证选阈值。整条流水线都在该折的训练部分内拟合,再用它预测该折留出的样本。这叫折外预测(Out-of-Fold,OOF)。校准器如果需要自己的留出数据,也从该折训练部分内部取得。只汇总真正留出过的样本预测来选阈值,最终测试集留到方案冻结以后。
先定召回底线,再在验证集选阈值
接着看 03a 的外卖超时提醒。客服希望抓住至少 80% 的超时订单,满足这个条件后,再尽量让发出去的提醒准确。团队在看验证结果前定下这条规则,并列出两个候选门槛 0.75、0.50。下面的分数和标签是人工构造的演示数据,模拟同一个已训练、已冻结的模型给不同订单打分。
| 分数 | 超时 | 准时 |
|---|---|---|
| 0.75 | 3 单 | 1 单 |
| 0.50 | 2 单 | 2 单 |
| 0.25 | 1 单 | 3 单 |
记风险分数为 s,门槛为 τ,两者都是 0 到 1 之间的无单位数。分数大于或等于门槛就提醒,恰好同分的订单一起处理。实际用库时要确认等于门槛归哪一边。
用四格数订单。发提醒的超时、准时单分别计 TP、FP,没提醒的超时、准时单分别计 FN、TN。精确率除以全部提醒,召回率除以全部超时。任一分母为 0 就标 N/A,该门槛不参加比较。
| 验证集 | 门槛 0.75 | 门槛 0.50 |
|---|---|---|
| 提醒 | TP=3,FP=1 | TP=3+2=5,FP=1+2=3 |
| 未提醒 | FN=2+1=3,TN=2+3=5 | FN=1,TN=3 |
| 精确率 | 3 ÷ (3+1)=75% | 5 ÷ (5+3)=62.5% |
| 召回率 | 3 ÷ (3+3)=50% | 5 ÷ (5+1)≈83.3% |
0.50 是这两个候选中唯一达标的门槛。比起 0.75,它多抓住 2 单超时,也多误报 2 单。若两个门槛都达标且精确率相同,本例预先约定用较高门槛。若两者都不达标,报告没有合适门槛。
下面的 Python 3 脚本可直接运行,无需安装依赖。evaluate 把每一行的两种订单数加到四格,再按同一分母计算。main 只用验证集决定门槛,冻结后才用另 10 单演示测试集报告。数据固定,因此没有随机种子。
def evaluate(groups, threshold):
tp = fp = fn = tn = 0
for score, late, on_time in groups:
if score >= threshold:
tp += late
fp += on_time
else:
fn += late
tn += on_time
precision = tp / (tp + fp) if tp + fp else None
recall = tp / (tp + fn) if tp + fn else None
return (tp, fp, fn, tn), precision, recall
def show(split, threshold, result):
counts, precision, recall = result
p = f"{precision:.3f}" if precision is not None else "N/A"
r = f"{recall:.3f}" if recall is not None else "N/A"
print(f"{split} {threshold:.2f}: {counts}, P={p}, R={r}")
def main():
# Each row stores the score, late count, and on-time count.
validation = [(0.75, 3, 1), (0.50, 2, 2), (0.25, 1, 3)]
eligible = []
for threshold in (0.75, 0.50):
result = evaluate(validation, threshold)
show("validation", threshold, result)
_, precision, recall = result
if precision is not None and recall is not None and recall >= 0.80:
eligible.append((precision, threshold))
if not eligible:
print("No threshold meets the recall target.")
return
# Maximize precision, then use the higher threshold if tied.
_, frozen_threshold = max(eligible)
test = [(0.75, 2, 2), (0.50, 2, 1), (0.25, 1, 2)]
show("test", frozen_threshold, evaluate(test, frozen_threshold))
if __name__ == "__main__":
main()
输出的四格顺序是 TP、FP、FN、TN。验证门槛 0.75 得到 (3, 1, 3, 5),门槛 0.50 得到 (5, 3, 1, 3)。测试只报告 0.50 的 (4, 3, 1, 2),精确率 4 ÷ (4 + 3) ≈ 57.1%,召回率 4 ÷ (4 + 1) = 80%。小样本的结果用来核对流程,无法保证实际部署达到 80%。
一次测试怎样变成了调参
看到 3 次误报后,如果用这批订单的成绩改门槛,就让测试反馈参与了选择。
- 用同一批订单改试 0.75,误报从 3 单减到 2 单,抓到的超时从 4 单减到 2 单,召回率变为 2 ÷ (2 + 3) = 40%。
- 即使只拿到总分,用它试阈值也会受这批订单的偶然性影响。按新目标重选时,回到开发验证,再用一批独立的保留数据做最终评估。
冻结后的报告边界
可以按预定口径报告多个指标或复算同一结果。用测试反馈调整模型、门槛或报告口径后,这批订单就成了新版的开发资料。
排序一样,0.50 的概率含义还一样吗?
客服需要知道先提醒谁,排班还需要知道这批订单大约有几单会超时。后一个问题要看概率校准(Probability Calibration)。把预测概率相近的订单放在一起,比一比组内平均预测概率和组内实际超时频率。
另取一批演示订单。A 报 0.25、0.50、0.75,每组 20 单,分别有 5、10、15 单超时。B 给同一批订单的概率是 A 的一半。
中间组实际超时率是 10 ÷ 20 = 0.50。组内预测之和除以 20 得到平均预测概率,A 是 0.50,B 是 0.25,低估了 25 个百分点。
概率减半后,再算一次排序
除以 2 保留顺序和并列。高、中、低三组各有 15、10、5 单超时,对应 5、10、15 单准时。两类各 30 单,一共能配出 30 × 30 = 900 对。
| 超时单得分 | 配对数 | 每对得分 |
|---|---|---|
| 更高 | 15 × (10 + 15) + 10 × 15 = 525 | 1 |
| 同分 | 15 × 5 + 10 × 10 + 5 × 15 = 250 | ½ |
| 更低 | 900 − 525 − 250 = 125 | 0 |
配对数除以 900 就是各自的概率。A 和 B 的 ROC-AUC 都是 525 ÷ 900 + ½ × (250 ÷ 900) = 650 ÷ 900 ≈ 0.722。
原来 A 的 0.50 门槛,换到 B 的刻度上是 0.25。若照搬 0.50,B 最高只到 0.375,一单都不会提醒。这个例子里,排序相同,照搬门槛却会改变提醒结果。
校准器在哪份数据上拟合
要实际拟合校准器,可用四份互不重叠的数据。
| 数据 | 职责 |
|---|---|
| 训练集 | 拟合预处理和分类器。 |
| 校准集 | 用冻结模型的分数和已知标签拟合分数到概率的映射。 |
| 验证集 | 用校准后的概率选门槛。 |
| 最终测试集 | 评估冻结的模型、映射和门槛。 |
图中的玩具批次只演示如何读可靠性。实际判断还要看样本量和部署分布。scikit-learn 概率校准指南
门槛和概率定了,再看模型还缺什么
门槛决定是否行动,校准检查概率能否按发生比例理解。重训或改校准后,要用独立开发订单核实门槛。同一批分数上的取舍看清后,再用学习曲线判断是否值得加数据。
📈 五、学习曲线:加数据有用吗
图内可左右滑动;需要时可放大阅读。
图内可左右滑动;需要时可放大阅读。
怎么读:差距和趋势只是线索,用来决定下一步先试什么。
- 差距大、验证分还在涨 → 加数据可能有用,先小规模验证收益
- 差距大、验证分已平 → 先试正则、剪枝或降低复杂度
- 两条线都低、贴在一起 → 欠拟合:加特征,或换更强的模型
- 平台期还要排查优化过程和数据分布;探索时用验证集,不用测试集
💡 这张图能帮你回答那个昂贵的问题:「我该花钱标更多数据,还是花时间调模型?」
🧪 六、一套可以照抄的评估流程
图内可左右滑动;需要时可放大阅读。
- 选好配置后,用开发训练数据拟合最终流水线。重新拟合预处理与模型;若要校准,保留独立开发数据拟合校准器。再用未参与这两步的开发验证数据核实或选择最终门槛。若把旧验证集并入重训,就提前留出另一批开发订单。
- 冻结模型、门槛、指标和口径,最后评估保留测试集。测试只回答冻结方案在这批数据上表现怎样。若测试反馈引发调整,为新版另备独立测试集。
比较两个方案时,在同一组划分上逐折看差值。标准差只概括这些折的波动,不能直接判断差异是否显著。
延伸 → 智能体工程第 14 章:同一套评测方法论,「读转录」「分维度看」「对小差距保持怀疑」在这里全都成立。
✅ 检查点
共 9 题:8 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 训练集和验证集上的分数都很低,模型可能连已有数据的规律都没学到。可以先排查哪种情况?
看答案与解析
答案:C
训练分和验证分都低时,先排查欠拟合,也检查特征和优化是否有问题。训练分高、验证分低时,先排查过拟合以及两份数据的分布差异。
单选2. 同一模型只换切分种子,最低 94.7%,最高 98.2%。极差是多少,该怎么用?
看答案与解析
答案:D
极差是最高值减最低值,98.2% − 94.7% = 3.5 个百分点。它描述这 10 次切分的范围。比较方案还要看相同划分上的配对结果。
单选3. 要判断模型能否预测未来的新用户,交叉验证应怎样切分订单?
看答案与解析
答案:B
每一折用较早的订单训练、用较晚且来自未见过的用户的订单验证。先同时满足这两项约束,再尽量保持类别比例。
单选4. 纯噪声实验的两种写法只改了选特征的时点。哪一步让离线分数虚高?
看答案与解析
答案:B
验证标签参与了选列,后续模型即使只在训练折拟合,评估也已经被污染。本次错误做法得 76.5%,折内选择得 47.5%。
判断5. 正样本只占 1.6% 时,98.4% 的准确率说明模型已经很好。
看答案与解析
答案:错误
全判负也有 98.4%,召回率却是 0。应按误报和漏报的代价选指标,并用验证数据选择门槛。
单选6. 学习曲线怎么帮你判断「该加数据还是该改模型」?
看答案与解析
答案:C
用验证集学习曲线提出假设:仍上升可检验加数据收益,平台期继续查模型、特征、优化与分布;不能由平台断言更多数据无用。
单选7. 为什么要在看最终测试结果前锁定方案?
看答案与解析
答案:A
根据测试反馈改出的方案,需要用另一批保留数据验收。若方案和口径都已锁定,可以复算同一个结果。
单选8. 验证集上 TP = 8、FP = 2、FN = 8、TN = 82。精确率、召回率、准确率各是多少?
看答案与解析
答案:C
精确率 8 / (8 + 2) = 0.8;召回率 8 / (8 + 8) = 0.5;准确率 (8 + 82) / 100 = 0.9 —— 准确率很高,却漏掉了一半正例。
单选9. 所有预测概率都除以 2,标签原样保留。哪项结论成立?
看答案与解析
答案 B。除以 2 保留排序和并列,所以 ROC-AUC 不变。原来恰好得 0.50 的订单现在得 0.25,照搬 0.50 会少发提醒。实际频率仍是原来的数字,校准要重新看。
用自己的话说一遍
同事把训练和验证数据合起来重训,想用原验证集再选门槛。请用三句话说明:哪些订单参与过新版拟合,哪一批订单可以选门槛,最终测试什么时候打开?
对照要点
- 原验证订单已参与新版拟合。
- 用一批未参与新版预处理、模型和校准拟合的开发订单选门槛。
- 模型、门槛和报告口径都冻结后,再打开保留测试集。
本节回顾
评估要同时守住两件事:不偷看答案,指标确实对应你的目标。
⚡ 走神救援
先记住这几件事
- 训练集拟合模型,验证集选方案和阈值,冻结后再用测试集评估。
- 排序看 ROC-AUC。检查概率时,把各组的平均预测与实际发生比例对照。
- 交叉验证每折在训练部分拟合整条流水线。切分先满足实际使用场景的时间和用户约束,再考虑分层。
- 结合训练与验证曲线判断欠拟合、过拟合,再调整容量、正则化或数据。
- 指标必须对应实际任务;保留基线并观察不同划分或种子的波动。
本章能帮你定位过拟合。怎样改变训练,让模型少依赖偶然细节,还需要做下一节的实验。
下一节 👉 05a · 正则化与调参实验:发现过拟合之后,线性模型怎么防。