📑 本页目录(点开跳转)
02 · 离线好不等于线上好
案例说明:本页未附具体事故的可核验原始记录;其中的复盘情景与数字用于教学推演,不能当作某团队真实事故或通用效果统计。
⭐ 先核对评估是否回答了上线的问题;清单可分组完成。
🎯 一句话
离线评估回答的是「在过去的数据上,它比旧模型准」; 线上要回答的是「在未来的流量上,它比旧模型好」。 这两句话之间有五道坎,这一章逐个拆。
🕳️ 一、五道坎
| 要跨过哪道坎 | 要补什么证据 |
|---|---|
| ① 评估数据与线上流量不同 | 在目标人群和时间段仍有效 |
| ② 排序指标与实际展示不同 | 用户会看到的前几个结果确实改善 |
| ③ 模型指标与业务目标不同 | 业务收益及成本一起评估 |
| ④ 同时存在其他变化 | 用合适的实验设计识别因果效果 |
| ⑤ 短期变化与长期影响不同 | 继续检查留存、反馈闭环等长期指标 |
⚠️ 二、坎 ①:评估数据和线上流量不是一回事
最常见的三种不一致
| 不一致 | 后果 | 怎么发现 |
|---|---|---|
| 时间不一致 | 混入未来信息,或漏掉后续变化 | 使用靠后的验证期,检查特征可得时间 |
| 样本选择偏差 ⭐ | 评估集里全是旧模型曝光过的样本 | 见下 |
| 人群不一致 | 评估用全量,上线只给新用户 | 按上线人群切一份评估 |
第一行针对预测未来的任务:时间切分也不能自动排除泄漏,还要检查每个特征在预测时是否已产生。方法见ML 基础 05。
🔑 把第二条讲透:幸存者偏差
日志中的曝光受旧策略影响。没有曝光的候选通常没有对应点击反馈,新策略想推荐的项目可能缺乏覆盖;这属于选择/曝光偏差,也常被通俗地称作幸存者偏差。
先问:新策略要做的选择,在旧日志中出现过吗? 从未出现、曝光概率为零的选择,不能只靠重加权还原它的效果。相关背景见推荐算法 02。
一种缓解方法是在已批准的安全范围内保留随机曝光,并记录每次选择的概率。例如“1% 流量”只是设计举例,不是任何业务都可直接照用的比例。
随机化可以扩大覆盖,但不自动消除位置偏差、缺失标签或人群不代表性;仍要核对曝光机制,并为体验、风险和隐私设置约束。
📏 三、坎 ②:排序指标 ≠ 用户实际看到的
二分类 ROC-AUC 比较随机一对正、负样本:正样本分数更高记 1,并列记 1/2。它不专门给前几个展示位置加权。
如果产品只展示前 K 个结果,就要同时看这些位置;同一改动对 AUC 和头部指标的影响可能不同,幅度由标签和分数决定。
换成位置敏感的指标:
| 指标 | 关心什么 | 什么时候用 |
|---|---|---|
| AUC | 正负样本配对的排序 | 比较整体区分能力,不单独决定上线 |
| NDCG@K ⭐ | 前 K 个的排序质量,位置有折扣 | 精排、搜索 |
| Recall@K | 前 K 个里捞回了多少 | 召回阶段(推荐算法 18) |
| MRR | 第一个正确答案排第几 | 问答、只需一个答案的场景 |
| Precision@1 | 第一个对不对 | 单坑位(开屏、语音助手) |
类别极不平衡时,额外查看 Precision/Recall、PR 曲线及实际误报成本;不要因为有 AUC 就跳过这些检查。
一个可复算的排序例子:相关性等级是 3、2、0;采用增益 2^等级−1 和 log₂(位置+1) 折扣。理想顺序的 NDCG@3 是 1;交换第 1、3 项后约为 0.606。
看这里:高价值结果被推到后面,头部评分变差。但不能据此直接给出 AUC 的变化,还要指定二分类标签与评分。两种指标的用途见推荐算法 12。
⚠️ AUC 还有一个陷阱:它对分数的绝对值不敏感。
| 同样的真实标签 [1, 0] | 两个预测分数 | AUC | 若规则是分数 ≥ 0.8 才触发 |
|---|---|---|---|
| 模型 A | [0.90, 0.10] | 1.0 | 第一个样本触发 |
| 模型 B | [0.51, 0.49] | 1.0 | 两个样本都不触发 |
排序一样,不代表同一阈值下动作一样。 两个样本也不足以证明谁校准得更好;要看一批预测接近 0.7 的样本,其真实正例率是否接近 70%。
🔗 需要精确概率的场景(广告出价、风控、期望收益计算) 必须额外看校准曲线,AUC 高不代表概率对。 常用修法:Platt scaling / isotonic regression 做后校准。
💰 四、坎 ③:模型指标 ≠ 业务指标
信息关系
建立这条连接的做法:
- 每次 A/B 同时记录模型指标、业务指标、样本量和不确定性。
- 把多次结果放在一起看,例如先画 5–10 组散点,观察是否存在稳定关联。
- 用后续实验检查这种关联是否还能成立,并记录人群、策略和流量变化。
假如历史上出现过“AUC +0.005、CTR +1%”,它也只是该实验的结果。不能线性外推:AUC +0.001 就一定无价值。 历史关联可以辅助排实验优先级,不是一次建立、永久适用的兑换率。
🚦 五、上线前的检查清单(可以照抄)
一次只核对一组。勾选表示你已查看证据,不表示网页替你运行了测试。
数据侧
- 预测未来流量时,用时间上靠后的数据验证,并检查特征是否包含当时不可获得的信息。
- 评估集覆盖实际准备上线的人群,另外查看关键子群。
- 核对随机流量评估集的覆盖、曝光概率和安全限制;没有这类数据时,明确现有日志无法回答哪些问题。
指标侧
- 排序场景增加 NDCG@K、Recall@K 等与实际展示位置对应的指标。
- 分数用于概率决策时,查看校准曲线,而不只看 AUC。
- 记录模型指标与业务指标的历史对应及不确定性;没有证据时,不假定存在固定换算率。
工程侧
- 核对训练和推理拿到的特征,检查方法见第 4 章。
- 用目标流量验证延迟、QPS 和内存,并写清测试配置。
- 实际触发模型不可用,确认返回内容、告警与恢复路径。
实验侧
- 根据要识别的效果、波动和检验方案估算样本量,见第 12 章。
- 提前写下实验时长、停止规则及安全护栏。
- 明确失败标准、回退责任人与执行步骤。
⭐ 最后一条最容易漏,也最重要: 在实验开始前就写下失败标准。 否则实验跑出负向时,人会本能地找理由继续跑 —— 若一边反复查看结果、一边改变停止时机,却仍套用固定样本检验,原来的错误率保证就不再成立。预先设计的序贯检验是另一种方案(第 12 章)。
💀 六、一个完整的翻车复盘:离线 +0.02,线上 −1.5%
下面是教学假想复盘,数字用于说明排查顺序,不是可追溯的真实事故。开头总体评估与后面的分组表不是同一份样本,不能互相拼算。
结果对照
排查过程(三天,走了两条弯路):
| 第几步 | 猜测 | 验证结果 |
|---|---|---|
| 1 | 训练/推理不一致? | 逐字段比对,全部一致 ❌ |
| 2 | 延迟变高导致超时降级? | P99 从 38ms 到 41ms,降级次数 0 ❌ |
| 3 | 评估集怎么来的? ⭐ | 找到了 ✅ |
信息关系
| 人群 | 流量占比 | 旧模型 AUC | 新模型 AUC | 差 |
|---|---|---|---|---|
| 有 7 日点击 | 34% | 0.84 | 0.87 | +0.03 |
| 无 7 日点击 | 66% | 0.79 | 0.74 | −0.05 💀 |
| 组内加权摘要 | 100% | 0.807 | 0.7842 | −0.0228 |
最后一行四舍五入可写成 0.807 → 0.784,差约 −0.023;它是组内 AUC 的流量加权摘要,不是全量 AUC。
为什么不是全量 AUC? 全量还比较“活跃正例与低活负例”等跨组样本对;上表没有这些比较结果。摘要下降说明加权的组内评分下降,不能单凭它推出合并后的 AUC 下降。实际评估应保留逐样本分数,分别计算全量与分组指标。
三条可以带走的教训:
- 解释每个 WHERE。 旧的过滤条件如果排除了目标人群,后续实验会持续漏看它们。
- 并看全量与分群。 先弄清指标如何聚合,再对照第 14 章的聚合陷阱。
- 先查容易验证的假设。 假想复盘中,前两步各花一天,查看 SQL 花十分钟;这说明排查顺序有成本,不是保证每次十分钟解决。方法见第 11 章。
📐 七、校准:什么时候必须看它,怎么看
第三节说了 AUC 不管分数的绝对值。哪些决策需要检查概率是否可信:
| 你拿分数干什么 | 校准重要吗 | 说明 |
|---|---|---|
| 只做排序(推荐列表、搜索) | 🟡 不太重要 | 只要顺序对就行 |
| 卡阈值做决策(风控通过/拒绝) | ✅ 重要 | 阈值 0.7 的含义必须稳定 |
算期望收益(p × 客单价) |
✅ 很重要 | 概率误差会传入收益估计 |
广告出价(bid = pCTR × pCVR × 价值) |
✅ 直接影响成本 | 概率定义与出价规则都要核对 |
💡 假想广告算例:以下消耗与 ROI 是额外假设的业务结果,不能只由概率倍率推算出来。
算一算
某广告模型换代后:AUC 0.78 → 0.80(涨了)
但 pCTR 系统性高估 1.8 倍(预测 5%,实际 2.8%)
→ 出价 = pCTR × 价值,出价整体高 1.8 倍
→ 抢到更多曝光,消耗涨 40% ← 看起来是好事 🎉
→ 但实际点击没跟上
→ ROI 从 3.2 掉到 1.7 ← 💀 一个月后财务才发现
⭐ 注意这个假想例子的形状:排序变好了,业务变差了, 而且中间指标(消耗、曝光)全是涨的 —— 这让它特别难被发现。
🔨 怎么量校准:ECE + 校准表
下面保留简化的分位数分箱程序,用来阅读一般输入时的计算过程。它不是完整的输入校验工具:特别是所有预测都相同时,当前实现会返回空表与 0,这不表示完美校准;该情形应作为单箱单独计算。空输入、缺失值、概率范围和每箱样本量也需先检查。
import numpy as np, pandas as pd
def calibration_table(p, y, bins=10):
"""p: 预测概率, y: 0/1 真实标签。返回分箱校准表 + ECE"""
# ⭐ 按【分位数】切箱,不是等宽——等宽切在长尾场景会有空箱
edges = np.unique(np.quantile(p, np.linspace(0, 1, bins + 1)))
idx = np.clip(np.digitize(p, edges[1:-1]), 0, len(edges) - 2)
rows, ece, n = [], 0.0, len(p)
for b in range(len(edges) - 1):
m = idx == b
if m.sum() == 0:
continue
pred, real, cnt = p[m].mean(), y[m].mean(), int(m.sum())
rows.append((b, cnt, round(pred, 4), round(real, 4), round(pred - real, 4)))
ece += cnt / n * abs(pred - real) # ⭐ ECE = 按样本量加权的平均偏差
tbl = pd.DataFrame(rows, columns=["箱", "样本数", "平均预测", "实际正例率", "偏差"])
return tbl, ece
| 读表时看到什么 | 下一步检查 |
|---|---|
| 各箱偏差多数同号 | 是否存在系统性高估/低估;用独立数据试验校准方法 |
| 高分段偏差大 | 该区间样本数、实际决策和成本是否放大误差 |
| 总体 ECE 小,某群体偏差大 | 分群、关键概率区间分别评估,不能被平均值盖住 |
ECE 没有通用的 0.01 / 0.05 可用性分档。 分箱方法、样本量、基准正例率和错误成本都会影响判断。ECE 只概括平均校准偏差,不负责判定排序可不可用;可以和校准图、每箱样本数及业务成本一起读。定义参考 Guo 等的校准论文。
可选修法(成本取决于数据与模型):
| 方法 | 做法 | 适合 |
|---|---|---|
| Platt scaling | 在验证集上拟合一个 sigmoid | 偏差是单调、平滑的 |
| Isotonic regression | 拟合非递减的阶梯函数 | 数据少时容易过拟合,需独立测试 |
| 分人群分别校准 | 每个人群一套校准器 | 不同人群偏差方向不同时 ⭐ |
| 重新训练 | 换损失函数 / 改采样 | 前面都不行时 |
Isotonic 没有统一的 10k 样本门槛;要结合数据规模、分数覆盖和独立测试结果选择。
⚠️ 两个高频坑:
| 坑 | 后果 | 怎么修 |
|---|---|---|
| 用原训练分数拟合校准器 | 容易带入训练期的过度自信 | 独立校准集或合适的交叉拟合 |
| 负采样后忘了修正 | 正例比例改变,概率可能高估 | 先核对采样机制,再做修正 |
校准或修正完成后,仍要用未参与方法选择、且代表目标分布的数据评估效果。
假设正例全保留,负例以固定概率 w 保留,采样与特征在每个类别内无关。若 p′ 是采样后分布下准确的条件概率,原分布的概率为:
$$ p = \frac{w p'}{1-p'+w p'} = \frac{p'}{p'+(1-p')/w} $$
比如 w=0.1、p′=0.5,得到 p≈0.0909;不是简单除以 10。倍率精确作用在几率 p/(1−p) 上,概率很小时才有近似的十倍关系。
固定 w>0 的这次修正严格递增,因而不会改变同一批分数的排序与 AUC;但采样后重新训练模型,排序也可能改变,不能说“采样永远不影响 AUC”。校准方法与数据独立性见 scikit-learn 说明。
🔗 八、和站内其他章的关系
| 相关的地方 | 和这一章的关系 |
|---|---|
| ML基础 05数据泄漏 | 坎 ① 的时间不一致 |
| 推荐算法 02反馈闭环 | 幸存者偏差的根源 |
| 推荐算法 12 NDCG / A/B | 坎 ② 和坎 ④ 的推荐场景版 |
| Kaggle 01评价指标 | 竞赛视角的指标选择 |
| 数据这一关 13 · 评测集也是数据 | 这四处讲的是各自场景怎么评测;评测集本身怎么造、多大够、有没有被污染、评分器准不准、结果该怎么报 在那一章 ⭐ |
✅ 检查点
- 从「离线 AUC 更高」到「长期确实更好」,中间有哪五道坎?
- 什么是评估里的幸存者偏差?根源是什么?务实的缓解办法是什么?
- 为什么排序场景不该只看 AUC?NDCG@3 那个例子说明了什么?
- AUC 高但分数不能用来做决策,是什么问题?怎么修?
- 模型指标和业务指标的换算率怎么建立?为什么值得做?
- 上线前检查清单里最容易漏的是哪条?漏了会怎样?
- 假想复盘中的评估集漏了谁?为什么不能用人群占比加权得到全量 AUC?
- 什么场景下校准是致命的?举那个广告出价的数字例子,说明它为什么难被发现。
- ECE 怎么算?为什么不能把 0.01 / 0.05 当成通用上线门槛?
- 校准的两个高频坑是什么?负采样修正公式需要哪些条件?
👀 答案
- 五道坎分别是数据覆盖、展示位置、业务目标、因果归属和长期影响;离线分数不能独自跨过它们。
- 曝光受旧策略选择,新策略可能缺少对应反馈。安全范围内的随机曝光可以扩大覆盖,但还要记录概率、检查位置偏差和标签缺失,不能称作自动无偏的尺子。
- AUC 比较正负样本配对,不专门重视前 K 位。等级 3、2、0 的 NDCG 例子在交换首尾后,从 1 降到约 0.606;AUC 的变化需另给二分类标签与分数。
- AUC 一样不意味着同一阈值下动作一样,也不能靠两个样本判断校准。需要代表性数据上的校准曲线,并评估校准方法对实际决策的影响。
- 多次实验一起记录指标、波动和配置,可以形成可验证的历史关联。它只辅助判断实验优先级,不是固定兑换率。
- 提前写下停止与失败规则。如果反复看结果再临时改变停止时机,却套用固定样本检验,其错误率保证会失效;预先设计的序贯方案需另行处理。
- 假想评估集过滤掉了 66% 的低活用户。0.807 与 0.7842 是组内 AUC 的加权摘要,缺少跨组正负样本对,不能当全量 AUC。三条教训仍是解释每个 WHERE、并看整体与分群、先查容易验证的假设。
- 假想广告例子中,概率高估约 1.8 倍会在其他因素不变时抬高线性出价。但消耗 +40%、ROI 3.2→1.7 是额外业务假设,不能由倍率直接推出;它提醒我们同时看实际收益与成本。
- 每箱算平均预测和正例率,以箱内样本占比加权绝对差。ECE 受分箱、样本量和人群影响,没有统一的 0.01 / 0.05 上线门槛,也不直接衡量排序。
- 一是拿训练分数直接拟合校准器,二是忽略采样机制。正例全留、负例独立按 w 保留且 p′准确时才可按正文公式修正。w=0.1、p′=0.5 对应 p≈0.0909;同分数的单调修正保留排序,不等于重新训练也保留排序。
本节回顾
⚡ 走神救援
- 覆盖:评估人群与未来流量是否对应?随机曝光也要检查条件。
- 指标:前 K 位质量、全量/分组 AUC、概率校准是不同问题。
- 决策:同样的排序不保证同样的阈值动作;ECE 没有万能上线门槛。
- 实验:业务关联要持续验证,停止和失败规则提前写下。
- 复盘:先解释 SQL 的每个过滤条件,不拿组内加权摘要冒充全量 AUC。
- 校准:独立拟合并留测试数据;负采样修正先说明采样机制。
下一节 👉 03-灰度影子与回滚.md