🏠 总目录📚 本教程 02 · 离线好≠线上好 ← →

模型上线之后 / 02

离线指标变好,为什么线上仍可能变差?

数据、排序、业务目标与校准之间存在多道关口,指标需要放回使用场景。

能列出上线前必须核对的评估假设。

核对概率校准

📑 本页目录(点开跳转)

02 · 离线好不等于线上好

案例说明:本页未附具体事故的可核验原始记录;其中的复盘情景与数字用于教学推演,不能当作某团队真实事故或通用效果统计。

⭐ 先核对评估是否回答了上线的问题;清单可分组完成。


🎯 一句话

离线评估回答的是「在过去的数据上,它比旧模型准」; 线上要回答的是「在未来的流量上,它比旧模型好」。 这两句话之间有五道坎,这一章逐个拆。

完美校准过度自信过度保守模型说的概率实际发生的比例模型说「70% 会点」,那批人里真的有 70% 点了吗?说 80% 实际只有 60%说 40% 实际有 60%⭐ AUC 只管排序 —— 这两条曲线的 AUC 可以【完全一样】但要拿分数去出价、算期望收益、卡阈值时,校准错了就全错修法:Platt scaling / isotonic regression 做一次后校准
模型说「70% 会点」,那批人里真的有 70% 点了吗?⭐ 这两条曲线的 AUC 可以完全一样 —— 因为 AUC 只管排序。但要拿分数去出价、算期望收益、卡阈值时,校准错了就全错。

🕳️ 一、五道坎

要跨过哪道坎 要补什么证据
① 评估数据与线上流量不同 在目标人群和时间段仍有效
② 排序指标与实际展示不同 用户会看到的前几个结果确实改善
③ 模型指标与业务目标不同 业务收益及成本一起评估
④ 同时存在其他变化 用合适的实验设计识别因果效果
⑤ 短期变化与长期影响不同 继续检查留存、反馈闭环等长期指标

⭐ 每一步都可能断。 ①②③ 是这一章;④ 是第 12–14 章;⑤ 是第 15 章。


⚠️ 二、坎 ①:评估数据和线上流量不是一回事

最常见的三种不一致

不一致 后果 怎么发现
时间不一致 混入未来信息,或漏掉后续变化 使用靠后的验证期,检查特征可得时间
样本选择偏差 ⭐ 评估集里全是旧模型曝光过的样本 见下
人群不一致 评估用全量,上线只给新用户 按上线人群切一份评估

第一行针对预测未来的任务:时间切分也不能自动排除泄漏,还要检查每个特征在预测时是否已产生。方法见ML 基础 05。

🔑 把第二条讲透:幸存者偏差

日志中的曝光受旧策略影响。没有曝光的候选通常没有对应点击反馈,新策略想推荐的项目可能缺乏覆盖;这属于选择/曝光偏差,也常被通俗地称作幸存者偏差。

先问:新策略要做的选择,在旧日志中出现过吗? 从未出现、曝光概率为零的选择,不能只靠重加权还原它的效果。相关背景见推荐算法 02。

一种缓解方法是在已批准的安全范围内保留随机曝光,并记录每次选择的概率。例如“1% 流量”只是设计举例,不是任何业务都可直接照用的比例。

随机化可以扩大覆盖,但不自动消除位置偏差、缺失标签或人群不代表性;仍要核对曝光机制,并为体验、风险和隐私设置约束。


📏 三、坎 ②:排序指标 ≠ 用户实际看到的

二分类 ROC-AUC 比较随机一对正、负样本:正样本分数更高记 1,并列记 1/2。它不专门给前几个展示位置加权。

如果产品只展示前 K 个结果,就要同时看这些位置;同一改动对 AUC 和头部指标的影响可能不同,幅度由标签和分数决定。

换成位置敏感的指标:

指标 关心什么 什么时候用
AUC 正负样本配对的排序 比较整体区分能力,不单独决定上线
NDCG@K ⭐ 前 K 个的排序质量,位置有折扣 精排、搜索
Recall@K 前 K 个里捞回了多少 召回阶段(推荐算法 18)
MRR 第一个正确答案排第几 问答、只需一个答案的场景
Precision@1 第一个对不对 单坑位(开屏、语音助手)

类别极不平衡时,额外查看 Precision/Recall、PR 曲线及实际误报成本;不要因为有 AUC 就跳过这些检查。

一个可复算的排序例子:相关性等级是 3、2、0;采用增益 2^等级−1 和 log₂(位置+1) 折扣。理想顺序的 NDCG@3 是 1;交换第 1、3 项后约为 0.606。

看这里:高价值结果被推到后面,头部评分变差。但不能据此直接给出 AUC 的变化,还要指定二分类标签与评分。两种指标的用途见推荐算法 12。

⚠️ AUC 还有一个陷阱:它对分数的绝对值不敏感。

同样的真实标签 [1, 0] 两个预测分数 AUC 若规则是分数 ≥ 0.8 才触发
模型 A [0.90, 0.10] 1.0 第一个样本触发
模型 B [0.51, 0.49] 1.0 两个样本都不触发

排序一样,不代表同一阈值下动作一样。 两个样本也不足以证明谁校准得更好;要看一批预测接近 0.7 的样本,其真实正例率是否接近 70%。

🔗 需要精确概率的场景(广告出价、风控、期望收益计算) 必须额外看校准曲线,AUC 高不代表概率对。 常用修法:Platt scaling / isotonic regression 做后校准。


💰 四、坎 ③:模型指标 ≠ 业务指标

信息关系

AUC 涨 2% ?→CTR 涨多少?
⭐ 没有通用换算公式。这条连接【必须自己实测建立】

建立这条连接的做法:

  1. 每次 A/B 同时记录模型指标、业务指标、样本量和不确定性。
  2. 把多次结果放在一起看,例如先画 5–10 组散点,观察是否存在稳定关联。
  3. 用后续实验检查这种关联是否还能成立,并记录人群、策略和流量变化。

假如历史上出现过“AUC +0.005、CTR +1%”,它也只是该实验的结果。不能线性外推:AUC +0.001 就一定无价值。 历史关联可以辅助排实验优先级,不是一次建立、永久适用的兑换率。


🚦 五、上线前的检查清单(可以照抄)

一次只核对一组。勾选表示你已查看证据,不表示网页替你运行了测试。

数据侧

指标侧

工程侧

实验侧

⭐ 最后一条最容易漏,也最重要: 在实验开始前就写下失败标准。 否则实验跑出负向时,人会本能地找理由继续跑 —— 若一边反复查看结果、一边改变停止时机,却仍套用固定样本检验,原来的错误率保证就不再成立。预先设计的序贯检验是另一种方案(第 12 章)。


💀 六、一个完整的翻车复盘:离线 +0.02,线上 −1.5%

下面是教学假想复盘,数字用于说明排查顺序,不是可追溯的真实事故。开头总体评估与后面的分组表不是同一份样本,不能互相拼算。

结果对照

背景:某电商的「猜你喜欢」精排模型换代
离线:AUC 0.812→0.831(+0.019),所有人都觉得稳了
上线 A/B 一周:CTR −1.5%,人均下单量 −0.8% 💀

排查过程(三天,走了两条弯路):

第几步 猜测 验证结果
1 训练/推理不一致? 逐字段比对,全部一致 ❌
2 延迟变高导致超时降级? P99 从 38ms 到 41ms,降级次数 0 ❌
3 评估集怎么来的? ⭐ 找到了 ✅

信息关系

评估集的构造 SQL 里有一句:
WHERE user_click_cnt_7d > 0 ← 「过滤掉无行为用户」
加这句的原因是三年前有人觉得「无行为用户是噪声」
从此评估集里全是活跃用户(占流量 34%)
新模型在活跃用户上确实更好(AUC 0.84→0.87)
但在剩下 66% 的低活用户上,AUC 从 0.79 掉到 0.74 💀
低活用户退化:需要检查全量逐样本指标,不能用人群占比直接加权 AUC
人群 流量占比 旧模型 AUC 新模型 AUC 差
有 7 日点击 34% 0.84 0.87 +0.03
无 7 日点击 66% 0.79 0.74 −0.05 💀
组内加权摘要 100% 0.807 0.7842 −0.0228

最后一行四舍五入可写成 0.807 → 0.784,差约 −0.023;它是组内 AUC 的流量加权摘要,不是全量 AUC。

为什么不是全量 AUC? 全量还比较“活跃正例与低活负例”等跨组样本对;上表没有这些比较结果。摘要下降说明加权的组内评分下降,不能单凭它推出合并后的 AUC 下降。实际评估应保留逐样本分数,分别计算全量与分组指标。

三条可以带走的教训:

  1. 解释每个 WHERE。 旧的过滤条件如果排除了目标人群,后续实验会持续漏看它们。
  2. 并看全量与分群。 先弄清指标如何聚合,再对照第 14 章的聚合陷阱。
  3. 先查容易验证的假设。 假想复盘中,前两步各花一天,查看 SQL 花十分钟;这说明排查顺序有成本,不是保证每次十分钟解决。方法见第 11 章。

📐 七、校准:什么时候必须看它,怎么看

第三节说了 AUC 不管分数的绝对值。哪些决策需要检查概率是否可信:

你拿分数干什么 校准重要吗 说明
只做排序(推荐列表、搜索) 🟡 不太重要 只要顺序对就行
卡阈值做决策(风控通过/拒绝) ✅ 重要 阈值 0.7 的含义必须稳定
算期望收益(p × 客单价) ✅ 很重要 概率误差会传入收益估计
广告出价(bid = pCTR × pCVR × 价值) ✅ 直接影响成本 概率定义与出价规则都要核对

💡 假想广告算例:以下消耗与 ROI 是额外假设的业务结果,不能只由概率倍率推算出来。

算一算

某广告模型换代后:AUC 0.78 → 0.80(涨了)

但 pCTR 系统性高估 1.8 倍(预测 5%,实际 2.8%)

→ 出价 = pCTR × 价值,出价整体高 1.8 倍

→ 抢到更多曝光,消耗涨 40% ← 看起来是好事 🎉

→ 但实际点击没跟上

→ ROI 从 3.2 掉到 1.7 ← 💀 一个月后财务才发现

⭐ 注意这个假想例子的形状:排序变好了,业务变差了, 而且中间指标(消耗、曝光)全是涨的 —— 这让它特别难被发现。

🔨 怎么量校准:ECE + 校准表

下面保留简化的分位数分箱程序,用来阅读一般输入时的计算过程。它不是完整的输入校验工具:特别是所有预测都相同时,当前实现会返回空表与 0,这不表示完美校准;该情形应作为单箱单独计算。空输入、缺失值、概率范围和每箱样本量也需先检查。

import numpy as np, pandas as pd

def calibration_table(p, y, bins=10):
    """p: 预测概率, y: 0/1 真实标签。返回分箱校准表 + ECE"""
    # ⭐ 按【分位数】切箱,不是等宽——等宽切在长尾场景会有空箱
    edges = np.unique(np.quantile(p, np.linspace(0, 1, bins + 1)))
    idx = np.clip(np.digitize(p, edges[1:-1]), 0, len(edges) - 2)
    rows, ece, n = [], 0.0, len(p)
    for b in range(len(edges) - 1):
        m = idx == b
        if m.sum() == 0:
            continue
        pred, real, cnt = p[m].mean(), y[m].mean(), int(m.sum())
        rows.append((b, cnt, round(pred, 4), round(real, 4), round(pred - real, 4)))
        ece += cnt / n * abs(pred - real)          # ⭐ ECE = 按样本量加权的平均偏差
    tbl = pd.DataFrame(rows, columns=["箱", "样本数", "平均预测", "实际正例率", "偏差"])
    return tbl, ece
读表时看到什么 下一步检查
各箱偏差多数同号 是否存在系统性高估/低估;用独立数据试验校准方法
高分段偏差大 该区间样本数、实际决策和成本是否放大误差
总体 ECE 小,某群体偏差大 分群、关键概率区间分别评估,不能被平均值盖住

ECE 没有通用的 0.01 / 0.05 可用性分档。 分箱方法、样本量、基准正例率和错误成本都会影响判断。ECE 只概括平均校准偏差,不负责判定排序可不可用;可以和校准图、每箱样本数及业务成本一起读。定义参考 Guo 等的校准论文。

可选修法(成本取决于数据与模型):

方法 做法 适合
Platt scaling 在验证集上拟合一个 sigmoid 偏差是单调、平滑的
Isotonic regression 拟合非递减的阶梯函数 数据少时容易过拟合,需独立测试
分人群分别校准 每个人群一套校准器 不同人群偏差方向不同时 ⭐
重新训练 换损失函数 / 改采样 前面都不行时

Isotonic 没有统一的 10k 样本门槛;要结合数据规模、分数覆盖和独立测试结果选择。

⚠️ 两个高频坑:

坑 后果 怎么修
用原训练分数拟合校准器 容易带入训练期的过度自信 独立校准集或合适的交叉拟合
负采样后忘了修正 正例比例改变,概率可能高估 先核对采样机制,再做修正

校准或修正完成后,仍要用未参与方法选择、且代表目标分布的数据评估效果。

假设正例全保留,负例以固定概率 w 保留,采样与特征在每个类别内无关。若 p′ 是采样后分布下准确的条件概率,原分布的概率为:

$$ p = \frac{w p'}{1-p'+w p'} = \frac{p'}{p'+(1-p')/w} $$

比如 w=0.1、p′=0.5,得到 p≈0.0909;不是简单除以 10。倍率精确作用在几率 p/(1−p) 上,概率很小时才有近似的十倍关系。

固定 w>0 的这次修正严格递增,因而不会改变同一批分数的排序与 AUC;但采样后重新训练模型,排序也可能改变,不能说“采样永远不影响 AUC”。校准方法与数据独立性见 scikit-learn 说明。


🔗 八、和站内其他章的关系

相关的地方 和这一章的关系
ML基础 05数据泄漏 坎 ① 的时间不一致
推荐算法 02反馈闭环 幸存者偏差的根源
推荐算法 12 NDCG / A/B 坎 ② 和坎 ④ 的推荐场景版
Kaggle 01评价指标 竞赛视角的指标选择

| 数据这一关 13 · 评测集也是数据 | 这四处讲的是各自场景怎么评测;评测集本身怎么造、多大够、有没有被污染、评分器准不准、结果该怎么报 在那一章 ⭐ |

✅ 检查点

  1. 从「离线 AUC 更高」到「长期确实更好」,中间有哪五道坎?
  2. 什么是评估里的幸存者偏差?根源是什么?务实的缓解办法是什么?
  3. 为什么排序场景不该只看 AUC?NDCG@3 那个例子说明了什么?
  4. AUC 高但分数不能用来做决策,是什么问题?怎么修?
  5. 模型指标和业务指标的换算率怎么建立?为什么值得做?
  6. 上线前检查清单里最容易漏的是哪条?漏了会怎样?
  7. 假想复盘中的评估集漏了谁?为什么不能用人群占比加权得到全量 AUC?
  8. 什么场景下校准是致命的?举那个广告出价的数字例子,说明它为什么难被发现。
  9. ECE 怎么算?为什么不能把 0.01 / 0.05 当成通用上线门槛?
  10. 校准的两个高频坑是什么?负采样修正公式需要哪些条件?
👀 答案
  1. 五道坎分别是数据覆盖、展示位置、业务目标、因果归属和长期影响;离线分数不能独自跨过它们。
  2. 曝光受旧策略选择,新策略可能缺少对应反馈。安全范围内的随机曝光可以扩大覆盖,但还要记录概率、检查位置偏差和标签缺失,不能称作自动无偏的尺子。
  3. AUC 比较正负样本配对,不专门重视前 K 位。等级 3、2、0 的 NDCG 例子在交换首尾后,从 1 降到约 0.606;AUC 的变化需另给二分类标签与分数。
  4. AUC 一样不意味着同一阈值下动作一样,也不能靠两个样本判断校准。需要代表性数据上的校准曲线,并评估校准方法对实际决策的影响。
  5. 多次实验一起记录指标、波动和配置,可以形成可验证的历史关联。它只辅助判断实验优先级,不是固定兑换率。
  6. 提前写下停止与失败规则。如果反复看结果再临时改变停止时机,却套用固定样本检验,其错误率保证会失效;预先设计的序贯方案需另行处理。
  7. 假想评估集过滤掉了 66% 的低活用户。0.807 与 0.7842 是组内 AUC 的加权摘要,缺少跨组正负样本对,不能当全量 AUC。三条教训仍是解释每个 WHERE、并看整体与分群、先查容易验证的假设。
  8. 假想广告例子中,概率高估约 1.8 倍会在其他因素不变时抬高线性出价。但消耗 +40%、ROI 3.2→1.7 是额外业务假设,不能由倍率直接推出;它提醒我们同时看实际收益与成本。
  9. 每箱算平均预测和正例率,以箱内样本占比加权绝对差。ECE 受分箱、样本量和人群影响,没有统一的 0.01 / 0.05 上线门槛,也不直接衡量排序。
  10. 一是拿训练分数直接拟合校准器,二是忽略采样机制。正例全留、负例独立按 w 保留且 p′准确时才可按正文公式修正。w=0.1、p′=0.5 对应 p≈0.0909;同分数的单调修正保留排序,不等于重新训练也保留排序。

本节回顾

⚡ 走神救援

下一节 👉 03-灰度影子与回滚.md

打卡记录保存在你的浏览器里,首页能看到总进度