02 · 离线好不等于线上好

⏱ 38 分钟 ｜ ⭐ 上线前的最后一道关

🎯 一句话

离线评估回答的是「在过去的数据上，它比旧模型准」； 线上要回答的是「在未来的流量上，它比旧模型好」。 这两句话之间有五道坎，这一章逐个拆。

🕳️ 一、五道坎

⭐ 每一步都可能断。 ①②③ 是这一章；④ 是第 12–14 章；⑤ 是第 15 章。

⚠️ 二、坎 ①：评估数据和线上流量不是一回事

最常见的三种不一致

🔑 把第二条讲透：幸存者偏差

🔗 这就是推荐算法 02 反馈闭环在评估上的后果。

⭐ 务实的缓解办法（不需要改架构）： 留一小份随机流量（比如 1%）—— 这部分用户看到的东西不由模型决定， 用它做评估集，就没有幸存者偏差。 代价是这 1% 的体验会差一点，换来的是一把没被污染的尺子。

📏 三、坎 ②：排序指标 ≠ 用户实际看到的

换成位置敏感的指标：

💡 一个实测过的数字（推荐算法 12 里跑过）：

NDCG@3 完美排序 = 1.0；把第 1 和第 3 交换，NDCG@3 就掉到 0.92 —— 而 AUC 几乎不动。 同一个改动，两个指标给出完全不同的评价。

⚠️ AUC 还有一个陷阱：它对分数的绝对值不敏感。

🔗 需要精确概率的场景（广告出价、风控、期望收益计算） 必须额外看校准曲线，AUC 高不代表概率对。 常用修法：Platt scaling / isotonic regression 做后校准。

💰 四、坎 ③：模型指标 ≠ 业务指标

建立这条连接的做法：

💡 这是个高回报的一次性投入： 它让你在做实验之前就能判断「这个改动值不值得占一个实验位」—— 而实验位通常是团队最稀缺的资源。

🚦 五、上线前的检查清单（可以照抄）

⭐ 最后一条最容易漏，也最重要： 在实验开始前就写下失败标准。 否则实验跑出负向时，人会本能地找理由继续跑 —— 这在统计上叫 peeking，会让你的结论完全不可信（第 12 章）。

💀 六、一个完整的翻车复盘：离线 +0.02，线上 −1.5%

这是坎 ① 最典型的形态，值得逐步看。

排查过程（三天，走了两条弯路）：

⭐ 三条可以带走的教训： 1. 离线评估集的构造 SQL，每一个 WHERE 都要有人负责解释。 一句三年前的过滤条件，能让所有后续实验的结论都失真。 2. 永远同时看「全量」和「分人群」的离线指标。 只看一个数是危险的。 🔗 这就是第 14 章辛普森悖论在离线评估上的形态。 3. 排查时先查最便宜的假设：这次前两步各花了一天， 而"打开评估集的 SQL 看一眼"只要十分钟。 🔗 第 11 章会给一个排序好的排查清单。

📐 七、校准：什么时候必须看它，怎么看

第三节说了 AUC 不管分数的绝对值。什么时候这件事真的会要命：

💡 一个有具体数字的例子：

⭐ 注意这个事故的形状：排序变好了，业务变差了， 而且中间指标（消耗、曝光）全是涨的 —— 这让它特别难被发现。

🔨 怎么量校准：ECE + 校准表

import numpy as np, pandas as pd

def calibration_table(p, y, bins=10):
    """p: 预测概率, y: 0/1 真实标签。返回分箱校准表 + ECE"""
    # ⭐ 按【分位数】切箱，不是等宽——等宽切在长尾场景会有空箱
    edges = np.unique(np.quantile(p, np.linspace(0, 1, bins + 1)))
    idx = np.clip(np.digitize(p, edges[1:-1]), 0, len(edges) - 2)
    rows, ece, n = [], 0.0, len(p)
    for b in range(len(edges) - 1):
        m = idx == b
        if m.sum() == 0:
            continue
        pred, real, cnt = p[m].mean(), y[m].mean(), int(m.sum())
        rows.append((b, cnt, round(pred, 4), round(real, 4), round(pred - real, 4)))
        ece += cnt / n * abs(pred - real)          # ⭐ ECE = 按样本量加权的平均偏差
    tbl = pd.DataFrame(rows, columns=["箱", "样本数", "平均预测", "实际正例率", "偏差"])
    return tbl, ece

修法（按代价从低到高）：

⚠️ 两个高频坑：

⭐ 第二条在广告和推荐里极其常见：负采样是标配，而采样只影响概率、不影响 AUC —— 所以它能一路通过所有离线评估，直到有人拿分数去出价。

🔗 八、和站内其他章的关系

| 数据这一关 13 · 评测集也是数据 | 这四处讲的是各自场景怎么评测；评测集本身怎么造、多大够、有没有被污染、评分器准不准、结果该怎么报 在那一章 ⭐ |

✅ 检查点

1. 从「离线 AUC 更高」到「长期确实更好」，中间有哪五道坎？
2. 什么是评估里的幸存者偏差？根源是什么？务实的缓解办法是什么？
3. 为什么排序场景不该只看 AUC？NDCG@3 那个例子说明了什么？
4. AUC 高但分数不能用来做决策，是什么问题？怎么修？
5. 模型指标和业务指标的换算率怎么建立？为什么值得做？
6. 上线前检查清单里最容易漏的是哪条？漏了会怎样？
7. 「离线 +0.02 线上 −1.5%」那个事故的真因是什么？它给出的三条教训是什么？
8. 什么场景下校准是致命的？举那个广告出价的数字例子，说明它为什么难被发现。
9. ECE 怎么算？三档判读标准是什么？
10. 校准的两个高频坑是什么？为什么负采样那个坑能一路通过所有离线评估？

🛑 可以停在这里

⚡ 走神救援

离线好不等于线上好，中间有五道坎：评估数据不是线上流量、排序指标不是用户看到的、模型指标不是业务指标、你不是唯一变量、短期不是长期。

⭐ 第一道坎的核心是幸存者偏差：评估集全是旧模型曝光过的样本，而新模型想推的东西根本不在里面。务实解法是留一小份随机流量当评估集——代价是这部分体验差一点，换一把没被污染的尺子。

⭐ 第二道坎：AUC 关心整个列表的排序，而用户只看前几个——把第一和第三对调，前几名的指标明显掉，AUC 几乎不动。⚠️ AUC 对分数的绝对值也不敏感：两组差距悬殊的分数可以有一样的 AUC，但要拿分数去出价或卡阈值时，其中一组是灾难。

⭐ 第三道坎没有通用换算公式：模型指标到业务指标的兑换率必须自己用几次 A/B 实测建立——有了它才能在占用实验位之前判断值不值得做。

⭐ 清单里最容易漏的一条：实验开始前就写下失败标准——否则跑出负向时人会找理由继续跑，结论就不可信了。

💀 那次完整复盘最值得记：离线涨、线上跌，真因是评估集 SQL 里一句三年前的过滤条件。⭐ 拆开看是新模型在活跃用户上更好、在低活用户上更差，而低活占大多数，加权之后其实是负的。三条教训：每一个 WHERE 都要有人能解释、永远同时看全量和分人群、⭐ 先查最便宜的假设（打开那句 SQL 十分钟，而前两步各要一天）。

⭐ 校准什么时候致命：卡阈值、算期望收益、广告出价——真实案例里预估值整体高估，消耗和曝光这些中间指标全是好的，而投入产出比腰斩，一个月后财务才发现。

⚠️ 两个坑：在训练集上校准（线上完全不成立）、⭐ 负采样后忘了修正——概率被整体放大，而采样只影响概率不影响 AUC，所以它能一路通过全部离线评估。

下一节 👉 03-灰度影子与回滚.md