15 · 采样偏差与幸存者偏差

⏱ 46 分钟 ｜ ⭐ 你的数据里只有「被系统选中过」的那些人

🎯 一句话

你的训练数据只包含被某个系统放行过的样本，而你要预测的是所有人。 上一章的泄漏是「多了不该有的信息」， 这一章是反过来 —— 少了一整块你从来没见过的人群，而且这块缺失不会报错。

✈️ 一、弹孔的故事，和它真正的重点

二战时统计学家看返航飞机的弹孔分布，建议加固弹孔最少的地方 —— 因为中弹在那里的飞机根本没飞回来。

⭐ 这是本章和第 04–08 章的分界线： 前面几章讲的是「数据是不是错的」， 这一章讲的是「数据全对，但它不是你以为的那群人」。 质量检查、契约、缺失分析 —— 一个都抓不到这个问题。

🎭 二、三个场景，同一个结构

🔑 这个结构有个名字叫「反事实缺失」： 你缺的不是"数据量"，是另一半世界的结果 —— 「如果当初批了他会怎样」这个问题，数据库里永远不会有答案。 ⚠️ 所以它不能靠"多攒几个月数据"解决：多攒的每一条，还是 S 放行过的。

🧊 三、先别慌：它什么时候【不】要紧

大多数人对选择偏差的直觉是过度悲观的。 先看一个实跑出来的反例。

模拟一个信贷场景：老策略只看 x1（收入类）和 x2（负债类）打分，批 40%。 新模型能看到 x1, x2, x3 三个特征（x3 老策略没用过但真的有预测力）。 只用「批过的人」训练：

⭐ 看第二行和第三行：一模一样。 在这个设定下，选择偏差没有造成任何损失。 条件是两个：① 老策略只依据可观测变量做决策；② 你的模型设定是对的。 满足这两条时，只在被选中的样本上训练不会带来系统性偏差 —— 这在统计里叫「基于可观测量的选择」。

⚠️ 但第一行是个大坑：在通过人群上评估出来的 0.761 是偏低的， 真实能力是 0.821。这叫区间截断（range restriction） —— 你砍掉了最容易区分的那部分人（明显的坏客户全被老策略拒了）， 剩下的都是"边缘案例"，当然更难分。 ⭐ 所以：「我们模型的 AUC 只有 0.76」这句话，在有选择的人群上是没有意义的。

💥 四、什么时候它真的会害你：两种情况

情况 B：旧策略用了你看不到的东西

真实的审批不只有模型分，还有人工复核 —— 审批员看了流水照片、听了电话、感觉不对就拒了。 这些「感觉」既影响了谁被选中，也真的和还款相关，但它们不在你的特征里。

实跑（给旧策略加一个模型看不到的变量 u，u 同时影响放行和还款）：

情况 C：真实关系是非线性的，而选择切掉了一整段区间

这是最贵的一种，而且在业务里非常普遍：老策略把某个特征区间整段拒光了， 你的模型在那一段上从来没有一个样本，只能靠外推。

实跑（真实关系带一个二次项，老策略切掉了低分段）：

💀 看最后一行：在你最需要它的地方，模型差 0.057。 而「被老策略拒掉的人群」恰恰是新模型上线后要重新审视的人群 —— 因为如果新模型的结论和老策略完全一样，那它没有任何商业价值。 ⭐ 你部署新模型的全部意义，正好落在它最不可靠的那一段上。

🎲 五、留随机流量当尺子：代价与收益

唯一能真正补上那块缺失的办法，是故意放行一小撮本该被拒的样本。 业界叫法很多：随机流量、探索流量、reject inference 的黄金层、holdout 放款。

收益（同一组实验，随机放行被拒人群的 5%）：

⭐ 这张表是本章最有价值的三行： 5% 的随机流量，在"区间被切断"这种情况下补回了 83% 的能力缺口。 而在情况 A 里它一分钱效果都没有 —— 随机流量不是万能药，它只解决「你没见过的区间」这一个问题，但解决得非常彻底。

代价（同一份模拟里算出来的真实账）：

⭐ 「分层抽样」这条能把代价砍掉一大半： 你真正需要信息的是决策边界附近，不是那些明显不该批的人。 在阈值上下 10 个百分位里抽样，用 1% 的敞口能换到接近 5% 均匀抽样的信息量。

🧮 六、这一章唯一的一个公式：逆倾向加权（IPW）

如果你能估计出每个样本被选中的概率，就可以给样本加权，把分布掰回全体：

💀 正性假设是 IPW 最常被忽略的死穴，也是它和随机流量的分工所在： 老策略是硬规则（比如"征信查询次数＞8 直接拒"）时，那一段的 π 严格等于 0， 任何加权方法都无中生有不出信息。 ⭐ 随机流量的真正作用，就是把那些 π = 0 的区间变成 π = 0.05。 它买的不是样本量，是"正性"本身。

权重必须截断，否则方差爆炸：

import numpy as np
from sklearn.linear_model import LogisticRegression

def ipw_weights(X_all, selected, clip=(0.02, 1.0)):
    """selected: 布尔数组，True 表示这一行有标签。返回被选中样本的权重"""
    pm = LogisticRegression(max_iter=1000).fit(X_all, selected.astype(int))
    pi = pm.predict_proba(X_all)[:, 1]
    pi = np.clip(pi, *clip)                    # ⭐ 不截断的话极小的 π 会产生天文数字权重
    w = 1.0 / pi[selected]
    w = w / w.mean()                           # ⭐ 归一化，便于和无权重的结果比较
    ess = w.sum() ** 2 / (w ** 2).sum()        # ⭐ 有效样本量
    return w, {"有效样本量": round(float(ess)),
               "实际样本量": int(selected.sum()),
               "权重最大值": round(float(w.max()), 1)}

# ⭐ 判读：有效样本量 < 实际样本量的 30% 时，IPW 的结论不值得相信 ——
#     说明你在用一小撮罕见样本去代表一大片人群

🔁 七、拒绝推断（reject inference）的四种做法

风控行业专门为这个问题起了名字。四种做法，质量从低到高：

⭐ 一句话总结这张表： 前三种都是在已有信息里重新分配，只有第四种在制造新信息。 💀 前两种最危险的地方在于 —— 它们会让离线指标变好看， 因为你用来评估的测试集也是同一个偏差人群。 一个只会复制老策略的模型，在老策略的地盘上永远看起来很准。

💀 八、一次真实的事故复盘

发生了什么

为什么没被发现

代价

该补什么

⭐ 改进后的关键数字：加上 3 个随机位（6% 的展示量）之后， 用随机位数据评估出来的真实 AUC 是 0.71，不是 0.88。 那 0.17 的差距，就是"模型复制老 HR"和"模型真的会看人"之间的距离。

🧭 九、一张判断表：要不要处理，怎么处理

⭐ 最后一行是最容易被忽略的： 选择偏差如果不管，它不是一个静态的偏差，它会自我加强。 今天窄一点点，三个月后窄很多 —— 招聘那个案例里，四个月熵掉了 29%。

🔗 这一章连到哪里

✅ 检查点

1. 弹孔故事的真正重点是什么？为什么前面几章的质量检查抓不到这个问题？
2. 招聘、风控、推荐三个场景剥开之后是同一个什么结构？为什么"多攒几个月数据"解决不了？
3. 选择偏差什么时候不要紧？实跑数字是多少？这时候还有什么坑？
4. 什么是区间截断？为什么"我们模型 AUC 只有 0.76"这句话在有选择的人群上没有意义？
5. 选择偏差真正会害你的两种情况是什么？情况 C 在被拒人群上的缺口是多少？为什么这个缺口特别致命？
6. 5% 随机流量在三种情况下各补回了多少缺口？代价怎么算、怎么压？
7. IPW 的公式是什么？正性假设为什么是它的死穴？有效样本量该怎么判读？
8. 拒绝推断四种做法里，为什么说前三种都不产生新信息？前两种最危险的地方在哪？
9. 招聘那个事故里，团队怎么处理没进面试的样本？模型实际学到了什么？代价是多少？加上随机位之后真实 AUC 是多少？
10. 为什么说选择偏差"不是静态的"？案例里的数字是多少？

🛑 可以停在这里

⚡ 走神救援

⭐ 你的训练数据只包含「被某个旧系统放行过」的样本，而你要预测的是所有人。 上一章的泄漏是「多了不该有的信息」，这一章是少了一整块你从没见过的人群，而且不会报错。

⭐ 弹孔故事的真正重点不是「反着想」，而是返航飞机的数据本身完全正确——每个弹孔都测量准确、没有脏数据没有缺失，它能通过前十章的全部质量检查。这就是本章和前面几章的分界：那些讲「数据是不是错的」，这章讲「数据全对，但它不是你以为的那群人」。

⚠️ 这叫反事实缺失，多攒几个月数据没用——多攒的每一条还是被同一个旧策略放行的。

⭐ 先别慌，它不总是有害：旧策略只依据可观测变量、且模型设定正确时，偏差可以是零。⚠️ 但有个大坑叫区间截断——老策略拒掉了最好的那批人，剩下全是边缘案例，所以「我们 AUC 只有 0.76」这句话在有选择的人群上没有意义。

💀 真正害人的一种是「真实关系非线性 + 选择把一整段特征区间切没了」：被拒人群恰恰是新模型要改判的人群——如果新模型结论和老策略一样它就没商业价值，⭐ 所以部署它的全部意义，正好落在它最不可靠的那一段上。

🎲 随机流量不是万能药，它只解决「没见过的区间」这一个问题，但解决得非常彻底。 压成本三招：给最低额度、在紧邻阈值那一段分层抽样、时间稀释。

⭐ IPW 的死穴是正性假设：老策略硬阈值拒绝的区间里选中概率严格为 0，任何加权都无中生有不出信息——随机流量买的不是样本量，是「正性」本身。

💀 拒绝推断的四种做法里，前两种（全标坏客户、软标签）最危险的地方是它们会让离线指标变好看：测试集也是同一个偏差人群，只会复制老策略的模型，在老策略的地盘上永远看起来很准。

⭐ 评审时必问的一句：「哪些人不会出现在你的训练数据里？」

下一节 👉 16-合成数据.md