05 · 缺失不是一种东西

   问一句话就够了：这一行的这个字段，是【谁】决定了它不出现？

   ① MCAR  完全随机缺失
      缺不缺 和 任何东西 都无关
      例：网络丢包、随机抽样只调查了 30% 的人、设备随机故障
      ⭐ 现实中非常罕见。大多数被当成 MCAR 的其实不是

   ② MAR   随机缺失（准确说是「条件随机」）
      缺不缺 只取决于【你已经观测到的其他字段】
      例：老年用户填邮箱的比例低 —— 取决于「年龄」，而年龄你有
          某个渠道的埋点没上报某字段 —— 取决于「渠道」，而渠道你有

   ③ MNAR  非随机缺失
      缺不缺 取决于【这个值本身】，或取决于【你没观测到的东西】
      例：高收入的人不愿意填收入
          病重的病人没能做完那项检查
          系统在高负载时丢日志 —— 而"高负载"恰恰是故障样本的特征 💀

import numpy as np

rng = np.random.default_rng(42)
N, B1, B2 = 20000, 1.5, -0.8
x2 = rng.normal(0, 1, N)
x1 = 0.6 * x2 + np.sqrt(1 - 0.36) * rng.normal(0, 1, N)
e = rng.normal(0, 1, N)
y = 2.0 + B1 * x1 + B2 * x2 + e
sig = lambda z: 1 / (1 + np.exp(-z))

MECH = {"MCAR": np.full(N, 0.30),
        "MAR":  sig(-1.05 + 1.6 * x2),          # 只依赖【已观测的】x2
        "MNAR": sig(-1.30 + 1.2 * x1 + 1.2 * e)}  # 依赖它自己 + y 里说不清的那部分

def ols(X, yy):
    A = np.column_stack([np.ones(len(yy)), X])
    return np.linalg.lstsq(A, yy, rcond=None)[0]

def compare(m):
    obs, out = ~m, {}
    out["完整数据（上帝视角）"] = ols(np.column_stack([x1, x2]), y)
    xm = x1.copy(); xm[m] = x1[obs].mean()
    out["均值填充"] = ols(np.column_stack([xm, x2]), y)
    out["均值填充+缺失指示"] = ols(np.column_stack([xm, x2, m.astype(float)]), y)
    out["整行删除"] = ols(np.column_stack([x1[obs], x2[obs]]), y[obs])
    a = ols(x2[obs].reshape(-1, 1), x1[obs])
    xr = x1.copy(); xr[m] = a[0] + a[1] * x2[m]
    out["回归填充(只用x2)"] = ols(np.column_stack([xr, x2]), y)
    res = x1[obs] - (a[0] + a[1] * x2[obs])
    xs = x1.copy(); xs[m] = a[0] + a[1] * x2[m] + rng.normal(0, res.std(), m.sum())
    out["随机回归填充(只用x2)"] = ols(np.column_stack([xs, x2]), y)
    b = ols(np.column_stack([x2[obs], y[obs]]), x1[obs])   # ⭐ 填充模型里带上 y
    pred = b[0] + b[1] * x2 + b[2] * y
    r2 = (x1[obs] - pred[obs]).std()
    xy = x1.copy(); xy[m] = pred[m] + rng.normal(0, r2, m.sum())
    out["随机回归填充(x2+y)"] = ols(np.column_stack([xy, x2]), y)
    return out

for k, p in MECH.items():
    print(k, {n: round(b[1], 4) for n, b in compare(rng.random(N) < p).items()})

   ① 压缩方差    x1 的 std：1.003 → 0.781（缺 33% 时）
                 → 所有依赖尺度的东西全错：标准误、置信区间、正则化强度

   ② 稀释相关    corr(x1, x2)：0.599 → 0.376
                 → 特征之间的关系被抹平，模型学到的结构是假的

   ③ 造一个假尖峰  在分布正中间堆起 33% 的样本
                 → 树模型会在均值两侧各切一刀，学出一个不存在的规律 ⚠️

   ④ 抹掉「缺失」这条信息  填完之后，谁也不知道哪些是原始值哪些是编的

   ⑤ 训练/推理不一致的高发地  均值必须来自【训练折】，
                 用全量算就是泄漏，线上重新算就是漂移  ⭐

   收入缺失率            30.4%
   缺失组违约率          23.98%
   非缺失组违约率        13.71%     ⭐ 1.75 倍

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score

def missing_mechanism_probe(X_obs, is_missing, y=None):
    """X_obs: 其他【完整观测】的特征；is_missing: 目标字段的缺失指示；y: 标签。
    返回两个 AUC：只用特征预测缺失，以及加上标签之后预测缺失。"""
    def auc(M):
        lr = LogisticRegression(max_iter=2000).fit(M, is_missing)
        return roc_auc_score(is_missing, lr.predict_proba(M)[:, 1])
    a1 = auc(X_obs)
    a2 = auc(np.column_stack([X_obs, y])) if y is not None else None
    return a1, a2   # ⭐ a2 明显大于 a1 → MNAR 的强信号

# 实跑结果（同一份数据，三种机制各造 30% 缺失）：
#            只用特征   加上标签
#   MCAR       0.505      0.506     → 与「完全随机」一致
#   MAR        0.829      0.829     → 缺失能被已观测特征解释，加 y 无增益
#   MNAR       0.642      0.837     ⭐⭐ 加上 y 之后暴涨 0.195 → 强烈提示 MNAR

   ❌ 不存在一个"更高级的填充算法"能解决 MNAR
      MICE、KNN 填充、深度学习填充 —— 全都假设 MAR
   ✅ 能做的只有三件事：
      ① 把 MNAR 变成 MAR：去收集那个解释缺失的变量  ⭐⭐ 最根本
      ② 做敏感性分析：报告一个区间，而不是一个数     ⭐ 最实用
      ③ 对缺失机制显式建模（选择模型 / Heckman）——依赖强假设，慎用

   收入缺失  →  加一列「是否有社保记录」「申请渠道」「是否自雇」
   检查缺失  →  加一列「就诊科室」「入院时的分诊等级」
   日志缺失  →  加一列「当时的机器负载」「SDK 版本」「网络类型」  ⭐

   ⭐ 只要新加的这几列能"解释掉"缺失，MNAR 就变成了 MAR，
      而 MAR 是有正确解法的。
      这是数据工作里少见的一种情况：花钱采一列新数据，
      比换十种算法都管用。

   ① 是「没发生」还是「没记录」？                    ⭐⭐ 最常见的误判
      0 单用户的"客单价"不是缺失，是【不存在】
      → 不该填，该给这批人一个单独的分支或单独的模型

   ② 谁决定了它不出现：系统 / 用户 / 采集端 / 第三方？

   ③ 那个决定，和这个值本身有关吗？
      "用户嫌麻烦没填" → 可能 MCAR/MAR
      "填了会显得不好看所以没填" → MNAR

   ④ 那个决定，和标签有关吗？
      "系统高负载时丢日志"，而故障恰好发生在高负载 → 严重 MNAR 💀

   ⑤ 推理时这个字段也会缺吗？缺失率一样吗？          ⭐⭐
      训练集缺 5%、线上缺 40% —— 这不是缺失问题，是【分布漂移】
      （[模型上线之后 05](../模型上线之后/05-该监控什么.html)）

   工程铁律：
   ① 填充统计量只能从【训练折】算，并放进 pipeline 里
      → 用全量算 = 泄漏（[第 14 章]），CV 里每折重算才对  ⭐
   ② 训练和推理必须用同一份填充代码 + 同一份统计量（不是"同样的逻辑"）
   ③ 缺失率必须在【填充之前】采集进监控  ⭐⭐ —— 这条是下面那个事故的核心
   ④ 缺失率漂移是最早的故障信号：它比业务指标早十几个小时
   ⑤ 任何缺失率 > 1% 的字段，自动生成 `_is_missing` 列

   系统：某消费金融的额度审批模型
   特征：公积金月缴存额（来自第三方数据源 A）

   ⚠️ 数据源 A 只覆盖 6 个一线城市。其他城市这一列全是 NULL。
      训练集里这个字段的缺失率：47%

   而数据管道里有这么一行"通用清洗"：
       df = df.fillna(df.mean())

   于是：所有非一线城市的申请人，公积金被填成了
        【一线城市在职人群的平均值：2180.00 元】

   💀 最狠的一条：缺失率监控是【全绿】的
      因为 fillna 发生在管道里，数据流到监控那一步时，缺失率已经是 0  ⭐⭐

   ✅ 整体 AUC 0.762，和上一版持平
   ✅ 特征重要性里「公积金」排第 3 —— 看起来非常合理
   ✅ 分布监控也是绿的（均值没变，因为填的就是均值）💀

   💀 模型实际学到的是：
      「公积金 = 2180.00 恰好」→ 低风险
      而一线城市样本整体违约率本来就低
      = 模型把「不在一线城市」学成了「有一份不错的工作」

   分城市线拆开（事后才做）：
      一线城市    AUC 0.781   （正常）
      非一线城市  AUC 0.583   ⚠️ 接近随机

   上线 9 周：
      非一线城市通过率比预期高 19 个百分点
      M3+ 逾期率：非一线 4.7%  vs  一线 1.6%   （2.9 倍）
      期间非一线放款 3.8 亿元，事后测算多批了约 2.6 万笔本该拒的
      预计净坏账增量 ≈ 4100 万元

   发现方式：第 9 周资金方（银行）做贷后审计，问了一句
            「为什么 47% 的申请人公积金缴存额精确等于 2180.00 元？」⭐
            —— 一个人肉眼看出来的，不是任何一条规则

   修复：改成「缺失即缺失」+ 缺失指示 + 按覆盖情况分层重训 = 3 周
        非一线 AUC 0.583 → 0.694，其中约 0.071 直接来自缺失指示那一列